💬 NLP

A3M: Adaptive, Adversarial and Multi-Objective Learning for Strategic Bidding in Repeated Auctions

यह शोध पत्र A3M को पेश करता है, जो एक नवीन ढांचा है जो एडेप्टिव डीप रीइन्फोर्समेंट लर्निंग, एडवरसैरियल रीजनिंग और मल्टी-ऑब्जेक्टिव रिवॉर्ड डिज़ाइन को एकीकृत करता है ताकि मौजूदा विधियों की तुलना में बार-बार होने वाली मल्टी-यूनिट नीलामियों में रणनीतिक बोली लगाने के प्रदर्शन, मजबूती और निष्पक्षता में महत्वपूर्ण सुधार किया जा सके।

मूल लेखक: Junhan Li, Yuxin Zhang, Haoran Wang, Minghao Chen

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junhan Li, Yuxin Zhang, Haoran Wang, Minghao Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप पोकर का एक हाई-स्टेक्स गेम खेल रहे हैं, लेकिन कार्ड्स के बजाय, आप समान वस्तुओं (जैसे बिजली या सरकारी बॉन्ड) के बंडलों पर बोली लगा रहे हैं जो बार-बार होने वाली नीलाми (auction) में होते हैं। आप ठीक से नहीं जानते कि आपके प्रतिद्वंद्वी क्या सोच रहे हैं, और खेल कैसे चलाया जा रहा है, इसके आधार पर नियम थोड़े बदल जाते हैं।

यह पेपर एक नए "सुपर-प्लेयर" को पेश करता है जिसे A3M (Adaptive, Adversarial, and Multi-Objective) कहा जाता है। A3M को केवल एक बोली लगाने वाले के रूप में नहीं, बल्कि एक स्मार्ट, लचीले कोच के रूप में सोचें जो वास्तविक समय में जीतने के लिए सीखता है, भले ही अन्य खिलाड़ी चालाक हों या नियम जटिल हों।

A3M कैसे काम करता है, इसे तीन सरल सुपरपावर्स में विभाजित किया गया है:

1. अनुकूलन करने वाला कोच (Adaptive Learning)

पुराना तरीका: कल्पना कीजिए कि एक छात्र कड़ी मेहनत करता है (मान लीजिए, एक सप्ताह तक), सब कुछ याद कर लेता है, और फिर बिना दोबारा देखे परीक्षा देता है। यदि परीक्षा थोड़ी बदल जाती है, तो वह असफल हो जाता है। पुराने बोली लगाने वाले एल्गोरिदम इसी तरह काम करते थे: उनका एक कठोर "एक्सप्लोर फिर एक्सप्लोइट" (खोजो फिर उपयोग करो) शेड्यूल था।

A3M का तरीका: A3M एक शतरंज के ग्रैंडमास्टर की तरह है जो सोचना कभी बंद नहीं करता। यह एक "डीप रिइन्फोर्समेंट लर्निंग" मस्तिष्क (एक प्रकार का AI) का उपयोग करता है जो लगातार दो चीजों के बीच संतुलन बनाता है:

एक्सप्लोरिंग (Exploring): यह देखने के लिए नए दांव आज़माना कि क्या होता है (जैसे शतरंज में एक नई चाल का परीक्षण करना)।
एक्सप्लोइटिंग (Exploiting): पैसा जीतने के लिए उस जानकारी का उपयोग करना जो वह पहले से जानता है।
एक कठोर शेड्यूल के बजाय, A3M अपनी रणनीति को मौके पर ही बदलता है। यदि खेल आसान हो जाता है, तो वह अनुमान लगाना बंद कर देता है और जीतना शुरू कर देता है। यदि खेल कठिन हो जाता है, तो वह फिर से प्रयोग करना शुरू कर देता है।

2. मन पढ़ने वाला (Adversarial Reasoning)

समस्या: कई नीलामियों में, आपके प्रतिद्वंद्वी रैंडम नहीं होते; वे रणनीतिक होते हैं। वे आपको धोखा देने के लिए अपनी तकनीक बदल सकते हैं। पुराने एल्गोरिदम यह मानकर चलते थे कि प्रतिद्वंद्वी एक टूटी हुई घड़ी की तरह हैं—अनुमानित और अपरिवर्तनीय।

A3M का समाधान: A3M के पास एक अंतर्निहित "मन पढ़ने वाला" (प्रतिद्वंद्वी मॉडल) है। यह अन्य बोली लगाने वालों को देखता है और उनकी रणनीति का एक मानसिक प्रोफाइल बनाता है।

यदि कोई प्रतिद्वंद्वी अचानक अपनी बोली लगाने की शैली बदल देता है, तो A3M इसे तुरंत नोटिस कर लेता है।
यह केवल उनके अतीत के औसत व्यवहार पर प्रतिक्रिया नहीं देता; यह उनके वर्तमान मूड (रणनीति) के आधार पर उनके अगले कदम की भविष्यवाणी करने की कोशिश करता है।
उपमा: यदि आप एक ऐसे दोस्त के खिलाफ पोकर खेल रहे हैं जो आमतौर पर ब्लफ (धोखा) करता है, लेकिन अचानक बहुत संभलकर खेलने लगता है, तो एक सामान्य खिलाड़ी ब्लफ करता रहता है और हार जाता है। A3M इस बदलाव को नोटिस करता है, अपने दोस्त का "माइंड मैप" अपडेट करता है, और जीतने के लिए अपनी रणनीति बदल देता है।

3. संतुलित निर्णायक (Multi-Objective Reward)

समस्या: अधिकांश बोली लगाने वाले बॉट्स केवल एक ही चीज़ की परवाह करते हैं: अपना लाभ अधिकतम करना। उन्हें इस बात की परवाह नहीं होती कि नीलामी करने वाला (विक्रेता) पैसा कमा रहा है या खेल निष्पक्ष महसूस हो रहा है।

A3M का समाधान: A3M को एक बहु-आयामी स्कोरकार्ड के साथ प्रोग्राम किया गया है। यह जीतने की कोशिश करता है, लेकिन यह निम्नलिखित की भी परवाह करता है:

उपयोगिता (Utility): यह (स्वयं) कितना पैसा कमाता है।
राजस्व (Revenue): विक्रेता कितना पैसा कमाता है।
निष्पक्षता (Fairness): यह सुनिश्चित करना कि भुगतान की गई कीमतें उचित और सुसंगत हैं।
उपमा: कल्पना कीजिए कि एक रेफरी चाहता है कि खेल रोमांचक हो (खिलाड़ी के लिए लाभदायक), लेकिन वह यह भी चाहता है कि स्टेडियम पैसा कमाए (राजस्व) और खिलाड़ियों के साथ निष्पक्ष व्यवहार किया जाए। A3M को एक लक्ष्य की ओर अधिक झुकने के लिए ट्यून किया जा सकता है। उदाहरण के लिए, आप इसे कह सकते हैं, "जितना हो सके उतना जीतें, लेकिन विक्रेता को बहुत अधिक पैसा खोने न दें।"

उन्होंने क्या पाया?

लेखकों ने दो प्रकार की नीलामियों में पुराने, कठोर एल्गोरिदम के मुकाबले A3M का परीक्षण किया:

डिस्क्रिमिनेटरी ऑक्शन्स (Discriminatory Auctions): जहाँ आप प्रत्येक वस्तु के लिए उतनी ही राशि चुकाते हैं जितनी आपने बोली लगाई थी।
यूनिफॉर्म प्राइस ऑक्शन्स (Uniform Price Auctions): जहाँ जीतने वाले सभी लोग एक ही कीमत चुकाते हैं (सबसे कम जीतने वाली बोली)।

परिणाम:

कम पछतावा (Less Regret): नीलामियों की दुनिया में, "पछतावा" वह पैसा है जो आप कमा सकते थे यदि आपने पूरी तरह से खेला होता। A3M ने मौजूदा सर्वोत्तम तरीकों की तुलना में इस "छूटे हुए पैसे" को 30-40% तक कम कर दिया।
बदलाव में बेहतर: जब प्रतिद्वंद्वियों ने अपनी रणनीतियाँ बदलीं (non-stationary), तो A3M ने तेजी से अनुकूलन किया। पुराने एल्गोरिदम भ्रमित हो गए और लगातार पैसा हारते रहे।
बड़े समूहों को संभालना: जैसे-जैसे बोली लगाने वाली वस्तुओं की संख्या (K) बढ़ी, A3M अच्छा प्रदर्शन करता रहा, जबकि पुराने एल्गोरिदम संघर्ष करते रहे और बहुत धीमे हो गए।
लचीलापन: टीम ने दिखाया कि वे विक्रेता को अधिक पैसा कमाने में मदद करने के लिए अपने स्वयं के लाभ का थोड़ा त्याग कर सकते हैं, जो कि पुराने बॉट्स नहीं कर सकते थे।

निचोड़

यह पेपर तर्क देता है कि बोली लगाने का पुराना तरीका (कठोर शेड्यूल और एकतरफा लाभ) अब पुराना हो चुका है। A3M एक नया ढांचा है जो मौके पर सीखने, प्रतिद्वंद्वी का मन पढ़ने और कई लक्ष्यों को संतुलित करने को जोड़ता है। यह एक अनुभवी, अनुकूलन योग्य रणनीतिकार की तरह कार्य करता है जो अधिक बार जीतता है, कम नुकसान झेलता है, और एक निष्पक्ष खेल खेलता है, चाहे नीलामी सरल हो या अराजक।

तकनीकी सारांश: A3M – रणनीतिक बोली लगाने के लिए अनुकूलनशील, प्रतिकूल और बहु-उद्देश्यीय शिक्षण (Adaptive, Adversarial and Multi-Objective Learning)

1. समस्या की परिभाषा

यह शोध पत्र बार-बार होने वाली मल्टी-यूनिट नीलामियों (विशेष रूप से यूनिफॉर्म-प्राइस और डिस्क्रिमिनेटरी-प्राइस प्रारूपों) में बैंडिट फीडबैक (bandit feedback) के तहत बोली लगाने के सीखने की चुनौती को संबोधित करता है। इस सेटिंग में, एक बोलीदाता $K$ समान वस्तुओं को प्राप्त करने के लिए नीलामियों के एक क्रम में भाग लेता है। प्रत्येक दौर $t$ पर, बोलीदाता एक बिड वेक्टर $b_t$ सबमिट करता है लेकिन केवल आंशिक फीडबैक देखता है: आवंटन $x_t$ (कौन सी वस्तुएं जीती गईं) और प्राइस वेक्टर $p_t$ । बोलीदाता विरोधियों की बोलियों को सीधे नहीं देख पाता है।

प्रदर्शन मीट्रिक रिग्रेट (regret) है, जिसे सर्वोत्तम स्थिर बोली (best fixed bid) और लर्निंग एल्गोरिदम द्वारा प्राप्त संचयी उपयोगिता (cumulative utility) के बीच के अंतर के रूप में परिभाषित किया गया है। यह शोध पत्र मौजूदा दृष्टिकोणों की तीन विशिष्ट सीमाओं को रेखांकित करता है:

कठोर शेड्यूल्स (Rigid Schedules): अधिकांश विधियाँ निश्चित "एक्सप्लोर-देन-एक्सप्लॉइट" (explore-then-exploit) चरणों पर निर्भर करती हैं, जिनमें गतिशील अनुकूलन क्षमता का अभाव होता है।
स्थिर धारणाएं (Stationary Assumptions): कई एल्गोरिदम स्थिर विरोधियों को मान लेते हैं, जिससे वे गैर-स्थिर या रणनीतिक विरोधियों को संभालने में विफल रहते हैं।
एकल-उद्देश्यीय अनुकूलन (Single-Objective Optimization): मौजूदा विधियाँ आमतौर पर केवल बोलीदाता की उपयोगिता को अनुकूलित करती हैं, और नीलामाकार (auctioneer) के राजस्व और निष्पक्षता जैसे व्यापक तंत्र डिजाइन लक्ष्यों की अनदेखी करती हैं।

2. कार्यप्रणाली: A3M फ्रेमवर्क

लेखक A3M (अनुकूलनशील, प्रतिकूल और बहु-उद्देश्यीय) का प्रस्ताव करते हैं, जो एक एकीकृत डीप रीइन्फोर्समेंट लर्निंग (DRL) आर्किटेक्चर में तीन मुख्य घटकों को एकीकृत करके पारंपरिक "अनुमान-फिर-प्रतिबद्धता" (estimate-then-commit) दृष्टिकोणों से अलग हटता है।

2.1 संरचित नीति प्रतिनिधित्व (Structured Policy Representation)

एक कच्चे $K$ -आयामी बिड वेक्टर आउटपुट करने के बजाय, A3M एक संरचित नीति $\pi_\theta$ का उपयोग करता है।

एक्टर नेटवर्क (Actor Network): एक संकुचित स्टेट $s_t$ (जो बोलियों, आवंटन और भुगतान के इतिहास को एनकोड करता है) को लेता है और पैरामीटर्स $\psi_t$ आउटपुट करता है।
बिडिंग फंक्शन (Bidding Function): एक पैरामेट्रिक फंक्शन $\phi(k; \psi_t)$ आइटम $k$ के लिए बोली उत्पन्न करता है। यह संरचना इंडक्टिव बायस (inductive biases), जैसे कि मोनोटोनिसिटी ( $b_k \geq b_{k+1}$ ), को लागू करती है और व्याख्यात्मकता (interpretability) में सुधार करती है।

2.2 एक्टर-क्रिटिक DRL के माध्यम से अनुकूलनशील शिक्षण

A3M नीति को ऑनलाइन अनुकूलित करने के लिए एक एक्टर-क्रिटिक (Actor-Critic) एल्गोरिदम का उपयोग करता है।

क्रिटिक (Critic): वर्तमान नीति और प्रतिद्वंद्वी मॉडल के तहत स्टेट-वैल्यू फंक्शन $V_\xi(s)$ का अनुमान लगाता है ताकि स्टेट की गुणवत्ता का मूल्यांकन किया जा सके।
एक्टर (Actor): एडवांटेज फंक्शन $A_t = R_t + \gamma V_\xi(s_{t+1}) - V_\xi(s_t)$ के आधार पर पॉलिसी ग्रेडिएंट्स का उपयोग करके पैरामीटर्स $\theta$ को अपडेट करता है।
अनुकूलनशीलता (Adaptivity): निश्चित शेड्यूल्स के विपरीत, RL बैकबोन सीखे गए वैल्यू फंक्शन के आधार पर एक्सप्लोरेशन और एक्सप्लोइटेशन के बीच गतिशील रूप से संतुलन बनाता है, जिससे एजेंट बिना किसी पूर्व-निर्धारित एक्सप्लोरेशन क्षितिज $T_{expl}$ के शासन परिवर्तन (regime shifts) के अनुकूल हो सकता है।

2.3 स्पष्ट प्रतिकूल तर्क (Explicit Adversarial Reasoning - Opponent Modeling)

गैर-स्थिर विरोधियों को संभालने के लिए, A3M एक स्पष्ट प्रतिद्वंद्वी मॉडल (opponent model) बनाए रखता है।

नीलामी को लर्नर और विरोधियों की एक जनसंख्या के बीच एक खेल के रूप में मॉडल किया गया है, जो वितरण $P_\phi(\beta|z_t)$ द्वारा अभिलक्षित है, जहाँ $z_t$ वर्तमान "जनसंख्या रणनीति" को दर्शाने वाला एक लेटेंट स्टेट है।
मॉडल देखे गए फीडबैक (पूर्ण या आंशिक) के आधार पर $z_t$ को अपडेट करता है।
लर्नर केवल ऐतिहासिक औसत के बजाय, वर्तमान अनुमानित प्रतिद्वंद्वी मॉडल के प्रति सर्वश्रेष्ठ प्रतिक्रिया (best response) (फिक्टिटियस प्ले) के विरुद्ध अपनी नीति को अनुकूलित करता है। यह रणनीतिक बदलावों के प्रति तीव्र अनुकूलन को सक्षम बनाता है।

2.4 बहु-उद्देश्यीय रिवॉर्ड डिज़ाइन

A3M मानक उपयोगिता उद्देश्य को एक मिश्रित रिवॉर्ड फंक्शन $R(b, \beta; \lambda)$ से बदल देता है:
$R = \lambda_u \cdot u(b, \beta) + \lambda_r \cdot \text{Rev}(b, \beta) - \lambda_f \cdot L_{\text{fair}}(b, \beta)$

उपयोगिता ( $u$ ): मानक बोलीदाता उपयोगिता।
राजस्व ( $\text{Rev}$ ): नीलामाकार के राजस्व (या लर्नर के योगदान) का अनुमान।
निष्पक्षता दंड ( $L_{\text{fair}}$ ): वांछित गुणों (जैसे डिस्क्रिमिनेटरी ऑक्शन में कीमतों का विचरण, या यूनिफॉर्म ऑक्शन में वास्तविक मार्जिनल वैल्यू से दूर की बोलियां) से विचलन को दंडित करता है।
वेट $\lambda$ इन उद्देश्यों के बीच ट्यूनेबल ट्रेड-ऑफ की अनुमति देते हैं।

3. सैद्धांतिक योगदान

शोध पत्र वर्स्ट-केस (worst-case) और इंस्टेंस-डिपेंडेंट (instance-dependent) सेटिंग्स में रिग्रेट बाउंड्स के संबंध में सैद्धांतिक विश्लेषण प्रदान करता है:

वर्स्ट-केस बाउंड्स: यह स्थापित करता है कि यूनिफॉर्म और डिस्क्रिमिनेटरी दोनों नीलामी पूर्ण सूचना (full information) के तहत $\tilde{\Theta}(\sqrt{T})$ और बैंडिट फीडबैक के तहत $\tilde{\Theta}(T^{2/3})$ के टाइट वर्स्ट-केस रिग्रेट रेट प्रदान करती हैं।
लोअर बाउंड्स: लेखक बैंडिट फीडबैक के तहत यूनिफॉर्म-प्राइस ऑक्शन के लिए पहले मिलान योग्य लोअर बाउंड $\Omega(T^{2/3})$ प्रदान करते हैं, जो वर्स्ट-केस रिग्रेट स्केलिंग के लक्षण वर्णन को पूरा करता है।
इंस्टेंस-डिपेंडेंट सेपरेशन: शोध पत्र उन इंस्टेंस परिवारों की पहचान करता है जहाँ दोनों तंत्र भिन्न होते हैं:
- यूनिट डिमांड: यूनिफॉर्म ऑक्शन शून्य रिग्रेट (सत्यनिष्ठ) प्राप्त कर सकते हैं, जबकि डिस्क्रिमिनेटरी ऑक्शन $\Omega(T^{2/3})$ पर रहते हैं।
- $\Delta$ -सेपरेटेड डिस्ट्रीब्यूशन: जब प्रतिद्वंद्वी बोली वितरण अच्छी तरह से अलग होते हैं, तो यूनिफॉर्म ऑक्शन $\sqrt{T}$ रिग्रेट प्राप्त कर सकते हैं, जबकि डिस्क्रिमिनेटरी ऑक्शन $\Omega(T^{2/3})$ पर रहते हैं।
- I.I.D. एडवर्सरीज: I.I.D. विरोधियों के साथ यूनिफॉर्म ऑक्शन में, समृद्ध फीडबैक संरचना $\tilde{O}(\sqrt{T})$ रिग्रेट की अनुमति देती है, जबकि डिस्क्रिमिनेटरी ऑक्शन $\Omega(T^{2/3})$ पर रहते हैं।

4. अनुभवजन्य परिणाम (Empirical Results)

स्टोकेस्टिक, गैर-स्थिर और संरचित वातावरण ( $K$ यूनिट्स, $T$ राउंड्स) में व्यापक प्रयोग किए गए।

रिग्रेट में कमी: मानक स्टोकेस्टिक सेटिंग्स में, A3M स्थापित बेसलाइन्स (जैसे, एस्टीमेट-देन-कमिट) की तुलना में अंतिम रिग्रेट को 30–40% कम कर देता है।
- यूनिफॉर्म ऑक्शन: A3M ने $3.85 \times 10^3$ बेसलाइन के मुकाबले $2.41 \times 10^3$ रिग्रेट प्राप्त किया।
- डिस्क्रीमिनरी ऑक्शन: A3M ने पूर्व बेसलाइन्स के $4.27 \times 10^3$ के मुकाबले $2.89 \times 10^3$ रिग्रेट प्राप्त किया।
गैर-स्थिरता के प्रति मजबूती: उन विरोधियों के खिलाफ जो हर 1000 राउंड में अपनी रणनीति बदलते हैं, A3M ने गैर-अनुकूलनशील बेसलाइन्स ( $5.12 \times 10^3$ ) की तुलना में काफी कम रिग्रेट ( $3.02 \times 10^3$ ) बनाए रखा, जो प्रतिद्वंद्वी मॉडलिंग मॉड्यूल की प्रभावकारिता को प्रदर्शित करता है।
स्केलेबिलिटी: A3M यूनिट्स की संख्या $K$ के साथ बेहतर ढंग से स्केल करता है। जबकि बेसलाइन का रिग्रेट तेजी से बढ़ता है (जो $\tilde{O}(K^{5/3}T^{2/3})$ के अनुरूप है), A3M की संरचित नीति $K$ बढ़ने पर भी बेहतर प्रदर्शन बनाए रखती है।
बहु-उद्देश्यीय ट्रेड-ऑफ: $\lambda_r$ को ट्यून करके, A3M उच्च बोलीदाता उपयोगिता बनाए रखते हुए नीलामाकार राजस्व हानि को ~14% सफलतापूर्वक कम करता है, जो कि एकल-उद्देश्यीय बेसलाइन्स में अनुपस्थित क्षमता है।
इंस्टेंस एडैप्टेशन: $\Delta$ -सेपरेटेड डिस्ट्रीब्यूशन पर, A3M ने फिक्स्ड-शेड्यूल एल्गोरिदम की तुलना में कम रिग्रेट प्राप्त करने के लिए संरचना का लाभ उठाया, विशेष रूप से जब $\Delta > 0$ था।

5. महत्व और दावे

शोध पत्र दावा करता है कि A3M बार-बार होने वाली नीलामियों में सीखने के लिए एक नया स्टेट-ऑफ-द-आर्ट अडैप्टिव बेसलाइन स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

पैराडाइम शिफ्ट: "अनुमान-फिर-प्रतिबद्धता" के कठोर शेड्यूल्स से हटकर एक एकीकृत, अनुकूलनशील DRL फ्रेमवर्क की ओर बढ़ना।
रणनीतिक मजबूती: यह प्रदर्शित करना कि गैर-स्थिर और रणनीतिक विरोधियों को संभालने के लिए स्पष्ट प्रतिद्वंद्वी मॉडलिंग महत्वपूर्ण है, जो स्थिर i.i.d. व्यवहार मानने वाले तरीकों से बेहतर प्रदर्शन करता है।
मैकेनिज्म-अवेयर ऑप्टिमाइजेशन: यह सिद्ध करना कि रिवॉर्ड फंक्शन में तंत्र डिजाइन लक्ष्यों (राजस्व, निष्पक्षता) को एकीकृत करने से लचीला, ट्यूनेबल ट्रेड-ऑफ मिलता है जो शुद्ध उपयोगिता मैक्सिमाइजेशन प्राप्त नहीं कर सकता।
व्यापक सत्यापन: दोनों नीलामी प्रारूपों में इन घटकों के विस्तृत मूल्यांकन के माध्यम से दोनों का व्यापक मूल्यांकन प्रदान करना, जो यह पुष्टि करने के लिए व्यापक एब्लेशन अध्ययन (ablation studies) द्वारा समर्थित है कि अनुकूलनशील शिक्षण (AL), प्रतिकूल तर्क (AR), और बहु-उद्देश्यीय (MO) मॉड्यूल सभी इष्टतम प्रदर्शन के लिए आवश्यक हैं।

लेखक निष्कर्ष निकालते हैं कि A3M जटिल नीलामी वातावरण में सीखने के लिए एक शक्तिशाली और लचीला फ्रेमवर्क है, जो व्यापक आर्थिक उद्देश्यों के साथ संरेखित होते हुए स्टोकेस्टिक और प्रतिकूल दोनों डायनेमिक्स के अनुकूल होने में सक्षम है।