AIGB-R1: Self-Evolving Generative Auto-Bidding via Hierarchical Planner-Executor Optimization
यह शोध पत्र AIGB-R1 को प्रस्तुत करता है, जो एक पदानुक्रमित स्व-विकसित ऑटो-बिडिंग फ्रेमवर्क है जो रणनीतिक तर्क, संख्यात्मक सटीकता और अनुभव-संचालित लूप के माध्यम से स्वायत्त अनुकूलन को बढ़ाने के लिए एक प्लानर-एक्सेक्यूटर आर्किटेक्चर वाले लार्ज लैंग्वेज मॉडल्स और एक नवीन डिकपल्ड ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (D-GRPO) एल्गोरिदम का लाभ उठाता है ताकि मौजूदा एआई-जनरेटेड बिडिंग विधियों की सीमाओं को दूर किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ हर बार जब आप अपने फोन पर स्क्रॉल करते हैं, तो एक शांत, हाई-स्पीड नीलाми (ऑक्शन) हो रही होती है। विज्ञापनदाता आपके ध्यान के लिए लड़ रहे हैं, आपको विज्ञापन दिखाने के लिए स्क्रीन पर डिजिटल पैसा फेंक रहे हैं। यह ऑनलाइन विज्ञापन का जंगली फ्रंटियर है, एक ऐसी जगह जहाँ अरबों अवसर पलक झपकते ही निकल जाते हैं। इन लड़ाइयों को जीतने के लिए, कंपनियां पहले मैन्युअल रूप से बोली (बिड्स) को बदलने के लिए इंसानों पर निर्भर रहती थीं, लेकिन वह स्पैगेटी से बनी जाल से चलती हुई गोली को पकड़ने की कोशिश करने जैसा था—यह बहुत धीमा और अव्यवस्थित था। इसलिए, उन्होंने कंप्यूटरों की ओर रुख किया। पहले "ऑटो-बिडिंग" आई, जहाँ एल्गोरिदम सबसे अच्छी डील पाने के लिए कीमतें स्वचालित रूप से समायोजित करते हैं। फिर "जेनरेटिव एआई" आया, जो पिछले ऑक्शन्स से सीखकर सही कदम का अनुमान लगाने की कोशिश करता है। लेकिन यहाँ एक पेंच है: ये एआई मॉडल उन छात्रों की तरह हैं जिन्होंने केवल एक ही पुराने टेक्स्टबुक से पढ़ाई की है। जब वास्तविक दुनिया बदलती है, तो वे भ्रमित हो जाते हैं, और वे अक्सर गणित में संघर्ष करते हैं, कभी-कभी "हैलुसिनेट" (संख्याएं बनाना) करते हैं जो समझ में नहीं आतीं।
यहाँ मुख्य आकर्षण है: लार्ज लैंग्वेज मॉडल्स (LLMs)। आप इन्हें उन चैटबॉट्स के रूप में जानते होंगे जो कविताएँ लिख सकते हैं या पहेलियाँ सुलझा सकते हैं। वे संदर्भ को समझने और आगे की योजना बनाने में अविश्वसनीय रूप से स्मार्ट हैं, लेकिन वे त्वरित, सटीक गणित करने में बहुत खराब हैं और वास्तविक समय के ऑक्शन्स के लिए बहुत धीमे हैं। वैज्ञानिक एक बड़ा सवाल पूछ रहे हैं: क्या हम एक स्मार्ट प्लानर की दिमागी शक्ति को एक तेज़ कैलकुलेटर की गति के साथ जोड़ सकते हैं ताकि इन डिजिटल ऑक्शन्स को जीता जा सके? यह बिल्कुल वही है जिसे हल करने के लिए शोधकर्ताओं की एक टीम ने हाथ में लिया है, जिसका लक्ष्य एक ऐसा एआई बनाना है जो केवल अनुमान न लगाए, बल्कि वास्तव में जीत के लिए "सोच" सके।
मस्तिष्क और मांसपेशी: AIGB-R1
शोधकर्ता एक नया सिस्टम प्रस्तावित करते हैं जिसे AIGB-R1 कहा जाता है। इसे एक हाई-स्टेक्स ट्रेडिंग टीम के रूप में सोचें जहाँ भूमिकाएँ पूरी तरह से विभाजित हैं। अतीत में, लोगों ने एक विशाल एआई का उपयोग सब कुछ करने के लिए करने की कोशिश की—सोचना, गणना करना और कार्य करना। लेकिन लेखक तर्क देते हैं कि यह एक बुरा विचार है क्योंकि एआई सटीक संख्याओं में खराब है और प्रतिक्रिया देने में धीमा है। इसके बजाय, AIGB-R1 एक पदानुक्रमित (hierarchical) दृष्टिकोण का उपयोग करता है, जो काम को दो अलग-अलग भागों में विभाजित करता है: एक प्लानर (Planner) और एक एक्सेक्यूटर (Executor)।
प्लानर "बड़ा दिमाग" है। यह एक शक्तिशाली लार्ज लैंग्वेज मॉडल है जो एक अनुभवी जनरल या शतरंज के ग्रैंडमास्टर की तरह कार्य करता है। ऑक्शन शुरू होने से पहले ही, यह जनरल विज्ञापनदाता के बजट, उनके लक्ष्यों और पिछले प्रदर्शन को देखता है। यह अगले सेकंड के सूक्ष्म विवरणों की चिंता नहीं करता; इसके बजाय, यह एक मैक्रो-लेवल रणनीति तैयार करता है। यह कह सकता है, "आज, हम आक्रामक होंगे और तेज़ी से खर्च करेंगे," या "हमें रूढ़िवादी होना होगा और अपने पैसे बचाने होंगे।" यह इस रणनीति को एक स्पष्ट, संरचित प्रॉम्प्ट के रूप में लिखता है।
एक्सेक्यूटर "मांसपेशी" है। यह एक हल्का, सुपर-फास्ट एआई मॉडल (विशेष रूप से एक प्रॉम्प्ट डिसीजन ट्रांसफॉर्मर) है जो वास्तविक बोली लगाता है। यह जनरल के रणनीति प्रॉम्प्ट को प्राप्त करता है और फिर तुरंत वर्तमान क्षण पर ध्यान केंद्रित करता है। यह ऑक्शन की वर्तमान स्थिति, शेष बजट और प्रतिस्पर्धा को देखता है, और तुरंत बोली लगाने के लिए सटीक संख्या की गणना करता है। क्योंकि एक्सेक्यूटर एक विशेष गणित मॉडल है, यह संख्याएं नहीं बनाता (हैलुसिनेट नहीं करता), और मिलीसेकंड में प्रतिक्रिया देता है। प्लानर "क्या" और "क्यों" देता है, और एक्सेक्यूटर "कैसे" और "कब" को संभालता है।
अनुभव से सीखना, न कि केवल किताबों से
यह पेपर इस सिस्टम के लिए एक चतुर तरीका भी पेश करता है जिससे यह समय के साथ स्मार्ट हो सके, जिसे वे सेल्फ-इवॉल्विंग लूप (स्वयं विकसित होने वाला चक्र) कहते हैं। अधिकांश एआई सिस्टम पुराने, स्थिर डेटा पर प्रशिक्षित होते हैं—जैसे दस साल पुरानी टेक्स्टबुक का उपयोग करके टेस्ट के लिए पढ़ाई करना। यदि बाजार बदलता है, तो एआई भ्रमित हो जाता है। हालाँकि, AIGB-R1 एक सिमुलेशन वातावरण बनाता है जिसे AuctionNetEnv कहा जाता है। एक वीडियो गेम की कल्पना करें जहाँ एआई हजारों अन्य बॉट्स के खिलाफ खेल सकता है, बार-बार विभिन्न रणनीतियों को आजमा सकता है।
यहीं पर यह वास्तव में दिलचस्प हो जाता है। सिस्टम केवल बेतरतीब ढंग से अनुमान नहीं लगाता है। यह अपने सबसे अच्छे पिछले मूव्स का एक मेमोरी बैंक रखता है। यदि कल एक निश्चित रणनीति ने अच्छा काम किया, तो प्लानर उसे याद रखता है और आज उसे और बेहतर बनाने की कोशिश करता है। यदि कोई रणनीति विफल रही, तो वह उस गलती से सीखता है। यह "सेल्फ-इवॉल्विंग" हिस्सा है: सिस्टम अपने संचित अनुभव से सीखता है, लगातार अपने दृष्टिकोण को बेहतर बनाने के लिए उसे ट्यून करता है ताकि सटीक बोली के करीब पहुँचा जा सके।
सीक्रेट सॉस: D-GRPO
इस सेटअप में सबसे बड़ी चुनौतियों में से एक यह पता लगाना है कि जब टीम जीतती या हारती है, तो श्रेय (या दोष) किसे मिलना चाहिए। क्या जनरल (प्लानर) ने गलत आदेश दिया, या क्या सैनिक (एक्सेक्यूटर) ने आदेश का पालन करने में विफलता दिखाई? इसे हल करने के लिए, लेखकों ने एक नया गणितीय तरीका बनाया जिसे डिकपल्ड ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (D-GRPO) कहा जाता है।
एक कोच की कल्पना करें जो रिले रेस देख रहा है। यदि टीम हार जाती है, तो कोच को जानने की आवश्यकता है कि पहला धावक धीमा था या दूसरे धावक ने बैटन गिरा दिया। D-GRPO एक सुपर-स्मार्ट कोच की तरह कार्य करता है जो प्लानर के प्रदर्शन को एक्सेक्यूटर से अलग कर सकता है। यह परिणामों को देखता है और कहता है, "रणनीति अच्छी थी, लेकिन निष्पादन (execution) गलत था," या "निष्पादन एकदम सही था, लेकिन रणनीति गलत थी।" इन दो संकेतों को अलग करके, सिस्टम दोनों हिस्सों को एक साथ प्रशिक्षित कर सकता है ताकि वे भ्रमित न हों, जिससे एक बहुत अधिक स्थिर और प्रभावी लर्निंग प्रक्रिया की ओर ले जाता है।
उन्हें क्या मिला
शोधकर्ताओं ने अलीबाबा के एक विशाल, वास्तविक दुनिया के डेटासेट पर AIGB-R1 का परीक्षण किया जिसमें लगभग 480,000 बिडिंग ट्राजेक्टरीज शामिल थीं। उन्होंने इसकी तुलना कई अन्य शीर्ष-स्तरीय एआई विधियों के साथ की, जिनमें रिइन्फोर्समेंट लर्निंग और अन्य जेनरेटिव मॉडल शामिल हैं।
परिणाम स्पष्ट थे: AIGB-R1 जीत गया। इसने लगातार अन्य सभी तरीकों को पछाड़ दिया, मानक और चुनौतीपूर्ण "स्पार्स" ऑक्शन परिदृश्यों दोनों में उच्चतम स्कोर प्राप्त किया। पेपर सुझाव देता है कि केवल एक लार्ज लैंग्वेज मॉडल का उपयोग निर्णय लेने वाले के रूप में करना पर्याप्त नहीं है क्योंकि इसकी गणितीय सीमाओं के कारण, लेकिन इसे एक रणनीतिक प्लानर के रूप में उपयोग करना और एक विशेष मॉडल को संख्याओं को संभालने देना, एक गेम-चेंजर है।
अध्ययन ने यह भी दिखाया कि उनके सिस्टम का प्रत्येक भाग आवश्यक था। जब उन्होंने "सेल्फ-इवॉल्विंग" प्रशिक्षण (एआई को अपने स्वयं के सिमुलेशन से सीखने देना) को हटा दिया, तो प्रदर्शन गिर गया। जब उन्होंने प्लानर को हटा दिया और केवल एक्सेक्यूटर को अनुमान लगाने दिया, तो यह और भी खराब प्रदर्शन कर गया। और जब उन्होंने प्लानर को फ्रीज कर दिया ताकि वह नए अनुभवों से सीख न सके, तो सिस्टम उतना अच्छा नहीं था जितना कि जब यह अनुकूलित हो सकता था। यह साबित करता है कि एक स्मार्ट प्लानर, एक तेज़ एक्सेक्यूटर, और अनुभव से सीखने वाले लूप का संयोजन ही ऑटो-बिडिंग के अगले स्तर को अनलॉक करने की कुंजी है।
संक्षेप में, AIGB-R1 बताता है कि स्वचालित विज्ञापन का भविष्य एक विशाल, सर्वज्ञ रोबोट बनाने के बारे में नहीं है। यह एक टीम बनाने के बारे में है: एक बुद्धिमान रणनीतिकार जो रास्ता तय करता है और एक फुर्तीला ड्राइवर जो कार चलाता है, दोनों हर मील का सफर तय करते हुए एक साथ सीखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।