LBM: Hierarchical Large Auto-Bidding Model via Reasoning and Acting
यह शोध पत्र LBM का प्रस्ताव करता है, जो एक पदानुक्रमित विशाल ऑटो-बिडिंग मॉडल है जो एक रीजनिंग-आधारित LLM-Think मॉड्यूल को एक एक्शन-जेनरेटिंग LBM-Act मॉड्यूल के साथ एकीकृत करता है, और गतिशील विज्ञापन नीलामी में मतिभ्रम (hallucinations) को दूर करने और बिडिंग प्रदर्शन में सुधार करने के लिए एक डुअल एम्बेडिंग तंत्र और ऑफलाइन रीइन्फोर्समेंट फाइन-ट्यूनिंग (GQPO) का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, उच्च-दांव वाले नींबू पानी के स्टाल का संचालन कर रहे हैं, जहाँ एक शहर में हर दिन लाखों लोग गुजरते हैं। आपके पास नींबू और चीनी के लिए एक सीमित बजट है, और आप अपने खर्च करने की क्षमता से अधिक खर्च किए बिना अधिक से अधिक कप बेचना चाहते हैं।
अतीत में, आपने भीड़ को देखने और हर कुछ मिनटों में अपनी कीमतें समायोजित करने के लिए एक मानव प्रबंधक को काम पर रखा था। लेकिन अब, शहर इतना बड़ा है और प्रतिस्पर्धा इतनी कड़ी है कि एक इंसान उतनी तेज़ी से प्रतिक्रिया नहीं दे सकता या सभी पैटर्न को देख नहीं सकता। इसलिए, आपने एक रोबोट मैनेजर बनाया।
वर्तमान रोबोट्स के साथ समस्या
आज हमारे पास जो रोबोट हैं (पुराने जमाने के "रीइन्फोर्समेंट लर्निंग" पर आधारित), वे उन छात्रों की तरह हैं जो केवल पिछले बिक्री के पाठ्यपुस्तक को याद करके सीखते हैं। वे पहले देखे गए पैटर्न का पालन करने में अच्छे हैं, लेकिन वे "ब्लैक बॉक्स" हैं। यदि कोई अजीब स्थिति आती है—जैसे अचानक बारिश या किसी सेलिब्रिटी का गुजरना—तो वे घबरा सकते हैं और एक मूर्खतापूर्ण निर्णय ले सकते हैं, जैसे कि कीमतें बढ़ा देना जब उन्हें कम करनी चाहिए थीं। वे यह समझते नहीं हैं कि वे जो कर रहे हैं वह क्यों कर रहे हैं; वे बस गणित के आधार पर अनुमान लगाते हैं।
नया समाधान: LBM (एक "सोचने वाला" और एक "करने वाला")
इस शोध पत्र के लेखक एक नए प्रकार के रोबोट मैनेजर का प्रस्ताव करते हैं जिसे LBM (लार्ज ऑटो-बिडिंग मॉडल) कहा जाता है। एक ही रोबोट द्वारा सब कुछ करने के बजाय, वे काम को दो अलग-अलग भूमिकाओं में विभाजित करते हैं, जैसे कि एक जनरल (सेनापति) और एक सोल्जर (सैनिक)।
1. द जनरल: LBM-Think (द रीजनर - तर्क करने वाला)
एक बुद्धिमान जनरल की कल्पना करें जो पूरे शहर के मानचित्र के साथ एक कमांड सेंटर में बैठा है।
- वे क्या करते हैं: वे नींबू को हाथ नहीं लगाते। इसके बजाय, वे इतिहास देखते हैं: "हमने कल बहुत अधिक पैसा खर्च किया," या "अभी भीड़ बहुत बड़ी है।"
- उनकी महाशक्ति: यह जनरल एक लार्ज लैंग्वेज मॉडल (LLM) द्वारा संचालित है। इसे एक सुपर-इंटेलिजेंट सलाहकार के रूप में सोचें जिसने लाखों बिजनेस बुक्स, समाचार लेख और रणनीति गाइड पढ़े हैं। वे साधारण अंग्रेजी में "सोच" सकते हैं।
- आउटपुट: जनरल एक छोटा मेमो (जिसे चेन-ऑफ-थॉट कहा जाता है) लिखता है, "हे, भीड़ कम हो रही है, और हमारे पास बजट भी काफी बचा है। हमें अधिक लोगों को आकर्षित करने के लिए अपनी कीमतें थोड़ी कम करनी चाहिए, लेकिन बहुत कम न जाएं वरना हम पैसा खो देंगे।"
- यह क्यों मायने रखता है: क्योंकि यह जनरल भाषा में तर्क कर सकता है, इसलिए वह संदर्भ को समझता है। वह जानता है कि "बारिश" का मतलब है "कम लोग", कुछ ऐसा जिसे एक शुद्ध गणित वाला रोबोट मिस कर सकता है।
2. द सोल्जर: LBM-Act (द डूअर - करने वाला)
अब, ज़मीन पर तैनात एक अत्यधिक प्रशिक्षित सैनिक की कल्पना करें, जिसने हाथ में कीमत का बोर्ड पकड़ा हुआ है।
- वे क्या करते हैं: वे जनरल का मेमो और सड़क से लाइव डेटा (कितने लोग गुजर रहे हैं, रजिस्टर में कितना पैसा बचा है) प्राप्त करते हैं।
- चुनौती: सैनिक को सटीक कीमत सेट करनी होती है (जैसे, $2.43, न कि केवल "सस्ता" या "महंगा")। यदि वे गणित में एक पैसे की भी गलती करते हैं, तो वे बिक्री खो सकते हैं।
- नवाचार: पेपर एक विशेष "डुअल एम्बेडिंग" तकनीक पेश करता है। कल्पना करें कि सैनिक के पास दो जोड़ी चश्मे हैं:
- एक जोड़ी जनरल के मेमो को पढ़ती है (भाषा)।
- दूसरी जोड़ी लाइव नंबरों को पढ़ती है (गणित)।
सैनिक दोनों चश्मे एक साथ पहनता है, जो टेक्स्ट के ज्ञान को संख्याओं की सटीकता के साथ जोड़ देता है ताकि एकदम सही कीमत तय की जा सके।
प्रशिक्षण: वे कैसे सीखते हैं?
आप इन रोबोट्स को अपने वास्तविक नींबू पानी के स्टाल पर प्रयोग करने के लिए नहीं छोड़ सकते; यदि वे गलती करते हैं, तो आप पैसा खो देंगे। इसलिए, लेखकों ने उन्हें एक विशेष तरीके से प्रशिक्षित किया:
- चरण 1 (लैंग्वेज गाइडेंस): उन्होंने सैनिक (LBM-Act) को जनरल की बात सुनना सिखाया। उन्होंने उन्हें हजारों उदाहरण दिखाए जहाँ जनरल ने सलाह दी थी, और सैनिक ने उस सलाह को सटीक कीमत में अनुवाद करना सीखा।
- चरण 2 (द "व्हाट इफ" गेम): यह चालाकी भरा हिस्सा है। उन्होंने GQPO नामक एक तकनीक का उपयोग किया। कल्पना करें कि जनरल को एक ही स्थिति के लिए तीन अलग-अलग मेमो लिखने के लिए कहा जाता है।
- मेमो A: "कीमतें बढ़ाएं।"
- मेमो B: "कीमतें घटाएं।"
- मेमो C: "कीमतें वैसी ही रखें।"
सिस्टम फिर सिम्युलेट करता है कि यदि सैनिक प्रत्येक मेमो का पालन करता है तो क्या होगा। यह प्रत्येक के लिए एक "स्कोर" की गणना करता है। यदि मेमो B से सबसे अधिक बिक्री होती है, तो सिस्टम जनरल को बताता है: "बहुत बढ़िया मेमो B! अगली बार भी ऐसा ही लिखें।"
यह जनरल को स्मार्ट बनाता है बिना वास्तविक दुनिया में वास्तविक पैसा जोखिम में डाले।
यह एक बड़ी बात क्यों है?
- कोई "ब्लैक बॉक्स" भ्रम नहीं: यदि रोबोट कोई अजीब चाल चलता है, तो आप जनरल से पूछ सकते हैं, "आपने ऐसा क्यों किया?" और वे आपको साधारण अंग्रेजी में समझाएंगे।
- अनजान स्थितियों में बेहतर: क्योंकि जनरल ने बहुत कुछ "पढ़ा" है (LLM की मदद से), वे उन रोबोट्स की तुलना में अजीब, नई स्थितियों को बेहतर ढंग से संभाल सकते हैं जो केवल पुराने डेटा को याद रखते थे।
- सटीकता: सैनिक यह सुनिश्चित करता है कि जनरल की "अस्पष्ट" सलाह को गणितीय रूप से पूर्ण कीमत में बदल दिया जाए।
संक्षेप में:
यह पेपर एक ऐसी टीम पेश करता है जहाँ एक स्मार्ट, तर्क करने वाला जनरल (जो बड़ी तस्वीर को समझता है और आपसे बात कर सकता है) एक सटीक, गणित-केंद्रित सैनिक (जो सटीक कदम उठाता है) का मार्गदर्शन करता है। उन्हें एक "सिमुलेशन" पद्धति का उपयोग करके एक साथ प्रशिक्षित करके, वे एक ऑटो-बिडिंग सिस्टम बनाते हैं जो पहले से मौजूद किसी भी चीज़ की तुलना में स्मार्ट, सुरक्षित और अधिक अनुकूलनीय है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।