Combining Tree-Search, Generative Models, and Nash Bargaining Concepts in Game-Theoretic Reinforcement Learning
यह शोध पत्र एक स्केलेबल, जेनेरिक मल्टीएजेंट प्रशिक्षण ढांचे को प्रस्तुत करता है जो डीप जेनरेटिव मॉडल्स (जेनरेटिव बेस्ट रिस्पॉन्स) के साथ मोंटे-कार्लो ट्री सर्च और नैश बारगेनिंग अवधारणाओं को जोड़ता है ताकि प्रतिद्वंद्वी मॉडलिंग और बारगेनिंग को स्वचालित किया जा सके, जिससे एजेंट डील-ऑर-नो-डील जैसे अपूर्ण सूचना वाले खेलों में मानव-स्तर का सामाजिक कल्याण और बातचीत स्कोर प्राप्त करने में सक्षम होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अराजक बाज़ार में कदम रख रहे हैं जहाँ हर कोई सौदा करने की कोशिश कर रहा है, लेकिन कोई नहीं जानता कि दूसरा व्यक्ति वास्तव में क्या चाहता है। कुछ लोग अपनी असली पसंद छिपा रहे हैं, और नियम बहुत जटिल हैं। यह इम्परफेक्ट इंफॉर्मेशन गेम्स (अपूर्ण सूचना वाले खेल) की दुनिया है, जैसे पोकर या जटिल बातचीत।
लंबे समय तक, शोधकर्ताओं ने इन बाजारों में खेलने के लिए "स्मार्ट" एजेंट बनाने की कोशिश की। लेकिन उन्हें दो बड़ी समस्याओं का सामना करना पड़ा:
- "हैंड-क्राफ्टिंग" की समस्या: एक एजेंट को स्मार्ट बनाने के लिए, इंसानों को अपने अनुभव के आधार पर विशिष्ट नियम लिखने पड़ते थे (जैसे, "यदि प्रतिद्वंद्वी घबराया हुआ दिखे, तो कम कीमत की पेशकश करें")। यह तब काम नहीं करता जब प्रतिद्वंद्वी अजीब हो या खेल पूरी तरह से नया हो।
- "ब्लाइंड सर्च" की समस्या: सबसे अच्छा कदम खोजने के लिए, एक एजेंट को भविष्य के सभी संभावित परिदृश्यों की कल्पना करने की आवश्यकता होती है। लेकिन छिपी हुई जानकारी वाले खेलों में, संभावनाओं की संख्या इतनी अधिक होती है (जैसे समुद्र तट पर रेत के हर कण को गिनने की कोशिश करना) कि सुपरकंप्यूटर भी फंस जाते हैं।
यह पेपर GenBR (जेनरेटिव बेस्ट रिस्पॉन्स) नामक एक नया, ऑल-इन-वन सिस्टम पेश करता है जो दोनों समस्याओं को हल करता है। यह कैसे काम करता है, इसके लिए कुछ सरल उपमाओं का उपयोग किया गया है।
1. "इमेजिनेशन इंजन" (जेनरेटिव मॉडल्स)
कल्पना कीजिए कि आप एक कार्ड गेम खेल रहे हैं जहाँ आप अपने प्रतिद्वंद्वी के हाथ नहीं देख सकते। एक अच्छा कदम उठाने के लिए, आपको अंदाजा लगाना होगा कि उनके पास कौन से कार्ड हो सकते हैं।
- पुराना तरीका: आप हर एक कार्ड कॉम्बिनेशन की सटीक संभावना की गणना करने की कोशिश करते हैं। यह समुद्र तट पर रेत के हर कण के लिए गणितीय समीकरण हल करने जैसा है। यह बहुत धीमा है और अक्सर असंभव होता है।
- नया तरीका (GenBR): गणित करने के बजाय, AI के पास एक "ड्रीम मशीन" (एक जेनरेटिव मॉडल) है। जब सोचने का समय आता है, तो AI अपनी ड्रीम मशीन से पूछता है: "हे, अब तक मैंने जो देखा है, उसके आधार पर, मेरे प्रतिद्वंद्वी के पास क्या होने की संभावना है?"
- ड्रीम मशीन तुरंत कुछ यथार्थवादी परिदृश्य कल्पना करती है (जैसे, "शायद उनके पास इक्का (Ace of Spades) है," या "शायद वे ब्लफ कर रहे हैं")। AI इन कल्पित परिदृश्यों के आधार पर अपने कदम की योजना बनाता है। यह एक शतरंज खिलाड़ी की तरह है जो हर चाल की गणना नहीं करता, बल्कि कुछ मजबूत संभावनाओं की कल्पना करता है और वहीं से खेलता है।
2. "मेंटल सिम्युलेटर" (सर्च + रीइन्फोर्समेंट लर्निंग)
एक बार जब AI ने कुछ परिदृश्यों की कल्पना कर ली, तो उसे सबसे अच्छा कदम तय करने की आवश्यकता होती है।
- इसे एक सुपर-कोच के रूप में सोचें। AI अपने दिमाग में एक मानसिक सिमुलेशन (सर्च) चलाता है, जहाँ वह "कल्पित" विरोधियों के खिलाफ अलग-अलग चालें चलते हुए खेल को हजारों बार दोहराता है।
- वह इन सिमुलेशन से ठीक वैसे ही सीखता है जैसे एक इंसान अभ्यास के खेल खेलकर सीखता है। समय के साथ, वह बेहतर होता जाता है कि किस प्रकार के विरोधियों के खिलाफ कौन सी चालें सबसे अच्छा काम करती हैं।
3. "इवोल्यूशनरी डोजो" (PSRO)
AI सही परिदृश्यों की कल्पना करना और सही कदम खेलना कैसे सीखता है?
- शोधकर्ताओं ने AI को एक मानसिक डोजो (जिसे PSRO कहा जाता है) में रखा।
- इस डोजो में, AI अपने ही विभिन्न संस्करणों की एक भीड़ के खिलाफ लड़ता है।
- कुछ संस्करण आक्रामक हैं।
- कुछ सहयोगी हैं।
- कुछ चालाक हैं।
- AI अनुकूलित होना सीखता है। यदि वह एक आक्रामक प्रतिद्वंद्वी के खिलाफ लड़ता है, तो वह रक्षात्मक होना सीखता है। यदि वह एक सहयोगी के खिलाफ लड़ता है, तो वह मिलनसार होना सीखता है।
- महत्वपूर्ण बात यह है कि AI केवल एक प्रतिद्वंद्वी को हराना नहीं सीखता; वह यह समझने के लिए एक मानसिक लाइब्रेरी बनाता है कि विभिन्न प्रकार के लोग कैसे व्यवहार करते हैं। यह उसे तुरंत पहचानने की अनुमति देता है: "आह, यह इंसान उसी 'आक्रामक' प्रतिद्वंद्वी की तरह व्यवहार कर रहा है जिससे मैं कल लड़ा था। मुझे पता है कि उन्हें कैसे संभालना है!"
4. "फेयर नेगोशिएटर" (बार्गेनिंग थ्योरी)
इस पेपर ने "डील और नो डील" नामक एक खेल में इस सिस्टम का परीक्षण किया, जहाँ दो लोग वस्तुओं के ढेर (जैसे किताबें, टोपियाँ और बास्केटबॉल) को बांटने की कोशिश करते हैं जिन्हें वे दोनों चाहते हैं लेकिन अलग-अलग महत्व देते हैं।
- लक्ष्य केवल जीतना नहीं था; बल्कि एक ऐसा सौदा ढूंढना था जो दोनों लोगों को खुश करे (सोशल वेलफेयर)।
- शोधकर्ताओं ने AI को नैश बार्गेनिंग (Nash Bargaining) नामक एक अवधारणा सिखाई। इसे बातचीत का "स्वर्ण नियम" समझें: एक ऐसा सौदा खोजें जहाँ किसी भी व्यक्ति को लगे कि उसके साथ अन्याय हुआ है, और कुल खुशी अधिकतम हो।
- AI ने बिना किसी विशिष्ट नियम के निष्पक्षता की जटिल गणित को स्वचालित रूप से समझना सीख लिया।
परिणाम: इंसानों को उनके ही खेल में हराना
शोधकर्ताओं ने इस AI एजेंट का वास्तविक मनुष्यों के साथ परीक्षण किया।
- परिणाम: AI एजेंट मनुष्यों द्वारा अन्य मनुष्यों के साथ की जाने वाली बातचीत के समान ही कुशल थे।
- आश्चर्य: "फेयर" (निष्पक्ष) AI एजेंट ने न केवल जीत हासिल की; बल्कि उसने ऐसे सौदे बनाए जहाँ मानव और AI दोनों खुश होकर निकले। इसने "सोशल वेलफेयर" (कुल खुशी) के मामले में दो मनुष्यों के बीच होने वाली बातचीत के समान स्तर प्राप्त किया।
- यह क्यों मायने रखता है: यह साबित करता है कि AI मानवीय मनोविज्ञान को समझ सकता है और बिना किसी नियम पुस्तिका के निष्पक्ष रूप से बातचीत कर सकता है। यह करके, कल्पना करके और अनुकूलित होकर सीखता है।
सारांश
संक्षेप में, इस पेपर ने एक ऐसा AI बनाया जिसने:
- छिपी हुई जानकारी को संभालने के लिए संभावित परिदृश्यों को सपना (Dream) देखा (असंभव गणित करने के बजाय)।
- अनुकूलित होना सीखने के लिए विभिन्न विरोधियों की भीड़ के खिलाफ अभ्यास किया।
- निष्पक्ष बातचीत की कला को स्वचालित रूप से सीखा।
यह एक रोबोट को पोकर खेलने या व्यावसायिक सौदा करने के लिए नियम पुस्तिका देने के बजाय, उसे लाखों खेल खेलने, भविष्य की कल्पना करने और अपनी गलतियों से सीखने देकर मास्टर बनाने जैसा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।