SocialGrid: A Benchmark for Planning and Social Reasoning in Embodied Multi-Agent Systems
यह शोध पत्र सोशलग्रिड (SocialGrid) को प्रस्तुत करता है, जो 'अमंग अस' (Among Us) से प्रेरित एक एम्बोडीड मल्टी-एजेंट बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान बड़े भाषा मॉडल योजना (planning) और सामाजिक तर्क (social reasoning) दोनों कार्यों में, विशेष रूप से धोखे का पता लगाने में, काफी संघर्ष करते हैं, जबकि यह इन विशिष्ट विफलताओं को अलग करने और निदान करने के लिए प्लानिंग ओरैकल (Planning Oracle) और स्वचालित मेट्रिक्स जैसे उपकरण भी प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अविश्वसनीय रूप से बुद्धिमान रोबोटों की एक टीम बनाई है, जिनमें से प्रत्येक का मस्तिष्क दुनिया के सबसे प्रसिद्ध AI चैटबॉट्स जितना उन्नत है। आप उन्हें कहते हैं, "जाओ और एक डिजिटल भूलभुलैया (maze) में 'Among Us' का खेल खेलो। आप में से कुछ अच्छे लोग (Crewmates) हैं जिन्हें पाइप और तार ठीक करने की आवश्यकता है। कुछ बुरे लोग (Impostors) हैं जिन्हें जहाज में तोड़फोड़ करनी है और छिपना है।"
आप उम्मीद करते हैं कि ये सुपर-स्मार्ट रोबोट दो चीजों में माहिर होंगे:
- नेविगेशन (Navigation): भूलभुलैया में चलना, दरवाजे खोलना और उन पाइपों को खोजना जिन्हें ठीक करने की आवश्यकता है।
- सोशल डीडक्शन (Social Deduction): यह पता लगाना कि झूठ बोलने वाला कौन है, यह देखकर कि बाकी सब कैसे चल रहे हैं।
पेश है "SocialGrid"।
इस पेपर के पीछे के शोधकर्ताओं ने एक विशेष परीक्षण स्थल बनाया जिसे SocialGrid कहा जाता है, ताकि यह देखा जा सके कि क्या ये AI एजेंट इसे वास्तव में कर सकते हैं। SocialGrid को केवल एक खेल के रूप में नहीं, बल्कि AI के भविष्य के लिए एक "स्ट्रेस टेस्ट" के रूप में समझें। यह एक ड्राइविंग टेस्ट की तरह है जहाँ कार को एक व्यस्त शहर में नेविगेट भी करना है और साथ ही यह भी पता लगाना है कि यात्री जासूस है या नहीं, वह भी तब जब कार का GPS बंद हो।
यहाँ उन्होंने क्या पाया, सरल शब्दों में:
1. "मॉल में खो जाने" की समस्या (नेविगेशन टूटा हुआ है)
यहाँ तक कि सबसे स्मार्ट AI मॉडल (जैसे कि विशाल 120-बिलियन-पैरामीटर वाले) भी बुरी तरह से खो गए।
- उपमा (Analogy): कल्पना कीजिए कि एक प्रतिभाशाली गणितज्ञ को शॉपिंग मॉल का नक्शा दिया जाता है और उससे खिलौनों की दुकान खोजने के लिए कहा जाता है। सीधे वहां जाने के बजाय, वे गोल-गोल घूम सकते हैं, किसी कोने में फंस सकते हैं, या बार-बार उस बंद दरवाजे को खोलने की कोशिश कर सकते हैं जो मौजूद ही नहीं है।
- परिणाम: बिना मदद के, सर्वश्रेष्ठ AI ने अपने कार्य केवल 50% समय ही पूरे किए। वे बुनियादी मूवमेंट में इतने खराब थे कि वे उन "पाइपों" तक भी नहीं पहुँच सके जिन्हें उन्हें ठीक करने की आवश्यकता थी। वे एक ऐसे शानदार शेफ की तरह थे जो रसोई तक जाना ही नहीं जानता।
2. "मैजिक GPS" (द प्लानिंग ओरैकल)
यह देखने के लिए कि क्या AI वास्तव में सामाजिक तर्क में बुरा था या सिर्फ चलने में बुरा था, शोधकर्ताओं ने एक "प्लानिंग ओरैकल" (Planning Oracle) जोड़ा।
- उपमा: यह उस खोए हुए गणितज्ञ को एक सटीक, टर्न-बाय-टर्न GPS देने जैसा है जो कहता है, "3 कदम आगे बढ़ें, बाएं मुड़ें, अब आप खिलौनों की दुकान पर हैं।"
- परिणाम: इस GPS के साथ, AI इधर-उधर घूमने और कार्यों को पूरा करने में अचानक बहुत अच्छा हो गया। "नेविगेशन" की समस्या हल हो गई। लेकिन यहाँ एक मोड़ आया: सामाजिक समस्या और भी खराब हो गई।
3. "अंधा जासूस" (सामाजिक तर्क टूटा हुआ है)
एक बार जब AI ठीक से चलने लगा, तो शोधकर्ताओं ने पूछा, "ठीक है, अब जब आप खोए हुए नहीं हैं, तो क्या आप बता सकते हैं कि इम्पोस्टर (Impostor) कौन है?"
- उपमा: कल्पना कीजिए कि एक जासूस जो अपराध स्थल के माध्यम से तो बिल्कुल सही चलता है लेकिन उसमें शून्य अंतर्ज्ञान (intuition) है। वे संदिग्ध को देखते हैं और कहते हैं, "आप अजीब तरह से हिले, इसलिए आप दोषी हैं," या "आपने मुझे देखा, इसलिए आप निर्दोष हैं।" वे केवल अनुमान लगा रहे हैं।
- परिणाम: भले ही GPS उनकी चलने में मदद कर रहा था, लेकिन झूठ बोलने वाले को पहचानने की AI की क्षमता रैंडम चांस (लगभग 33%) से बेहतर नहीं थी।
- उन्होंने समय के साथ यह नहीं बनाया कि कौन संदिग्ध व्यवहार कर रहा है, इसका एक "मेंटल मॉडल"।
- वे सतही ट्रिक्स पर निर्भर थे, जैसे "प्लेयर X अजीब तरह से चला," जिसे इम्पोस्टर आसानी से नकली बना सकते थे।
- उन्होंने झूठ बोलने वालों पर बहुत भरोसा किया क्योंकि वे "सहयोगी" व्यवहार कर रहे थे।
4. बड़ी सीख (The Big Takeaway)
यह पेपर वर्तमान AI के बारे में एक कठोर सत्य प्रकट करता है: बातचीत में स्मार्ट होने का मतलब यह नहीं है कि आप काम करने या सामाजिक रूप से सोचने में भी स्मार्ट हैं।
- बाधा (The Bottleneck): AI एक ऐसे प्रतिभाशाली दार्शनिक की तरह है जो एक ऐसे शरीर में कैद है जो सीधा चल भी नहीं सकता। यदि आप उस शरीर (GPS के साथ) को ठीक भी कर देते हैं, तो भी दिमाग अभी भी मानवीय धोखे को समझने में सक्षम नहीं है।
- स्केल का मिथक (The Scale Myth): आप सोच सकते हैं, "यदि हम बस AI को बड़ा (अधिक पैरामीटर्स वाला) बना दें, तो यह बेहतर हो जाएगा।" शोधकर्ताओं ने छोटे से लेकर विशाल तक के मॉडल्स का परीक्षण किया, और आकार से कोई फर्क नहीं पड़ा। एक 120-बिलियन-पैरामीटर वाला मॉडल भी झूठ पकड़ने में उतना ही बुरा था जितना कि एक 14-बिलियन-पैरामीटर वाला मॉडल। वे सभी केवल अनुमान लगा रहे थे।
यह क्यों मायने रखता है?
हम एक ऐसे भविष्य की ओर बढ़ रहे हैं जहाँ AI एजेंट हमारी दुनिया में रहेंगे, कार चलाएंगे, अस्पतालों का प्रबंधन करेंगे या कार्यालयों में काम करेंगे। यदि एक AI कमरे में बिना फंसे नेविगेट नहीं कर सकता, या यदि वह यह नहीं बता सकता कि उसका सहकर्मी उससे झूठ बोल रहा है, तो हम उस पर स्वायत्त (autonomous) होने के लिए भरोसा नहीं कर सकते।
SocialGrid एक चेतावनी है। यह डेवलपर्स को बताता है: "केवल बड़े दिमाग बनाना बंद करें। हमें इन एजेंटों को प्रभावी ढंग से चलना सिखाना होगा और अन्य लोगों के मन के बारे में सोचना सिखाना होगा, न कि केवल वाक्य में अगले शब्द की भविष्यवाणी करना।"
संक्षेप में: AI वर्तमान में एक ऐसा जीनियस है जो चल नहीं सकता और एक ऐसा जासूस है जो माहौल को पढ़ नहीं सकता। SocialGrid वह जिम है जहाँ उन्हें वास्तविक दुनिया में शामिल होने से पहले प्रशिक्षण लेने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।