GPTNT: Benchmarking Real-Time Collaboration Between Multimodal Agents on Keep Talking And Nobody Explodes
यह शोध पत्र GPTNT को पेश करता है, जो गेम 'कीप टॉकिंग एंड नोबडी एक्सप्लोड्स' पर आधारित एक वास्तविक समय का सहयोगात्मक बेंचमार्क है, जो वर्तमान मल्टीमॉडल एजेंटों की समय के दबाव, सूचना विषमता और गतिशील संचार को संभालने की क्षमताओं की गंभीर कमजोरियों को उजागर करता है, क्योंकि मानव खिलाड़ियों की तुलना में परीक्षण किए गए कोई भी मॉडल एक भी बम को सफलतापूर्वक डिफ्यूज नहीं कर सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक जलती हुई इमारत में "टेलीफोन" (Telephone) का एक हाई-स्टेक्स खेल चल रहा है, लेकिन इसमें एक ट्विस्ट है: एक व्यक्ति की आँखों पर पट्टी बंधी है और उसके पास एक टिक-टिक करता टाइम बम है, जबकि दूसरा व्यक्ति एक अलग कमरे में एक विशाल निर्देश पुस्तिका (instruction manual) के साथ बंद है और वह बम को देख नहीं सकता।
यह वास्तव में वीडियो गेम Keep Talking and Nobody Explodes (KTANE) के पीछे का वास्तविक परिदृश्य है, जिसे खेलते समय शोधकर्ताओं ने इसे एक कठोर परीक्षण में बदल दिया है, और इसे gptnt नाम दिया है।
यहाँ एक सरल विवरण दिया गया है कि उन्होंने क्या किया, उन्हें क्या मिला, और यह क्यों महत्वपूर्ण है, जिसे रोजमर्रा के उदाहरणों (analogies) का उपयोग करके समझाया गया है।
सेटअप: एक हाई-स्पीड रिले रेस
खेल में, दो खिलाड़ियों को टाइमर शून्य होने से पहले बम को डिफ्यूज करने के लिए मिलकर काम करना होता है।
- डिफ्यूसर (Defuser): बम देख सकता है (जिसमें तार, बटन और चमकती लाइटें हैं) लेकिन उसे नहीं पता कि उन्हें कैसे काटना है। वह केवल वही बता सकता है जो वह देख रहा है।
- एक्सपर्ट (Expert): उसके पास नियमों वाली मैनुअल है लेकिन वह बम के प्रति अंधा है। उसे डिफ्यूसर को ठीक वही करने के लिए कहना होता है जो वह देख रहा है, उसके विवरण के आधार पर।
AI चुनौती: शोधकर्ताओं ने मानव खिलाड़ियों को AI मॉडल से बदल दिया। उन्होंने एक "लाइव" वातावरण बनाया जहाँ बम का टाइमर तब भी चलता रहता है जब AI "सोच" रहा होता है और अपना जवाब टाइप कर रहा होता है। इसका मतलब है कि AI केवल एक पहेली हल नहीं कर रहा है; वह एक ऐसे साथी को समझने की कोशिश करते हुए घड़ी के खिलाफ दौड़ रहा है जिसे वह देख नहीं सकता।
बड़ी खोज: AI फंस गया
शोधकर्ताओं ने आज के सबसे स्मार्ट AI मॉडल का परीक्षण किया (GPT-5, Claude और Gemini जैसे दिग्गजों सहित)। परिणाम आश्चर्यजनक थे और, सच कहें तो, AI के लिए थोड़े शर्मनाक भी थे:
- इंसान जीतते हैं: यहाँ तक कि वे दो इंसान जिन्होंने कभी यह खेल नहीं खेला था, वे 10 में से लगभग 3 बमों को हल कर सकते थे।
- AI हार जाता है: शून्य AI मॉडल वास्तविक समय (real-time) में एक भी बम को डिफ्यूज करने में सक्षम नहीं हो पाए। एक भी नहीं।
यह एक अत्यंत बुद्धिमान रोबोट को एक टिक-टिकते बम और एक मैनुअल के साथ एक कमरे में रखने जैसा है, लेकिन रोबोट जम जाता है, भ्रमित हो जाता है, या गलत तार काट देता है क्योंकि वह अपने साथी के साथ तालमेल नहीं बिठा पाता।
AI क्यों विफल हुआ?
पेपर में इस बात की जांच की गई है कि AI को कठिनाई क्यों हुई, जिसमें कुछ मददगार रूपकों (metaphors) का उपयोग करके चार मुख्य "बाधाओं" (bottlenecks) की पहचान की गई है:
"बहुत अधिक सोचने" की समस्या:
वास्तविक खेल में, हर सेकंड जो AI "सोचने" (टेक्स्ट जेनरेट करने) में बिताता है, वह एक सेकंड है जो बम का टाइमर कम कर देता है। AI मॉडल बहुत अधिक सोचने लगे, संक्षिप्त और स्पष्ट निर्देशों के बजाय लंबे, अस्पष्ट स्पष्टीकरण लिखने लगे। जब तक वे टाइप करना समाप्त करते, बम फट चुका होता।- उदाहरण: कल्पना कीजिए कि आप एक गणित की समस्या हल करने की कोशिश कर रहे हैं जबकि कोई आपके कागज पर पानी डाल रहा है। यदि आप उत्तर लिखने में बहुत अधिक समय लेते हैं, तो कागज गीला हो जाता है और उत्तर खो जाता है।
"अनुवाद में खो जाने" की समस्या:
डिफ्यूसर AI को एक जटिल 3D वस्तु (बम) का वर्णन एक्सपर्ट AI को करना होता है। AI अक्सर विवरणों को गलत कर देता था। वह कह सकता था, "वहाँ तीन लाल तार हैं," जबकि वास्तव में चार थे, या वह किसी चमकती रोशनी को पूरी तरह से छोड़ सकता था।- उदाहरण: यह एक खराब फोन कनेक्शन पर अपने दोस्त को नीले रंग का एक विशिष्ट शेड समझाने जैसा है। यदि आप रंग को थोड़ा भी गलत बताते हैं, तो आपका दोस्त गलत पेंट खरीद लेता है, और दीवार खराब दिखती है।
"मेमोरी ब्लैकआउट" की समस्या:
कुछ पहेलियों के लिए घटनाओं के क्रम को याद रखना आवश्यक होता है (जैसे, "मैंने लाल बटन दबाया, फिर नीला वाला, अब मुझे हरा दबाना है")। AI मॉडल अक्सर दो कदम पहले क्या हुआ था, यह भूल जाते थे।- उदाहरण: यह एक रेसिपी का पालन करने जैसा है लेकिन यह भूल जाना कि आपने पहले ही नमक डाल दिया है, इसलिए आप और नमक डाल देते हैं, जिससे व्यंजन खराब हो जाता है।
"भ्रम" (Hallucination) की समस्या:
कभी-कभी, AI तथ्य गढ़ लेता था। डिफ्यूसर कह सकता था, "मुझे एक बैटरी दिख रही है," जबकि वहाँ कोई बैटरी नहीं थी। एक्सपर्ट AI, अपने साथी पर भरोसा करते हुए, उस बैटरी के आधार पर निर्देश देता जो मौजूद ही नहीं थी।- उदाहरण: यह एक टूर गाइड जैसा है जो आत्मविश्वास से समूह से कहता है, "उस प्रसिद्ध मूर्ति को देखें!" जबकि वहाँ केवल एक खाली दीवार है। समूह भ्रमित दिखता है, लेकिन गाइड बोलता रहता है।
"सोलो" टेस्ट: क्या उन्होंने धोखाधड़ी की?
शोधकर्ताओं ने सोचा: "क्या इन AI ने अपने प्रशिक्षण डेटा से गेम मैनुअल को याद कर लिया है?" इसका परीक्षण करने के लिए, उन्होंने AI को बम और मैनुअल दोनों एक साथ दिए (साथी की आवश्यकता को हटा दिया)।
- परिणाम: AI बहुत बेहतर हो गया, लेकिन फिर भी पूर्ण नहीं था। इससे सिद्ध हुआ कि हालांकि AI अपने प्रशिक्षण से कुछ नियमों को जानता था, फिर भी वह बम को देखने, तारों को गिनने और बटन दबाने के वास्तविक कार्य में संघर्ष करता रहा।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि AI किताबें पढ़ने और चित्रों को देखने में माहिर है, लेकिन रियल-टाइम टीमवर्क एक अलग मामला है।
वर्तमान AI मॉडल उन प्रतिभाशाली छात्रों की तरह हैं जो लिखित परीक्षा में उत्कृष्ट प्रदर्शन कर सकते हैं लेकिन तब घबरा जाते हैं जब उनसे एक शोर-शराबे वाले, तेज़ गति वाले ग्रुप प्रोजेक्ट में काम करने के लिए कहा जाता है जहाँ उन्हें एक साथ सुनना, बोलना और कार्य करना पड़ता है। शोधकर्ताओं ने gptnt को एक "जीवित" परीक्षण के रूप में बनाया है: जैसे-जैसे AI स्मार्ट होता जाएगा, वे बमों को कठिन और समय की सीमा को और कड़ा बना सकते हैं, यह सुनिश्चित करते हुए कि परीक्षण कभी भी बहुत आसान न हो जाए।
संक्षेप में: AI मैनुअल पढ़ सकता है, लेकिन वह अभी भी एक साथी के साथ बम को डिफ्यूज नहीं कर सकता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।