EgoGapBench: Benchmarking Egocentric Action Selection in Multi-Agent Scenes
यह शोध पत्र EgoGapBench को प्रस्तुत करता है, जो एक नैदानिक बेंचमार्क (diagnostic benchmark) है जो यह प्रकट करता है कि वर्तमान मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (multimodal large language models), मल्टी-एजेंट दृश्यों में 'एगोसेंट्रिक एक्शन सिलेक्शन' (Egocentric Action Selection) के दौरान दूसरों के कार्यों को गलत तरीके से अपनाकर संघर्ष करते हैं, एक ऐसा अंतराल जो मौजूदा फर्स्ट-पर्सन डेटा पर फाइन-ट्यूनिंग के बाद भी बना रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक भीड़भाड़ वाले कमरे में खड़े हैं और एक बेसबॉल मैच देख रहे हैं। आप न तो बल्लेबाज हैं, न ही गेंदबाज, और न ही अंपायर। आप बस होम प्लेट के पीछे खड़े एक दर्शक हैं।
अब, कल्पना कीजिए कि एक रोबोट ठीक आपके बगल में खड़ा है, आपकी आँखों से बिल्कुल वही दृश्य देख रहा है। उस रोबोट का काम यह तय करना है: "मुझे अभी क्या करना चाहिए?"
इस शोध पत्र के अनुसार, वर्तमान AI रोबोट इस विशिष्ट कार्य में बहुत खराब हैं। वे भ्रमित हो जाते हैं और सोचने लगते हैं, "ओह, मैंने एक बल्लेबाज को बल्ला पकड़े हुए देखा! मुझे बल्लेबाज होना चाहिए!" भले ही वे स्पष्ट रूप से प्लेट के पीछे खड़े हैं, न कि बैटर बॉक्स में।
यहाँ इस शोध पत्र के निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "बॉडी क्यू" (Body Cue) का सहारा
लंबे समय तक, वैज्ञानिकों ने AI का परीक्षण "फर्स्ट-पर्सन" वीडियो (जैसे किसी व्यक्ति के सिर पर बंधे गोप्रो) पर किया। इन वीडियो में, आप अक्सर उस व्यक्ति के हाथ, पैर या उनके द्वारा उपयोग किए जा रहे औजार देख सकते हैं।
- उपमा: यह एक छात्र की तरह है जो अपने ही हाथों को देखकर परीक्षा में नकल कर रहा है। यदि AI को हाथ में बल्ला दिखाई देता है, तो वह जान जाता है कि "मैं बल्लेबाज हूँ।"
- खामी: शोध पत्र का तर्क है कि AI वास्तव में 'परिप्रेक्ष्य' (perspective) को नहीं समझ रहा है; वह केवल शरीर के अंगों को पहचान रहा है। यदि आप वीडियो को उल्टा कर दें या हाथ हटा दें, तो AI खो जाता है। उसे यह नहीं पता कि वह "कौन" है; उसे केवल यह पता है कि वह "क्या" देख रहा है।
2. नया परीक्षण: EgoGapBench
शोधकर्ताओं ने यह देखने के लिए EgoGapBench नामक एक नया परीक्षण बनाया कि क्या AI बिना नकल किए वास्तव में परिप्रेक्ष्य को समझ सकता है।
- सेटअप: उन्होंने AI को व्यस्त दृश्यों (जैसे बेसबला गेम या शादी) की छवियां दिखाईं जहाँ कैमरा के दृष्टिकोण से किसी के भी हाथ या शरीर दिखाई नहीं दे रहे हैं।
- जाल: चित्र में, एक बल्लेबाज बल्ला घुमा रहा है। AI को प्लेट के पीछे खड़ा अंपायर होना चाहिए।
- प्रश्न: "आपको आगे क्या करना चाहिए?"
- गलत उत्तर: AI अक्सर "बल्ला घुमाओ" चुन लेता है क्योंकि वह बल्लेबाज को ऐसा करते हुए देखता है। इसे "मोटर इंट्रूजन" (Motor Intrusion) त्रुटि कहा जाता है। यह वैसा ही है जैसे AI सोचे, "मैं किसी को दौड़ते हुए देख रहा हूँ, इसलिए मुझे धावक होना चाहिए," भले ही वह स्थिर खड़ा हो।
3. परिणाम: इंसान बनाम रोबोट
- इंसान: जब लोगों ने यह परीक्षण दिया, तो उन्होंने लगभग हर बार सही उत्तर दिया (94.5%)। हम स्वाभाविक रूप से समझते हैं, "मैं अंपायर हूँ, इसलिए मुझे पिच का निर्णय लेने के लिए आगे झुकना चाहिए, न कि बल्ला घुमाना चाहिए।"
- AI मॉडल: यहाँ तक कि सबसे स्मार्ट AI मॉडल (जैसे GPT-5 या Gemini) का स्कोर बहुत कम रहा (सबसे अच्छे के लिए लगभग 66%, और अन्य के लिए रैंडम अनुमान लगाने के करीब)। वे लगातार उन लोगों की नकल करने की कोशिश करते हैं जिन्हें वे चित्र में देखते हैं।
4. "ट्रेनिंग" की गलती
शोधकर्ताओं ने अधिक "फर्स्ट-पर्सन" वीडियो (ऐसे वीडियो जहाँ हाथ और शरीर दिखाई देते हैं) के साथ AI को सिखाकर इसे ठीक करने की कोशिश की।
- उपमा: यह किसी को कार चलाने के वीडियो दिखाकर कार चलाना सिखाने जैसा है, लेकिन कभी उन्हें ड्राइवर की सीट पर बैठने ही नहीं दिया।
- परिणाम: इसने AI को वास्तव में और भी खराब बना दिया। AI शरीर के संकेतों (body cues) पर और भी अधिक निर्भर हो गया। जब नए परीक्षण में वे संकेत गायब थे, तो AI पूरी तरह विफल हो गया।
5. निष्कर्ष
शोध पत्र का निष्कर्ष है कि किसी दृश्य को देखना एक विशिष्ट परिप्रेक्ष्य से कार्य करने से अलग है।
- वर्तमान AI जो देख रहा है उसका वर्णन करने में बहुत अच्छा है ("वहाँ एक बल्लेबाज है")।
- वर्तमान AI यह समझने में बुरा है कि वह जहाँ खड़ा है उसके आधार पर उसे क्या करना चाहिए ("मैं अंपायर हूँ, इसलिए मुझे देखना चाहिए")।
शोधकर्ता कहते हैं कि हमें केवल AI को चीजें करते हुए वीडियो दिखाने के बजाय, उसे यह सिखाने की आवश्यकता है कि वह कमरे में अपनी "सीट" को दूसरों से अलग कैसे समझे। उन्होंने यह परीक्षण (EgoGapBench) जारी किया है ताकि अन्य वैज्ञानिक ऐसे रोबोट बना सकें जो अपने बगल में खड़े लोगों से भ्रमित न हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।