EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents
EgoBench टूल-उपयोग करने वाले एजेंटों के लिए पहला इंटरैक्टिव मल्टीमॉडल बेंचमार्क पेश करता है, जिसमें 1,045 एगोसेंट्रिक वीडियो कार्य और एक सिम्युलेटेड यूजर एनवायरनमेंट शामिल है ताकि धारणा (perception), तर्क (reasoning) और गतिशील संपर्क (dynamic interaction) के तालमेल का कड़ाई से मूल्यांकन किया जा सके, जो यह प्रकट करता है कि वर्तमान अत्याधुनिक मॉडल इन जटिल क्षमताओं के साथ काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट बटलर को यह सिखाने की कोशिश कर रहे हैं कि आपके खाना बनाने या किराने का सामान खरीदने में मदद कैसे की जाए, जबकि आपने अपने सिर पर एक कैमरा पहना हुआ है। आप चाहते हैं कि रोबोट न केवल यह देखे कि आप क्या कर रहे हैं, बल्कि यह भी सोचे कि उसे आगे क्या करना है, वह डेटाबेस (जैसे कि रेसिपी बुक या मूल्य सूची) की जाँच करने के लिए उपकरणों (tools) का उपयोग करे, और यदि वह भ्रमित हो जाए तो आपसे बात भी करे।
यह शोध पत्र EgoBench पेश करता है, जो अनिवार्य रूप से इन रोबोट बटलर्स के लिए एक विशाल, बहुत कठिन "फाइनल एग्जाम" है। यहाँ इस पेपर का विवरण दिया गया है, जो सरल उपमाओं (analogies) का उपयोग करता है:
1. समस्या: "बहुत आसान" परीक्षण
कल्पना कीजिए कि आप एक कुत्ते को प्रशिक्षित कर रहे हैं। यदि आप केवल उसे एक शांत, खाली मैदान में "बैठने" के लिए कहकर टेस्ट करते हैं, तो वह एक जीनियस लग सकता है। लेकिन वास्तविक दुनिया में, कुत्ते को तब बैठना होता है जब एक कार हॉर्न बजाती है, एक गिलहरी पास से दौड़कर निकलती है, और आप उसे एक जटिल कमांड देते हैं जैसे "बैठो, फिर गेंद लाओ, लेकिन केवल तभी जब वह लाल हो।"
लेखक कहते हैं कि वर्तमान AI एजेंटों के परीक्षण "शांत मैदान" की तरह हैं। वे बहुत सरल हैं। वे यह टेस्ट नहीं करते कि क्या AI सक्षम है:
- देखने के लिए: एक अस्त-व्यस्त, चलती हुई वीडियो में क्या हो रहा है (जैसे आपके हाथों से खाना बनाने का फर्स्ट-पर्सन व्यू)।
- सोचने के लिए: एक बहु-चरणीय तर्क पहेली (logic puzzle) के माध्यम से (जैसे, "यदि टमाटर लाल है, तो फ्रिज चेक करें; यदि वह एक्सपायर्ड है, तो नया खरीदें")।
- बात करने के लिए: एक इंसान से जो अधीर, भुलक्कड़ हो सकता है या भ्रमित करने वाले संकेत दे सकता है।
2. समाधान: EgoBench (एक "बाधा दौड़")
EgoBench एक नया परीक्षण मैदान है जिसे विशेष रूप से यह देखने के लिए बनाया गया है कि क्या AI एजेंट वास्तविक जीवन की अराजकता को संभाल सकते हैं। इसके तीन मुख्य भाग हैं:
- वीडियो (आंखें): स्थिर चित्रों के बजाय, AI फर्स्ट-पर्सन वीडियो (जैसे आपके सिर से लिया गया GoPro फुटेज) देखता है। यह ऐसा है जैसे AI ने आपका चश्मा पहना हो। उसे समझना होगा, "ओह, वह बाईं ओर एक टमाटर है, और मैंने अभी उसे उठाया है।"
- उपकरण/टूल्स (हाथ): AI केवल अनुमान नहीं लगा सकता। उसे "उपकरणों" (जैसे डिजिटल फोनबुक या डेटाबेस) का उपयोग करना होगा ताकि छिपी हुई जानकारी मिल सके। उदाहरण के लिए, वीडियो में शराब की एक बोतल दिख रही है, लेकिन वीडियो यह नहीं बताता कि वह एक्सपायर्ड है या नहीं। AI को डेटाबेस चेक करने के लिए एक टूल का उपयोग करना होगा।
- सिम्युलेटेड यूजर (मुँह): यह सबसे चतुर हिस्सा है। शोध पत्र ने एक "नकली इंसान" (एक कंप्यूटर प्रोग्राम जो व्यक्ति की तरह व्यवहार करता है) बनाया है जो AI से बात करता है। यह नकली इंसान ऐसा हो सकता है:
- आसान: बस विनम्रता से सवाल पूछना।
- कठिन: अधीर होना, अप्रासंगिक जानकारी देना ("वैसे, मौसम अच्छा है!") या यदि AI बहुत धीमा है तो गुस्सा होना।
- स्टैटिक (स्थिर): सभी निर्देश एक ही बार में एक बड़े पैराग्राफ के रूप में देना।
3. ग्रेडिंग सिस्टम: नकल करना मना है
कई AI परीक्षणों में, एक स्मार्ट कंप्यूटर (दूसरा AI) उत्तर पढ़ता है और कहता है, "यह अच्छा लग रहा है!" यह व्यक्तिपरक (subjective) है।
EgoBench एक डिटरमिनिस्टिक (deterministic) ग्रेडिंग सिस्टम का उपयोग करता है। इसे एक वीडियो गेम स्कोर की तरह समझें:
- प्रक्रिया की जाँच (Process Check): क्या AI ने सही टूल्स का उपयोग किया? (क्या उसने कीमत जाँची? क्या उसने एक्सपायरी डेट जाँची?)
- परिणाम की जाँच (Result Check): क्या अंतिम डेटाबेस की स्थिति लक्ष्य से मेल खाती है? (क्या आइटम वास्तव में शॉपिंग कार्ट में है? क्या रेसिपी अपडेट हो गई है?)
यदि AI कहता है "मैंने कर दिया" लेकिन डेटाबेस में बदलाव नहीं दिखता है, तो उसे शून्य मिलता है। शिक्षक से बहस करने की कोई गुंजाइश नहीं है।
4. परिणाम: "रियलिटी चेक"
लेखकों ने आज के 8 सबसे स्मार्ट और उन्नत AI मॉडल्स का इस परीक्षा में परीक्षण किया।
फैसला? वे बुरी तरह विफल रहे।
- सबसे अच्छे मॉडल ने भी कार्यों के प्रकार (नकली इंसान कितना कठिन था, इसके आधार पर) के अनुसार केवल 19% से 30% कार्य ही सही किए।
- सबसे आसान परिदृश्य (रिटेल/शॉपिंग) में, सबसे अच्छा मॉडल अभी भी केवल 30% ही सही कर पाया।
वे क्यों विफल हुए? शोध पत्र में पाया गया कि AI एजेंट संघर्ष कर रहे थे:
- वीडियो की गलत व्याख्या करने में: "मुझे लगा कि वह टमाटर है, लेकिन वह वास्तव में लाल शिमला मिर्च थी।"
- भ्रमित जानकारी (Hallucinating) बनाने में: ऐसी बातें बनाना जो न तो वीडियो में थीं और न ही डेटाबेस में।
- खराब तर्क (Logic) में: "If/Then" नियमों को गलत समझना।
- जोखिम भरे कदम उठाने में: ऐसी चीजें करना जो यूजर ने नहीं मांगी थीं, जैसे लिस्ट से आइटम डिलीट करना।
सारांश
यह शोध पत्र तर्क देता है कि हालांकि AI बात करने और चित्रों को देखने में अच्छा हो रहा है, लेकिन यह उन कौशलों को जोड़ने में अभी भी बहुत खराब है जिससे वह एक अस्त-व्यस्त, वास्तविक दुनिया के वातावरण में वास्तव में काम कर सके, जहाँ उसे एक इंसान से बात करनी है, टूल्स का उपयोग करना है और जटिल नियमों का पालन करना है। EgoBench वह नया पैमाना है जिसका उपयोग हम यह मापने के लिए कर रहे हैं कि हमें अभी और कितनी दूर जाना है।
महत्वपूर्ण नोट: यह शोध पत्र केवल इस बेंचमार्क और परीक्षण परिणामों को प्रस्तुत करता है। यह दावा नहीं करता है कि ये AI एजेंट अभी अस्पतालों, सेल्फ-ड्राइविंग कारों या किसी अन्य विशिष्ट वास्तविक दुनिया के अनुप्रयोगों में उपयोग के लिए तैयार हैं। यह केवल इतना कहता है, "यहाँ एक परीक्षण है, और यहाँ बताया गया है कि वर्तमान शीर्ष मॉडल इसमें कितनी खराब स्थिति में हैं।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।