← नवीनतम पेपर
💻 computer science

ERQA-Plus: A Diagnostic Benchmark for Reasoning in Embodied AI

यह शोध पत्र ERQA-Plus को पेश करता है, जो एक नैदानिक बेंचमार्क है जिसमें पांच तर्क श्रेणियों में 1,766 प्रश्न-उत्तर उदाहरण शामिल हैं, जिसका उद्देश्य वर्तमान एम्बोडीड एआई (embodied AI) मॉडलों की समग्र उच्च सटीकता के बावजूद स्थानिक, प्रक्रियात्मक और सामाजिक तर्क में विशिष्ट सीमाओं का मूल्यांकन करना और उन्हें उजागर करना है।

मूल लेखक: Hong Yang, Basura Fernando

प्रकाशित 2026-06-17
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Hong Yang, Basura Fernando

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने किचन में मदद के लिए एक रोबोट को काम पर रख रहे हैं। आप केवल ऐसा रोबोट नहीं चाहते जो कॉफी के मग को देख सके; आप चाहते हैं कि वह समझे कि मग काउंटर पर है, उसे डालने से पहले उसे उठाना होगा, और यदि वह गर्म कॉफी से भरा है, तो उसे कागजों के ढेर पर नहीं रखा जाना चाहिए।

लंबे समय से, AI शोधकर्ता रोबोट्स के साथ "विजुअल क्वेश्चन अनस्वर्सिंग" (VQA) परीक्षणों का परीक्षण कर रहे हैं। लेकिन इस शोध पत्र के लेखक तर्क देते हैं कि ये पुराने परीक्षण एक 'ट्रिक क्वेश्चन' की तरह हैं: "अगर मैं एक लाल गेंद देखता हूँ, तो उसका रंग क्या है?" एक रोबोट बिना गेंद को देखे ही सिर्फ "लाल" शब्द को याद कर सकता है। यह एक शॉर्टकट है, वास्तविक समझ नहीं।

इसे ठीक करने के लिए, शोधकर्ताओं ने ERQA-Plus बनाया है। इसे एक नए, बहुत कठिन "ड्राइवर लाइसेंस परीक्षा" के रूप में सोचें, जिसे विशेष रूप से यह परीक्षण करने के लिए डिज़ाइन किया गया है कि क्या रोबोट वास्तव में भौतिक दुनिया के बारे में तर्क (reason) कर सकते हैं, न कि केवल पैटर्न के आधार पर अनुमान लगा सकते हैं।

यहाँ उन्होंने क्या किया, इसका विवरण सरल उपमाओं का उपयोग करते हुए दिया गया है:

1. "रीजनिंग सिलेबस" (वर्गीकरण)

केवल रैंडम प्रश्न पूछने के बजाय, शोधकर्ताओं ने परीक्षण को पांच विशिष्ट "विषयों" में व्यवस्थित किया, जो रोबोट के लिए एक स्कूल पाठ्यक्रम की तरह है:

  • परसेप्शन (आंखें): क्या रोबोट देख सकता है कि वहां कौन सी वस्तुएं हैं और वे एक-दूसरे के सापेक्ष कहाँ हैं? (जैसे, "क्या कप लैपटॉप के पीछे है?")
  • एक्शन (हाथ): क्या वह समझ सकता है कि क्या हो रहा है और आगे क्या होना चाहिए? (जैसे, "व्यक्ति हैंडल की ओर हाथ बढ़ा रहा है; वह आगे क्या करेगा?")
  • सोशल (साथी): क्या वह मानवीय इरादों को पढ़ सकता है? (जैसे, "वह व्यक्ति दरवाजे की ओर देख रहा है; क्या वह जा रहा है?")
  • नेविगेशन (मानचित्र): क्या वह कमरे के लेआउट को समझ सकता है और रास्ता तय कर सकता है? (जैसे, "मैं कुर्सी से टकराए बिना फ्रिज तक कैसे पहुँचूँ?")
  • कॉमन सेंस (दिमाग): क्या वह वास्तविक दुनिया के ज्ञान का उपयोग कर सकता है? (जैसे, "यदि वह गिलास पानी से भरा है, तो झुकने पर वह छलक सकता है।")

2. "रोबोट फैक्ट्री" (उन्होंने टेस्ट कैसे बनाया)

1,766 उच्च-गुणवत्ता वाले प्रश्न हाथ से बनाना बहुत समय लेने वाला होता। इसलिए, लेखकों ने टेस्ट को स्वचालित रूप से बनाने के लिए एक तीन-एजेंट असेंबली लाइन बनाई:

  • द जनरेटर: यह AI रोबोट कैमरा इमेज के आधार पर प्रश्न लिखता है।
  • द जज: यह AI एक सख्त शिक्षक की तरह कार्य करता है। यह प्रश्न को देखता है और कहता है, "यह बहुत आसान है," या "उत्तर वास्तव में चित्र में मौजूद नहीं है," और इसे स्कोर देता है।
  • द रिविजर: यह AI एक संपादक है। यदि जज कम स्कोर देता है, तो रिविजर प्रश्न को अधिक स्पष्ट और कठिन बनाने के लिए उसे ठीक करता है।

उन्होंने इस लूप को बार-बार चलाया (एक कोच की तरह जो गेम टेप की समीक्षा करता है) जब तक कि प्रश्न एकदम सही नहीं हो गए। यह सुनिश्चित करता है कि टेस्ट में ऐसे "ट्रिक" प्रश्न न हों जो भाषा के शॉर्टकट्स पर निर्भर करते हों।

3. "रिपोर्ट कार्ड" (परिणाम)

उन्होंने कई लोकप्रिय AI मॉडल्स (छात्रों) को इस नई परीक्षा से गुजारा। यहाँ उन्हें क्या पता चला:

  • सबसे बुद्धिमान छात्र: सबसे बड़ा मॉडल (Qwen3-VL-32B) ने उच्चतम समग्र स्कोर (83.4%) प्राप्त किया, लेकिन वह सबसे कठिन विषयों में संघर्ष करता रहा।
  • कमजोर कड़ियाँ: सबसे स्मार्ट मॉडल भी समय (अगला क्या होगा इसका अनुमान लगाना) और पाथ प्लानिंग (बाधाओं के चारों ओर कैसे घूमना है) में विफल रहे। यह एक ऐसे छात्र की तरह है जो कार का वर्णन तो पूरी तरह कर सकता है लेकिन उसे चलाना नहीं जानता।
  • विशेषज्ञ: रोबोट्स के लिए विशेष रूप से प्रशिक्षित एक मॉडल (RoboBrain2.5-8B) कठिन चीजों में आश्चर्यजनक रूप से अच्छा था। उसने समय की भविष्यवाणी करने और पथ नियोजन (path planning) में विशाल मॉडल्स को पीछे छोड़ दिया। यह सुझाव देता है कि रोबोट के लिए विशेष रूप से प्रशिक्षण देना, केवल दिमाग को बड़ा बनाने से बेहतर है।
  • "बातचीत" की समस्या: जब रोबोटों को पूर्ण वाक्यों (ओपन-एंडेड) में उत्तर देना था, बजाय A, B या C चुनने के, तो वे बहुत खराब प्रदर्शन करते हैं। वे पैटर्न पहचानने में अच्छे हैं लेकिन यह समझाने में नहीं कि क्यों।

4. यह क्यों महत्वपूर्ण है

शोध पत्र निष्कर्ष निकालता है कि हम केवल एक एकल "सटीकता स्कोर" को देखकर यह नहीं कह सकते कि रोबोट स्मार्ट है। एक रोबोट अनुमान लगाकर 90% प्रश्नों के सही उत्तर दे सकता है, लेकिन जब आप उससे कुछ जटिल करने के लिए कहते हैं, तो वह पूरी तरह विफल हो सकता है।

ERQA-Plus एक डायग्नोस्टिक टूल है। यह एक मैकेनिक के स्कैनर की तरह है जो केवल यह नहीं बताता कि "कार खराब है," बल्कि यह भी बताता है कि ठीक कौन सा हिस्सा विफल हो रहा है: "इंजन ठीक है, लेकिन ट्रांसमिशन गियर को नहीं संभाल पा रहा है।"

इस परीक्षण का उपयोग करके, शोधकर्ता केवल "पैटर्न मैचिंग" करने वाले रोबोट बनाने के बजाय ऐसे रोबोट बनाना शुरू कर सकते हैं जो वास्तव में दुनिया, अपने कार्यों और अपने साथ काम करने वाले लोगों को समझते हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →