A Study of Commonsense Reasoning over Visual Object Properties
यह शोध पत्र OPTICS बेंचमार्क और एक व्यवस्थित मूल्यांकन ढांचे को प्रस्तुत करता है जो विजन-लैंग्वेज मॉडल्स में दृश्य वस्तु गुणों पर सामान्य ज्ञान तर्क (कॉमनसेंस रीजनिंग) का आकलन करने के लिए है, जो यह प्रकट करता है कि अत्याधुनिक मॉडल भी मानव प्रदर्शन से काफी पीछे हैं, विशेष रूप से फोटोग्राफिक छवियों, काउंटरफैक्चुअल्स और जटिल भौतिक या कार्यात्मक गुणों को संभालने के मामले में।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक तस्वीर देखना और उसके बारे में सवालों के जवाब देना सिखा रहे हैं, जैसे कि "इस फोटो में कितनी बिल्लियाँ हैं?" या "अगर हम लाल कुर्सियों को हटा दें, तो कितनी नीली कुर्सियाँ बचेंगी?"
यह पेपर आज के सबसे स्मार्ट रोबोट्स (जिन्हें विजन-लैंग्वेज मॉडल्स कहा जाता है) के लिए एक रिपोर्ट कार्ड की तरह है। शोधकर्ताओं ने यह देखना चाहा कि क्या ये रोबोट वास्तव में वह देखते हैं जो वे देख रहे हैं, या वे केवल उन पैटर्न के आधार पर अनुमान लगा रहे हैं जिन्हें उन्होंने याद कर लिया है।
यहाँ उनके अध्ययन की कहानी है, जिसे सरल भागों में विभाजित किया गया है:
1. समस्या: "आँखों पर पट्टी बाँधकर गणित" वाला टेस्ट
इन रोबोट्स के पिछले टेस्ट थोड़े अव्यवस्थित किचन की तरह थे। उन्होंने सरल कार्यों (जैसे लाल गेंद को पहचानना) को कठिन कार्यों (जैसे यह पता लगाना कि क्या एक गेंद इतनी भारी है कि खिड़की तोड़ सके) के साथ मिला दिया था। क्योंकि सब कुछ आपस में मिला हुआ था, इसलिए यह बताना मुश्किल था कि रोबोट देखने में खराब था या सोचने में।
साथ ही, अधिकांश टेस्ट एकदम सही, कार्टून जैसे चित्रों का उपयोग करते थे। असली दुनिया अव्यवस्थित होती है, जहाँ छाया, धुंधले किनारे और एक-दूसरे के पीछे छिपी हुई चीजें होती हैं। शोधकर्ता जानना चाहते थे: क्या ये रोबोट अव्यवस्थित वास्तविक दुनिया को संभाल सकते हैं, या वे केवल एक आदर्श कार्टून दुनिया में काम करते हैं?
2. समाधान: "OPTICS" टेस्ट किचन
इसे ठीक करने के लिए, टीम ने एक नया, बहुत व्यवस्थित टेस्ट बनाया जिसे OPTICS कहा जाता है। इसे एक तीन-कोर्स वाले भोजन के रूप में सोचें जिसे रोबोट के दिमाग को तीन विशिष्ट तरीकों से परखने के लिए डिज़ाइन किया गया है:
- मेन्यू (वस्तु के गुण - Object Properties): उन्होंने चार प्रकार की चीजों के बारे में सवाल पूछे:
- भौतिक (Physical): क्या यह लकड़ी से बना है? क्या यह गोल है?
- वर्गीकरण (Taxonomic): क्या यह एक स्तनधारी है? क्या यह एक वाहन है? (इसके लिए तथ्यों को जानने की आवश्यकता है, न कि केवल देखने की)।
- कार्यात्मक (Functional): क्या इसका उपयोग कहीं जाने के लिए किया जा सकता है? क्या यह टूटने योग्य है?
- संबंधात्मक (Relational): क्या यह दीवार पर लटका हुआ है? क्या यह एक जोड़े के बगल में है?
- कठिनाई के स्तर (तर्क की जटिलता - Reasoning Complexity):
- स्तर 1 (पहचानना - Spotting): "आप कितने कुत्ते देखते हैं?" (बस देखें और गिनें)।
- स्तर 2 (अनुमान लगाना - Deducing): "यहाँ कितनी चीजें परिवहन के लिए उपयोग की जाती हैं?" (आपको एक साइकिल, एक कार और एक विमान को देखना होगा, यह समझना होगा कि वे सभी वाहन हैं, और फिर उन्हें गिनना होगा)।
- स्तर 3 (कल्पना करना - Imagining): "यदि हम आधे क्लॉक (घड़ियों) को हटा दें, तो कितने गोल आकार की चीजें बचेंगी?" (आपको चित्र को बदलने की कल्पना करनी होगी और फिर गणित करना होगा)।
- सामग्री (छवि के प्रकार - Image Types): उन्होंने तीन प्रकार के चित्रों का उपयोग किया:
- फोटोग्राफ्स: वास्तविक, अव्यवस्थित, वास्तविक दुनिया की तस्वीरें।
- एनिमेटेड: साफ-सुथरे, कार्टून-शैली के चित्र।
- AI-जेनरेटेड: अन्य AI द्वारा बनाई गई तस्वीरें, जो कभी-कभी अजीब या असंभव दिख सकती हैं (जैसे हवा में तैरता हुआ कांच का गिलास)।
3. परिणाम: रोबोट अभी भी सीख रहे हैं
शोधकर्ताओं ने 12 सबसे स्मार्ट उपलब्ध रोबोट्स का परीक्षण किया। यहाँ क्या हुआ:
- स्कोर: सबसे अच्छा रोबोट भी गिनती वाले सवालों के लगभग 40% और तुलना वाले सवालों के 70% सही जवाब दे पाया। इसके विपरीत, इंसान लगभग 74% सही जवाब देते हैं।
- "कम गिनने" की आदत: रोबोटों में "शून्य" या छोटी संख्या बताने की बुरी आदत थी। यदि 8 वस्तुएं थीं, तो उन्होंने अक्सर 2 या 3 का अनुमान लगाया। यह एक ऐसे छात्र की तरह है जो ऊँची संख्या का अनुमान लगाने से डरता है, इसलिए वह हमेशा सबसे कम संख्या चुन लेता है।
- "वास्तविक दुनिया" का संघर्ष: रोबोट कार्टून और AI-जेनरेटेड छवियों पर बहुत अच्छा प्रदर्शन करते हैं। लेकिन जब उन्होंने वास्तविक फोटोग्राफ्स को देखा, तो उनके स्कोर में काफी गिरावट आई। अव्यवस्थित रोशनी और छिपी हुई वस्तुओं ने उन्हें भ्रमित कर दिया।
- "जादुई" विफलता: रोब "क्या होगा अगर?" (Counterfactuals) वाले सवालों में सबसे अधिक संघर्ष करते हैं। यदि आपने पूछा, "यदि हम लैंप को हटा दें तो क्या होगा?", तो रोब अक्सर भ्रमित हो जाते थे कि क्या बचा है। यह एक बच्चे से पूछने जैसा है कि गुरुत्वाकर्षण के बिना दुनिया कैसी होगी; वे वर्तमान वास्तविकता पर अटक जाते हैं।
4. बड़ा अंतर: मतिभ्रम (Hallucinations) बनाम भ्रम (Confusion)
शोधकर्ताओं ने बारीकी से देखा कि रोबोट और इंसान गलतियाँ क्यों करते हैं। उन्होंने एक दिलचस्प अंतर पाया:
- इंसान ज्यादातर अस्पष्टता (Ambiguity) पर अटक जाते हैं। उदाहरण के लिए, "क्या आधा लकड़ी और आधा धातु से बनी कुर्सी 'लकड़ी' है या 'धातु'?" इंसान परिभाषाओं पर बहस करते हैं।
- रोबोट ज्यादातर "अप्राकृतिक" गलतियाँ करते हैं। वे एक कांच के गिलास को धातु की वस्तु के रूप में गिन लेते हैं, या ऐसी कुर्सी को गिन लेते हैं जो वहां थी ही नहीं। यह एक रोबोट के समान है जो एक साये को देखकर सोचता है कि वह एक असली कुत्ता है। वे उन चीजों को "देखने" का भ्रम पाल लेते हैं जो मौजूद ही नहीं हैं।
5. नए खिलाड़ी
शोधकर्ताओं ने कुछ बिल्कुल नए, सुपर-स्मार्ट "रीजनिंग" मॉडल्स (जैसे GPT-o3) का भी परीक्षण किया। इन नए मॉडल्स ने बहुत बेहतर प्रदर्शन किया, स्कोर लगभग 52% रहा। उन्होंने "मतिभ्रम" वाली गलतियाँ कम कीं। हालांकि, वे अभी भी इंसानों को नहीं पछाड़ सके, और वे अभी भी अव्यवस्थित वास्तविक दुनिया की तस्वीरों के साथ संघर्ष कर रहे थे।
निचोड़
यह पेपर हमें बताता है कि हालांकि हमारे AI रोबोट "देखने" और "सोचने" में बेहतर हो रहे हैं, लेकिन वे अभी भी इंसानों से बहुत अलग हैं।
- इंसान "क्या होगा अगर" वाले परिदृश्यों की कल्पना करने और अव्यवस्थित फोटो को संभालने में माहिर होते हैं, लेकिन हम अस्पष्ट परिभाषाओं से भ्रमित हो जाते हैं।
- रोबोट साफ-सुथरे कार्टून में पैटर्न पहचानने में अच्छे होते हैं, लेकिन वे वास्तविक दुनिया में खो जाते हैं, अक्सर ऐसी चीजें बना लेते हैं जो वहां नहीं हैं और साधारण "क्या होगा अगर" वाले गणित में विफल हो जाते हैं।
शोधकर्ता कहते हैं कि हमें इन रोबोट्स को दुनिया को हमारी तरह स्पष्ट रूप से देखना सिखाने के लिए बेहतर टेस्ट बनाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।