Do AI Models Perform Human-like Abstract Reasoning Across Modalities?
यह शोध पत्र यह प्रदर्शित करता है कि एआई (AI) के अमूर्त तर्क (abstract reasoning) का मूल्यांकन केवल सटीकता के आधार पर करना भ्रामक है, क्योंकि यह उन टेक्स्ट-आधारित कार्यों में क्षमताओं को बढ़ा-चढ़ाकर दिखाता है जहाँ मॉडल सतही स्तर के शॉर्टकट पर निर्भर होते हैं और उन दृश्य कार्यों में उन्हें कम करके आंकता है जहाँ मॉडल अक्सर इच्छित अमूर्तता को समझने के बावजूद उन्हें सही ढंग से लागू करने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो अपने छात्र को एक पहेली दे रहे हैं। पहेली में पैटर्न के बदलने के कुछ उदाहरण दिखाए गए हैं (जैसे "लाल ब्लॉक को बाईं ओर ले जाएं") और फिर छात्र से एक नई, अनदेखी तस्वीर पर उसी नियम को लागू करने के लिए कहा जाता है।
लंबे समय से, हम एआई (AI) का परीक्षण इन पहेलियों का उपयोग करके एक "स्कोरकार्ड" के माध्यम से करते रहे हैं, जो केवल यह गिनता है कि एआई ने अंतिम उत्तर कितनी बार सही दिया। यदि एआई सही तस्वीर बनाता है, तो हम उसे A+ देते हैं।
यह शोध पत्र एक गहरा प्रश्न पूछता है: क्या एआई ने वास्तव में नियम को समझा, या उसने बस किसी अजीब ट्रिक को पकड़कर किस्मत आज़मा ली?
यहाँ वह कहानी है जो शोधकर्ताओं ने पाई, जिसे सरल भाषा में समझाया गया है:
1. टेस्ट लेने के दो तरीके
शोधकर्ताओं ने दो अलग-अलग तरीकों से शीर्ष स्तर के एआई मॉडल (जैसे OpenAI का o3, Claude, और Gemini) का परीक्षण किया:
- टेक्स्ट मोड (Text Mode): उन्होंने पहेली को संख्याओं और शब्दों की एक सूची के रूप में एआई को दिया (जैसे, "ग्रिड 1 में 2,2 पर एक लाल वर्ग है...")।
- विजुअल मोड (Visual Mode): उन्होंने एआई को पहेली की एक वास्तविक तस्वीर दिखाई, ठीक वैसे ही जैसे एक इंसान उसे देखता है।
2. "टेक्स्ट" का सरप्राइज: उच्च स्कोर, उथली समझ
जब एआई ने टेक्स्ट मोड में टेस्ट दिया, तो इसने अविश्वसनीय प्रदर्शन किया। वास्तव में, सबसे अच्छे एआई (o3) ने औसत मानव से अधिक स्कोर प्राप्त किया।
लेकिन यहाँ एक पेच है: शोधकर्ताओं ने एआई से पूछा कि उसने पहेली को कैसे हल किया।
- इंसान आमतौर पर वास्तविक अवधारणा (concept) का उपयोग करके व्याख्या करते थे, जैसे "ऊपर और नीचे की वस्तुओं को हटा दें।"
- एआई अक्सर ऐसी व्याख्याएँ देता था जो दिखाए गए विशिष्ट उदाहरणों के लिए तकनीकी रूप से सही थीं, लेकिन वे बड़ी तस्वीर (big picture) को समझने में विफल रहीं।
उपमा (Analogy): कल्पना कीजिए कि एक छात्र गणित का टेस्ट दे रहा है। शिक्षक पूछता है, "2 + 2 क्या है?" छात्र उत्तर देता है "4।" शिक्षक पूछता है, "आपने यह कैसे किया?" छात्र कहता है, "मैंने घड़ी देखी, और सुइयां 4 पर थीं, इसलिए मैंने अंदाज़ा लगाया कि 4 होगा।"
उत्तर सही था, लेकिन तर्क (reasoning) एक "शॉर्टकट" था। एआई लगातार यही कर रहा था। वह संख्याओं में आकस्मिक पैटर्न (जैसे "लाल रंग हमेशा संख्या 3 है, इसलिए मैं संख्या 3 को हटा दूँगा") को पकड़ रहा था, बजाय इसके कि वह "वस्तुओं" की अवधारणा को समझे।
निष्कर्ष: टेक्स्ट मोड में, एआई के उच्च स्कोर उसकी वास्तविक बुद्धिमत्ता को बढ़ा-चढ़ाकर (overestimate) दिखाते थे। वह अनुमान लगाने में अच्छा था, लेकिन तर्क करने में नहीं।
3. "विजुअल" का सरप्राइज: कम स्कोर, छिपी हुई प्रतिभा
जब शोधकर्ताओं ने विजुअल मोड (तस्वीरें दिखाना) में स्विच किया, तो एआई का स्कोर गिर गया। वह अंतिम उत्तर देने में इंसानों की तुलना में बहुत अधिक बार विफल रहा।
हालाँकि, शोधकर्ताओं ने एआई की व्याख्याओं को फिर से देखा।
उन्होंने कुछ आश्चर्यजनक पाया: भले ही एआई अंतिम तस्वीर गलत बना रहा था, लेकिन उसके द्वारा दिए गए नियम की व्याख्या अक्सर सही थी!
उपमा: कल्पना कीजिए कि एक प्रतिभाशाली वास्तुकार (architect) है जो घर बनाने के तरीके को पूरी तरह से समझा सकता है ("ईंटों को एक घेरे में रखें, फिर छत जोड़ें")। लेकिन, जब वे वास्तव में ईंटें बिछाने की कोशिश करते हैं, तो वे उन्हें गिरा देते हैं या गलत जगह रख देते हैं क्योंकि उनके हाथ अनाड़ी हैं।
विजुअल मोड में एआई इस वास्तुकार की तरह था। वह अमूर्त अवधारणा (नियम) को पूरी तरह से समझता था, लेकिन वह तस्वीर को स्पष्ट रूप से "देखने" में संघर्ष कर रहा था। वह ठीक से नहीं बता पा रहा था कि ग्रिड कितना बड़ा है या वस्तुएं कहाँ स्थित हैं।
निष्कर्ष: विजुअल मोड में, एआई के कम स्कोर उसकी वास्तविक बुद्धिमत्ता को कम (underestimate) करके दिखाते थे। वह वास्तव में तर्क को समझता था, लेकिन वह "धारणा" (perception) वाले हिस्से में विफल रहा।
4. "टूल" का प्रभाव
शोधकर्ताओं ने एआई को एक "कैलकुलेटर" (पायथन कोड) भी दिया ताकि वह मदद कर सके।
- टेक्स्ट मोड में: कैलकुलेटर से ज्यादा मदद नहीं मिली। एआई पहले से ही तर्क में अच्छा था लेकिन शॉर्टकट लेने में बुरा था।
- विजुअल मोड में: कैलकुलेटर ने बहुत मदद की। जब एआई कोड का उपयोग करके इमेज को "देख" सका और पिक्सेल गिन सका, तो उसके स्कोर बढ़ गए। इससे यह साबित हुआ कि एआई तर्क में "मूर्ख" नहीं था; उसे बस तस्वीर देखने में मदद की जरूरत थी।
मुख्य निष्कर्ष
यदि आप केवल अंतिम स्कोर (A+) को देखते हैं, तो आप सोच सकते हैं कि एआई टेक्स्ट मोड में एक जीनियस है लेकिन विजुअल मोड में एक विफलता है।
लेकिन जब आप यह देखते हैं कि वे कैसे सोचते हैं:
- टेक्स्ट में: वे अक्सर वास्तविक दुनिया में काम न करने वाले चतुर शॉर्टकट के साथ "चीटिंग" कर रहे होते हैं।
- विजुअल में: वे "अनाड़ी" जीनियस हैं जो नियमों को समझते हैं लेकिन उन्हें ठीक से लागू करने में संघर्ष करते हैं।
शोध पत्र निष्कर्ष निकालता है कि यदि हम वास्तव में यह जानना चाहते हैं कि क्या एआई "मानव जैसा" हो रहा है, तो हम केवल यह जांचकर नहीं रह सकते कि उत्तर सही है या नहीं। हमें यह भी जांचना होगा कि क्या तर्क सही है। अन्यथा, हम या तो उनकी टेक्स्ट स्किल्स को बहुत बढ़ा-चढ़ाकर दिखा रहे हैं या उनकी विजुअल क्षमता को कम आंक रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।