StemBind: When MLLMs Get Lost Between Rules and Instances in Abstract Visual Reasoning
यह शोधपत्र StemBind को प्रस्तुत करता है, जो एक नैदानिक बेंचमार्क है जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में एक निरंतर "बाइंडिंग गैप" (जुड़ाव अंतराल) को प्रकट करता है जहाँ, दृश्य नियमों को सही ढंग से पहचानने के बावजूद, वे अमूर्त दृश्य तर्क के दौरान उन नियमों को विशिष्ट उदाहरणों के साथ मैप करने में बार-बार विफल रहते हैं, एक ऐसी सीमा जिसे न तो मॉडल स्केलिंग और न ही स्पष्ट थिंकिंग मोड वर्तमान में हल कर पाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही कठिन विजुअल पहेली परीक्षण दे रहे हैं, जैसे कि वे जो मानव बुद्धि को मापने के लिए उपयोग किए जाते हैं (जैसे रेवेन्स प्रोग्रेसिव मैट्रिसेस)। आप आकृतियों के एक ग्रिड को देखते हैं, उन्हें जोड़ने वाले छिपे हुए नियम को समझते हैं, और पैटर्न को पूरा करने के लिए सही टुकड़े को चुनते हैं।
अब, एक सुपर-स्मार्ट AI की कल्पना करें जो यह परीक्षण दे रहा है। यहाँ एक अजीब बात है जो शोध पत्र STEMBIND ने खोजी है: AI अक्सर नियम को पूरी तरह से जानता है, फिर भी गलत उत्तर चुन लेता है।
यह बिल्कुल वैसा ही है जैसे कोई छात्र गणित के सूत्र की पूरी परिभाषा रट सकता है और समझा सकता है कि वह वास्तव में कैसे काम करता है, लेकिन अंतिम उत्तर प्राप्त करने के लिए सूत्र में नंबरों को सही ढंग से भरने में विफल रहता है।
यहाँ शोधकर्ताओं द्वारा की गई खोजों का विवरण दिया गया, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:
1. समस्या: "अनुवाद में खो जाने" वाला अंतर (The "Lost in Translation" Gap)
वर्तमान AI परीक्षण आमतौर पर केवल अंतिम उत्तर देखते हैं: "क्या आपने इसे सही किया या गलत?" यह एक गणित के टेस्ट को केवल अंतिम संख्या देखकर ग्रेड देने जैसा है, यह अनदेखा करते हुए कि क्या छात्र ने वास्तव में चरणों को समझा था।
शोधकर्ताओं ने एक नया परीक्षण बनाया जिसे STEMBIND कहा जाता है ताकि AI के मस्तिष्क के अंदर देखा जा सके। उन्होंने AI से उसी पहेली के बारे में तीन प्रश्न पूछे:
- प्रत्यक्षण (Perception): "आप कौन सी आकृतियाँ देख रहे हैं?" (क्या आप सामग्री देख सकते हैं?)
- नियम (Rule): "पैटर्न क्या है?" (क्या आप रेसिपी जानते हैं?)
- पूर्ण (Full): "कौन सा टुकड़ा पहेली को पूरा करता है?" (क्या आप व्यंजन बना सकते हैं?)
चौंकाने वाली खोज:
परीक्षण किए गए 24 में से 22 अलग-अलग AI मॉडलों में, AI आकृतियों का सही वर्णन कर सकता था और नियम का सही नाम बता सकता था। लेकिन जब उसे अंतिम उत्तर चुनने के लिए कहा गया, तो वह विफल रहा।
- उपमा: एक ऐसे शेफ की कल्पना करें जो केक की रेसिपी और हर सामग्री का सटीक वर्णन कर सकता है, लेकिन जब उसे केक बनाने के लिए कहा जाता है, तो वह केक को उल्टा ओवन में रख देता है। वे सिद्धांत को जानते हैं, लेकिन वे उस सिद्धांत को बेकिंग के विशिष्ट कार्य के साथ 'बाइंड' (जोड़ने) करने में असमर्थ हैं।
2. विशिष्ट अपराधी: "मैपिंग" चरण (The "Mapping" Step)
शोधकर्ताओं ने सोचने की प्रक्रिया को चार चरणों में विभाजित किया (एक प्रसिद्ध मनोवैज्ञानिक सिद्धांत के आधार पर):
- S1 (Encode): आकृतियों को देखना।
- S2 (Infer): नियम को समझना।
- S3 (Map): <--- समस्या वाला स्थान नियम को विशिष्ट उत्तरों के साथ जोड़ना।
- S4 (Apply): अंतिम उत्तर चुनना।
उन्होंने पाया कि AI S3 पर अटक जाता है। यह एक नक्शा और गंतव्य होने जैसा है, लेकिन यह भूल जाना कि कौन सी सड़क किस इमारत की ओर ले जाती है। AI जानता है कि नियम "90 डिग्री घुमाएँ" है, लेकिन जब वह चार विकल्पों को देखता है, तो वह यह नहीं समझ पाता कि उनमें से कौन सा घुमाव का परिणाम है।
3. क्या चीज़ इसे ठीक नहीं करती?
शोधकर्ताओं ने परीक्षण किया कि लोग किन सामान्य तरीकों से सोचते हैं कि AI बेहतर होता है:
- AI को बड़ा बनाना (Scaling): उन्होंने AI के बहुत बड़े, अधिक शक्तिशाली संस्करणों का उपयोग किया।
- परिणाम: बड़ा AI आकृतियों को देखने और नियमों को नाम देने में बेहतर हो गया, लेकिन वह फिर भी सही अंतिम उत्तर चुनने में विफल रहा। यह एक छात्र को बड़ी लाइब्रेरी देने जैसा है; वे अधिक तथ्य जानते हैं, लेकिन फिर भी वे उस विशिष्ट समस्या को हल नहीं कर पाते।
- AI को "सोचने" देना (Thinking Mode): उन्होंने AI को उत्तर देने से पहले अपने विचारों को लिखने दिया (जैसे अपना काम दिखाना)।
- परिणाम: इसने वास्तव में चीजों को और खराब कर दिया। AI चित्र का वर्णन करने में बेहतर हो गया, लेकिन वह नियम चुनने और अंतिम उत्तर देने में और भी खराब हो गया।
- उपमा: यह एक ऐसे छात्र की तरह है जो समस्या हल करते समय खुद से बातें करना शुरू कर देता है। वह चित्र का सुंदर वर्णन करता है, लेकिन अतिरिक्त बातचीत उसे इतना भ्रमित कर देती है कि वह नियम को भूल जाता है और गलत उत्तर चुन लेता है।
4. यह क्यों महत्वपूर्ण है
शोध पत्र का तर्क है कि हमें केवल AI मॉडलों को उनके अंतिम स्कोर के आधार पर रैंक करना बंद करना चाहिए। हमें यह निदान करने की आवश्यकता है कि वे कहाँ टूटते हैं।
मुख्य निष्कर्ष यह है कि आज के शीर्ष AI मॉडल देखने और नियमों को समझने में बेहतरीन हैं, लेकिन वे उन नियमों को विशिष्ट उदाहरणों पर लागू करने में बहुत खराब हैं। वे नियम जानने और विकल्प चुनने के बीच "खो" जाते हैं।
संक्षेप में: AI अंधा नहीं है, और न ही वह तर्क के मामले में मूर्ख है। बस उसका एक ग्लिच (खराबी) उस "अनुवाद" चरण में है जहाँ वह एक ज्ञात नियम को एक विशिष्ट विकल्प में बदलने की कोशिश करता है। उस "बाइंडिंग" अंतराल को ठीक करना AI शोधकर्ताओं के लिए अगली बड़ी चुनौती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।