Why MLLMs Struggle to Determine Object Orientations
यह शोध पत्र इस परिकल्पना का खंडन करता है कि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) विजुअल एनकोडर की सीमाओं के कारण 2D ऑब्जेक्ट ओरिएंटेशन कार्यों में विफल होते हैं, बल्कि यह प्रदर्शित करता है कि ओरिएंटेशन संबंधी जानकारी एनकोडर एम्बेडिंग्स से पुनः प्राप्त की जा सकती है लेकिन यह फीचर्स के बीच व्यापक रूप से वितरित होती है, जो यह सुझाव देता है कि विफलता इस जानकारी की अनुपस्थिति के बजाय मॉडल द्वारा इसका प्रभावी ढंग से उपयोग करने में असमर्थता के कारण है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ा रहस्य: AI को क्यों नहीं पता कि ऊपर क्या है और नीचे क्या?
कल्पना कीजिए कि आप एक बहुत ही समझदार रोबोट को समुद्र तट पर खड़े एक कुत्ते की तस्वीर दिखाते हैं। आप उससे पूछते हैं, "क्या कुत्ता 45 डिग्री क्लॉकवाइज (clockwise) घूम गया है?"
आश्चर्यजनक रूप से, यहाँ तक कि सबसे उन्नत AI रोबोट (जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स या MLLMs कहा जाता है) भी इसमें बहुत खराब प्रदर्शन करते हैं। वे अक्सर गलत अंदाज़ा लगाते हैं या कहते हैं "मुझे नहीं पता," जबकि जवाब तस्वीर में बिल्कुल सामने होता है।
लंबे समय से, शोधकर्ताओं का मानना था कि समस्या रोबोट की आंखों में है। उनका मानना था कि "विजुअल एनकोडर" (वह हिस्सा जो इमेज को देखता है) एक ऐसे चश्मे की तरह है जो केवल यह समझता है कि वस्तुएं क्या हैं (एक कुत्ता, एक पेड़, एक कार), लेकिन वह यह पूरी तरह भूल जाता है कि वे कितनी झुकी हुई हैं। उन्हें लगा कि वे चश्मे रोटेशन (घूर्णन) के प्रति "अंधे" हैं।
प्रयोग: "झूठ पकड़ने वाला" टेस्ट
इस पेपर के लेखकों ने उस सिद्धांत का परीक्षण करने का निर्णय लिया। उन्होंने एक सरल प्रश्न पूछा: "यदि रोबोट की आंखें रोटेशन नहीं देख सकती हैं, तो क्या इमेज की डिजिटल 'मेमोरी' में रोटेशन की जानकारी वास्तव में मौजूद है?"
यह जानने के लिए, उन्होंने रोबोट से बोलने के लिए नहीं कहा। इसके बजाय, उन्होंने रोबोट के दिमाग के अंदर के कच्चे डेटा (एम्बेडिंग्स) को देखा।
उपमा (Analogy): कल्पना कीजिए कि रोबोट का दिमाग एक विशाल पुस्तकालय है। जब आप उसे एक घूमते हुए कुत्ते की तस्वीर दिखाते हैं, तो वह उस तस्वीर के बारे में एक "बुक रिपोर्ट" (संख्याओं की एक लंबी सूची) लिखता है।
- पुराना सिद्धांत: बुक रिपोर्ट केवल कहती है "कुत्ता, समुद्र तट, धूप वाला दिन।" इसमें कोण (angle) का उल्लेख नहीं है।
- प्रयोग: शोधकर्ताओं ने इन बुक रिपोर्ट्स को लिया और उन्हें एक बहुत ही साधारण, कम बुद्धिमान कैलकुलेटर (लीनियर रिग्रेसर) को दे दिया। उन्होंने कैलकुलेटर से पूछा: "केवल इन संख्याओं के आधार पर, क्या तुम कुत्ते के रोटेशन का अंदाज़ा लगा सकते हो?"
चौंका देने वाला परिणाम:
साधारण कैलकुलेटर लगभग हर बार सही था! वह कुत्ते के रोटेशन के कोण का 3 डिग्री की सटीकता के साथ अनुमान लगा सका।
इसका क्या अर्थ है: रोबोट की "आंखें" (विजुअल एनकोडर) अंधी नहीं हैं। वे रोटेशन को पूरी तरह से देख रही हैं। जानकारी वहां मौजूद है, उन संख्याओं में सुरक्षित है। समस्या यह नहीं है कि आंखें देख नहीं पा रही हैं; समस्या यह है कि रोबोट का "दिमाग" (लैंग्वेज मॉडल) उस रिपोर्ट के उस विशिष्ट हिस्से को पढ़ना नहीं जानता है।
असली समस्या: "भूसे के ढेर में सुई"
यदि आंखें देख सकती हैं, तो रोबोट विफल क्यों होता है? लेखकों ने गहराई से जांच की और पाया कि इसके दो मुख्य कारण हैं।
1. जानकारी "बिखरी हुई" है (भूसे के ढेर वाली समस्या)
कल्पना कीजिए कि आपके पास भूसे का एक विशाल ढेर (रोबोट का दिमाग डेटा) है। कहीं न कहीं, हजारों अन्य भूसे के टुकड़ों के बीच छिपा हुआ, एक अकेली सुई है जिस पर लिखा है "कुत्ता 30 डिग्री झुका हुआ है।"
शोधकर्ताओं ने पाया कि "झुकाव की जानकारी" (tilt information) एक साफ-सुथरे छोटे बॉक्स में स्टोर नहीं है। यह डेटा में हजारों अलग-अलग संख्याओं में फैली हुई है।
- रूपक (Metaphor): यह एक गाना सुनने की कोशिश करने जैसा है जहाँ एक गायक मंडली (choir) में हर एक गायक धुन के एक छोटे, अलग नोट को गुनगुना रहा है। यदि आप केवल एक गायक को चुप कर देते हैं, तो गाना वैसा ही सुनाई देता है। आपको धुन सुनने के लिए एक साथ हजारों गायकों को सुनना होगा।
- परिणाम: रोबोट का लैंग्वेज ब्रेन स्पष्ट, स्पष्ट पैटर्न (जैसे "कुत्ता" या "लाल") खोजने के लिए अभ्यस्त है। वह उन हजारों छोटे, बिखरे हुए नोट्स को जोड़ने के बारे में नहीं जानता कि "ओह, कुत्ता झुका हुआ है!" वह सुई को खोजने के चक्कर में इतना व्यस्त है कि उसे यह अहसास ही नहीं होता कि सुई वास्तव में पूरे भूसे के ढेर से बनी है।
2. "बैकग्राउंड" का भ्रम
शोधकर्ताओं ने यह भी पाया कि यदि बैकग्राउंड (पृष्ठभूमि) भी घूम जाए, तो रोबोट भ्रमित हो जाता है।
- रूपक (Metaphor): कल्पना कीजिए कि आप एक ट्रेन प्लेटफॉर्म पर खड़े हैं। यदि ट्रेन झुकती है, तो आप जानते हैं कि ट्रेन झुकी हुई है क्योंकि प्लेटफॉर्म सीधा है। लेकिन यदि पूरा संसार (प्लेटफॉर्म और ट्रेन दोनों) एक साथ झुक जाए, तो आपका दिमाग चक्कर खा जाएगा और आप यह नहीं बता पाएंगे कि ऊपर क्या है और नीचे क्या।
- निष्कर्ष: रोबोट यह समझने के लिए बैकग्राउंड के "सीधे" (अपराइट) होने पर बहुत अधिक निर्भर करता है कि सामने की वस्तु झुकी हुई है या नहीं। यदि आप बैकग्राउंड को घुमा देते हैं, तो वस्तु के रोटेशन को आंकने की रोबोट की क्षमता पूरी तरह से खत्म हो जाती है।
निष्कर्ष: यह आंखें नहीं, दिमाग है
सारांश:
- आंखें ठीक हैं: AI का विजुअल हिस्सा (SigLIP, CLIP, ViT) रोटेशन की जानकारी को पूरी तरह से कैप्चर करता है। यह टूटा हुआ नहीं है।
- दिमाग भ्रमित है: AI का लैंग्वेज हिस्सा विफल होता है क्योंकि रोटेशन की जानकारी डेटा के एक विशाल, बिखरे हुए बादल में छिपी हुई है जिसे वह समझना नहीं जानता।
- बैकग्राउंड मायने रखता है: यह जानने के लिए कि "ऊपर" क्या है, AI को एक सीधे क्षितिज (horizon) की आवश्यकता होती है।
मुख्य बात:
हमें रोबोट के चश्मे को ठीक करने की ज़रूरत नहीं है। हमें उसके दिमाग को उस विशाल डेटा क्लाउड के अंदर छिपे "झुकाव के नोट्स" को पढ़ना सिखाने की ज़रूरत है जो उसके पास पहले से ही मौजूद है। जब तक हम यह नहीं समझते कि मस्तिष्क को उन बिखरे हुए बिंदुओं को जोड़ने में कैसे मदद की जाए, हमारा AI हमें यह बताने के लिए संघर्ष करता रहेगा कि ऊपर क्या है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।