Mechanistic Diagnostics of Spatial Lexical Bias in Multimodal Large Language Model Spatial Reasoning
यह शोध पत्र मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (LLMs) में "स्थानिक शाब्दिक पूर्वाग्रह" (spatial lexical bias) की पहचान और निदान करता है, यह प्रकट करते हुए कि उनकी स्थानिक तर्क संबंधी विफलताएं अक्सर दृश्य धारणा के बजाय भाषा-पक्षीय तंत्रों से उत्पन्न होती हैं, और यह प्रदर्शित करता है कि एक हल्का LLM-केवल फाइन-ट्यूनिंग दृष्टिकोण इस पूर्वाग्रह को प्रभावी ढंग से कम करने और कई डेटासेट्स में मजबूती को महत्वपूर्ण रूप से सुधारने के लिए प्रभावी है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
बड़ी समस्या: "डिस्ट्रैक्टर" (भटकाव) प्रभाव
कल्पना कीजिए कि आप एक तस्वीर के बारे में बहुविकल्पीय प्रश्न (multiple-choice test) हल कर रहे हैं।
- प्रश्न: "लाल गेंद, नीले बॉक्स के बाएँ (left) है या दाएँ (right)?"
- विकल्प: A) बाएँ, B) दाएँ।
- परिणाम: AI सही उत्तर देता है। वह तस्वीर को स्पष्ट रूप से देख रहा है और जानता है कि उत्तर "बाएँ" है।
अब, कल्पना कीजिए कि शिक्षक एक तीसरा विकल्प जोड़ देते हैं:
- प्रश्न: "लाल गेंद, नीले बॉक्स के बाएँ (left), दाएँ (right), या पीछे (behind) है?"
- विकल्प: A) बाएँ, B) दाएँ, C) पीछे।
- परिणाम: अचानक, AI घबरा जाता है। भले ही तस्वीर में कोई बदलाव नहीं हुआ है, फिर भी वह "बाएँ" चुनना बंद कर देता है और हर बार "पीछे" चुनने लगता है।
शोधकर्ता इसे "स्पेशियल लेक्सिकल बायस" (Spatial Lexical Bias) कहते हैं। यह ऐसा है जैसे AI की एक गुप्त कमजोरी है: जब वह सूची में "पीछे" जैसा नया और तर्कसंगत लगने वाला शब्द देखता है, तो वह उस शब्द से इतना विचलित हो जाता है कि वह वास्तव में तस्वीर में जो देखा था, उसे भूल जाता है।
जाँच: क्या AI ने "अंधाधुंध" तरीके से भुला दिया?
आमतौर पर, जब AI इन कार्यों में विफल होता है, तो लोग मान लेते हैं कि AI "अंधा" है—यानी उसने तस्वीर को ठीक से नहीं देखा या दृश्य संकेतों (visual clues) को मिस कर दिया।
शोधकर्ताओं ने इस सिद्धांत का परीक्षण करने का निर्णय लिया। उन्होंने एक जासूस की तरह AI के मस्तिष्क के अंदर देखने के लिए एक "मैकेनिकल" सूक्ष्मदर्शी (microscope) का उपयोग किया। उन्हें दो आश्चर्यजनक बातें पता चलीं:
- आंखें अभी भी काम कर रही थीं: जब उन्होंने यह देखा कि AI कहाँ "देख" रहा था (उसका विजुअल अटेंशन), तो वह लाल गेंद और नीले बॉक्स को बिल्कुल वैसे ही देख रहा था जैसे तब देख रहा था जब वह सही उत्तर दे रहा था। उसने अपनी नज़रें नहीं हटाई थीं।
- याददाश्त अभी भी मौजूद थी: उन्होंने AI की आंतरिक "वर्किंग मेमोरी" (वह डेटा जो वह उत्तर देने से ठीक पहले रखता है) की जाँच की। भले ही AI ने गलत उत्तर ("पीछे") चुना, फिर भी सही जानकारी ("बाएँ") वहाँ पूरी तरह स्पष्ट और उपयोग के लिए तैयार बैठी थी।
उपमा (Analogy): कल्पना कीजिए कि एक छात्र जानता है कि उत्तर "बाएँ" है। वह मानचित्र को देख रहा है, और मानचित्र स्पष्ट रूप से "बाएँ" कह रहा है। लेकिन जब शिक्षक सूची में "पीछे" जोड़ते हैं, तो छात्र "पीछे" शब्द से इतना भ्रमित हो जाता है कि वह उसे ही गोला बना देता है, भले ही वह जानता है कि मानचित्र "बाएँ" कह रहा है। समस्या आँख या याददाश्त की नहीं है; समस्या यह है कि निर्णय लेने की प्रक्रिया (decision-making process) उस नए शब्द द्वारा हाईजैक कर ली गई है।
अपराधी: "वर्ड क्लब" (शब्दों का समूह)
शोधकर्ताओं ने पाया कि स्थानिक शब्दों (बाएँ, दाएँ, सामने, पीछे) का AI के मस्तिष्क के भीतर एक विशेष, संरचित संबंध है। वे एक घनिष्ठ समूह के सदस्यों की तरह हैं।
- जब आप सूची में "वायलिन" या "लालटेन" जैसा कोई रैंडम शब्द जोड़ते हैं, तो AI को ज्यादा फर्क नहीं पड़ता। वह अभी भी सही उत्तर चुन लेता है।
- लेकिन जब आप एक और "क्लब सदस्य" (जैसे "पीछे") जोड़ते हैं, तो AI भ्रमित हो जाता है। नया शब्द एक लेक्सिकल ट्रैप (भाषाई जाल) की तरह काम करता है। यह AI के निर्णय को अपनी ओर खींच लेता है और दृश्य साक्ष्यों (visual evidence) को दबा देता है।
समाधान: एक छोटा सा ट्यून-अप
चूँकि समस्या AI के "आँखों" (कैमरा वाले हिस्से) की नहीं बल्कि "मस्तिष्क" (भाषा वाले हिस्से) की थी, इसलिए शोधकर्ताओं ने एक बहुत ही विशिष्ट सुधार आजमाया।
उन्होंने पूरे AI को फिर से प्रशिक्षित नहीं किया। उन्होंने उसे हजारों नई तस्वीरें नहीं दिखाईं। इसके बजाय, उन्होंने एक बहुत छोटे, सिंथेटिक डेटासेट (मूल रूप से डोनट और पिरामिड की एक तस्वीर) का उपयोग किया और AI के भाषा वाले हिस्से को एक सरल पाठ सिखाया: "नए शब्द को खुद को धोखा मत देने दो। वही करो जो तुम देख रहे हो।"
उन्होंने LoRA-DPO नामक तकनीक का उपयोग किया, जो AI के केवल भाषा वाले हिस्से पर एक छोटा, हल्का "ट्रेनिंग कॉलर" लगाने जैसा है।
परिणाम:
- टेस्ट पर: 3-विकल्प वाले प्रश्नों पर जहाँ AI लगभग 100% बार विफल हो रहा था, वह अब लगभग 100% बार सही उत्तर देने लगा।
- वास्तविक दुनिया के टेस्ट पर: इस छोटे से सुधार ने AI को अन्य जटिल सार्वजनिक टेस्ट (जैसे WhatsUp और SpatialMQA) पर भी बहुत बेहतर प्रदर्शन करने में मदद की, जहाँ स्कोर में भारी सुधार (कुछ मामलों में 68 अंक तक) देखा गया।
निष्कर्ष (The Takeaway)
यह शोध सिद्ध करता है कि कभी-कभी AI इसलिए विफल नहीं होता क्योंकि वह दुनिया को देख नहीं सकता, बल्कि इसलिए होता है क्योंकि वह उन शब्दों से धोखा खा जाता है जिनका उपयोग दुनिया का वर्णन करने के लिए किया जाता है। AI के भाषा वाले हिस्से को एक छोटे, लक्षित अपडेट के साथ ठीक करके, हम इसे इन "शब्दों के जाल" में फंसने से रोक सकते हैं और इसे स्थान (space) को समझने में बहुत बेहतर बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।