Dual-Pathway Circuits of Object Hallucination in Vision-Language Models
यह शोध पत्र विजन-लैंग्वेज मॉडल्स में विशिष्ट विजुअल ग्राउंडिंग और हैलुसिनेशन पाथवेज़ की पहचान और लक्षण वर्णन करने के लिए ड्यूल-पाथवे सर्किट एनालिसिस पेश करता है, जो यह प्रदर्शित करता है कि हैलुसिनेशन पाथवे के लक्षित दमन से सटीकता बनाए रखते हुए ऑब्जेक्ट हैलुसिनेशन को 76% तक कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही समझदार रोबोट सहायक है जो चित्रों को देखता है और जो वह देखता है उसका वर्णन करता है। कभी-कभी, यह रोबोट शानदार होता है। अन्य समय में, यह थोड़ा अधिक आत्मविश्वासी हो जाता है और उन चीजों का वर्णन करने लगता है जो वास्तव में वहां नहीं हैं—जैसे, "मैं घर के ऊपर एक सुनहरा बाज उड़ते हुए देख रहा हूँ," जबकि चित्र केवल एक शांत उपनगरीय सड़क का है। इसे हैलुसिनेशन (Hallucination) कहा जाता है।
लंबे समय तक, वैज्ञानिकों ने इन रोबोटों के साथ ऐसा व्यवहार किया जैसे वे "ब्लैक बॉक्स" हों। वे रोबोट को गलती करते देख सकते थे, लेकिन उन्हें यह नहीं पता था कि रोबोट के मस्तिष्क के अंदर वह गलती क्यों या कैसे हुई। उन्होंने इसे रोबोट के प्रशिक्षण या उसके बोलने के तरीके को बदलकर ठीक करने की कोशिश की, लेकिन ये सुधार अक्सर काम नहीं करते थे और अलग-अलग प्रकार के रोबोटों पर प्रभावी नहीं होते थे।
यह शोध पत्र, "Dual-Pathway Circuits of Object Hallucination," इस रोबोट को खोलकर उसके वास्तविक वायरिंग को देखने जैसा है। शोधकर्ताओं ने उन विशिष्ट विद्युत सर्किटों (electrical circuits) को खोजने की कोशिश की जो इन रोबोटों के भीतर झूठ बोलने का कारण बनते हैं।
यहाँ उन्होंने जो पाया है, उसका सरल विवरण दिया गया है:
1. दो-पथ प्रणाली (The Dual-Pathway)
शोधकर्ताओं ने पाया कि इन विजन-लैंग्वेज मॉडल्स के भीतर, केवल रैंडम तार नहीं हैं। वहां दो अलग-अलग "हाईवे" या मार्ग हैं जिन पर जानकारी यात्रा करती है:
- सत्य का हाईवे (Visual Grounding Pathway): यह न्यूरॉन्स की वह टीम है जो चित्र को देखती है और कहती है, "हे, यहाँ कोई बाज नहीं है। यह सिर्फ एक घर है।" यह मार्ग रोबोट को सच बोलने में मदद करता है।
- झूठ का हाईवे (Hallucination Pathway): यह न्यूरॉन्स की एक अलग टीम है जो उत्साहित होती है और कहती है, "बाज! मैं एक बाज देख रहा हूँ!" भले ही वहां कोई न हो। यह मार्ग त्रुटियों को बढ़ावा देता है।
खास बात यह है कि उन्होंने इस उसी दो-पथ प्रणाली को पांच पूरी तरह से अलग प्रकार के रोबोट दिमागों (अलग आर्किटेक्चर) में पाया। यह ऐसा है जैसे यह पता लगाना कि हर कार, चाहे वह फोर्ड हो या फेरारी, में इंजन और ट्रांसमिशन होता है, भले ही उनके पुर्जे थोड़े अलग दिखते हों। यह सुझाव देता है कि ये रोबोट भ्रम (hallucinate) करना कैसे सीखते हैं, यह उनके प्रशिक्षण का एक मौलिक हिस्सा है, न कि केवल किसी एक विशिष्ट डिज़ाइन की खामी।
2. "पोलैरिटी फ्लिप" (The Switch That Gets Stuck)
शोधकर्ताओं ने एक चतुर तकनीक का उपयोग किया। उन्होंने एक्टिवेशन पैचिंग (Activation Patching) नामक तकनीक का उपयोग किया। कल्पना कीजिए कि आपके पास रोबोट के सही ढंग से काम करने का एक वीडियो है। फिर, आप रोबोट को गलती करते हुए देखते हैं। फिर, आप सही वीडियो से विशिष्ट तारों को गलती वाले वीडियो में बदलते हैं ताकि यह देखा जा सके कि क्या इससे त्रुटि ठीक हो जाती है।
उन्होंने सत्य के हाईवे में एक अजीब व्यवहार पाया:
- जब रोबोट सही होता है, तो सत्य का हाईवे सक्रिय होता है और कहता है, "कोई बाज नहीं है!" (सकारात्मक संकेत)।
- जब रोबोट हैलुसिनेट (भ्रमित) करता है, तो वही तार अपने संकेत (sign) को बदल देते हैं! वे शुरू हो जाते हैं, "हाँ, बाज!" (नकारात्मक संकेत)।
यह एक ट्रैफिक लाइट की तरह है जो आमतौर पर सुरक्षित रखने के लिए "रुकिए" (लाल) कहती है। लेकिन जब रोबलेट भ्रमित होता है, तो वही लाइट पलट जाती है और "चलिए" (हरा) कहती है और रोबोट को दीवार में गाड़ी चलाने के लिए कहती है। शोधकर्ता समझ गए कि रोबोट केवल दृश्य साक्ष्य की "कमी" महसूस नहीं कर रहा है; बल्कि वह वास्तव में सच खोजने के लिए बने सर्किटों का उपयोग अपने झूठ का समर्थन करने के लिए गलत तरीके से कर रहा है।
3. "रिडंडेंट बैकअप" की समस्या
उन्होंने यह भी पाया कि सत्य का हाईवे रिडंडेंट (Redundant) है। इसका मतलब है कि कई बैकअप तार एक ही काम कर रहे हैं। यदि आप एक तार काट देते हैं, तो दूसरे काम संभाल लेते हैं। यह स्थिरता के लिए अच्छा है, लेकिन यह रोबोट को केवल एक हिस्से को बदलकर ठीक करना कठिन बनाता है।
हालाँकि, झूठ का हाईवे अलग है। यह एक विशिष्ट, केंद्रित तारों के समूह की तरह है, जो जब सक्रिय होते हैं, तो रोबोट को गलत उत्तर की ओर धकेल देते हैं।
4. समाधान: "झूठ की टीम" को म्यूट करना
यह साबित करने के लिए कि वे समस्या को समझते हैं, शोधकर्ताओं ने एक "सर्जिकल" सुधार का प्रयास किया। पूरे रोबोट को फिर से प्रशिक्षित करने के बजाय, उन्होंने बस झूठ के हाईवे के विशिष्ट तारों की आवाज़ (output) को कम कर दिया (scale down)।
- परिणाम: उन्होंने रोबोट के भ्रम (hallucinations) को 76% तक कम कर दिया (लगभग झूठ को खत्म कर दिया) जबकि उसकी सच बोलने की क्षमता को बहुत कम नुकसान पहुँचाया।
- चुनौती: उन्होंने रोबोट को एक एकल "दिशा" में धकेलने की कोशिश की (जैसे कि एक सामान्य "झूठ मत बोलो" कमांड), और यह उतना अच्छा काम नहीं आया। इससे सिद्ध हुआ कि "झूठ का हाईवे" एक साधारण स्विच नहीं है; यह अलग-अलग तरीकों से काम करने वाले तारों का एक जटिल समूह है। आपको विशिष्ट समूह को म्यूट करना होता है, न कि केवल एक सामान्य बटन दबाना होता है।
5. क्या यह समाधान हर जगह काम करता है?
शोधकर्ताओं ने परीक्षण किया कि क्या यह "झूठ का हाईवे" सभी प्रकार के झूठों के लिए समान है।
- वस्तु का अस्तित्व (Object Existence): "क्या वहां एक बाज है?" (हाँ/नहीं)। समाधान यहाँ बहुत अच्छा रहा।
- संबंध (Relationships): "क्या बाज घर के ऊपर है?" यह यहाँ भी अच्छी तरह काम किया।
- विशेषताएँ (Attributes): "क्या बाज सुनहरा है?" यह काम नहीं किया।
यह हमें बताता है कि जबकि रोबोट के पास ऐसी चीज़ों के अस्तित्व के बारे में बताने के लिए एक विशिष्ट "हैलुसिनेशन सर्किट" है जो मौजूद नहीं हैं, विवरण (जैसे रंग) देना पूरी तरह से एक अलग प्रकार की समस्या हो सकती है।
सारांश
संक्षेप में, यह शोध पत्र इस बात की तरह है कि एक मैकेनिक ने खोज लिया है कि एक कार के इंजन में एक विशिष्ट "स्टटर" (झटका) सर्किट है जिसके कारण वह मिसफायर करता है। उन्होंने पाया कि:
- इन सभी स्मार्ट रोबोट दिमागों में एक ही तरह के "सत्य" और "झूठ" के सर्किट होते हैं।
- "सत्य" सर्किट को कभी-कभी "झूठ" का समर्थन करने के लिए हाईजैक कर लिया जाता है।
- झूठ के सर्किट की आवाज़ को कम करके, वे रोबोट को वे चीजें बनाने से रोक सकते हैं जो वह नहीं देख रहा है, बिना पूरे इंजन को फिर से बनाए।
यह हमें यह स्पष्ट मानचित्र देता है कि ये मॉडल कैसे विफल होते हैं, जो कि वास्तव में विश्वसनीय रोबोट बनाने की दिशा में पहला कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।