🤖 machine learning

Instruction Lens Score: Your Instruction Contributes a Powerful Object Hallucination Detector for Multimodal Large Language Models

यह शोध पत्र इंस्ट्रक्शन लेंस स्कोर (InsLen) को प्रस्तुत करता है, जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स के लिए एक प्लग-एंड-प्ले ऑब्जेक्ट हैलुसिनेशन डिटेक्टर है, जो सहायक मॉडल्स या अतिरिक्त प्रशिक्षण की आवश्यकता के बिना इंस्ट्रक्शन टोकन एम्बेडिंग्स का लाभ उठाकर मौजूदा तरीकों से बेहतर प्रदर्शन करता है।

मूल लेखक: Runhe Lai, Xinhua Lu, Yanqi Wu, Jinlun Ye, Weijiang Yu, Ruixuan Wang

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Runhe Lai, Xinhua Lu, Yanqi Wu, Jinlun Ye, Weijiang Yu, Ruixuan Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट रोबोटिक सहायक (एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल) है जो चित्रों को देख सकता है और उनका विस्तार से वर्णन कर सकता है। आप उससे पूछते हैं, "तुम्हें क्या दिख रहा है?" और वह बोलना शुरू कर देता है। लेकिन कभी-कभी, यह रोबोट थोड़ा अधिक कल्पनाशील हो जाता है। यह बर्फ से भरे पहाड़ और स्कीयरों (skiers) की एक तस्वीर देख सकता है और आत्मविश्वास से कह सकता है, "मुझे स्कीयर पर एक लाल बैग दिखाई दे रहा है," भले ही चित्र में कोई बैग न हो। इसे ऑब्जेक्ट हैलुसिनेशन (Object Hallucination) कहा जाता है।

यह शोध पत्र एक नया टूल पेश करता है जिसे इंस्ट्रक्शन लेंस स्कोर (Instruction Lens Score - InsLen) कहा जाता है ताकि इन झूठों को पकड़ा जा सके। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

समस्या: "शोर वाला कैमरा" बनाम "स्मार्ट गाइड"

रोबोट की दृष्टि प्रणाली (vision system) को एक ऐसे कैमरे के रूप में सोचें जो खराब रोशनी या प्रतिबिंबों (reflections) के कारण कभी-कभी भ्रमित हो जाता है। यह एक छाया देख सकता है जो बैग जैसी दिखती है और रोबोट के मस्तिष्क को बता सकता है, "हे, वहाँ एक बैग है!"

आमतौर पर, अन्य विधियाँ रोबोट के उत्तर की जाँच करने के लिए कैमरे के कच्चे डेटा (विजुअल एम्बेडिंग्स) को देखने का प्रयास करती हैं। लेकिन यदि कैमरा भ्रमित है, तो यह जाँच विफल हो जाती है।

शोधकर्ताओं ने कुछ आश्चर्यजनक खोजा: रोबलेट के निर्देश (instructions) (वह टेक्स्ट जो आप टाइप करते हैं, जैसे "कृपया चित्र का वर्णन करें") एक स्मार्ट गाइड की तरह कार्य करते हैं। भले ही कैमरा शोर भरा हो, स्मार्ट गाइड के पास इस शोर को फ़िल्टर करने का एक तरीका होता है। जब रोबोट आपके निर्देश को पढ़ता है, तो वह अंतर्निहित रूप से "जानता" है कि चित्र में वास्तव में क्या है और वह भ्रमित कैमरे से आने वाले नकली "बैग" के संकेत को अनदेखा कर सकता है।

समाधान: "इंस्ट्रक्शन लेंस"

शोधकर्ताओं ने एक डिटेक्टर बनाया है जिसे InsLen कहा जाता है, जो कैमरे के बजाय विशेष रूप से स्मार्ट गाइड के विचारों पर केंद्रित एक आवर्धक लेंस (magnifying glass) की तरह कार्य करता है।

वे इसे दो मुख्य जाँचों में विभाजित करते हैं:

1. "रियलिटी चेक" (कैलिब्रेटेड लोकल स्कोर)

उपमा: कल्पना कीजिए कि एक जासूस (कैमरा) को एक सुराग मिलता है जो बैग जैसा दिखता है। लेकिन एक बुद्धिमान न्यायाधीश (निर्देश) उसी सुराग को देखता है और कहता है, "मुझे नहीं लगता कि यह बैग है; यह सिर्फ एक छाया है।"
यह कैसे काम करता है: यह विधि उस विश्वास (confidence) को लेती है जो रोबोट को बैग देखने में हो रहा है। यदि कैमरा बैग को लेकर उत्साहित है, लेकिन "स्मार्ट गाइड" (निर्देश) बहुत संशय में है और उसे कम संभावना (low probability) देता है, तो सिस्टम उस विश्वास को कैलिब्रेट (कम) करने का निर्णय लेता है। यह प्रभावी रूप से कहता है, "कैमरा झूठ बोल रहा है; गाइड बेहतर जानता है।"

2. "कॉन्टेक्स्ट चेक" (कॉन्टेक्स्ट कंसिस्टेंसी स्कोर)

उपमा: कल्पना कीजिए कि आप भीड़ में किसी व्यक्ति की पहचान करने की कोशिश कर रहे हैं।
- लोकल चेक: आप पिक्सेल के एक धुंधले हिस्से को देखते हैं जो चेहरे जैसा दिखता है।
- कॉन्टेक्स्ट चेक: आप "स्मार्ट गाइड" से पूछते हैं, "क्या यह व्यक्ति पूरे दृश्य की कहानी में फिट बैठता है?" यदि दृश्य एक स्की ढलान (ski slope) है, तो गाइड जानता है कि वहां स्कीयर और बर्फ होनी चाहिए, लेकिन हवा में तैरता हुआ कोई "बैग" नहीं होना चाहिए।
यह कैसे काम करता है: यह विधि पूरे दृश्य की "स्मार्ट गाइड" की समझ को देखती है। यह जाँचती है कि रोबोट जिसे देखने का दावा करता है (जैसे "बैग"), वह उस वैश्विक कहानी (global story) के साथ मेल खाता है जो गाइड बता रहा है। यदि गाइड की कहानी बैग के अस्तित्व का समर्थन नहीं करती है, तो सिस्टम इसे हैलुसिनेशन के रूप में चिह्नित करता है।

यह बेहतर क्यों है?

अधिकांश पिछली विधियों ने रोबोट को ठीक करने के लिए अधिक भारी मशीनरी जोड़ने (जैसे कि काम की जाँच करने के लिए दूसरे, बहुत महंगे AI का उपयोग करना) या रोबोट को पूर्ण बनाने के लिए प्रशिक्षित करने (जिसमें बहुत समय लगता है) का प्रयास किया।

InsLen अलग है क्योंकि:

यह "प्लग-एंड-प्ले" है: आपको रोबोट को फिर से प्रशिक्षित करने या नए महंगे उपकरण जोड़ने की आवश्यकता नहीं है। आप बस रोबोट के अपने आंतरिक "स्मार्ट गाइड" विचारों का उपयोग करके उसके काम की जाँच करते हैं।
यह तेज़ है: यह रोबोट की सोचने की प्रक्रिया में लगभग कोई अतिरिक्त समय नहीं जोड़ता है।
यह सटीक है: अपने परीक्षणों में, इस पद्धति ने अन्य सभी विधियों की तुलना में अधिक झूठ पकड़े, यहाँ तक कि जब रोबोट चुनौतीपूर्ण चित्रों को देख रहा था जहाँ वास्तविक वस्तुएं और नकली वस्तुएं बहुत समान दिख रही थीं (जैसे चम्मच और चाकू)।

सारांश

शोध पत्र का दावा है कि रोबोट की आंखों (कैमरे) के बजाय रोबोट के निर्देशों (स्मार्ट गाइड) को सुनकर, हम प्रभावी रूप से नकली वस्तुओं को फ़िल्टर कर सकते हैं। इंस्ट्रक्शन लेंस स्कोर एक "रियलिटी चेक" (कैमरे के विश्वास को कैलिब्रेट करना) को "कॉन्टेक्स्ट चेक" (यह सुनिश्चित करना कि वस्तु कहानी में फिट बैठती है) के साथ जोड़ता है ताकि AI इमेज विवरणों के लिए एक अत्यधिक विश्वसनीय झूठ पकड़ने वाला यंत्र बनाया जा सके।

तकनीकी सारांश: ऑब्जेक्ट हेलुसिनेशन डिटेक्शन के लिए इंस्ट्रक्शन लेंस स्कोर (Instruction Lens Score)

समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ने विजुअल अंडरस्टैंडिंग और रीजनिंग में महत्वपूर्ण क्षमताएं प्रदर्शित की हैं। हालांकि, उनकी विश्वसनीय तैनाती के लिए एक महत्वपूर्ण बाधा ऑब्जेक्ट हेलुसिनेशन (OH) है, जहाँ मॉडल इनपुट इमेज में मौजूद न होने वाली वस्तुओं का वर्णन उत्पन्न करते हैं। मौजूदा डिटेक्शन विधियां दो प्राथमिक सीमाओं का सामना करती हैं:

सहायक मॉडल पर निर्भरता (Auxiliary Model Dependence): बाहरी मॉडल्स (जैसे, GPT-4) या समर्पित हेलुसिनेशन डिटेक्टर्स पर निर्भर करने वाली विधियों में पर्याप्त कंप्यूटेशनल ओवरहेड होता है और अतिरिक्त प्रशिक्षण की आवश्यकता होती है।
भ्रामक विजुअल सिग्नल्स के प्रति संवेदनशीलता: विजन-आधारित डिटेक्शन स्कोर (जैसे, अटेंशन वेट्स, लोकल सिमिलैरिटी) अक्सर स्प्यूरियस हाई कॉन्फिडेंस से ग्रस्त होते हैं जब विजन एनकोडर्स भ्रामक जानकारी पेश करते हैं या जब हेलुसिनेटेड ऑब्जेक्ट्स के स्थानीय विजुअल पैटर्न वास्तविक वस्तुओं के समान होते हैं (जैसे, चम्मच और चाकू के लिए समान टेक्सचर)।

कार्यप्रणाली: इंस्ट्रक्शन लेंस स्कोर (Instruction Lens Score - InsLen)

यह पेपर इंस्ट्रक्शन लेंस स्कोर (InsLen) का प्रस्ताव करता है, जो एक ट्रेनिंग-फ्री, प्लग-एंड-प्ले डिटेक्टर है जो भ्रामक विजुअल जानकारी को फिल्टर करने के लिए इंस्ट्रक्शन टोकन्स के इंटरनल एम्बेडिंग्स का लाभ उठाता है। मुख्य अंतर्दृष्टि यह है कि इंस्ट्रक्शन एम्बेडिंग्स इमेज में ग्राउंडेड विजुअल जानकारी को स्पष्ट रूप से एनकोड करते हैं और विजुअल एम्बेडिंग्स द्वारा पेश किए गए त्रुटिपूर्ण संकेतों को प्रभावी ढंग से दबाते हैं।

यह विधि इंटरमीडिएट लेयर एम्बेडिंग्स को वोकैबुलरी स्पेस में प्रोजेक्ट करने के लिए लॉगिट लेंस (Logit Lens) तकनीक का उपयोग करती है ताकि कॉन्फिडेंस डिस्ट्रीब्यूशन का विश्लेषण किया जा सके। InsLen दो पूरक घटकों से मिलकर बना है:

1. कैलिब्रेटेड लोकल स्कोर ( $S_{cls}$ )

यह घटक विजन-आधारित स्कोर में स्प्यूरियस ओवरकॉन्फिडेंस की समस्या को संबोधित करता है।

मैकेनिज्म: यह सभी इंस्ट्रक्शन एम्बेडिंग्स में एक ऑब्जेक्ट टोकन को दिए गए अधिकतम कॉन्फिडेंस को मापकर एक कैलिब्रेशन कॉन्फिडेंस ( $S_{cafe}$ ) पेश करता है।
लॉजिक: चूंकि इंस्ट्रक्शन एम्बेडिंग्स भ्रामक विजुअल संकेतों को फिल्टर करते हैं, इसलिए हेलुसिनेटेड ऑब्जेक्ट्स इस प्रोजेक्शन में कम कॉन्फिडेंस प्राप्त करते हैं।
फ्यूजन: $S_{cafe}$ को मौजूदा विजन-आधारित स्कोर (जैसे, लोकल सिमिलैरिटी स्कोर, इंटरनल कॉन्फिडेंस) के साथ स्थानीय विजुअल साक्ष्य को कैलिब्रेट करने के लिए गुणात्मक रूप से फ्यूज किया जाता है:
$S_{cls}(o) = S_{cafe}(o) \cdot S_{local}(o)$

2. कॉन्टेक्स्ट कंसिस्टेंसी स्कोर ( $S_{ccs}$ )

यह घटक पैच-लेवल विजुअल एम्बेडिंग्स की सीमा को संबोधित करता है, जो समान स्थानीय टेक्सचर वाले ऑब्जेक्ट्स के बीच अंतर करने में विफल हो सकते हैं।

मैकेनिज्म: यह उन इंस्ट्रक्शन एम्बेडिंग्स को एकत्रित करता है जो ऑब्जेक्ट टोकन को उच्च संभाव्यता (high probability) प्रदान करते हैं ताकि एक ग्लोबल कॉन्टेक्स्ट रिप्रेजेंटेशन ( $\bar{z}$ ) बनाया जा सके।
लॉजिक: इंस्ट्रक्शन एम्बेडिंग्स ग्लोबल ऑब्जेक्ट कॉन्टेक्स्ट को कैप्चर करते हैं। जनरेट किए गए ऑब्जेक्ट टोकन एम्बेडिंग ( $h_o$ ) और एकत्रित इंस्ट्रक्शन कॉन्टेक्स्ट ( $\bar{z}$ ) के बीच की कंसिस्टेंसी को नॉर्मलाइज्ड $\ell_2$ डिस्टेंस का उपयोग करके मापा जाता है।
वेटिंग: विश्वसनीयता सुनिश्चित करने के लिए चयनित इंस्ट्रक्शन एम्बेडिंग्स के औसत कॉन्फिडेंस द्वारा कंसिस्टेंसी स्कोर को वेट किया जाता है:
$S_{ccs}(o) = S_{con}(o) \cdot p(o|\{\hat{z}_1, ..., \hat{z}_m\})$

फाइनल स्कोरिंग

अंतिम InsLen स्कोर, कैलिब्रेटेड लोकल स्कोर और कॉन्टेक्स्ट कंसिस्टेंसी स्कोर का एक वेटेड कॉम्बिनेशन है:
$S_{Ins}(o) = \omega \cdot S_{cls}(o) + (1 - \omega) \cdot S_{ccs}(o)$
जहाँ $\omega$ एक हाइपरपैरामीटर है।

मुख्य योगदान (Key Contributions)

इंस्ट्रक्शन एम्बेडिंग्स का विश्लेषण: लेखक प्रकट करते हैं कि MLLMs में इंस्ट्रक्शन एम्बेडिंग्स स्पष्ट रूप से विश्वसनीय विजुअल सिमेंटिक्स को एनकोड करते हैं और विजुअल एम्बेडिंग्स से उत्पन्न भ्रामक जानकारी को प्रभावी ढंग से दबा सकते हैं, जो एक ऐसी क्षमता है जिसे हेलुसिनेशन डिटेक्शन के लिए पहले अनदेखा किया गया था।
प्रस्तावित डिटेक्टर (InsLen): एक नया, ट्रेनिंग-फ्री डिटेक्टर जो बिना किसी सहायक मॉडल या अतिरिक्त प्रशिक्षण के कैलिब्रेटेड विजुअल साक्ष्य को इंस्ट्रक्शन-आधारित कॉन्टेक्स्ट कंसिस्टेंसी के साथ एकीकृत करता है।
व्यापक मूल्यांकन: कई बेंचमार्क्स (MSCOCO, Objects365, POPE, CLEVR) और विविध MLLM आर्किटेक्चर (LLaVA-1.5, InstructBLIP, mPLUG-Owl3, Qwen3-VL, LLaVA-OneVision) में व्यापक प्रयोग इसकी प्रभावशीलता को प्रदर्शित करते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

परफॉर्मेंस: InsLen सभी परीक्षण किए गए बेंचमार्क्स और मॉडल आर्किटेक्चर में मौजूदा स्टेट-ऑफ-द-आर्ट विधियों (जैसे, GLSIM, SVAR, Internal Confidence) को लगातार पछाड़ता है।
- Qwen3-VL के साथ MSCOCO बेंचमार्क पर, InsLen ने सबसे मजबूत बेसलाइन (GLSIM) की तुलना में AUROC में 7.70% का सुधार किया।
- POPE बेंचमार्क पर, इसने LLaVA-1.5 के लिए बेसलाइन्स की तुलना में 13.81% तक अधिक AUROC प्राप्त किया।
- CLEVR बेंचमार्क (एट्रीब्यूट और रिलेशनल हेलुसिनेशन का परीक्षण करने के लिए) पर, InsLen ने बेहतर प्रदर्शन दिखाया, विशेष रूप से Qwen3-VL जैसे मजबूत मॉडल्स पर (SVAR के 73.01% के मुकाबले 77.72% AUROC)।
रोबस्टनेस: यह विधि पोस्ट-ट्रेन्ड मॉडल्स (जैसे, LLaVA-RLHF, LLaVA-RLAIF-V) पर भी प्रभावी रहती है और विभिन्न इनपुट इंस्ट्रक्शन लेंथ और हाइपरपैरामीटर सेटिंग्स ( $\omega$ , $m$ , $\tau$ ) में स्थिरता प्रदर्शित करती है।
एफिशिएंसी: हालांकि यह कुछ बेसलाइन्स (जैसे, LLaVA-1.5 के लिए ~104ms बनाम 95ms) की तुलना में थोड़ा अधिक कंप्यूटेशनल ओवरहेड पेश करता है, लेकिन यह उत्तर जनरेशन की तुलना में न्यूनतम है और सहायक मॉडल्स या जीरोइंग ऑपरेशन्स (जैसे, EAZY) की आवश्यकता वाली विधियों की तुलना में काफी कम है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि इंस्ट्रक्शन लेंस स्कोर MLLM जनरेशन की विश्वसनीयता में सुधार के लिए एक मूल्यवान और अनछुआ सिग्नल प्रदान करता है। यह प्रदर्शित करते हुए कि इंस्ट्रक्शन एम्बेडिंग्स भ्रामक विजुअल जानकारी को प्रभावी ढंग से दबा सकते हैं, यह कार्य हेलुसिनेशन डिटेक्शन पर एक नया दृष्टिकोण प्रदान करता है जो बाहरी संसाधनों या रिट्रेनिंग पर निर्भर नहीं है। लेखक InsLen को एक मजबूत, प्लग-एंड-प्ले समाधान के रूप में प्रस्तुत करते हैं जो उन वास्तविक दुनिया के अनुप्रयोगों में MLLMs के भरोसेमंद होने के स्तर को बढ़ाता है जहाँ ऑब्जेक्ट हेलुसिनेशन महत्वपूर्ण जोखिम पैदा करता है।