💻 computer science

Mitigating Object Hallucinations via Sentence-Level Early Intervention

यह शोध पत्र SENTINEL को प्रस्तुत करता है, जो एक ऐसा फ्रेमवर्क है जो ओपन-वोकैबुलरी डिटेक्टरों के माध्यम से इन-डोमेन प्रेफरेंस डेटा को बूटस्ट्रैप करके और जनरेशन प्रक्रिया में जल्दी हस्तक्षेप करने के लिए वाक्य-स्तरीय संदर्भ-जागरूक प्रेफरेंस लर्निंग को लागू करके मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में ऑब्जेक्ट हॉलुसिनेशन को कम करता है, जिसके लिए मानव एनोटेशन की आवश्यकता नहीं होती है।

मूल लेखक: Shangpin Peng, Senqiao Yang, Li Jiang, Zhuotao Tian

प्रकाशित 2026-05-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shangpin Peng, Senqiao Yang, Li Jiang, Zhuotao Tian

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, कलात्मक मित्र है जिसे आपको तस्वीरें वर्णित करना पसंद है। यह मित्र बड़ी तस्वीर देखने में माहिर है, लेकिन उनकी एक अजीब आदत है: जैसे-जैसे वे बात करते जाते हैं, वे ऐसी चीजें बनाना शुरू कर देते हैं जो वास्तव में वहां नहीं हैं।

यदि आप उन्हें एक शांत रसोई की फोटो दिखाते हैं, तो वे शायद कहना शुरू करेंगे, "मुझे एक मेज और कुर्सियां दिख रही हैं।" यह सच है। लेकिन जैसे-जैसे वे दृश्य का वर्णन करते जाएंगे, वे अचानक जोड़ सकते हैं, "और देखो, मेज पर फूलों का एक गुलदस्ता है," भले ही वहां कोई फूल न हो। फिर, वे बहक सकते हैं और कह सकते हैं, "और गुलदस्ते पर एक बिल्ली सो रही है," भले ही वहां कोई बिल्ली न हो।

यही वह चीज़ है जिसे पेपर ऑब्जेक्ट हॉलुसिनेशन (Object Hallucination) कहता है। मॉडल झूठ नहीं बोल रहा है; वह बस अपनी ही कहानी में बहक गया है, और ऐसी बारीकियां गढ़ रहा है जो दृश्य की वास्तविकता के विपरीत हैं।

वर्तमान समाधानों के साथ समस्या

लेखकों ने बताया है कि अन्य शोधकर्ताओं ने इसे ठीक करने की कोशिश की है, लेकिन उनके समाधान एक अखरोट तोड़ने के लिए हथौड़े का उपयोग करने जैसे हैं:

"मानवीय संपादक" (Human Editor) दृष्टिकोण: कुछ तरीके महंगे मानवीय संपादकों या अत्यधिक शक्तिशाली AI मॉडलों से कहानी लिखे जाने के बाद उसे फिर से लिखवाते हैं। यह धीमा, महंगा है, और अक्सर मूल मॉडल की "आवाज" को बदल देता है।
"रुकें और जांचें" (Stop and Check) दृष्टिकोण: अन्य तरीके मॉडल को हर वाक्य के बाद रुकने और यह जांचने की कोशिश करते हैं कि क्या वस्तुएं मौजूद हैं। यह एक ड्राइवर को हर 10 फीट पर कार रोकने और मानचित्र (मैप) की जांच करने के लिए कहने जैसा है। यह काम करता है, लेकिन यह प्रक्रिया को अविश्वसनीय रूप से धीमा और बोझिल बना देता है।

बड़ी खोज: "स्नोबॉल प्रभाव" (The Snowball Effect)

SENTINEL के लेखकों ने एक महत्वपूर्ण अवलोकन किया। उन्होंने महसूस किया कि हॉलुसिनेशन (भ्रम) एक साथ नहीं होते; वे जल्दी होते हैं और फिर स्नोबॉल (बर्फ के गोले) की तरह बढ़ते हैं।

इसे "टेलीफोन" के खेल की तरह समझें। यदि लाइन में पहला व्यक्ति गलत तथ्य फुसफुसाता है, तो उसके बाद के सभी लोग उसी गलत तथ्य को दोहराते हैं और उस पर और अधिक झूठ जोड़ देते हैं। त्रुटि आगे बढ़ती जाती है। पेपर ने पाया कि यदि मॉडल दूसरे वाक्य में हॉलुसिनेशन करता है, तो तीसरे, चौथे और पांचवें वाक्य में हॉलुसिनेशन करने की संभावना बहुत बढ़ जाती है। त्रुटि प्रसारित होती है।

समाधान: SENTINEL (प्रारंभिक हस्तक्षेपकर्ता)

लेखक SENTINEL नामक एक नया फ्रेमवर्क प्रस्तावित करते हैं। पूरे दृश्य के लिखे जाने तक प्रतीक्षा करने के बजाय, SENTINEL एक सतर्क संपादक की तरह कार्य करता है जो उस क्षण हस्तक्षेप करता है जब पहला झूठ बोला जाता है।

यहाँ बताया गया है कि एक सरल उपमा का उपयोग करके SENTIN से कैसे काम करता है:

अभ्यास सत्र (Bootstrapping):
कल्पना कीजिए कि मॉडल एक दृश्य का अभ्यास कर रहा अभिनेता है। SENTINEL मॉडल को दृश्य को कई बार निभाने (दृश्य का वर्णन करने) के लिए कहता है।
- रन 1: "मुझे एक मेज दिख रही है।" (सच)
- रन 2: "मुझे एक मेज और एक गुलदस्ता दिख रहा है।" (गुलदस्ता वहां नहीं है!)
- रन 3: "मुझे एक मेज और एक बिल्ली दिख रही है।" (कोई बिल्ली नहीं!)
तथ्य-जांच (Cross-Checking):
SENTINEL दो सरल, तेज़ "जासूसों" (ऑब्जेक्ट डिटेक्टर्स) का उपयोग करता है जो फोटो और मॉडल की स्क्रिप्ट को देखते हैं।
- यदि स्क्रिप्ट कहती है "गुलदस्ता" लेकिन फोटो में कोई गुलदस्ता नहीं है, तो जासूस इसे हॉलुसिनेशन (Hallucination) के रूप में चिह्नित करते हैं।
- यदि स्क्रिप्ट कहती है "मेज" और फोटो में एक मेज है, तो इसे तथ्यात्मक (Factual) के रूप में चिह्नित किया जाता है।
- यदि जासूसों के बीच सहमति नहीं बनती है, तो वे भ्रम से बचने के लिए इसे अनदेखा कर देते हैं।
सीखना (Preference Learning):
अब, SENTINEL मॉडल के लिए "चुनें अपनी पसंद का रोमांच" (Choose Your Own Adventure) शैली का पाठ बनाता है।
- विकल्प A (अच्छा रास्ता): "मेज कुर्सियों से घिरी हुई है।" (यह फोटो से मेल खाता है)।
- विकल्प B (बुरा रास्ता): "मेज कुर्सियों और एक गुलदस्ते से घिरी हुई है।" (इसमें झूठ शामिल है)।
  मॉडल को यह सीखने के लिए प्रशिक्षित किया जाता है कि: "ओह! विकल्प A वह है जिसे मुझे चुनना चाहिए। विकल्प B गलत है क्योंकि इसमें नकली गुलदस्ता शामिल है।"
"संदर्भ" का मोड़ (The "Context" Twist):
यही असली सफलता का मंत्र है। मॉडल केवल अलगाव में सही वाक्य नहीं चुनता है। यह जो पहले आया है उसके आधार पर सही वाक्य चुनना सीखता है।
- यदि पिछला वाक्य सत्य था ("मुझे एक मेज दिख रही है"), तो मॉडल अगले वाक्य को भी सत्य बनाए रखना सीखता है।
- वह सीखता है कि एक बार जब "झूठ" (हॉलुसिनेशन) शुरू हो जाता है, तो पूरी कहानी पटरी से उतर जाती है। इसलिए, वह झूठ को तुरंत रोकने के लिए सीखता है जब वह पहली बार प्रकट होता है।

परिणाम

पेपर का दावा है कि इन झूठों को शुरुआत में ही पकड़कर (वाक्य-स्तर का प्रारंभिक हस्तक्षेप), SENTINEL "स्नोबॉल" को लुढ़कने से रोकता है।

कम हॉलुसिनेशन: इसने मूल मॉडल की तुलना में ऑब्जेक्ट हॉलुसिनेशन को 90% से अधिक कम कर दिया।
बेहतर सामान्य कौशल: अन्य तरीकों के विपरीत जो मॉडल को "मूर्ख" या धीमा बनाते हैं, SENTINEL ने वास्तव में मॉडल को प्रश्नों के उत्तर देने और चीजों का सटीक वर्णन करने में बेहतर बनाया।
कोई अतिरिक्त लागत नहीं: इसके लिए महंगे मानवीय संपादकों या सुपर-कंप्यूटर की आवश्यकता नहीं है। यह मॉडल को अपना स्वयं का तथ्य-जांचकर्ता बनना सिखाता है।

सारांश में

मूल AI मॉडल को एक ऐसे कहानीकार के रूप में सोचें जो बहुत उत्साहित हो जाता है और चीजें गढ़ने लगता है।

पुराने तरीके पूरी कहानी खत्म होने के बाद उसे फिर से लिखने के लिए एक सख्त संपादक को नियुक्त करने की कोशिश करते थे (महंगा और धीमा)।
SENTINEL कहानीकार को अपनी अंतरात्मा की आवाज सुनने के लिए प्रशिक्षित करता है। जिस क्षण वह कुछ ऐसा कहने वाला होता है जो सच नहीं है, वह रुकना, तथ्यों की जांच करना और सच बोलना सीख जाता है। यह झूठ को फैलने से पहले ही रोक देता है, जिससे एक ऐसी कहानी बनती है जो सटीक और रचनात्मक दोनों है।

तकनीकी सारांश: SENTINEL

समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ने क्रॉस-मोडल समझ में प्रगति की है, लेकिन वे ऑब्जेक्ट हैलुसिनेशन (वस्तु मतिभ्रम) से ग्रस्त हैं, जहाँ मॉडल ऐसे टेक्स्ट उत्पन्न करते हैं जो अर्थपूर्ण तो होते हैं लेकिन विजुअल इनपुट के साथ तथ्यात्मक रूप से असंगत होते हैं। मौजूदा शमन रणनीतियाँ महत्वपूर्ण सीमाओं का सामना करती हैं:

डिकोडिंग-आधारित विधियाँ (जैसे, कंट्रास्टिव डिकोडिंग) अक्सर अत्यधिक कम्प्यूटेशनल लागत और बढ़ी हुई इन्फरेंस लेटेंसी (inference latency) का कारण बनती हैं।
प्रेफरेंस अलाइनमेंट (Preference alignment) विधियाँ अक्सर महंगे बाहरी संसाधनों पर निर्भर करती हैं, जैसे कि रीराइटिंग के लिए प्रोप्रायटरी लार्ज लैंग्वेज मॉडल्स (LLMs) या डेटा क्यूरेशन के लिए मानव एनोटेटर। इसके अलावा, ये विधियाँ अक्सर प्रशिक्षण डेटा (जो बाहरी मॉडल्स द्वारा रीराइट किया गया है) और लक्षित मॉडल के मूल आउटपुट डिस्ट्रीब्यूशन के बीच डिस्ट्रीब्यूशन मिसमैच (distribution mismatch) पैदा करती हैं, जो सामान्यीकरण क्षमताओं (generalization capabilities) को नुकसान पहुँचा सकती हैं।

कार्यप्रणाली: SENTINEL (Methodology: SENTINEL)

लेखक SENTINEL (Sentence-level Early iNtervention Through IN-domain prEference Learning) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे बाहरी रीराइटिंग या मानव एनोटेशन पर निर्भर रहे बिना, हैलुसिनेशन के होने के शुरुआती चरण में हस्तक्षेप करके उन्हें कम करने के लिए डिज़ाइन किया गया है। यह विधि छह प्रमुख चरणों के माध्यम से कार्य करती है:

इन-डोमेन कैंडिडेट बूटस्ट्रैपिंग (In-domain Candidate Bootstrapping):
- वर्तमान MLLM सैंपलिंग के माध्यम से कई कैंडिडेट रिस्पॉन्स जनरेट करता है।
- इन आउटपुट्स में वर्णित ऑब्जेक्ट्स को Scene-GraphParser का उपयोग करके निकाला जाता है।
- क्रॉस-वैलिडेशन: इन ऑब्जेक्ट्स की इनपुट इमेज में उपस्थिति की जांच करने के लिए दो ओपन-वोकैबुलरी ऑब्जेक्ट डिटेक्टर्स (GroundingDINO और YOLO World) का उपयोग किया जाता है।
- ऑब्जेक्ट्स को फैक्टुअल (दोनों डिटेक्टर्स उपस्थिति की पुष्टि करते हैं), हैलुसिनेटेड (दोनों अनुपस्थिति की पुष्टि करते हैं), या अनसर्टेन (uncertain) के रूप में वर्गीकृत किया जाता है। हैलुसिनेटेड ऑब्जेक्ट्स वाले वाक्यों को नेगेटिव सैंपल के रूप में फ्लैग किया जाता है; केवल फैक्टुअल ऑब्जेक्ट्स वाले वाक्यों को पॉजिटिव सैंपल के रूप में। डेटा की गुणवत्ता सुनिश्चित करने के लिए अनसर्टेन ऑब्जेक्ट्स को अनदेखा कर दिया जाता है।
कॉन्टेक्स्ट-अवेयर प्रेफरेंस डेटा जनरेशन (Context-aware Preference Data Generation):
- फ्रेमवर्क प्रेफरेंस पेयर्स $(y_w^+, y_l)$ का निर्माण करता है जहाँ $y_w^+$ एक गैर-हैलुसिनेटेड वाक्य है और $y_l$ एक हैलुसिनेटेड वाक्य है।
- महत्वपूर्ण रूप से, पॉजिटिव सैंपल $y_w^+$ को कॉन्टेक्स्ट-कोहेरेंट (context-coherent) चुना जाता है, जिसका अर्थ है कि वाक्य में वर्णित ऑब्जेक्ट्स स्पष्ट रूप से पिछले कॉन्टेक्स्ट का संदर्भ देते हैं या उससे तार्किक रूप से जुड़े होते हैं। यह कॉन्टेक्स्ट-अग्नोस्टिक (context-agnostic) सैंपल्स के विपरीत है, जिन्हें लेखक सामान्यीकरण के लिए कम प्रभावी पाते हैं।
इटरेटिव कॉन्टेक्स्टुअल बूटस्ट्रैपिंग (Iterative Contextual Bootstrapping - ICB):
- विविध परिदृश्यों में मजबूती बढ़ाने के लिए, फ्रेमवर्क इटरेटिव रूप से जनरेशन कॉन्टेक्स्ट को विस्तारित करता है। एक गैर-हैलुसिनेटेड पॉजिटिव सैंपल की पहचान करने के बाद, इसे अगले इटरेशन के लिए कॉन्टेक्स $c$ में जोड़ दिया जाता है। यह मॉडल को एक हैलुसिनेशन-मुक्त आधार बनाए रखते हुए, धीरे-धीरे जटिल और विविध कॉन्टेक्स्ट से सीखने की अनुमति देता है।
कॉन्टेक्स्ट-अवेयर प्रेफरेंस लर्निंग (C-DPO):
- मॉडल को एक संशोधित डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) लॉस के माध्यम से प्रशिक्षित किया जाता है, जिसे C-DPO कहा जाता है।
- पॉलिसी मॉडल के इनपुट को कॉन्टेक्स्ट $c$ के साथ बढ़ाया जाता है: $x' = [v, q, c]$ ।
- लॉस फंक्शन कॉन्टेक्स्ट-कोहेरेंट पॉजिटिव सैंपल $y_w^+$ को जनरेट करने की संभावना को अधिकतम करता है और हैलुसिनेटेड नेगेटिव सैंपल $y_l$ को न्यूनतम करता है।
- मुख्य डिज़ाइन: लॉस कंप्यूटेशन के दौरान कॉन्टेक्स्ट $c$ को बाहर (मास्क) रखा जाता है। ग्रेडिएंट्स केवल $y_w^+$ और $y_l$ के बीच के अंतर से प्राप्त किए जाते हैं, जिससे यह सुनिश्चित होता है कि मॉडल ऑप्टिमाइजेशन के दौरान कॉन्टेक्स्ट टोकन्स से बायस्ड हुए बिना, सेंटेंस लेवल पर हैलुसिनेशन को पहचानना सीखता है।

मुख्य योगदान (Key Contributions)

अर्ली इंटरवेंशन इनसाइट (Early Intervention Insight): लेखक विश्लेषण के माध्यम से प्रदर्शित करते हैं कि हैलुसिनेशन की तीव्रता टेक्स्ट की लंबाई के साथ बढ़ती है और हैलुसिनेशन के पहले होने वाले मामले पर हस्तक्षेप करना बाद के आउटपुट्स में इसके प्रसार को रोकने में महत्वपूर्ण भूमिका निभाता है।
कुशल, इन-डोमेन फ्रेमवर्क: SENTINEL बाहरी प्रोप्रायटरी मॉडल्स या मानव एनोटेटर्स पर निर्भरता को समाप्त करता है। अपने स्वयं के आउटपुट्स और लाइटवेट ओपन-वोकैबुलरी डिटेक्टर्स का उपयोग करके, यह उच्च-गुणवत्ता वाले, स्टाइल-कंसिस्टेंट प्रेफरेंस डेटा का निर्माण करता है।
मॉडल-अग्नोस्टिक परफॉरमेंस: यह विधि सामान्य क्षमताओं को बनाए रखते हुए या उनमें सुधार करते हुए हैलुसिनेशन बेंचमार्क्स पर स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करती है, जो यह दर्शाता है कि इन-डोमेन प्रेफरेंस लर्निंग, रीराइटिंग-आधारित दृष्टिकोणों की तुलना में बेहतर है।

प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग कई बेंचमार्क्स पर LLaVA-v1.5 (7B और 13B) मॉडल्स पर किए गए:

हैलुसिनेशन मिटिगेशन (Hallucination Mitigation):
- Object HalBench पर, SENTINEL ने 7B मॉडल के लिए रिस्पॉन्स-लेवल हैलुसिनेशन रेट को बेसलाइन के 52.7% से घटाकर 4.3% कर दिया, जो पिछले SOTA (TPO) से काफी बेहतर है।
- AMBER पर, मूल मॉडल की तुलना में हैलुसिनेशन में लगभग 92% (Object HalBench) और 65% (AMBER) की कमी आई।
- इस विधि ने सभी छह श्रेणियों (Existence, Attribute, State, Relation, Action, Number) में हैलुसिनेशन को प्रभावी ढंग से कम किया।
सामान्य क्षमताएं (General Capabilities):
- कई मिटिगेशन विधियों के विपरीत, जो सामान्य प्रदर्शन को कम करती हैं, SENTINEL ने VQAv2, TextVQA, ScienceQA, और MM-Vet पर स्कोर को बनाए रखा या सुधारा।
- उदाहरण के लिए, MM-Vet पर, 7B मॉडल 31.0 से सुधरकर 32.6 हो गया, और 13B मॉडल 36.0 से सुधरकर 36.2 हो गया।
एब्लेशन स्टडीज (Ablation Studies):
- रीराइटिंग बनाम इन-डोमेन: रीराइटेड डेटा (GPT-4 के माध्यम से) पर प्रशिक्षण से प्रदर्शन में गिरावट आई, जो मॉडल के अंतर्निहित डिस्ट्रीब्यूशन को बनाए रखने के महत्व की पुष्टि करता है।
- कॉन्टेक्स्ट कोहेरेंस: कॉन्टेक्स्ट-कोहेरेंट पॉजिटिव सैंपल्स ( $y_w^+$ ) का उपयोग करने से कॉन्टेक्स्ट-अग्नोस्टिक सैंपल्स की तुलना में बेहतर परिणाम मिले।
- क्रॉस-चेकिंग: वैलिडेशन के लिए दो डिटेक्टर्स का उपयोग करना सिंगल-डिटेक्टर अप्रोच की तुलना में काफी बेहतर रहा।
- स्केलेबिलिटी: प्रशिक्षण डेटा स्केल बढ़ने के साथ प्रदर्शन में सुधार हुआ, जो महंगे एनोटेशन के बिना बड़े डेटासेट का उपयोग करने की इसकी दक्षता को दर्शाता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि SENTINEL MLLMs की विश्वसनीयता बढ़ाने के लिए एक स्केलेबल, कुशल और मॉडल-अग्नोस्टिक समाधान प्रदान करता है। इसका प्राथमिक महत्व महंगे, डिस्ट्रीब्यूशन-शिफ्टिंग बाहरी हस्तक्षेपों से हटकर इन-डोमेन, सेंटेंस-लेवल अर्ली इंटरवेंशन की ओर जाने में निहित है। हैलुसिनेशन के उभरने के सटीक क्षण पर ध्यान केंद्रित करके और अपने स्वयं के डिस्ट्रीब्यूशन का लाभ उठाकर, SENTINEL मॉडल के सामान्य तर्क या भाषा उत्पादन क्षमताओं से समझौता किए बिना त्रुटियों के प्रसार को सफलतापूर्वक रोकता है।

लेखक एक सीमा नोट करते हैं: वर्तमान फ्रेमवर्क में स्पैटियोटेम्पोरल (spatiotemporal) रीजनिंग क्षमताएं नहीं हैं, जिसका अर्थ है कि यह वीडियो-आधारित MLLMs को पूरी तरह से संबोधित नहीं कर सकता है जिसमें लॉन्ग-टर्म रीजनिंग की आवश्यकता होती है। हालांकि, स्टैटिक इमेज अंडरस्टैंडिंग के लिए, यह कुशल हैलुसिनेशन मिटिगेशन के लिए एक नया मानक स्थापित करता है।