💻 computer science

Context Blindness in DPO: Mitigating Object Hallucination in MLLMs via Context-Calibrated Preference Optimization

यह शोध पत्र पहचान करता है कि मानक डायरेक्ट प्रिफरेंस ऑप्टिमाइज़ेशन (DPO) प्रासंगिक जानकारी का कम उपयोग करता है, जिससे मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में ऑब्जेक्ट हैलुसिनेशन (वस्तु संबंधी भ्रम) होता है, और कॉन्टेक्स्ट-कैलिब्रेटेड DPO (C²-DPO) प्रस्तावित करता है, जो एक ऐसी विधि है जो सामान्य तर्क क्षमताओं को सुरक्षित रखते हुए हैलुसिनेशन को महत्वपूर्ण रूप से कम करने के लिए स्पष्ट रूप से कॉन्टेक्स्टुअल प्रिफरेंस गेन को अधिकतम करती है।

मूल लेखक: Byungoh Ko, Jinyoung Park, Jongha Kim, Jeehye Na, Jaewon Cho, Hyunwoo J. Kim

प्रकाशित 2026-08-13

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Byungoh Ko, Jinyoung Park, Jongha Kim, Jeehye Na, Jaewon Cho, Hyunwoo J. Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को अपने आस-पास की दुनिया का वर्णन करना सिखा रहे हैं। आप उसे एक कुत्ते की तस्वीर दिखाते हैं और पूछते हैं, "तुम्हें क्या दिख रहा है?" आदर्श रूप से, रोबोट को कहना चाहिए, "मुझे एक कुत्ता दिख रहा है।" लेकिन कभी-कभी, ये AI मॉडल थोड़े ज़्यादा रचनात्मक हो जाते हैं। वे कह सकते हैं, "मुझे एक लाल टोपी पहने हुए कुत्ता दिख रहा है," भले ही तस्वीर में कोई टोपी न हो। इसे "हैलुसिनेशन" (hallucination) कहा जाता है। यह ऐसा है जैसे रोबोट वास्तव में जो वहां मौजूद है उसे देखने के बजाय दिवास्वप्न (daydreaming) देख रहा हो।

इसे ठीक करने के लिए, वैज्ञानिक "प्रेफरेंस ऑप्टिमाइज़ेशन" (Preference Optimization) नामक प्रशिक्षण पद्धति का उपयोग करते हैं। इसे "हॉट और कोल्ड" के खेल की तरह समझें। आप रोबोट को दो उत्तर दिखाते हैं: एक जो सच है ( "हॉट" उत्तर) और एक जो बनावटी है ("कोल्ड" उत्तर)। रोबोट "हॉट" वाले को चुनना सीखता है। हाल ही में, शोधकर्ताओं ने इसे और भी बेहतर बनाने के लिए रोबोट को अतिरिक्त सुराग देने की कोशिश की, जैसे कि तस्वीर का लिखित विवरण, इस उम्मीद में कि वह इन सुरागों का उपयोग करके दिवास्वप्न देखना बंद कर देगा। लेकिन यहाँ बड़ा सवाल यह है: क्या रोबोट वास्तव में उन सुरागों का उपयोग कर रहा है, या वह उन्हें अनदेखा कर रहा है और बस अंदाज़ा लगा रहा है?

यही वह सवाल है जिसकी जांच "कंटेक्स्ट ब्लाइंडनेस इन डीपीओ" (Context Blindness in DPO) नामक शोध पत्र करता है। लेखकों ने, जो कोरिया यूनिवर्सिटी और KAIST के शोधकर्ताओं की एक टीम है, पाया कि अतिरिक्त सुरागों के साथ भी, कई AI मॉडल "कंटेक्स्ट ब्लाइंडनेस" (संदर्भ अंधापन) से जूझ रहे हैं। उन्होंने पाया कि मानक प्रशिक्षण विधियाँ वास्तव में रोबोट को अतिरिक्त जानकारी पर ध्यान देने के लिए नहीं सिखाती हैं। इसे ठीक करने के लिए, उन्होंने एक नई प्रशिक्षण तकनीक विकसित की जिसे C2-DPO (कंटेक्स्ट-कैलिब्रेटेड डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन) कहा जाता है। केवल रोबोट को यह बताने के बजाय कि कौन सा उत्तर बेहतर है, C2-DPO रोबोट को यह सिखाता है कि जब उसके पास अतिरिक्त सुराग हों तो उसे सही उत्तर के प्रति बहुत अधिक आश्वस्त होना चाहिए, और सुराग गायब होने पर भी आत्मविश्वास बनाए रखना चाहिए। उनके प्रयोगों से पता चलता है कि यह नई विधि रोबोट के दिवास्वप्न देखने की आदत को काफी कम कर देती है, जिससे वह वास्तविक दुनिया का एक बहुत अधिक विश्वसनीय पर्यवेक्षक बन जाता है।

समस्या: रोबोट की दिवास्वप्न देखने की आदत

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) सुपर-पावर्ड कैमरों की तरह हैं जिनमें दिमाग भी है। वे एक फोटो को देख सकते हैं और उसके बारे में बात कर सकते हैं। लेकिन उनमें एक परेशान करने वाली आदत है: वे अक्सर विवरण बना लेते हैं। यदि आप उन्हें एक सादी सफेद प्लेट की तस्वीर दिखाते हैं, तो वे आत्मविश्वास से कह सकते हैं, "प्लेट पर पिज्जा का एक टुकड़ा है।" वाक्य एकदम सही लगता है, लेकिन यह एक झूठ है। यह "ऑब्जेक्ट हैलुसिनेशन" (वस्तु का भ्रम) है।

इसे रोकने के लिए, वैज्ञानिक डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) नामक विधि का उपयोग करते हैं। कल्पना कीजिए कि आप एक छात्र के निबंध को ग्रेड दे रहे हैं। आपके पास दो संस्करण हैं: एक सटीक है, और दूसरा झूठों से भरा है। आप छात्र को कहते हैं, "मैं सटीक वाले को पसंद करता हूँ।" समय के साथ, छात्र सटीक तरीके से लिखना सीख जाता है। AI की दुनिया में, शोधकर्ता मॉडल को उत्तरों के जोड़े देते हैं—एक सत्य और एक काल्पनिक—और उसे हमेशा सत्य को चुनने के लिए प्रशिक्षित करते हैं।

हाल ही में, कुछ शोधकर्ताओं ने AI की और भी मदद करने की कोशिश की। उन्होंने प्रश्न पूछने से पहले तस्वीर में एक "हेल्पर टेक्स्ट" (जैसे कैप्शन) जोड़ दिया। विचार यह था, "यदि रोबोट कैप्शन पढ़ता है और तस्वीर को देखता है, तो वह चीजें नहीं बनाएगा।" लेकिन इस पेपर के लेखकों ने एक संदिग्ध सवाल पूछा: क्या रोबोट वास्तव में कैप्शन पढ़ रहा है, या वह इसे अनदेखा कर रहा है और बस अंदाज़ा लगा रहा है?

खोज: "अंधा" रोबोट

इसका उत्तर खोजने के लिए, लेखकों ने कॉन्टेक्स्टुअल प्रेफरेंस गेन (CPG) नामक एक सरल परीक्षण बनाया। CPG को एक "कॉन्फिडेंस मीटर" (आत्मविश्वास मीटर) के रूप में समझें।

यह परीक्षण कैसे काम करता है:

पूर्ण संदर्भ (Full Context): आप रोबोट को एक तस्वीर साथ ही एक सहायक कैप्शन दिखाते हैं। आप पूछते हैं, "क्या प्लेट पर पिज्जा है?" रोबोट कहता है, "नहीं, यह खाली है।" आप जाँचते हैं कि वह कितना आश्वस्त है।
घटित संदर्भ (Degraded Context): आप कैप्शन हटा देते हैं। आप रोबोट को केवल तस्वीर दिखाते हैं और वही प्रश्न पूछते हैं। रोबोट कहता है, "नहीं, यह खाली है।" आप फिर से जाँचते हैं कि वह कितना आश्वस्त है।

यदि रोबोट वास्तव में ध्यान दे रहा है, तो उसे कैप्शन मिलने पर बहुत अधिक आश्वस्त होना चाहिए। "कॉन्फिडेंस मीटर" (CPG) ऊपर जाना चाहिए। एक स्मार्ट, ग्राउंडेड रोबोट ऐसा ही करेगा।

हालाँकि, जब लेखकों ने मानक AI मॉडल का परीक्षण किया (सामान्य DPO प्रशिक्षण का उपयोग करके), तो उन्होंने पाया कि यह चौंकाने वाला था। कॉन्फिडेंस मीटर में बहुत कम बदलाव आया। चाहे रोबोट के पास कैप्शन हो या न हो, वह आत्मविश्वास का बिल्कुल समान स्तर महसूस कर रहा था। रोबोट कंटेक्स्ट-ब्लाइंड (संदर्भ के प्रति अंधा) था। वह उस अतिरिक्त मदद को अनदेखा कर रहा था और अपने स्वयं के अंदाजों पर भरोसा कर रहा था, जिससे वे परेशान करने वाले हैलुसिनेशन पैदा हुए।

लेखकों ने एक मजबूत संबंध पाया: जब अतिरिक्त सुराग दिए जाने पर मॉडल का कॉन्फिडेंस मीटर बढ़ता है (उच्च CPG), तो वह कम झूठ बोलता है। लेकिन मानक मॉडलों का CPG शून्य के करीब था। वे अनिवार्य रूप रूप से उस संदर्भ के प्रति "अंधे" थे जिसका उन्हें उपयोग करना चाहिए था।

समाधान: C2-DPO (द "कंटेक्स्ट-कैलिब्रेटेड" ट्रेनर)

तो, एक अंधे रोबोट को देखना कैसे सिखाया जाए? लेखकों ने C2-DPO नामक एक नया प्रशिक्षण तरीका प्रस्तावित किया।

केवल यह कहने के बजाय कि, "सही उत्तर चुनें," C2-DPO खेल के नियम बदल देता है। यह रोबोट को एक विशिष्ट सबक सीखने के लिए मजबूर करता है: "जब आपके पास अतिरिक्त सुराग हों, तो आपको अपने उत्तर के प्रति बहुत अधिक सुनिश्चित होना चाहिए जितना कि तब जब वे नहीं होते।"

वे इसे एक विशेष गणितीय ट्रिक (लॉस फंक्शन) के साथ करते हैं जो रोबोट को अपने आत्मविश्वास के स्तरों के बीच के अंतर को बढ़ाने के लिए पुरस्कृत करता है।

परिदृश्य A (पूर्ण संदर्भ): रोबकट तस्वीर और कैप्शन देखता है। उसे अपने उत्तर के प्रति बहुत आश्वस्त होना चाहिए।
परिदृश्य B (घटित संदर्भ): रोबोट केवल तस्वीर देखता है। उसे अभी भी आश्वस्त होने की आवश्यकता है, लेकिन प्रशिक्षण यह सुनिश्चित करता है कि "पूर्ण संदर्भ" वाला आत्मविश्वास काफी अधिक हो।

यह एक जासूस को प्रशिक्षित करने जैसा है। एक मानक जासूस बिना गवाह के भी केस सुलझा सकता है। लेकिन एक C2-DPO जासूस को यह कहने के लिए प्रशिक्षित किया जाता है, "यदि मेरे पास एक गवाह है, तो मैं 100% निश्चित हूँ! यदि मेरे पास नहीं है, तो मैं अभी भी काफी आश्वस्त हूँ, लेकिन मुझे पता है कि मुझे और सबूतों की आवश्यकता है।" यह AI को वास्तव में अतिरिक्त जानकारी (गवाह/कैप्शन) का उपयोग करके अपने तर्क को मजबूत करने के लिए मजबूर करता है।

परिणाम: कम दिवास्वप्न, अधिक सच्चाई

लेखकों ने LLaVA-v1.5-7B और Qwen2-VL-Instruct-2B सहित कई प्रसिद्ध AI मॉडलों पर इस नई पद्धति का परीक्षण किया। उन्होंने Object HalBench नामक एक परीक्षण पर C2-DPO की तुलना पुराने मानक तरीकों से की, जो उन रोबोटों को पकड़ने के लिए बनाया गया है जो वस्तुएं बना लेते हैं।

परिणाम प्रभावशाली थे:

Qwen2-VL-Instruct-2B मॉडल के लिए, C2-DPO ने हैलुसिनेटेड प्रतिक्रियाओं की दर को 36% और हैलुसिनेटेड उल्लेखों (विशिष्ट शब्द) की दर को 60% कम कर दिया।
AMBER बेंचमार्क पर, हैलुसिनेशन स्कोर पुराने तरीके के साथ 39.9 से गिरकर C2-DPO के साथ 16.1 हो गया।
महत्वपूर्ण रूप से, मॉडल अन्य कार्यों में "मूर्ख" नहीं हुए। वे पहले की तरह ही सामान्य प्रश्नों के उत्तर देने और तर्क पहेलियाँ सुलझाने में सक्षम रहे। उन्होंने बस चीजें बनाना बंद कर दिया।

लेखकों ने यह भी दिखाया कि यह ट्रिक बिना तस्वीरों के भी काम करती है। जब उन्होंने केवल प्रश्न और उत्तरों का उपयोग करके केवल टेक्स्ट-ओनली मॉडलों पर भी यही तर्क लागू किया, तो इसने उनकी सटीकता में सुधार किया। इससे पता चलता है कि समस्या केवल "देखने" के बारे में नहीं थी; यह इस बारे में थी कि मॉडल दी गई जानकारी को कैसे महत्व देता है।

यह क्यों मायने रखता है

यह शोध पत्र सुझाव देता है कि जिस तरह से हम वर्तमान में AI को "ईमानदार" होने के लिए प्रशिक्षित करते हैं, उसमें एक प्रमुख तत्व गायब हो सकता है। हम उन्हें अतिरिक्त सुराग दे रहे हैं और उम्मीद कर रहे हैं कि वे उनका उपयोग करेंगे, लेकिन प्रशिक्षण पद्धति उन्हें ध्यान देने के लिए मजबूर नहीं कर रही थी। केवल प्रशिक्षण को "संदर्भ-जागरूक आत्मविश्वास" (context-aware confidence) को पुरस्कृत करने के लिए समायोजित करके, लेखकों ने दिखाया कि हम बड़े नए डेटासेट या जटिल नए आर्किटेक्चर की आवश्यकता के बिना AI मॉडलों को काफी अधिक विश्वसनीय बना सकते हैं।

यह एक याद दिलाता है कि कभी-कभी, रोबोट को दिवास्वप्न देखने से रोकने का सबसे अच्छा तरीका उसे अधिक डेटा देना नहीं है, बल्कि उसे सिखाना है कि उसके पास पहले से मौजूद डेटा को कैसे महत्व दिया जाए। जैसा कि लेखकों ने पाया, जब आप मॉडल को संदर्भ का सम्मान करने के लिए कैलिब्रेट करते हैं, तो हैलुसिनेशन कम हो जाते हैं, और रोबंतु सच बोलना शुरू कर देता है।

तकनीकी सारांश: DPO में कॉन्टेक्स्ट ब्लाइंडनेस (Context Blindness): MLLMs में ऑब्जेक्ट हेलुसिनेशन (Object Hallucination) को कम करने के लिए कॉन्टेक्स्ट-कैलिब्रेटेड प्रिफरेंस ऑप्टिमाइज़ेशन

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ने विजन-लैंग्वेज कार्यों में महत्वपूर्ण प्रगति की है, लेकिन वे ऑब्जेक्ट हेलुसिनेशन (object hallucination) के प्रति संवेदनशील बने हुए हैं, जहाँ मॉडल ऐसे अर्थपूर्ण विवरण उत्पन्न करते हैं जो विजुअल इनपुट के विपरीत होते हैं। हालांकि डायरेक्ट प्रिफरेंस ऑप्टिमाइज़ेशन (DPO) और इसके वेरिएंट्स का उपयोग इसे कम करने के लिए किया गया है (मॉडल को हेलुसिनेटेड प्रतिक्रियाओं के बजाय गैर-हेलुसिनेटेड प्रतिक्रियाओं को प्राथमिकता देने के लिए प्रशिक्षित करके), हाल के प्रयासों ने, जिन्होंने प्रिफरेंस डेटा को प्रासंगिक संदर्भ (जैसे कि सहायक कैप्शन) के साथ समृद्ध किया है, यह स्पष्ट नहीं कर पाया है कि मॉडल वास्तव में उस संदर्भ का उपयोग कैसे कर रहा है।

लेखक मौजूदा प्रिफरेंस ऑप्टिमाइज़ेशन उद्देश्यों में एक मौलिक सीमा की पहचान करते हैं: वे कॉन्टेक्स्ट-ब्लाइंड (context-blind) हैं। मानक DPO एक निश्चित इनपुट $x$ के लिए प्रिफरेंस मार्जिन को ऑप्टिमाइज़ करता है, लेकिन यह स्पष्ट रूप से यह पुरस्कृत नहीं करता है कि जब समृद्ध प्रासंगिक जानकारी प्रदान की जाती है, तो मॉडल अपनी प्राथमिकता को कैसे मजबूत करे। फलस्वरूप, सहायक संदर्भ वाले डेटा पर प्रशिक्षित होने के बावजूद, मॉडल अक्सर इस जानकारी का लाभ उठाने में विफल रहते हैं ताकि वे अपनी प्रतिक्रियाओं को ग्राउंड (ground) कर सकें, जिससे निरंतर हेलुसिनेशन होता है।

2. कार्यप्रणाली (Methodology)

2.1 नैदानिक मीट्रिक: कॉन्टेक्स्टुअल प्रिफरेंस गेन (CPG)

यह जांचने के लिए कि क्या मॉडल वास्तव में संदर्भ का लाभ उठा रहे हैं, लेखक कॉन्टेक्स्टुअल प्रिफरेंस गेन (CPG) पेश करते हैं। यह मीट्रिक अतिरिक्त प्रासंगिक संदर्भ प्रदान करने पर मॉडल की प्रिफरेंस स्ट्रेंथ में होने वाले परिवर्तन को मापता है।

एक पूर्ण संदर्भ इनपुट $x$ (इमेज, क्वेरी, और सहायक कैप्शन) और एक डिग्रेडेड (degraded) संदर्भ इनपुट $x'$ (केवल इमेज और क्वेरी, बिना कैप्शन के) को देखते हुए, प्रिफरेंस स्कोर को पसंदीदा प्रतिक्रिया ( $y_w$ ) और नापसंद की गई प्रतिक्रिया ( $y_l$ ) के बीच निहित रिवॉर्ड मार्जिन के रूप में परिभाषित किया गया है:
$\Delta \hat{r}_\theta(x, y_w, y_l) = \hat{r}_\theta(x, y_w) - \hat{r}_\theta(x, y_l)$

CPG की गणना इन स्कोर्स के अंतर के रूप में की जाती है:
$\text{CPG}(x, x') = \Delta \hat{r}_\theta(x, y_w, y_l) - \Delta \hat{r}_\theta(x', y_w, y_l)$

मुख्य अवलोकन:

सहसंबंध (Correlation): CPG और हेलुसिनेशन दरों के बीच एक मजबूत नकारात्मक सहसंबंध है; उच्च CPG वाले मॉडल लगातार कम हेलुसिनेशन प्रदर्शित करते हैं।
कॉन्टेक्स्ट ब्लाइंडनेस (Context Blindness): मानक DPO और इसके वेरिएंट्स (SimPO, RDPO) में CPG वितरण शून्य के करीब केंद्रित है। यह इंगित करता है कि सहायक संदर्भ को हटाने से मॉडल की प्रिफरेंस में न्यूनतम परिवर्तन होता है, जिससे पता चलता है कि ये मॉडल ग्राउंडिंग के लिए प्रासंगिक जानकारी का प्रभावी ढंग से उपयोग नहीं करते हैं।

2.2 प्रस्तावित समाधान: कॉन्टेक्स्ट-कैलिब्रेटेड DPO (C2-DPO)

कॉन्टेक्स्ट ब्लाइंडनेस को संबोधित करने के लिए, लेखक C2-DPO प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो स्पष्ट रूप से CPG को मैक्सिमाइज़ करता है और डिग्रेडेड स्थितियों के तहत भी सही प्रिफरेंस ऑर्डरिंग को बनाए रखता है। इस दृष्टिकोण को एक कंस्ट्रेंड ऑप्टिमाइज़ेशन समस्या के रूप में तैयार किया गया है:

उद्देश्य (Objective): पूर्ण संदर्भ ( $x$ ) के तहत प्रिफरेंस मार्जिन को मैक्सिमाइज़ करना।
कन्स्ट्रेंट 1 (Constraint 1): पूर्ण संदर्भ के तहत प्रिफरेंस मार्जिन, डिग्रेडेड संदर्भ ( $x'$ ) की तुलना में अधिक होना चाहिए, जिससे एक सकारात्मक CPG सुनिश्चित हो सके।
कन्स्ट्रेंट 2 (Constraint 2): डिग्रेडेड संदर्भ के तहत प्रिफरेंस मार्जिन सकारात्मक रहना चाहिए, जिससे यह सुनिश्चित हो सके कि सहायक संकेतों के बिना भी मॉडल सही प्रतिक्रिया को ही पसंद करता है।

इन बाधाओं को तीन टर्म्स वाले एक डिफरेंशिएबल ट्रेनिंग ऑब्जेक्टिव में रिलैक्स किया गया है:
$\mathcal{L}_{\text{C}^2\text{-DPO}}(x, x') = \mathcal{L}_{\text{DPO}}(x) + \lambda_c \mathcal{L}_c(x, x') + \lambda_u \mathcal{L}_{\text{DPO}}(x')$

$\mathcal{L}_{\text{DPO}}(x)$ : एलाइनमेंट बनाए रखने के लिए पूर्ण संदर्भ पर मानक DPO लॉस।
$\mathcal{L}_c(x, x')$ (कॉन्टेक्स्टुअल प्रिफरेंस कैलिब्रेशन लॉस): एक कंट्रास्टिव लॉस जो पूर्ण संदर्भ को पॉजिटिव और डिग्रेडेड संदर्भ को नेगेटिव मानता है, जो स्पष्ट रूप से उनके बीच के अंतर (CPG) को मैक्सिमाइज़ करता है।
$\mathcal{L}_{\text{DPO}}(x')$ : डिग्रेडेड संदर्भ पर मानक DPO लॉस, यह सुनिश्चित करने के लिए कि मॉडल संदर्भ गायब होने पर भी सही प्रिफरेंस ऑर्डरिंग बनाए रखे, ताकि मॉडल केवल CPG को कृत्रिम रूप से बढ़ाने के लिए पसंदीदा प्रतिक्रिया के स्कोर को कम न कर दे।

3. मुख्य योगदान (Key Contributions)

कॉन्टेक्स्ट ब्लाइंडनेस की पहचान: लेखक प्रकट करते हैं कि मौजूदा प्रिफरेंस ऑप्टिमाइज़ेशन विधियाँ प्रासंगिक जानकारी का लाभ उठाने में विफल रहती हैं, जो लगभग शून्य CPG वितरण द्वारा सिद्ध होता है।
CPG का परिचय: एक नैदानिक मीट्रिक जो संदर्भ उपयोग और हेलुसिनेशन दरों के बीच संबंध को मापता है, यह प्रदर्शित करते हुए कि उच्च CPG कम हेलुसिनेशन से संबंधित है।
C2-DPO फ्रेमवर्क: एक सामान्य प्रिफरेंस एलाइनमेंट विधि जो स्पष्ट रूप से कॉन्टेक्स्टुअल प्रिफरेंस गेन के लिए ऑप्टिमाइज़ करती है। इसे मॉडल-अग्नोस्टिक (model-agnostic) बनाया गया है और इसे विभिन्न प्रिफरेंस ऑप्टिमाइज़ेशन वेरिएंट्स (DPO, SimPO, RDPO) के साथ सहजता से एकीकृत किया जा सकता है और मल्टीमॉडल एवं टेक्स्ट-ओनली सेटिंग्स दोनों पर लागू किया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो MLLMs (LLaVA-v1.5-7B और Qwen2-VL-Instruct-2B) पर कई बेंचमार्क्स में C2-DPO का मूल्यांकन किया।

हेलुसिनेशन में कमी:
- Object HalBench पर, C2-DPO ने बेसलाइन की तुलना में Qwen2-VL-Instruct-2B के हेलुसिनेशन रेट को 36% (रिस्पॉन्स लेवल) और 60% (मेंशन लेवल) कम कर दिया, जो C-DPO और HA-DPO जैसे स्टेट-ऑफ-द-आर्ट तरीकों से बेहतर प्रदर्शन करता है।
- AMBER पर, C2-DPO ने 16.1 का हेलुसिनेशन स्कोर प्राप्त किया, जो वैनीला-DPO (39.9) और C-DPO (17.5) से काफी कम है।
- सुधार विभिन्न मॉडल स्केल्स और आर्किटेक्चर में सुसंगत रहे।
सामान्य तर्क क्षमता का संरक्षण (General Reasoning Preservation):
- C2-DPO ने सामान्य मल्टीमॉडल रीजनिंग बेंचमार्क्स (ScienceQA, MM-Vet, TextVQA) पर मजबूत प्रदर्शन बनाए रखा, जो यह दर्शाता है कि हेलुसिनेशन को कम करने से सामान्य इंस्ट्रक्शन-फॉलोइंग या रीजनिंग क्षमताओं से समझौता नहीं होता है।
सामान्यीकरण (Generalizability):
- वेरिएंट्स: सिम्पो (SimPO) और आरडीपीओ (RDPO) में कैलिब्रेशन लॉस को एकीकृत करने (जिससे C2-SimPO और C2-RDPO प्राप्त हुआ) से निरंतर सुधार हुआ, जो इसके अंडरलाइंग ऑप्टिमाइज़ेशन ऑब्जेक्टिव के प्रति इसकी ऑर्थोगोनैलिटी (orthogonality) की पुष्टि करता है।
- टेक्स्ट-ओनली: टेक्स्ट-ओनली LLM सेटिंग्स (AlpacaEval 2) में, कैलिब्रेशन रणनीति लागू करने से DPO और SimPO दोनों के प्रदर्शन में सुधार हुआ, जो यह सुझाव देता है कि कॉन्टेक्स्ट-अवेयर प्रिफरेंस मॉडलिंग का सिद्धांत मल्टीमॉडल डोमेन से परे भी विस्तारित है।
मजबूती (Robustness):
- नॉइजी कॉन्टेक्स्ट (रैंडमली कैप्शन मास्क करना) के साथ प्रयोगों ने दिखाया कि C2-DPO मजबूत बना रहता है, जिसमें शोर (noise) बढ़ने के साथ C2-DPO और बेसलाइन्स के बीच का प्रदर्शन अंतर बढ़ता जाता है।
लर्निंग डायनेमिक्स (Learning Dynamics):
- ट्रेनिंग विश्लेषण ने दिखाया कि C2-DPO पूरे प्रशिक्षण के दौरान CPG को लगातार बढ़ाता है, जबकि बेसलाइन विधियाँ (जैसे C-DPO) शून्य के करीब रहती हैं।
- यह देखा गया कि CPG प्रासंगिक संदर्भ की मात्रा (वाक्य और शब्द गणना) के साथ रैखिक रूप से बढ़ता है, जो संदर्भ की समृद्धि के प्रति मॉडल की संवेदनशीलता की पुष्टि करता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि MLLMs में वर्तमान प्रिफरेंस ऑप्टिमाइज़ेशन की प्राथमिक सीमा डेटा की गुणवत्ता नहीं है, बल्कि ऑप्टिमाइज़ेशन ऑब्जेक्टिव की कॉन्टेक्स्ट ग्राउंडिंग को लागू करने में अक्षमता है। संदर्भ को प्राथमिकता के रूप में स्पष्ट रूप से मॉडल करके, C2-DPO ऑब्जेक्ट हेलुसिनेशन को कम करने के लिए एक सिद्धांत आधारित दृष्टिकोण प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि उनका तरीका:

इसके लिए जटिल आर्किटेक्चरल बदलावों या अतिरिक्त रिवॉर्ड मॉडल्स की आवश्यकता नहीं है।
यह केवल पूर्ण और डिग्रेडेड इनपुट्स के बीच के कंट्रास्ट पर निर्भर करता है, जो इसे अन्य मोडैलिटीज और कार्यों के लिए भी लागू करने योग्य बनाता है जहाँ संदर्भ को परिभाषित किया जा सकता है।
प्रिफरेंस ऑप्टिमाइज़ेशन में विश्वसनीयता सुधारने के लिए एक एकीकृत रणनीति प्रदान करता है, जो मल्टीमॉडल ग्राउंडिंग से टेक्स्ट-ओनली फैक्टुअल एलाइनमेंट तक के लाभों को बढ़ाता है।

कार्य यह निष्कर्ष निकालता है कि प्रिफरेंस स्कोर को कॉन्टेक्स्टुअल जानकारी के सापेक्ष स्पष्ट रूप से कैलिब्रेट करना, जेनेरेटिव मॉडल्स की तथ्यात्मक विश्वसनीयता को बढ़ाने के लिए एक व्यापक रूप से उपयोगी सिद्धांत है।