← नवीनतम पेपर
🤖 AI

Reasoning Matters: Mitigate Hallucination in Multimodal Large Reasoning Models via Reasoning-Conditioned Preference Optimization

यह शोध पत्र रीजनिंग-कंडीशन्ड डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (RC-DPO) को प्रस्तुत करता है, जो एक नवीन प्रशिक्षण ढांचा है जो मल्टीमॉडल लार्ज रीजनिंग मॉडल्स में मतिभ्रम (hallucinations) को कम करने के लिए उत्तर निर्माण को एक अखंड आउटपुट के रूप में मानने के बजाय, उसे तार्किक रूप से सुसंगत और दृश्य रूप से आधारित रीजनिंग श्रृंखलाओं के साथ स्पष्ट रूप से संरेखित करता है।

मूल लेखक: Jiawei Kong, Hao Fang, Shunxiang Liao, Jinyu Li, Bin Chen, Hao Wu, Shu-Tao Xia, Min Zhang

प्रकाशित 2026-05-28
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Jiawei Kong, Hao Fang, Shunxiang Liao, Jinyu Li, Bin Chen, Hao Wu, Shu-Tao Xia, Min Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Reasoning Matters: Mitigate Hallucination in Multimodal Large Reasoning Models via Reasoning-Conditioned Preference Optimization" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।

समस्या: "आत्मविश्वासी झूठा" (The "Confident Liar")

कल्पना कीजिए कि एक बहुत ही बुद्धिमान छात्र (AI) एक तस्वीर के बारे में परीक्षा दे रहा है। यह छात्र कठिन समस्याओं को हल करने में बहुत अच्छा है, लेकिन उसकी एक बुरी आदत है: वह अक्सर हैलुसिनेट (hallucinate) करता है (यानी ऐसी चीजें बताता है जो वास्तव में वहाँ नहीं हैं)।

अतीत में, यदि छात्र अंतिम उत्तर गलत देता था, तो शिक्षक केवल इतना कहते थे, "नहीं, यह उत्तर गलत है।" लेकिन इस शोध पत्र ने एक नई समस्या की खोज की है जो "रीजनिंग मॉडल्स" (वे AI जो उत्तर देने से पहले ज़ोर-ज़ोर से सोचते हैं) के साथ होती है।

ये मॉडल न केवल अंतिम उत्तर गलत करते हैं; वे सोचते समय भी झूठ बोलते हैं।

  • परिदृश्य: छात्र रेगिस्तान में एक ट्रक की तस्वीर देखता है।
  • झूठ: अपने "सोचने के चरणों" (Chain-of-Thought) में, वह एक कहानी गढ़ लेता है: "मैं सामने की ओर एक नीला डाइनिंग टेबल देख रहा हूँ।" (वहाँ कोई टेबल नहीं है)।
  • परिणाम: क्योंकि उसने खुद को विश्वास दिला लिया कि वहाँ एक टेबल है, इसलिए वह आत्मविश्वास के साथ उत्तर देता है, "हाँ, वहाँ एक डाइनिंग टेबल है।"

यह शोध पत्र तर्क देता है कि वर्तमान प्रशिक्षण विधियाँ उन शिक्षकों की तरह हैं जो केवल अंतिम उत्तर को ग्रेड देते हैं। वे देखते हैं कि उत्तर "हाँ" है या "नहीं" और उसे ठीक करने की कोशिश करते हैं, लेकिन वे इस तथ्य को अनदेखा कर देते हैं कि छात्र की सोचने की प्रक्रिया झूठ से भरी थी। छात्र वास्तव में तस्वीर को सही ढंग से देखना सीखने के बजाय, किस्मत या शॉर्टकट याद करके सही उत्तर तक पहुँचने की कोशिश करता है।

समाधान: RC-DPO (द "थिंकिंग कोच")

लेखकों ने एक नई प्रशिक्षण विधि प्रस्तावित की है जिसे RC-DPO (Reasoning-Conditioned Direct Preference Optimization) कहा जाता है।

इसे एक एथलीट को प्रशिक्षित करने वाले कोच के नए तरीके के रूप में सोचें। केवल यह कहने के बजाय कि, "तुम दौड़ बहुत धीरे दौड़े, फिर से कोशिश करो," कोच इसे विस्तार से समझाता है:

  1. शर्त (The Condition): कोच कहता है, "यदि आप अच्छे फॉर्म (एक सत्यपूर्ण विचार प्रक्रिया) के साथ दौड़ते हैं, तो आपको स्वर्ण पदक मिलना चाहिए। यदि आप बुरे फॉर्म (एक झूठ बोलने वाली विचार प्रक्रिया) के साथ दौड़ते हैं, तो आपको दंड मिलना चाहिए, भले ही आप किसी तरह सबसे पहले फिनिश लाइन पार कर लें।"
  2. लक्ष्य: AI यह सीखता है कि एक "अच्छा उत्तर" तभी मान्य है जब वह एक "अच्छे विचार प्रक्रिया" द्वारा समर्थित हो। यह AI को अपनी सोच को दृश्य साक्ष्यों (visual evidence) के साथ संरेखित करने के लिए मजबूर करता है।

उन्होंने प्रशिक्षण डेटा कैसे बनाया (द "सर्च एंड प्रून" रणनीति)

AI को यह नया सबक सिखाने के लिए, शोधकर्ताओं को "अच्छी सोच" बनाम "बुरी सोच" के उदाहरणों की आवश्यकता थी। उन्होंने केवल मनुष्यों से इन्हें लिखने के लिए नहीं कहा; उन्होंने इन्हें स्वचालित रूप से उत्पन्न करने के लिए एक प्रणाली बनाई:

  1. "अच्छी सोच" को खोजना (MCTS):
    कल्पive एक जासूस जो रहस्य सुलझाने की कोशिश कर रहा है। एक ही रास्ते का अनुमान लगाने के बजाय, जासूस कई अलग-अलग रास्तों की कोशिश करता है (जिसे मोंटे कार्लो ट्री सर्च या MCTS कहा जाता है)। वे प्रत्येक पथ की जाँच करते हैं कि: "क्या यह चरण फोटो से मेल खाता है? क्या तर्क सही है?"
  • वे उस पथ को चुनते हैं जो सबसे अधिक तार्किक और दृश्य रूप से सटीक है। यह पॉजिटिव सैंपल ( "अच्छी सोच" का उदाहरण) बन जाता है।
  1. "बुरी सोच" बनाना (Attention Pruning):
    AI को यह सिखाने के लिए कि क्या नहीं करना है, उन्होंने एक सामान्य उत्तर लिया और उसे जानबूझकर बिगाड़ दिया। उन्होंने देखा कि "सोचने" वाले भाग में कौन से शब्द चित्र से सबसे अधिक जुड़े हुए थे (जैसे "लाल," "ट्रक," "धूल")।
  • उन्होंने उन महत्वपूर्ण दृश्य शब्दों को प्रून (prune/काट) दिया।
  • इससे एक "बुरी सोच" का नमूना तैयार हुआ जो सुनने में तो ऐसा लगता है जैसे वह सोच रहा है, लेकिन वास्तव में वह चित्र की अनदेखी कर रहा है। यह नेगेटिव सैंपल बन जाता है।

परिणाम: एक अधिक ईमानदार विचारक

AI को "बुरी सोच" के बजाय "अच्छी सोच" वाले पथ को प्राथमिकता देने के लिए प्रशिक्षित करके (भले ही अंतिम उत्तर समान हो), मॉडल ने अपनी विचार प्रक्रिया के दौरान झूठ बोलना बंद कर दिया।

  • पहले: AI एक टेबल की कल्पना करता, उसके बारे में सोचता और उत्तर देता "हाँ"।
  • बाद में: AI तस्वीर को देखता, देखता कि वहाँ कोई टेबल नहीं है, सोचता "मुझे एक ट्रक और एक शेड दिख रहा है, लेकिन कोई टेबल नहीं है," और उत्तर देता "नहीं"।

सारांश

शोध पत्र का दावा है कि AI को हैलुसिनेट (चीजें बनाने) से रोकने के लिए, हम केवल अंतिम उत्तर को ठीक नहीं कर सकते। हमें सोचने की प्रक्रिया को ही ठीक करना होगा। उनकी नई विधि, RC-DPO, एक सख्त कोच की तरह काम करती है जो कहती है, "यदि आपका तर्क एक झूठ है, तो आप सही उत्तर प्राप्त नहीं कर सकते।" मॉडल को अच्छे उत्तरों को सख्ती से अच्छे, साक्ष्य-आधारित तर्क से जोड़ने के लिए प्रशिक्षित करके, उन्होंने इन जटिल विज़न-लैंग्वेज मॉडल्स में हैलुसिनेशन की संख्या को काफी कम कर दिया है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →