Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization
यह शोध पत्र C3PO प्रस्तुत करता है, जो एक प्रशिक्षण-आधारित ढांचा है जो अनावश्यक टेक्स्ट टोकन को कम करने के लिए चेन-ऑफ-थॉट (Chain-of-Thought) को संकुचित करके और दृश्य निर्भरता को बढ़ाने के लिए मतिभ्रम-प्रेरित नकारात्मक संकेतों के साथ कंट्रास्टिव प्रिफरेंस ऑप्टिमाइज़ेशन (Contrastive Preference Optimization) का उपयोग करके मल्टीमॉडल रीजनिंग मॉडल्स में मतिभ्रम (hallucinations) को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुशिक्षित रोबोट सहायक है। आप उसे सलाद की एक तस्वीर दिखाते हैं और पूछते हैं, "क्या इस तस्वीर में कांटा (fork) है?"
एक सामान्य रोबोट तस्वीर को देख सकता है, सलाद देख सकता है, और कह सकता है, "हाँ, सलाद के साथ आमतौर पर कांटे होते हैं।" लेकिन एक मल्टीमॉडल लार्ज रीजनिंग मॉडल (MLRM) एक ऐसे रोबोट की तरह है जो केवल उत्तर नहीं देता; वह बोलने से पहले ज़ोर से सोचता है। वह कहता है: "हम्म, मुझे हरी पत्तियां दिख रही हैं। सलाद कांटे से खाया जाता है। यहाँ एक नैपकिन भी है, जो एक कांटे की ओर संकेत करता है। इसलिए, हाँ, यहाँ एक कांटा है।"
समस्या क्या है? कभी-कभी, रोबोट भ्रम (hallucinate) करने लगता है। वह कह सकता है, "मुझे एक कांटा दिख रहा है," भले ही तस्वीर में वास्तव में कोई कांटा न हो। वह अपने "तर्क" (logic) पर बात करने में इतना व्यस्त हो जाता है कि वह तस्वीर को देखना ही छोड़ देता है।
यह शोध पत्र, जिसका शीर्षक "सीइंग थ्रू द चेन" (Seeing Through the Chain) है, इस रोबोट के दिमाग को ठीक करने के लिए C3PO (स्टार वॉर्स रोबोट की एक चतुर झलक) नामक एक नई प्रशिक्षण विधि पेश करता है। यह कैसे काम करता है, यहाँ सरल रूप में समझाया गया है:
समस्या: रोबोट "ज़रूरत से ज़्यादा सोच" रहा है
लेखकों ने पाया कि ये रीजनिंग रोबोट दो मुख्य कारणों से तथ्य गढ़ते हैं:
- "चैटरबॉक्स" (बातूनी) प्रभाव: जब रोबोट अपनी "चेन ऑफ थॉट" (उसका आंतरिक संवाद) शुरू करता है, तो वह बातें करने के उत्साह में इतना खो जाता है कि वह चित्र पर ध्यान देना बंद कर देता है। वह दुनिया के बारे में जो वह जानता है (जैसे, "सलाद के साथ कांटे होते हैं") उस पर बहुत अधिक निर्भर हो जाता है और जो वह वास्तव में देखता है, उसे अनदेखा कर देता है।
- "बुरी शुरुआत" का प्रभाव: यदि रोबोट की सोचने की प्रक्रिया झूठ या गलतियों से भरी है, तो अंतिम उत्तर भी लगभग निश्चित रूप से गलत होगा। एक खराब विचार प्रक्रिया एक गलत निष्कर्ष की ओर ले जाती है।
समाधान: C3PO (कंप्रेशन और करेक्शन)
लेखक रोबोट के दिमाग को ठीक करने के लिए दो चरणों वाली प्रशिक्षण प्रक्रिया प्रस्तावित करते हैं।
चरण 1: "संपादक" (चेन-ऑफ-थॉट कंप्रेशन)
कल्पना कीजिए कि रोबोट एक साधारण प्रश्न का उत्तर देने के लिए 10 पन्नों का निबंध लिखता है। उन अधिकांश पन्नों में केवल "अम्म," "देखते हैं," "मुझे लगता है" जैसे फालतू शब्द होते हैं।
- C3O क्या करता है: यह एक सख्त संपादक की तरह कार्य करता है। यह रोबोट के लंबे, बहकने वाले विचारों को लेता है और फालतू बातों को काट देता है।
- उपमा: यह एक लंबी, उबाऊ फिल्म को संपादित करके केवल रोमांचक दृश्यों तक सीमित करने जैसा है। रोबोट केवल सबसे महत्वपूर्ण सुरागों (दृश्य साक्ष्य) को रखना और अनावश्यक टेक्स्ट को हटाना सीखता है। यह उसे अपनी बातों के बजाय चित्र पर ध्यान केंद्रित करने के लिए मजबूर करता है।
चरण 2: "डिबेट कोच" (कॉन्ट्रास्टिव प्रेफरेंस ऑप्टिमाइज़ेशन)
अब जब रोबोट कम बोल रहा है, हमें उसे बेहतर सोचना सिखाने की आवश्यकता है।
- सेटअप: शोधकर्ता एक प्रशिक्षण खेल बनाते हैं। वे रोबोट को विचार प्रक्रिया के दो संस्करण दिखाते हैं:
- "अच्छा" संस्करण: एक स्पष्ट, सटीक विचार प्रक्रिया जो चित्र को देखती है और तथ्यों को सही बताती है।
- "बुरा" संस्करण: एक भ्रमित करने वाला संस्करण जहाँ रोबोट चीजें बना रहा है।
- ट्विस्ट: "बुरे" संस्करण को और भी स्पष्ट बनाने के लिए, वे मल्टीमॉडल हैलुसिनेशन-इंड्यूसिंग नामक एक ट्रिक का उपयोग करते हैं। वे जानबूझकर तस्वीर को धुंधला कर देते हैं या रोबोट को एक भ्रमित करने वाला प्रॉम्प्ट देते हैं ताकि उसे गलती करने के लिए मजबूर किया जा सके। इससे रोबोट अपनी बुरी आदतों को पहचानने में सक्षम होता है।
- सबक: रोबोट को फिर यह सीखने के लिए प्रशिक्षित किया जाता है कि, "मैं 'अच्छे संस्करण' को प्राथमिकता देता हूँ क्योंकि यह चित्र से मेल खाता है," और "मैं 'बुरे संस्करण' को खारिज करता हूँ क्योंकि यह एक झूठ है।" समय के साथ, वह उस रास्ते से बचने के लिए सीख जाता है जो भ्रम (hallucinations) की ओर ले जाता है।
परिणाम
इस प्रशिक्षण के बाद, रोबोट बहुत अधिक विश्वसनीय हो जाते हैं। वे अभी भी ज़ोर से सोचते हैं, लेकिन उनके विचार होते हैं:
- छोटे: कोई अनावश्यक बकवास नहीं।
- तेज़: वे अपनी धारणाओं के बजाय चित्र पर अधिक ध्यान केंद्रित करते हैं।
- सत्यनिष्ठ: वे ऐसी वस्तुओं को गढ़ने की संभावना बहुत कम रखते हैं जो वहां मौजूद नहीं हैं।
यह क्यों महत्वपूर्ण है
इसे एक छात्र को परीक्षा देने के लिए सिखाने की तरह समझें।
- पहले: छात्र अनुमानों और दिवास्वप्नों से भरा 5 पन्नों का निबंध लिखता है, और फिर गलत उत्तर देता है।
- C3PO के बाद: छात्र को पहले एक संक्षिप्त, साक्ष्य-आधारित रूपरेखा लिखना सिखाया जाता है। यदि साक्ष्य मौजूद नहीं है, तो वे कहानी बनाने के बजाय यह स्वीकार करते हैं कि वे नहीं जानते।
यह शोध पत्र सिद्ध करता है कि "सोचने की प्रक्रिया" को साफ करके और मॉडल को फैंसी दिखने वाले झूठ के बजाय सत्य को प्राथमिकता देने के लिए शिक्षित करके, हम वास्तविक दुनिया को देखते समय AI को बहुत अधिक भरोसेमंद बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।