💬 NLP

CFPO: Counterfactual Policy Optimization for Multimodal Reasoning

यह शोध पत्र काउंटरफैक्चुअल पॉलिसी ऑप्टिमाइज़ेशन (CFPO) का प्रस्ताव करता है, जो एक नवीन ढांचा है जो एक क्रॉस-मोडल काउंटरफैक्चुअल तंत्र के माध्यम से कॉज़ल कंसिस्टेंसी (कारण संबंधी निरंतरता) को लागू करके लार्ज विजन-लैंग्वेज मॉडल्स की मल्टीमॉडल रीजनिंग को बढ़ाता है, जिससे बिना किसी बाहरी रिवॉर्ड मॉडल की आवश्यकता के मतिभ्रम (hallucinations) और ग्राउंडिंग विफलताओं को काफी हद तक कम किया जा सकता है।

मूल लेखक: Zhangyuan Yu, Wanran Sun, Guangjing Yang, Xiaohu Wu, Qicheng Lao

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhangyuan Yu, Wanran Sun, Guangjing Yang, Xiaohu Wu, Qicheng Lao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "CFPO: Counterfactual Policy Optimization for Multimodal Reasoning" शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी समस्या: "आलसी छात्र" AI

कल्पना कीजिए कि एक बहुत ही बुद्धिमान छात्र (AI) है जो एक ऐसी परीक्षा दे रहा है जिसमें एक तस्वीर को देखकर उस पर आधारित सवाल का जवाब देना है। इस छात्र ने हज़ारों किताबें (भाषा डेटा) पढ़ी हैं, इसलिए वह पहले से सुनी हुई बातों के आधार पर उत्तरों का अनुमान लगाने में बहुत माहिर है।

हालाँकि, जब वह तस्वीर को देखता है, तो यह छात्र अक्सर आलसी हो जाता है। तस्वीर के विवरणों को वास्तव में देखने के बजाय, वह केवल अपने सामान्य ज्ञान के आधार पर अनुमान लगाने लगता है।

गलती: यदि तस्वीर में एक ज़ेबरा (zebra) है, लेकिन छात्र से पूछा जाता है, "अगर इस जानवर में धारियाँ न होतीं तो क्या होता?", तो आलसी छात्र पूरी तस्वीर को अनदेखा कर सकता है और "हिरण" का अनुमान लगा सकता है क्योंकि जंगल में हिरण आम हैं, भले ही तस्वीर स्पष्ट रूप से घोड़े जैसी आकृति दिखा रही हो।
परिणाम: AI कभी-कभी किस्मत से सही उत्तर दे देता है, लेकिन अक्सर यह "भ्रम" (hallucinate) पैदा करता है या अपनी टेक्स्ट-आधारित यादों पर बहुत अधिक सहज होने के कारण दृश्य साक्ष्यों (visual evidence) को अनदेखा कर देता है।

समाधान: "क्या होगा अगर?" वाला खेल (CFPO)

शोधकर्ताओं ने एक नई प्रशिक्षण विधि बनाई है जिसे CFPO (Counterfactual Policy Optimization) कहा जाता है। इसे एक विशेष कोचिंग तकनीक के रूप में समझें जो छात्र को यह साबित करने के लिए मजबूर करती है कि वह वास्तव में तस्वीर देख रहा है, न कि केवल अनुमान लगा रहा है।

यह "क्या होगा अगर?" वाला खेल कैसे काम करता है, यहाँ देखें:

सामान्य दृश्य (तथ्य): छात्र तस्वीर और प्रश्न को देखता है। वह अपना उत्तर लिखता है।
"आंखों पर पट्टी" वाला दृश्य (Counterfactual): कोच अचानक तस्वीर के सबसे महत्वपूर्ण हिस्सों पर एक "पट्टी" (blindfold) लगा देता है (वे हिस्से जिन्हें छात्र घूर रहा था)।
- उदाहरण: कल्पना कीजिए कि छात्र खजाना खोजने के लिए एक नक्शा देख रहा है। कोच "X" के निशान को एक कागज के टुकड़े से ढक देता है।
परीक्षण: छात्र को फिर से प्रश्न का उत्तर देना होता है, लेकिन इस बार मुख्य दृश्य संकेत छिपे हुए होते हैं।
- यदि वह वास्तव में ध्यान दे रहा था, तो उसका उत्तर पूरी तरह से बदल जाना चाहिए क्योंकि "X" अब गायब है।
- यदि वह केवल अपनी याददाश्त के आधार पर अनुमान लगा रहा था (तस्वीर को अनदेखा कर रहा था), तो उसका उत्तर बिल्कुल वैसा ही रहेगा, भले ही तस्वीर बदल गई हो।

प्रशिक्षण का नियम: "साबित करो कि तुमने देखा!"

CFPO सिस्टम एक सख्त नियम का उपयोग करता है: यदि तस्वीर के महत्वपूर्ण हिस्सों को छिपाने पर आपका उत्तर नहीं बदलता है, तो आपको दंड (penalty) दिया जाएगा।

लक्ष्य: AI यह सीखता है कि उच्च स्कोर पाने के लिए, उसे वास्तव में दृश्य साक्ष्य (visual evidence) पर निर्भर रहना होगा। वह सीखता है कि यदि तस्वीर बदलती है (या उसके कुछ हिस्से छिपा दिए जाते हैं), तो उसका तर्क (reasoning) भी बदलना चाहिए।
परिणाम: AI एक "आलसी अनुमान लगाने वाला" बनने के बजाय एक "सावधान पर्यवेक्षक" बन जाता है। वह यह सीखता है कि जो वह देखता है और जो वह कहता है, उनके बीच संबंध कैसे जोड़ा जाए।

यह क्यों महत्वपूर्ण है ("ग्राउंडिंग" का उदाहरण)

शोध पत्र में, वे "ग्राउंडिंग" (grounding) के बारे में बात करते हैं। कल्पना कीजिए कि आप एक घर बना रहे हैं।

पुराना AI: घर को अनुमानों के बादलों पर बनाता है। यह दिखने में अच्छा लगता है, लेकिन अगर हवा चलती है (एक कठिन सवाल आता है), तो घर गिर जाता है क्योंकि यह ज़मीन (छवि/image) से मजबूती से जुड़ा नहीं था।
CFPO AI: घर को ठोस कंक्रीट पर बनाता है। "काउंटरफैक्चुअल" परीक्षण एक विंड टनल टेस्ट (हवा के दबाव का परीक्षण) की तरह है। यदि हवा चलने पर (जब दृश्य संकेत हटा दिए जाते हैं) घर डगमगाता है, तो निर्माता को पता चल जाता है कि उसने इसे ठीक से स्थापित नहीं किया था। CFPO निर्माता को दृश्य साक्ष्यों की गहराई तक नींव खोदने के लिए मजबूर करता है।

शोध पत्र ने क्या पाया

शोधकर्ताओं ने इसका परीक्षण चित्रों से जुड़े कठिन गणित और तर्क वाले पहेलियों पर किया।

परिणाम: CFPO के साथ प्रशिक्षित AI ने मानक AI की तुलना में काफी बेहतर स्कोर प्राप्त किया।
प्रमाण: इसने तथ्यों को मनगढ़ंत बनाना (hallucinations) बंद कर दिया और तस्वीरों के विवरणों का विश्लेषण करके समस्याओं को हल करना शुरू किया, जैसे कि फूलदान में फूलों की गिनती करना या सॉकर जर्सी पर लिखे टेक्स्ट को पढ़ना, न कि केवल इस आधार पर अनुमान लगाना कि उसे क्या देखना चाहिए था।

सारांश

CFPO एक प्रशिक्षण विधि है जो AI को अनुमान लगाना छोड़ने और देखना शुरू करने की शिक्षा देती है। यह "अगर मैं तस्वीर के इस हिस्से को छिपा दूँ तो क्या होगा?" जैसा खेल खेलकर ऐसा करता है। यदि तस्वीर बदलने पर AI का उत्तर नहीं बदलता है, तो उसे पता चल जाता है कि वह ध्यान नहीं दे रहा है। यह AI को अपने तर्क को ठोस दृश्य साक्ष्यों पर बनाने के लिए मजबूर करता है, जिससे यह बहुत अधिक स्मार्ट और विश्वसनीय बन जाता है।

तकनीकी सारांश: CFPO: मल्टीमॉडल रीजनिंग के लिए काउंटरफैक्चुअल पॉलिसी ऑप्टिमाइज़ेशन (Counterfactual Policy Optimization)

1. समस्या विवरण (Problem Statement)

लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) ने मल्टीमॉडल रीजनिंग में महत्वपूर्ण प्रगति की है, फिर भी प्रचलित रीइन्फोर्समेंट लर्निंग (RL) प्रतिमान (जैसे, PPO, GRPO) एक मौलिक मिसअलाइनमेंट (misalignment) से ग्रस्त हैं। ये विधियाँ मुख्य रूप से परिणाम की शुद्धता (outcome correctness) के लिए अनुकूलन करती हैं, और मॉडल को केवल अंतिम उत्तर के आधार पर पुरस्कृत करती हैं। एक कॉज़ल (causal) परिप्रेक्ष्य से, यह आउटकम-ड्रिवन दृष्टिकोण रीजनिंग प्रक्रिया के दौरान क्रॉस-मोडल कॉज़ल कंसिस्टेंसी (cross-modal causal consistency) को लागू करने में विफल रहता है। इसके परिणामस्वरूप, मॉडल "शॉर्टकट लर्निंग" (shortcut learning) के प्रति संवेदनशील हो जाते हैं, जिससे क्रॉस-मोडल सैलियंसी (cross-modal saliency) के तीन विशिष्ट पैथोलॉजिकल डिस्ट्रीब्यूशन उत्पन्न होते हैं:

क्रॉस-मोडल सैलियंसी डेफिशिएंसी (Cross-Modal Saliency Deficiency): मॉडल विजुअल एविडेंस (visual evidence) को अनदेखा करता है, और इसके बजाय LLM बैकबोन के पैरामेट्रिक नॉलेज (लैंग्वेज प्रायर्स) पर निर्भर होकर उत्तर का "अनुमान" लगाता है। यह रीजनिंग चेन को जबरदस्ती फिट करने के लिए गैर-मौजूद विजुअल एंटिटीज को मतिभ्रम (hallucinating) के रूप में दिखाने के रूप में प्रकट होता है।
क्रॉस-मोडल सैलियंसी मिसअलाइनमेंट (Cross-Modal Saliency Misalignment): मॉडल धारणात्मक रूप से प्रमुख (perceptually salient) लेकिन सिमेंटिक रूप से अप्रासंगिक विजुअल क्यूज़ पर ध्यान देता है या उच्च-स्तरीय अवधारणाओं को सूक्ष्म पिक्सेल के साथ संरेखित करने में विफल रहता है, जिससे धुंधले फीचर्स और मतिभ्रम वाले टेक्स्ट के बीच झूठे कॉज़ल लिंक स्थापित होते हैं।
क्रॉस-मोडल सैलियंसी इनरशिया (Cross-Modal Saliency Inertia): मॉडल विजुअल एविडेंस पर सही ढंग से ध्यान तो देता है लेकिन इसे एक अपरिवर्तनीय एंकर (immutable anchor) के रूप में मानता है। यह काल्पनिक निर्देशों (जैसे, "क्या होगा यदि...") के जवाब में अपनी रीजनिंग को अपडेट करने में विफल रहता है, जिससे स्थिर विजुअल तथ्य लॉजिकल कॉज़ल इंटरवेंशन (logical causal interventions) को ओवरराइड कर देते हैं।

मौजूदा काउंटरफैक्चुअल दृष्टिकोण अक्सर इन्फरेंस-टाइम इंटरवेंशन (जिससे कंप्यूटेशनल ओवरहेड दोगुना हो जाता है) पर निर्भर करते हैं या श्रम-गहन सुपरविजन की आवश्यकता वाले डेटा-ड्रिवन अलाइनमेंट पर आधारित होते हैं। बिना बाहरी रिवॉर्ड मॉडल के, सीधे ऑप्टिमाइज़ेशन लूप के भीतर कॉज़ल वेरिफिकेशन को आंतरिक बनाने वाले एक मजबूत समाधान की कमी है।

2. कार्यप्रणाली: काउंटरफैक्चुअल पॉलिसी ऑप्टिमाइज़ेशन (CFPO)

लेखक काउंटरफैक्चुअल पॉलिसी ऑप्टिमाइज़ेशन (CFPO) का प्रस्ताव करते हैं, जो एक क्रॉस-मोडल काउंटरफैक्चुअल इंटरवेंशन तंत्र को सीधे पॉलिसी अपडेट लूप में एकीकृत करके कॉज़ल कंसिस्टेंसी को लागू करता है। CFPO को मानक RL एल्गोरिदम के साथ संगत होने के लिए डिज़ाइन किया गया है, जिसे यहाँ विशेष रूप से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) और डिकपल्ड क्लिप एंड डायनेमिक सैंपलिंग पॉलिसी ऑप्टिमाइज़ेशन (DAPO) के साथ प्रदर्शित किया गया है।

मुख्य तंत्र (Core Mechanism)

यह विधि LVLM के लैंग्वेज डिकोडर के मल्टी-हेड अटेंशन (Multi-Head Attention) लेयर्स पर कार्य करती है। यह एक काउंटरफैक्चुअल कॉज़ल ग्राफ का निर्माण करती है जहाँ अटेंशन आउटपुट ( $Z$ ) इनपुट और जनरेटेड रिस्पॉन्स के बीच कॉज़ल मीडिएटर (causal mediator) के रूप में कार्य करता है।

अटेंशन मैट्रिक्स डिकम्पोज़िशन (Attention Matrix Decomposition):
अटेंशन मैट्रिक्स $A$ को हाई सैलियंसी रीजन्स ( $A_{H-sal}$ ) और लो सैलियंसी रीजन्स ( $A_{L-sal}$ ) में विभाजित किया जाता है। हाई सैलियंसी रीजन्स को सांख्यिकीय रूप से आउटलेयर्स के रूप में पहचाना जाता है जहाँ टेक्स्ट क्वेरी टोकन्स इमेज टोकन्स पर महत्वपूर्ण रूप से ध्यान देते हैं (अटेंशन स्कोर $\mu + 2\sigma$ से अधिक)।
काउंटरफैक्चुअल पाथ कंस्ट्रक्शन (Counterfactual Path Construction):
एक काउंटरफैक्चुअल पाथ बनाया जाता है जिसमें हाई सैलियंसी रीजन्स के अनुरूप वैल्यू वेक्टर्स ( $V$ ) पर हस्तक्षेप (intervene) किया जाता है। मूल विजुअल फीचर्स का उपयोग करने के बजाय, मॉडल इन वैल्यूज को एक नॉन-इन्फॉर्मेटिव प्रायर (लेयर में सभी इमेज टोकन्स का माध्य/mean) से बदल देता है।
- फैक्टुअल पाथ (Factual Path): $Z = A_{L-sal} \cdot V + A_{H-sal} \cdot V$ (मानक फॉरवर्ड पास)।
- काउंटरफैक्चुअल पाथ (Counterfactual Path): $Z_{cf} = A_{L-sal} \cdot V + A_{H-sal} \cdot \bar{V}$ (जहाँ $\bar{V}$ एक मीन प्रायर है)।
यह हस्तक्षेप महत्वपूर्ण विजुअल क्यूज़ को प्रभावी रूप से दबा देता है, जिससे मॉडल को मुख्य रूप से भाषाई प्रायर्स और लो-सैलियंसी कॉन्टेक्स्ट के आधार पर रिस्पॉन्स जेनरेट करने के लिए मजबूर किया जाता है।
काउंटरफैक्चुअल रेगुलराइजेशन ऑब्जेक्टिव (Counterfactual Regularization Objective):
फ्रेमवर्क RL ऑब्जेक्टिव में एक काउंटरफैक्चुअल रेगुलराइजेशन टर्म ( $KL_{cf}$ ) पेश करता है। यह टर्म फैक्टुअल पॉलिसी $\pi_\theta(o|Z)$ और काउंटरफैक्चुअल पॉलिसी $\pi_{cf}(o|do(Z=Z_{cf}))$ के बीच विचलन (divergence) को मापता है।
- ऑब्जेक्टिव इफेक्टिव कॉज़ल कॉन्ट्रिब्यूशन को मैक्सिमाइज करता है, जिसे फैक्टुअल और काउंटरफैक्चुअल स्टेट्स के बीच लॉग-लाइक्लीहुड अंतर ( $\Delta_{cf}$ ) के रूप में परिभाषित किया गया है।
- यदि विजुअल क्यूज़ को दबाने पर मॉडल का प्रेडिक्शन नहीं बदलता है (अर्थात, $\Delta_{cf} \approx 0$ ), तो इसका तात्पर्य है कि मॉडल लैंग्वेज प्रायर्स पर निर्भर है। रेगुलराइजेशन इस व्यवहार को दंडित करता है, जिससे मॉडल को विजुअल एविडेंस से प्राप्त सूचना लाभ (information gain) को मैक्सिमाइज करने के लिए मजबूर किया जाता है।

कुल ऑब्जेक्टिव फंक्शन GRPO/DAPO में इस रेगुलराइजेशन को एकीकृत करता है:
$J_{CFPO}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^{G} (\hat{J}_{clip} - \beta KL_{ref} + \gamma KL_{cf} - \eta Ent) \right]$
जहाँ $\gamma$ , काउंटरफैक्चुअल रेगुलराइजेशन की शक्ति को नियंत्रित करता है।

3. मुख्य योगदान (Key Contributions)

नया फ्रेमवर्क: CFPO का परिचय, जो RL ट्रेनिंग लूप के भीतर क्रॉस-मोडल काउंटरफैक्चुअल एन्हांसमेंट मैकेनिज्म के माध्यम से विजुअल परसेप्शन और टेक्स्टुअल रीजनिंग के बीच कॉज़ल कंसिस्टेंसी को लागू करने वाला पहला फ्रेमवर्क है।
कॉज़ल इंटरवेंशन मैकेनिज्म: अटेंशन आउटपुट लेवल पर हाई-सैलियंसी विजुअल रीजन्स को दबाकर डायनेमिक कॉज़ल नेसेसिटी टेस्ट करने की एक विधि, जो विजुअल एविडेंस बनाम भाषाई प्रायर्स पर मॉडल की निर्भरता को मापती है।
SOTA RL के साथ एकीकरण: बिना किसी बाहरी रिवॉर्ड मॉडल, अतिरिक्त सुपरविजन, या इन्फरेंस-टाइम ओवरहेड के GRPO और DAPO के साथ सहज एकीकरण।
पैथोलॉजिकल डिस्ट्रीब्यूशनों को संबोधित करना: स्पष्ट रूप से सैलियंसी डेफिशिएंसी, मिसअलाइनमेंट और इनरशिया को लक्षित करना और कम करना, जिन्हें LVLMs में मतिभ्रम (hallucination) और ग्राउंडिंग फेलियर के मूल कारणों के रूप में पहचाना गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

ViRL39K पर प्रशिक्षण के लिए व्यापक प्रयोग किए गए और RealWorld-Centric (C-VQA-Real, MARS-Bench, POPE, TextVQA, MMMU-Pro(V)) और Mathematic-Centric (Geo3k, We-Math, MMk12, MathVerse, LogicVista) बेंचमार्क पर मूल्यांकन किया गया।

प्रदर्शन में वृद्धि: CFPO लगातार मानक RL बेसलाइन्स (GRPO/DAPO) और स्टेट-ऑफ-द-आर्ट परसेप्शन-अवेयर मेथड (PAPO) से बेहतर प्रदर्शन करता है।
- बनाम GRPO/DAPO: ओवरऑल एक्यूरेसी में 3.17% से 6.25% तक निरंतर लाभ प्राप्त किया।
- बनाम PAPO: परसेप्शन-अवेयर बेसलाइन्स पर 1.32% से 2.13% तक निरंतर लाभ प्राप्त किया।
विशिष्ट सुधार: गणितीय तर्क (mathematical reasoning) और ज्यामितीय समस्या समाधान जैसे कठोर तर्क और जटिल चेन-ऑफ-थॉट (CoT) जनरेशन की आवश्यकता वाले कार्यों में उल्लेखनीय सुधार देखे गए।
स्थिरता और दक्षता: ट्रेनिंग कर्व्स दर्शाते हैं कि CFPO बेसलाइन्स की तुलना में तेज़ कन्वर्जेंस और उच्च सैंपल एफिशिएंसी प्राप्त करता है। यह विधि विभिन्न डोमेन में कम वेरिएंस के साथ उच्च रीजनिंग स्टेबिलिटी भी प्रदर्शित करती है।
गुणात्मक विश्लेषण (Qualitative Analysis): केस स्टडीज दिखाते हैं कि CFPO उन विफलता मोड को सफलतापूर्वक ठीक करता है जहाँ बेसलाइन्स ने विजुअल ज्योमेट्री को अनदेखा किया (Deficiency), धारणा को काल्पनिक निर्देशों से अलग करने में विफल रहे (Inertia), या प्रमुख डिस्ट्रैक्टर्स (distractors) द्वारा हाइजैक हो गए (Misalignment)।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि CFPO कॉज़ली कंसिस्टेंट मल्टीमॉडल इंटेलिजेंस की ओर एक सिद्धांतपूर्ण मार्ग प्रदान करता है। कॉज़ल वेरिफिकेशन को आंतरिक बनाकर, यह विधि एसोसिएटिव लर्निंग से आगे बढ़कर स्पष्ट रूप से अटेंडेड इंफॉर्मेशन की आवश्यकता (necessity) को सत्यापित करती है।

लेखक का दावा है कि CFPO रीजनिंग फिडेलिटी (reasoning fidelity) में महत्वपूर्ण सुधार करता है, मतिभ्रम (hallucinations) को कम करता है और LVLMs की मजबूती और व्याख्यात्मकता (interpretability) को बढ़ाता है। पूर्ववर्ती तरीकों के विपरीत, जो या तो स्पष्ट रूप से मोडैलिटीज को अलाइन करते हैं या मोटे (coarse) इनपुट मास्किंगिंग पर निर्भर करते हैं, CFPO एक कठोर कॉज़ल गारंटी प्रदान करता है कि रीजनिंग प्रक्रिया वैध विजुअल एविडेंस पर आधारित है। यह दृष्टिकोण दर्शाता है कि मल्टीमॉडल कार्यों के लिए वर्तमान आउटकम-ड्रिवन RL प्रतिमानों में निहित "शॉर्टकट लर्निंग" को दूर करने के लिए कॉज़ल कंसिस्टेंसी को लागू करना महत्वपूर्ण है।