तकनीकी सारांश: काउंटरफैक्चुअल सुदृढीकरण शिक्षण (Counterfactual Reinforcement Learning) के माध्यम से वीडियो LLMs में स्थानिक-कालिक संवेदनशीलता (Spatiotemporal Sensitivity) सीखना

1. समस्या विवरण

वीडियो लार्ज लैंग्वेज मॉडल्स (Video LLMs) ने मानक बेंचमार्क पर मजबूत प्रदर्शन हासिल किया है, फिर भी हालिया अध्ययन संकेत देते हैं कि उच्च सटीकता अक्सर वास्तविक स्थानिक-कालिक समझ के बजाय "शॉर्टकट" (shortcuts) से आती है। मॉडल अक्सर स्थिर संकेतों (जैसे, एकल-फ्रेम फीचर्स) या भाषाई पूर्वग्रहों (language priors) पर निर्भर होकर उत्तर देते हैं, और इस बात को ट्रैक करने में विफल रहते हैं कि घटनाएं समय के साथ कैसे विकसित होती हैं। यह समस्या सुदृढीकरण शिक्षण (Reinforcement Learning - RL) पोस्ट-ट्रेनिंग के दौरान और बढ़ जाती है। मानक RL विधियाँ, जैसे कि GRPO, आमतौर पर केवल शुद्धता-आधारित पुरस्कारों (correctness-only rewards) का उपयोग करती हैं। यदि कोई मॉडल एक स्टैटिक शॉर्टकट का उपयोग करके प्रश्न का सही उत्तर दे सकता है, तो उसे उच्च पुरस्कार मिलता है, बिना कभी गतिशील वीडियो सामग्री को संसाधित करने के सीखने के। फलस्वरूप, शुद्धता-आधारिक RL इन शॉर्टकट नीतियों को सुदृढ़ कर सकता है, जिससे बेंचमार्क स्कोर तो सुधरते हैं लेकिन संभावित रूप से मॉडल की गतिशील साक्ष्यों के प्रति संवेदनशीलता कमजोर हो जाती है।

मौजूदा प्रयास, जैसे कि विचलित वीडियो (जैसे, फ्रेम को बदलना या समय के क्रम को उलटना) का उपयोग करके पुरस्कारों को आकार देना, अक्सर विचलित वीडियो को मूल शाखा के लिए केवल एक नैदानिक संकेत (diagnostic signal) के रूप में देखते हैं। वे काउंटरफैक्चुअल इनपुट पर सक्रिय रूप से नीति को प्रशिक्षित नहीं करते हैं, जो सुसंगत स्थानिक-कालिक तर्क को लागू करने की उनकी क्षमता को सीमित करता है।

2. कार्यप्रणाली: काउंटरफैक्चुअल रिलेशनल पॉलिसी ऑप्टिमाइज़ेशन (CRPO)

लेखक काउंटरफैक्चुअल रिलेशनल पॉलिसी ऑप्टिमाइज़ेशन (CRPO) का प्रस्ताव करते हैं, जो एक दोहरी-शाखा (dual-branch) RL रूपरेखा है जिसे स्थानिक-कालिक संवेदनशीलता में सुधार के लिए डिज़ाइन किया गया है। मुख्य अंतर्दृष्टि यह है कि एक मॉडल को नियंत्रित काउंटरफैक्चुअल दृश्य दुनिया के प्रति अनुमानित रूप से प्रतिक्रिया देनी चाहिए: यदि दृश्य साक्ष्य बदलते हैं जबकि प्रश्न स्थिर रहता है, तो गतिशील प्रश्नों के लिए उत्तर बदलना चाहिए (equivariance) और स्थिर प्रश्नों के लिए समान रहना चाहिए (invariance)।

2.1 दोहरी-शाखा वास्तुकला (Dual-Branch Architecture)

CRPO प्रत्येक प्रशिक्षण प्रॉम्प्ट के लिए मानक GRPO ढांचे का विस्तार करता है और दो समानांतर शाखाओं को बनाए रखता है:

1. मूल शाखा (Original Branch): मूल वीडियो $X$ और प्रश्न $Q$ को संसाधित करती है।
2. काउंटरफैक्चुअल शाखा (Counterfactual Branch): रूपांतरित वीडियो $X_T$ और समान प्रश्न $Q$ को संसाधित करती है।

एक टास्क राउटर (जिसे टेक्स्ट-ओनली रीजनिंग मॉडल के रूप में लागू किया गया है) प्रश्न को काल्पनिक रूपांतरण परीक्षणों (जैसे, "यदि हम दुनिया को क्षैतिज रूप से पलट दें, तो क्या उत्तर बदल जाएगा?") के आधार पर चार प्रकारों में वर्गीकृत करता है—स्थानिक (Spatial), कालिक (Temporal), स्थानिक-कालिक (Spatiotemporal), या स्थिर (Static)। इस वर्गीकरण के आधार पर, एक विशिष्ट रूपांतरण $T$ लागू किया जाता है:

• स्थानिक/कालिक/स्थानिक-कालिक: क्षैतिज फ्लिप (Horizontal flip) या समय का उलटा क्रम (Temporal reversal)।
• स्थिर: एक रूपांतरण अभी भी लागू किया जाता है, लेकिन पुरस्कार संकेत उत्तर की अपरिवर्तनीयता (invariance) को प्रोत्साहित करता है।

2.2 काउंटरफैक्चुअल रिलेशनल रिवॉर्ड (CRR)

मुख्य नवाचार काउंटरफैक्चुअल रिलेशनल रिवॉर्ड (CRR) है, जो दोनों शाखाओं को जोड़ता है। पूर्ववर्ती विधियों के विपरीत, जो केवल मूल शाखा पर रिवॉर्ड शेपिंग के लिए विक्षोभ (perturbations) का उपयोग करती हैं, CRPO दोनों शाखाओं से ग्रेडिएंट्स का उपयोग करके नीति को अपडेट करता है।

रिवॉर्ड फंक्शन निम्नलिखित को जोड़ता है:

• शुद्धता रिवॉर्ड ($R_{correct}$): मूल शाखा के लिए मानक सटीकता पुरस्कार।
• व्यवहार संबंधी रिवॉर्ड ($R_{behave}$): काउंटरफैक्चुअल शाखा पर लागू होता है। यह मॉडल को तब पुरस्कृत करता है जब गतिशील कार्यों के लिए उत्तर बदल जाता है ($o^T \neq o^*$) और स्थिर कार्यों के लिए सही रहता है ($o^T = o^*$)।
• क्रॉस-ब्रांच रिलेशनल टर्म ($R_{CRR}$):
  • मूल शाखा के लिए, $R_{CRR}$ नीति को तब पुरस्कृत करता है जब काउंटरफैक्चुअल शाखा के उत्तर अपेक्षित व्यवहार प्रदर्शित करते हैं (बदलना या स्थिर रहना), बशर्ते मूल उत्तर सही हो।
  • काउंटरफैक्चुअल शाखा के लिए, $R_{CRR}$ नीति को तब पुरस्कृत करता है जब मूल शाखा सही होती है, बशर्ते काउंटरफैक्चुअल उत्तर अपेक्षित व्यवहार प्रदर्शित करता है।

यह एक सममित पारस्परिक पुरस्कार संरचना (symmetric mutual reward structure) बनाता है। उच्चतम पुरस्कार तभी प्राप्त होता है जब मॉडल मूल वीडियो का सही उत्तर देता है और काउंटरफैक्चुअल वीडियो पर सही रिलेशनल व्यवहार प्रदर्शित करता है। यह शॉर्टकट नीतियों के लिए कठिन बनाता है (जो वीडियो रूपांतरण के बावजूद समान उत्तर देगी) क्योंकि उन्हें दोनों शाखाओं में लगातार पुरस्कार को अधिकतम करना होगा।

2.3 अनुकूलन और नल विकल्प (Optimization and Null Option)

CRPO दोनों शाखाओं (2G मानों) पर संयुक्त रूप से मानक विचलन की गणना करके लाभों (advantages) के लिए एक हाइब्रिड नॉर्मलाइजेशन रणनीति का उपयोग करता है ताकि प्रशिक्षण स्थिर रहे। उन मामलों को संभालने के लिए जहाँ काउंटरफैक्चुअल वीडियो के लिए सही उत्तर मूल बहुविकल्पीय विकल्पों में मौजूद नहीं है (जैसे, एक उल्टा वीडियो एक अलग दिशा का संकेत देता है), एक "उपरोक्त में से कोई नहीं" (Null Option) जोड़ा गया है। गतिशील कार्य के लिए इस विकल्प का चयन करना एक वैध उत्तर परिवर्तन माना जाता है, जो स्पष्ट काउंटरफैक्चुअल ग्राउंड-ट्रुथ लेबल की आवश्यकता के बिना इक्विवेरिएंस (equivariance) रिवॉर्ड को ट्रिगर करता है।

3. मुख्य योगदान

1. CRPO ढांचा: एक सरल दोहरी-शाखा RL विस्तार जो स्थानिक-कालिक संवेदनशीलता को लागू करने के लिए काउंटरफैक्चुअल रिलेशनल रिवॉर्ड का उपयोग करता है। यह दोनों मूल और काउंटरफैक्चुअल शाखाओं पर प्रशिक्षण लेता है, जिससे महंगे स्थानिक-कालिक एनोटेशन या काउंटरफैक्चुअल लेबल की आवश्यकता के बिना शॉर्टकट पर निर्भरता कम होती है।
2. DyBench: एक नया युग्मित काउंटरफैक्चुअल बेंचमार्क जिसमें 3,014 वीडियो (1,507 जोड़े) शामिल हैं जो तीन उप-कार्यों को कवर करते हैं: प्रतिवर्ती गतिशीलता (Reversible Dynamics - जैसे, खिलना बनाम बंद होना), गति की दिशा (Moving Direction), और घटना क्रम (Event Sequence)।
3. कठोर मूल्यांकन मीट्रिक: पेयर एक्यूरेसी (P-Acc) का परिचय, जो एक जोड़े को तभी सही मानता है जब दोनों मूल और काउंटरफैक्चुअल वीडियो का उत्तर सही दिया गया हो। यह मीट्रिक मॉडल्स को फिक्स्ड-आंसर शॉर्टकट का उपयोग करके स्कोर बढ़ाने से रोकता है।

4. प्रयोगात्मक परिणाम

प्रयोग Qwen3-VL-4B और Qwen3-VL-8B बैकबोन पर किए गए, जिसमें CRPO की तुलना मानक GRPO, T-GRPO और ArrowRL से की गई।

• स्थानिक-कालिक संवेदनशीलता: CRPO स्थानिक-कालिक-संवेदनशील बेंचमार्क पर सभी बेसलाइन्स से काफी बेहतर प्रदर्शन करता है। Qwen3-VL-8B पर, CRPO बेस मॉडल की तुलना में Dy-Bench P-Acc में +7.7 और TimeBlind I-Acc में +8.2 का सुधार करता है। युग्मित मेट्रिक्स (P-Acc) पर लाभ मानक सटीकता की तुलना में असमान रूप से अधिक है, जो शॉर्टकट निर्भरता में वास्तविक कमी को दर्शाता है।
• सामान्य प्रदर्शन: CRPO सामान्य वीडियो समझ बेंचमार्क (VideoMME, MVBench) पर प्रतिस्पर्धी प्रदर्शन बनाए रखता है, जो दर्शाता है कि स्थानिक-कालिक संवेदनशीलता लागू करने से सामान्य क्षमताएं कम नहीं होती हैं।
• एब्लेशन अध्ययन (Ablation Studies):
  • क्रॉस-ब्रांच CRR रिवॉर्ड या काउंटरफैक्चुअल शाखा को हटाने से P-Acc में महत्वपूर्ण गिरावट आती है, जो पुष्टि करता है कि रिलेशनल सिग्नल और दोहरी-शाखा अनुकूलन आवश्यक हैं।
  • CRPO के लाभ केवल बढ़े हुए डेटा या कंप्यूट (डबल रोलआउट्स) के कारण नहीं हैं, क्योंकि दोगुने डेटा/रोलआउट्स वाले कंट्रोल्स CRPO के प्रदर्शन के बराबर नहीं पहुँच सके।
• प्रशिक्षण गतिशीलता (Training Dynamics): CRPO शुद्धता रिवॉर्ड्स पर बेसलाइन्स की तुलना में धीमी प्रारंभिक अभिसरण (convergence) दिखाता है, जो सुझाव देता है कि यह शुरुआती शॉर्टकट लर्निंग को दबाता है। हालांकि, यह समान अंतिम सटीकता तक अभिसरित होता है, जबकि शून्य-लाभ समूहों (zero-advantage groups) का कम हिस्सा बनाए रखता है, जो समृद्ध शिक्षण संकेतों को दर्शाता है।

5. महत्व और दावे

पेपर का दावा है कि CRPO स्थानिक-कालिक संवेदनशीलता के लिए एक सीधा प्रशिक्षण संकेत प्रदान करता है जिसे स्टैटिक शॉर्टकट के लिए संतुष्ट करना कठिन है। वास्तविक और काउंटरफैक्चुअल वीडियो के उत्तरों के बीच के संबंध को स्पष्ट रूप से पुरस्कृत करके, CRPO मॉडल को मजबूर करता है कि वह अपने तर्क को वीडियो की गतिशील सामग्री पर आधारित करे, न कि स्टैटिक प्रायर पर।

लेखक DyBench और Pair Accuracy मीट्रिक को एक आवश्यक नैदानिक उपकरण के रूप में प्रस्तुत करते हैं जो वास्तविक स्थानिक-कालिक समझ को शॉर्टकट-आधारित सफलता से अलग करता है। वे निष्कर्ष निकालते हैं कि जबकि CRPO गतिशील कार्यों पर प्रदर्शन में सुधार करता है, यह सामान्य वीडियो समझ से समझौता किए बिना किया जाता है, जो वीडियो LLMs के लिए एक कदम है जो इस बात के प्रति अधिक संवेदनशील हैं कि दृश्य अवस्थाएं समय के साथ कैसे बदलती हैं। यह कार्य सीमाओं को स्वीकार करता है, जैसे कि सरल ज्यामितीय/कालिक रूपांतरणों तक प्रतिबंध और छोटे वीडियो पर ध्यान केंद्रित करना, जो भविष्य के अनुसंधान के लिए अधिक जटिल अर्थ संबंधी (semantic) काउंटरफैक्चुअल को छोड़ देता है।