Learning to Deny: Action Denial in Multimodal Large Language Models

तकनीकी सारांश: इनकार करना सीखना: मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में एक्शन डिनायल (Action Denial)

समस्या की परिभाषा
वीडियो समझ (video understanding) में तीव्र प्रगति के बावजूद, मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) एक गंभीर कमी प्रदर्शित करते हैं: जब मजबूत प्रासंगिक संकेत (contextual cues) मौजूद हों लेकिन परिभाषित गति (defining motion) अनुपस्थित हो, तो किसी क्रिया को विश्वसनीय रूप से नकारने में उनकी अक्षमता। वर्तमान मॉडल एक "सहमत होने की प्रवृत्ति" (agreeableness) या सकारात्मक पूर्वाग्रह प्रदर्शित करते हैं, और अक्सर यह भविष्यवाणी करते हैं कि कोई क्रिया हो रही है, केवल प्रासंगिक वस्तुओं, अभिनेताओं या पृष्ठभूमि की उपस्थिति के आधार पर, भले ही उस क्रिया के लिए आवश्यक विशिष्ट अस्थायी गतिकी (temporal dynamics) अनुपस्थित हो। मौजूदा बेंचमार्क (जैसे, Kinetics, UCF101) मुख्य रूप से सकारात्मक उदाहरणों से बने हैं, जो मॉडल को वास्तविक कारण संबंधी गति (causal motion) को सत्यापित करने के बजाय संदर्भ और क्रिया के बीच स्पूरियस सहसंबंधों (spurious correlations) को सुदृढ़ करते हैं। फलस्वरूप, मॉडल इस बात में अंतर करने में विफल रहते हैं कि दृश्य वह है जहाँ एक क्रिया हो सकती है और वह जहाँ एक क्रिया वास्तव में हो रही है।

कार्यप्रणाली (Methodology)
लेखक एक नए बेंचमार्क और एक कॉज़ल रीजनिंग फ्रेमवर्क (causal reasoning framework) को शामिल करते हुए एक दो-आयामी दृष्टिकोण प्रस्तावित करते हैं:

1. UCF101-ActionDenial (UCF101-AD) बेंचमार्क:

   • निर्माण: UCF101 श्रेणियों से प्राप्त 11,283 वीडियो का एक डेटासेट, जिसमें युग्मित "एक्शन-प्रेजेंस" (सकारात्मक) और "एक्शन-डिनायल" (नकारात्मक) क्लिप्स शामिल हैं।
   • नकारात्मक डिज़ाइन: नकारात्मक क्लिप्स लक्षित क्रिया के विशिष्ट संदर्भ (व्यक्ति, वस्तुएं, स्थान) को बनाए रखते हैं लेकिन स्पष्ट रूप से परिभाषित गति को बाहर कर देते हैं। इन्हें दो प्रकारों में वर्गीकृत किया गया है:
     • टाइप 1 (केवल संदर्भ): प्रमुख वस्तुएं और वातावरण मौजूद हैं, लेकिन कोई अंतःक्रिया (interaction) नहीं होती है (जैसे, पियानो के पास खड़ा व्यक्ति लेकिन बजा नहीं रहा है)।
     • टाइप 2 (वही संदर्भ, भिन्न गति): परिवेश और वस्तुएं मौजूद हैं, लेकिन अभिनेता एक अलग, संभावित क्रिया करता है (जैसे, डंक मारने के बजाय बास्केटबॉल को ड्रिबल करना)।
   • मूल्यांकन प्रोटोकॉल: मॉडल्स का परीक्षण एक मल्टीपल-चॉइस क्वेश्चन (MCQ) सेटअप के माध्यम से किया जाता है जहाँ उन्हें लक्षित क्रिया, डिस्ट्रैक्टर्स (distractors) और एक "कोई नहीं" (None) विकल्प सहित विकल्पों में से सही कैप्शन चुनना होता है।

2. CausalAct फ्रेमवर्क:

   • कॉज़ल ग्राफ फॉर्मूलेशन: लेखक क्रिया पहचान (action recognition) को एक निर्देशित अचक्रीय ग्राफ (Directed Acyclic Graph - DAG) के रूप में मॉडल करते हैं जहाँ एक क्रिया ($A$) एक कॉज़ल श्रृंखला का परिणाम है: संदर्भ (व्यक्ति $P$, वस्तुएं $O$, स्थान $L$) $\to$ संबंध (स्थानिक $S$, अंतःक्रिया $I$) $\to$ गति ($M$) $\to$ क्रिया ($A$)।
   • प्रॉम्प्टिंग (CausalAct-0): ग्राफ संरचना को एक प्राकृतिक भाषा प्रॉम्प्ट के रूप में स्थापित किया जाता है, जो मॉडल को क्रिया की पुष्टि करने से पहले कॉज़ल श्रृंखला (विशेष रूप से गति $M$ की उपस्थिति) को सत्यापित करने के लिए निर्देशित करता है।
   • फाइनट्यूनिंग (Finetuning): उन मामलों को संबोधित करने के लिए जहाँ मॉडल प्रॉम्प्ट का पालन करने में विफल रहते हैं, लेखक सहायक फाइनट्यूनिंग कार्यों को पेश करते हैं। मॉडल्स को ग्राफ-केंद्रित विजुअल क्वेश्चन अनस्विंग (VQA) कार्यों पर प्रशिक्षित किया जाता है (जो नोड पहचान, एज रिलेशनशिप और कॉज़ल पाथ की जांच करते हैं) जो ग्राफ संरचना से प्राप्त होते हैं। महत्वपूर्ण रूप से, ये कार्य ग्राउंड-ट्रुथ एक्शन लेबल को उजागर नहीं करते हैं ताकि लेबल लीकेज को रोका जा सके, जिससे मॉडल को कॉज़ल रीजनिंग की संरचना सीखने के लिए मजबूर किया जाता है।

मुख्य परिणाम

• बेसलाइन विफलता: 20 अत्याधुनिक MLLMs (ओविस, इंटरन, क्वेन, वीडियोलामा और GPT-4o mini सहित) के मूल्यांकन से एक गंभीर प्रदर्शन अंतराल का पता चलता है। जबकि मॉडल मानक एक्शन-प्रेजेंस क्लिप्स पर उच्च सटीकता (>85-95%) प्राप्त करते हैं, उनका प्रदर्शन एक्शन-डिनायल क्लिप्स पर गिरकर बहुत कम हो जाता है, जिसमें अधिकांश मॉडल 50% से नीचे (अक्सर 20-35% की सीमा में) स्कोर करते हैं। यह कॉज़ल मोशन वेरिफिकेशन के बजाय प्रासंगिक शॉर्टकट पर अत्यधिक निर्भरता को दर्शाता है।
• मानव बनाम मॉडल: मानव मूल्यांकनकर्ताओं ने डिनायल कार्य पर 86.6% सटीकता प्राप्त की, जो पुष्टि करता है कि डेटासेट हल करने योग्य है और विफलता वर्तमान मॉडल आर्किटेक्चर के विशिष्ट है।
• पूर्वाग्रहों का सहसंबंध: अध्ययन पाता है कि "शॉर्टकट लर्निंग" (नकारने में विफल होना) और "सिकोफैंसी" (किसी धारणा से सहमत होना) के बीच एक सकारात्मक सहसंबंध है। जो मॉडल MCQs में गलत डिस्ट्रैक्टर क्रिया चुनते हैं, वे क्रिया की उपस्थिति के बारे में बाइनरी प्रश्नों के प्रति भी गलत रूप से "हाँ" कहने की अधिक संभावना रखते हैं।
• रीजनिंग मॉडल्स: विरोधाभासी रूप से, "सोचने वाले" मॉडल (जो स्पष्ट रीजनिंग स्टेप्स रखते हैं) इस कार्य पर मानक मॉडलों की तुलना में अक्सर खराब प्रदर्शन करते हैं, क्योंकि उनकी रीजनिंग चेन अक्सर विजुअल कॉन्टेक्स्ट पर अत्यधिक ध्यान केंद्रित करती है और अनुपस्थिति को उचित ठहराने के बजाय क्रियाओं का भ्रम (hallucination) पैदा करती है।
• CausalAct की प्रभावशीलता:
  • जीरो-शॉट: मजबूत भाषा बैकबोन (जैसे, Ovis2.5-9B, Qwen2.5-VL-7B) CausalAct प्रॉम्प्ट द्वारा निर्देशित होने पर बेहतर डिनायल सटीकता दिखाते हैं, हालांकि कमजोर मॉडल का प्रदर्शन बिगड़ सकता है।
  • फाइनट्यूनिंग: छोटे मॉडलों को ग्राफ-आधारित VQA कार्यों पर फाइनट्यून करने से एक्शन-डिनायल सटीकता में महत्वपूर्ण सुधार होता है, जो व्यवहार को कॉंटेक्स्टुअल शॉर्टकटिंग से बदलकर कॉज़ल श्रृंखला को सत्यापित करने की ओर ले जाता है।
  • सामान्यीकरण (Generalization): CausalAct-0 दृष्टिकोण बाहरी डेटासेट्स (K400, HMDB51, SSv2, Diving48) पर स्थानांतरित होता है, जिससे विविध वितरणों में डिनायल सटीकता में सुधार होता है।
  • एब्लेशन (Ablation): फाइनट्यूनिंग के बाद जब कॉज़ल ग्राफ संरचना को छोटा (pruned) या रैंडमाइज किया जाता है, तो प्रदर्शन गिर जाता है, जो पुष्टि करता है कि मॉडल केवल मनमाने टेक्स्ट पैटर्न का पालन करने के बजाय विशिष्ट कॉज़ल डिपेंडेंसी का उपयोग करना सीख रहे हैं। इसके अलावा, फाइनट्यूनिंग के दौरान विजन एनकोडर को अपडेट करना आवश्यक है; इसे फ्रीज करने से प्रदर्शन में भारी गिरावट आती है।

महत्व और दावे
यह पेपर दावा करता है कि यह MLLMs में "एक्शन डिनायल" का पहला व्यवस्थित मूल्यांकन प्रदान करता है, जो एक मौलिक सीमा को उजागर करता है जहाँ मॉडल संदर्भ को क्रिया की उपस्थिति के समान मान लेते हैं। लेखक तर्क देते हैं कि मजबूत वीडियो समझ के लिए गति की अनुपस्थिति के बारे में कॉज़ल रूप से तर्क करने की क्षमता आवश्यक है, न कि केवल उसकी उपस्थिति की।

इस कार्य का महत्व निम्नलिखित में निहित है:

1. निदान (Diagnosis): यह पहचानना कि वर्तमान MLLMs में परिभाषित मोशन को सत्यापित करने के तंत्र की कमी है, जिससे निगरानी (surveillance) और स्वायत्त प्रणालियों जैसे महत्वपूर्ण अनुप्रयोगों में 'फॉल्स पॉजिटिव' की समस्या उत्पन्न होती है।
2. बेंचमार्किंग: मानक पॉजिटिव-एक्शन रिकग्निशन से आगे बढ़कर, कॉज़ल रीजनिंग के निदान और सुधार के लिए UCF101-AD को एक आवश्यक उपकरण के रूप में पेश करना।
3. मेथोडोलॉजिकल इनसाइट: यह प्रदर्शित करना कि डिनायल एक सीखने योग्य रीजनिंग स्किल है। दृश्य समझ को कॉज़ल ग्राफ के माध्यम से संरचित करके और मॉडल्स को प्री-कंडीशन (इंटरेक्शन और मोशन) को सत्यापित करने के लिए प्रशिक्षित करके, यह संभव है कि प्रशिक्षण के दौरान नकारात्मक एक्शन लेबल पर निर्भर किए बिना अफर्मेटिव बायस को कम किया जा सके और फॉल्स पॉजिटिव को घटाया जा सके।

लेखक एक मध्यम रुख बनाए रखते हैं, यह नोट करते हुए कि हालांकि CausalAct प्रदर्शन में सुधार करता है, यह समस्या को पूरी तरह से हल नहीं करता है, और वर्तमान "सोचने वाले" मॉडल अभी भी नेगेटिव कंस्ट्रेंट्स (negative constraints) के साथ संघर्ष करते हैं। यह कार्य मल्टीमॉडल सिस्टम में कॉज़ल रीजनिंग को आगे बढ़ाने के लिए एक आधार के रूप में कार्य करता है।