🤖 AI

Process-of-Thought Reasoning for Videos

यह शोधपत्र वीडियो के लिए प्रोसेस-ऑफ-थॉट (PoT) रीजनिंग का प्रस्ताव करता है, जो एक मॉडल-अज्ञेय फ्रेमवर्क है जो जटिल अनुमान को टेम्पोरल एविडेंस सिलेक्शन (सामयिक साक्ष्य चयन), स्टेट अपडेट्स और कन्सट्रेंड सिंथेसिस (प्रतिबंधित संश्लेषण) से जुड़े स्पष्ट, सत्यापन योग्य चरणों के एक अनुक्रम में विघटित करके वीडियो समझ में सुधार करता है ताकि तथ्यात्मक शुद्धता और व्याख्यात्मकता को बढ़ाया जा सके।

मूल लेखक: Jusheng Zhang, Kaitong Cai, Jian Wang, Yongsen Zheng, Kwok-Yan Lam, Keze Wang

प्रकाशित 2026-02-10

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Jusheng Zhang, Kaitong Cai, Jian Wang, Yongsen Zheng, Kwok-Yan Lam, Keze Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फुटबॉल मैच की फिल्म देख रहे हैं।

एक मानक AI मॉडल (Standard AI model) उस व्यक्ति की तरह है जो वस्तुओं के नाम बताने में तो बहुत कुशल है लेकिन उसकी याददाश्त बहुत कम है। वह एक खिलाड़ी को देखता है, फिर एक गेंद को देखता है, फिर जाल (net) को हिलते हुए देखता है। वह कह सकता है, "एक खिलाड़ी खड़ा है। जाल हिलता है।" वह "क्या" को सही पहचान लेता है, लेकिन "कैसे" और "क्यों" को मिस कर देता है। इससे भी बुरा यह है कि, क्योंकि वह प्रवाह (flow) को नहीं समझता, वह कल्पना (hallucinate) कर सकता है और कह सकता है, "गेंद जाल में है, और फिर खिलाड़ी उसे किक मारता है।" इसे ही शोधकर्ता "प्रोसेस ब्लाइंडनेस" (Process Blindness) कहते हैं।

यह पेपर LogicAgent को पेश करता है, जो AI को केवल वस्तुओं को पहचानने के बजाय वास्तव में "कहानी का अनुसरण" करना सिखाने का एक नया तरीका है।

मुख्य विचार: "स्नैपशॉट" से "कहानीकार" तक

यह समझने के लिए कि LogicAgent कैसे काम करता है, आइए दो उपमाओं (analogies) का उपयोग करें:

1. "लेगो निर्देश पुस्तिका" (The "Lego Instruction Manual" - Discrete CoT Generator)

अधिकांश AI वीडियो का वर्णन करने के लिए पिक्सेल की एक धुंधली, निरंतर धारा को देखने की कोशिश करते हैं—जैसे एक लंबे एक्सपोज़र वाली धुंधली तस्वीर को देखकर किसी नृत्य का वर्णन करने की कोशिश करना। यह अव्यवस्थित और भ्रमित करने वाला है।

LogicAgent कुछ अलग करता है। यह पहले वीडियो को "लेगो ब्रिक्स" (Lego Bricks) (जिन्हें Events कहा जाता है) में तोड़ देता है। लाखों पिक्सेल देखने के बजाय, यह देखता है: *[ईंट 1: खिलाड़ी किक मारता है] $\rightarrow$ [ईंट 2: गेंद उड़ती है] $\rightarrow$ [ईंट 3: गेंद जाल से टकराती है]। *

फिर यह एक "लॉजिक कोडबुक" (Logic Codebook) का उपयोग करता है—मानसिक संयोजकों (connectors) का एक सेट जैसे "के कारण," "उसके बाद," या "की ओर ले जाता है।" यह इन संयोजकों का उपयोग करके इन ईंटों की एक श्रृंखला बनाता है। यह इसका "चेन ऑफ थॉट" (Chain of Thought) है। यह केवल अगले शब्द का अनुमान नहीं लगा रहा है; यह क्रिया का एक तार्किक ब्लूप्रिंट बना रहा है।

2. "सख्त रेफरी" (The "Strict Referee" - Hybrid Verifier)

अधिकांश AI प्रशिक्षण में, मॉडल एक ऐसे छात्र की तरह होता है जो बहुविकल्पीय परीक्षा दे रहा है जहाँ शिक्षक केवल यह देखते हैं कि अंतिम उत्तर "सुंदर" दिखता है या नहीं।

हालाँकि, LogicAgent के पास एक "सख्त रेफरी" (Strict Referee) है जो उसकी हर हरकत पर नज़र रखता है। यह रेफरी केवल अंतिम वाक्य को नहीं देखता; यह वीडियो के विरुद्ध "लेगो श्रृंखला" के तर्क की जाँच करता है।

यदि AI कहता है, "खिलाड़ी गोल करता है, फिर गेंद को किक मारता है," तो रेफरी सीटी बजा देता है।
रेफरी "काउंटरफैक्चुअल टेस्टिंग" (Counterfactual Testing) का उपयोग करता है—यह मूल रूप से पूछता है, "यदि खिलाड़ी ने गेंद को मिस कर दिया होता, तो क्या आपका तर्क अभी भी काम करता?" यदि AI का तर्क केवल "हरी घास" और "एक जाल" (एक शॉर्टकट) देखने पर आधारित है न कि वास्तविक किक (एक कारण) पर, तो रेफरी उसे दंडित करता है।

यह क्यों मायने रखता है? (परिणाम)

शोधकर्ताओं ने GPT-4o और Gemini जैसे विशाल मॉडलों यानी "दिग्गजों" के खिलाफ LogicAgent का परीक्षण किया। भले ही LogicAgent बहुत छोटा है (यह एक विशाल सुपरकंप्यूटर की तुलना में एक कॉम्पैक्ट, कुशल स्मार्टफोन की तरह है), यह अक्सर वीडियो के तर्क को समझने में बेहतर प्रदर्शन करता है।

तीन बड़ी जीत हैं:

कोई "लॉजिक फेल" नहीं: यह ऐसी कहानियाँ नहीं सुनाता जो भौतिकी या समय के नियमों का उल्लंघन करती हों।
कम डेटा के साथ बेहतर "याददाश्त": क्योंकि यह चीज़ें कैसे होती हैं (जैसे खाना बनाना कैसे काम करता है) के नियमों को समझता है, इसलिए इसे सीखने के लिए लाखों वीडियो देखने की आवश्यकता नहीं है। यह केवल कुछ उदाहरणों से सीख सकता है क्योंकि यह पहले से ही एक प्रक्रिया के "तर्क" को समझता है।
सत्यनिष्ठा (Truthfulness): इसकी "भ्रम" (hallucinate) करने या मनगढ़ंत बातें बनाने की संभावना बहुत कम है। क्योंकि इसकी कहानी का प्रत्येक भाग को वीडियो के विरुद्ध "रेफरी" द्वारा सत्यापित किया जाना आवश्यक है, इसलिए यह केवल एक ऑफिस सीन में वहां मौजूद न होने पर भी कीबोर्ड का आविष्कार नहीं कर सकता।

एक वाक्य में सारांश

LogicAgent वीडियो को यादृच्छिक तस्वीरों की एक श्रृंखला के रूप में देखना बंद करता है और उन्हें कारण-और-प्रभाव की एक तार्किक अनुक्रम के रूप में देखना शुरू करता है, जिससे AI एक बहुत अधिक विश्वसनीय और समझदार कहानीकार बन जाता है।

तकनीकी सारांश: वीडियो के लिए प्रोसेस-ऑफ-थॉट रीजनिंग (LogicAgent)

LogicAgent एक न्यूरो-सिंबोलिक फ्रेमवर्क है जिसे वीडियो-टू-टेक्स्ट जनरेशन में "प्रोसेस ब्लाइंडनेस" (प्रक्रिया अंधापन) को दूर करने के लिए डिज़ाइन किया गया है। जबकि वर्तमान अत्याधुनिक मॉडल (GPT-4o और Qwen3-VL जैसे बड़े पैमाने के मल्टीमॉडल LLMs सहित) वीडियो में क्या है, इसका वर्णन करने में उत्कृष्ट हैं, वे अक्सर यह बताने में विफल रहते हैं कि घटनाएँ कैसे या क्यों घटित होती हैं, जिससे ऐसे विवरण उत्पन्न होते हैं जो टेम्पोरल लॉजिक (सामयिक तर्क) या कॉज़ल डायनेमिक्स (कारण संबंधी गतिशीलता) का उल्लंघन करते हैं।

1. समस्या: प्रोसेस ब्लाइंडनेस और ग्रेडिएंट आइसोलेशन

लेखकों ने मौजूदा वीडियो समझ के प्रतिमानों (paradigms) में दो प्राथमिक विफलताओं की पहचान की है:

नैरेटिव फ्रैगमेंटेशन और लॉजिकल इनकोहेरेंस (कथा विखंडन और तार्किक असंगति): मॉडल अक्सर असंबद्ध अवलोकन उत्पन्न करते हैं (जैसे, "एक खिलाड़ी खड़ा है। नेट हिलता है।") या कार्य-कारण संबंध (causality) का उल्लंघन करते हैं (जैसे, "गेंद नेट में है, और फिर खिलाड़ी उसे किक मारता है।")।
ग्रेडिएंट आइसोलेशन (ग्रेडिएंट अलगाव): मौजूदा न्यूरो-सिंबोलिक दृष्टिकोणों में, लॉजिकल बाधाओं को स्टेटिक, पोस्ट-हॉक रेगुलराइज़र के रूप में लागू किया जाता है। क्योंकि सिंबोलिक नियम असतत (discrete) होते हैं, वे विजुअल एनकोडर को सूचनात्मक ग्रेडिएंट बैकप्रोपैगेट नहीं कर सकते। यह मॉडल को उन विजुअल फीचर्स को सीखने से रोकता है जो वास्तव में कॉज़ल रूप से महत्वपूर्ण हैं।

2. कार्यप्रणाली: LogicAgent फ्रेमवर्क

इन समस्याओं को हल करने के लिए, लेखक "स्टेटिक कंस्ट्रेंट्स" से "फंक्शनल ऑप्टिमाइजेशन" की ओर बढ़ने का प्रस्ताव देते हैं, जहाँ रीजनिंग प्रक्रिया को एक सीखने योग्य, डिफरेंशिएबल लेटेंट वेरिएबल के रूप में माना जाता है। इस फ्रेमवर्क में तीन मुख्य मॉड्यूल शामिल हैं:

ग्राउंडेड इवेंटिफायर (Grounded Eventifier): यह मॉड्यूल निरंतर वीडियो फीचर्स को असतत, चेक करने योग्य इवेंट यूनिट्स में "लिफ्ट" करता है। प्रत्येक इवेंट $E_j$ एक ट्रिपलेट है जिसमें एक सिंबोलिक लेबल (Premise, Action, Object), पूल्ड विजुअल फीचर्स और एक टेम्पोरल टाइमस्टैम्प होता है। यह सुनिश्चित करता है कि सिंबोलिक रीजनिंग हमेशा पिक्सेल-लेवल साक्ष्य से जुड़ी रहे।
डिस्क्रीट CoT (Chain-of-Thought) जनरेटर: प्रत्यक्ष मैपिंग के बजाय, मॉडल एक स्पष्ट सिंबोलिक रीजनिंग चेन $C$ उत्पन्न करता है। यह चेन एक सीखे गए ऑपरेटर कोडबुक (जिसमें before/after जैसे टेम्पोरल ऑपरेटर्स और cause/prevent जैसे सिएमैंटिक ऑपरेटर्स शामिल हैं) द्वारा मध्यस्थता वाले इवेंट्स के बीच ट्रांजिशन से बनी होती है।
हाइब्रिड डिफरेंशिएबल लॉजिक वेरिफायर (Hybrid Differentiable Logic Verifier): यह घटक उत्पन्न चेन की वैधता को स्कोर करता है। यह टेम्पोरल लॉजिक के लिए रूल-बेस्ड चेक और सिएमैंटिक लॉजिक के लिए लर्नबल MLP-बेस्ड चेक का उपयोग करता है।

ऑप्टिमाइजेशन प्रतिमान (Optimization Paradigm):
मुख्य नवाचार वेरिफायर के माध्यम से चार फंक्शनल ऑब्जेक्टिव्स का संयुक्त अनुकूलन (joint optimization) है:

प्रेडिक्टिव यूटिलिटी ( $L_{pred}$ ): यह सुनिश्चित करता है कि रीजनिंग चेन भविष्य की वीडियो अवस्थाओं की भविष्यवाणी कर सके।
लॉजिकल कंसिस्टेंसी ( $L_{logic}$ ): यह चेन को टेम्पोरल और सिएमैंटिक नियमों के विरुद्ध मान्य करता है।
काउंटरफैक्चुअल रोबस्टनेस ( $L_{CF}$ ): यह मॉडल को केवल सहसंबंध (correlation) से वास्तविक कारण (causation) को अलग करने के लिए मजबूर करता है, जिसे "नेगेटिव" वीडियो (जैसे, एक वीडियो जहाँ किक तो होती है लेकिन गेंद मिस हो जाती है) पर प्रशिक्षित किया जाता है।
स्पैरसिटी ( $L_{spar}$ ): यह संक्षिप्त और गैर-रिडंडेंट रीजनिंग चेन को प्रोत्साहित करता है।

3. प्रमुख योगदान

नया प्रतिमान: स्टेट-सेंट्रिक परसेप्शन से फंक्शनल ऑप्टिमाइजेशन का उपयोग करके प्रोसेस-लेवल रीजनिंग की ओर बढ़ने का प्रस्ताव।
न्यूरो-सिंबोलिक एकीकरण: एक डिफरेंशिएबल कंप्यूटेशनल ब्रिज का उपयोग करके निरंतर विजुअल फीचर्स और असतत सिंबोलिक लॉजिक के बीच के अंतर को सफलतापूर्वक पाटता है।
सैद्धांतिक आधार: "रीजनिंग डायनेमिक्स" का औपचारिक विश्लेषण प्रदान करता है, जो यह सिद्ध करता है कि उनका तरीका रीजनिंग कर्नेल और काउंटरफैक्चुअल मार्जिन के उपयोग के माध्यम से "शॉर्टकट लर्निंग" (सतही विजुअल संकेतों पर निर्भरता) से बचता है।

4. प्रयोगात्मक परिणाम

LogicAgent का मूल्यांकन छह विविध डेटासेट्स (Ego4D, VIST, और MSR-VTT सहित) पर किया गया और इसकी तुलना विशाल मॉडल्स (GPT-4o, Gemini 1.5 Pro) और विशिष्ट न्यूरो-सिंबोलिक बेसलाइन्स से की गई।

स्केल पर श्रेष्ठता: केवल 1.69B पैरामीटर्स होने के बावजूद (जो Qwen3-VL-8B या GPT-4o से काफी कम है), LogicAgent ने MMIU और Ego4D जैसे जटिल रीजनिंग कार्यों पर उन्हें पीछे छोड़ दिया।
कॉज़ल और टेम्पोरल सटीकता: इसने Causal Understanding (CU) और Image Consistency (IC) में उच्च स्कोर प्राप्त किया, जो यह सिद्ध करता है कि यह "हैलुसिनेशन ऑफ प्लॉसिबिलिटी" (प्रवाहपूर्ण लेकिन तथ्यात्मक रूप से गलत टेक्स्ट उत्पन्न करना) के प्रति कम संवेदनशील है।
डेटा दक्षता: लो-डेटा रिजीम (1% सुपरविजन) में, LogicAgent ने स्टैटिस्टिकल मॉडल्स पर भारी बढ़त दिखाई, जिससे पता चलता है कि इसकी सिंबोलिक संरचना एक शक्तिशाली इंडक्टिव बायस के रूप में कार्य करती है।
हैलुसिनेशन के प्रति मजबूती: POPE और MME बेंचमार्क पर, मॉडल ने एडवर्सरियल सेटिंग्स में फाल्स पॉजिटिव के प्रति बेहतर प्रतिरोध दिखाया।

5. महत्व

इस कार्य का महत्व व्याख्या योग्य (interpretable) और सत्यापन योग्य (verifiable) AI की ओर इसके बढ़ते कदम में निहित है। मॉडल को एक स्पष्ट "विचार प्रक्रिया" (सिंबोलिक चेन) उत्पन्न करने के लिए मजबूर करके, सिस्टम एक "व्हाइट-बॉक्स" बन जाता है। यदि कोई मॉडल विफल होता है, तो डेवलपर्स ठीक से पहचान सकते हैं कि त्रुटि कहाँ हुई: धारणा (Eventifier) में, टेम्पोरल ऑर्डरिंग (Temporal Logic) में, या कॉज़ल रीजनिंग (Semantic Logic) में। यह पारदर्शिता ऑटोनॉमस ड्राइविंग और रोबोटिक्स जैसे सुरक्षा-संवेदनशील अनुप्रयोगों के लिए महत्वपूर्ण है।