🤖 AI

Recurrent Reasoning with Vision-Language Models for Estimating Long-Horizon Embodied Task Progress

यह शोध पत्र $\text{R}^2$ VLM का प्रस्ताव करता है, जो एक आवर्ती तर्क ढांचा (recurrent reasoning framework) है जो पूर्ण वीडियो प्रक्षेपवक्र (full video trajectories) को संसाधित करने की कम्प्यूटेशनल लागत के बिना, लंबी अवधि के एम्बॉडीड टास्क प्रोग्रेस (long-horizon embodied task progress) का कुशलतापूर्वक और सटीक रूप से अनुमान लगाने के लिए एक विकसित होता हुआ चेन ऑफ थॉट (Chain of Thought) बनाए रखते हुए स्थानीय वीडियो स्निपेट्स को पुनरावृत्ति से संसाधित करता है और अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Yuelin Zhang, Sijie Cheng, Chen Li, Zongzhao Li, Yuxin Huang, Yang Liu, Wenbing Huang

प्रकाशित 2026-03-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuelin Zhang, Sijie Cheng, Chen Li, Zongzhao Li, Yuxin Huang, Yang Liu, Wenbing Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल भोजन बनाना सिखा रहे हैं, जैसे कि "एक कप कॉफी बनाना।" रोबोट को केवल वीडियो देखने की ही नहीं जरूरत है; उसे यह भी समझने की जरूरत है कि वह प्रक्रिया में कहाँ है। क्या वह पूरा हो गया है? क्या वह आधा हुआ है? क्या वह दूध लेना भूल गया है?

यह पेपर एक नया AI सिस्टम पेश करता है जिसे R2VLM (Recurrent Reasoning Vision-Language Model) कहा जाता है, जो एक सुपर-स्मार्ट, धैर्यवान कुकिंग इंस्ट्रक्टर की तरह रोबोट के बगल में बैठा रहता है। इसका काम लगातार इस सवाल का जवाब देना है: "हमने वास्तव में कार्य का कितना हिस्सा पूरा कर लिया है?"

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "लंबी वीडियो" का दुःस्वप्न (The "Long Video" Nightmare)

कल्पना कीजिए कि आप यह समझने के लिए 2 घंटे की फिल्म देखने की कोशिश कर रहे हैं कि पहले 5 मिनट में क्या हुआ था। यदि आप हर बार एक नया दृश्य आने पर पूरी फिल्म को फिर से देखने की कोशिश करेंगे, तो आप थक जाएंगे, और आपका दिमाग भ्रमित हो जाएगा।

पुराने AI तरीके ठीक यही करने की कोशिश करते थे। वे प्रगति का अनुमान लगाने के लिए हर सेकंड पूरे वीडियो इतिहास को देखते थे। यह धीमा, महंगा है, और AI अक्सर "भ्रमित" (hallucinations) हो जाता है (पहले क्या हुआ था इसे लेकर उलझन में पड़ जाता है) क्योंकि वीडियो बहुत लंबा होता है।
चुनौती: वास्तविक दुनिया के कार्यों (जैसे घर की सफाई करना या खाना बनाना) में लंबा समय लगता है और उनके कई चरण होते हैं। यदि AI भूल जाता है कि उसने पहले कॉफी का मग उठा लिया था, तो वह उसे फिर से उठाने की कोशिश कर सकता है, या इससे भी बुरा, यह सोच सकता है कि काम पूरा हो गया है जबकि उसने अभी तक शुरुआत भी नहीं की है।

2. समाधान: "रनिंग नोटबुक" (The "Running Notebook" - Recurrent Reasoning)

पूरे वीडियो को फिर से देखने के बजाय, R2VLM एक चतुर ट्रिक का उपयोग करता है: रनिंग नोटबुक (चलती हुई डायरी)।

AI को एक जासूस के रूप में समझें जो एक रहस्य सुलझा रहा है।

पुराना तरीका: हर बार जब एक नया सुराग आता है, तो जासूस पेज 1 से 500 पन्नों की पूरी केस फाइल फिर से पढ़ता है।
R2VLM का तरीका: जासूस एक नोटबुक (जिसे "चेन ऑफ थॉट" या CoT कहा जाता है) रखता है।
1. जासूस नवीनतम 2-सेकंड का वीडियो क्लिप (नवीनतम सुराग) देखता है।
2. वे अपनी नोटबुक खोलते हैं, जिसमें पहले से लिखा है: "मुझे कॉफी बीन्स मिल गए हैं, लेकिन मैंने उन्हें अभी तक पीसा नहीं है।"
3. वे नया क्लिप देखते हैं, देखते हैं कि रोबोट बीन्स पीस रहा है, और नोटबुक को अपडेट करते हैं: "ठीक है, बीन्स पिस गए हैं। अब मुझे पानी लेने की जरूरत है।"
4. वे प्रगति का नया प्रतिशत लिखते हैं (जैसे, "40% पूरा हुआ")।

केवल नवीनतम क्लिप और नोटबुक को देखकर, AI तेज़ रहता है, भ्रमित नहीं होता, और बड़े चित्र (big picture) को पूरी तरह से याद रखता है।

3. प्रशिक्षण: "डिस्ट्रैक्टर गेम" (The "Distractor Game")

इस AI को स्मार्ट बनाने के लिए, शोधकर्ताओं ने इसे केवल लोगों को कार्य करते हुए वीडियो नहीं दिखाए। उन्होंने इसके साथ एक पेचीदा खेल खेला।

कल्पना कीजिए कि आप एक छात्र को "लाल कार" पहचानने के लिए सिखा रहे हैं। यदि आप उन्हें केवल लाल कारें ही दिखाएंगे, तो वे बिना देखे ही केवल "लाल" का अनुमान लगा सकते हैं।

ट्रिक: शोधकर्ताओं ने AI को किसी व्यक्ति द्वारा कॉफी बनाने का वीडियो दिखाया, लेकिन इसे बताया, "यह एक वीडियो है जिसमें कोई सैंडविच बना रहा है।"
परिणाम: AI को बारीकी से देखना पड़ा। उसे एहसास हुआ, "रुको, वे कॉफी डाल रहे हैं, ब्रेड पर चीज़ नहीं रख रहे हैं। कार्य का विवरण वीडियो से मेल नहीं खाता!"
इसने AI को शॉर्टकट के आधार पर अनुमान लगाने के बजाय वास्तव में चरणों के बारे में तर्क (reason) करने के लिए मजबूर किया, जिससे यह सुनिश्चित हुआ कि वह कार्य की संरचना को वास्तव में समझता है।

4. यह क्यों महत्वपूर्ण है: रोबोटों के लिए "कोच" (The "Coach" for Robots)

यह केवल नंबरों का अनुमान लगाने के बारे में नहीं है; यह रोबोटों को सीखने और हमारी मदद करने में मदद करने के बारे में है। पेपर में इस "कोच" के उपयोग के तीन शानदार तरीके दिखाए गए हैं:

पर्सनल ट्रेनर (पॉलिसी लर्निंग): यदि कोई रोबोट चलना या खाना बनाना सीख रहा है, तो कोच उसे बताता है, "आप बहुत अच्छा कर रहे हैं, आपने 5 में से 3 चरण पूरे कर लिए हैं!" यह रोबोट को अंत में केवल "हाँ/नहीं" मिलने की तुलना में तेज़ी से सीखने में मदद करता है।
रेफरी (रिवॉर्ड मॉडलिंग): वीडियो गेम में, आपको अच्छे मूव्स के लिए अंक मिलते हैं। वास्तविक दुनिया में, रोबोटों के पास अंक नहीं होते। R2VLM एक रेफरी के रूप में कार्य करता है, जो रोबोट को हर बार एक छोटा कदम पूरा करने पर एक "स्कोर" (रिवॉर्ड) देता है, जिससे उसे सही काम करने के लिए निर्देशित किया जाता है।
सहायक (प्रोएक्टिव हेल्प): कल्पना कीजिए कि आप फर्नीचर असेंबल करने की कोशिश कर रहे हैं एक बुजुर्ग व्यक्ति हैं। AI कैमरे के माध्यम से आपको देखता है। वह देखता है कि आप एक स्क्रू के साथ संघर्ष कर रहे हैं और कहता है, "आपने पैर (legs) तो जोड़ लिए हैं, लेकिन आपने ऊपर का हिस्सा अभी तक नहीं लगाया है। यहाँ अगला चरण है।" वह केवल देखता नहीं है; वह आपके काम के प्रवाह (flow) को समझता है।

सारांश

R2VLM एक स्मार्ट, चौकस सहायक की तरह है जो एक डायरी रखता है कि रोबोट क्या कर रहा है। लंबे वीडियो से अभिभूत होने के बजाय, यह चरण-दर-चरण अपनी डायरी को अपडेट करता है। यह इसे हमें सटीक रूप से यह बताने की अनुमति देता है कि कार्य का कितना हिस्सा पूरा हुआ है, जिससे रोबोटों को तेज़ी से सीखने, कम गलतियाँ करने और हमारे दैनिक जीवन में मनुष्यों की अधिक प्रभावी ढंग से सहायता करने में मदद मिलती है।

यहाँ शोध पत्र "Recurrent Reasoning with Vision-Language Models for Estimating Long-Horizon Embodied Task Progress" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लंबे समय तक चलने वाले, बहु-चरणीय एम्बोडीड कार्यों (जैसे, "कॉफी का एक कप बनाना" या "रसोई साफ करना") की प्रगति का सटीक अनुमान लगाना एजेंटों के लिए प्रभावी योजना बनाने, त्रुटियों से उबरने और मनुष्यों के साथ सक्रिय रूप से बातचीत करने के लिए महत्वपूर्ण है। हालाँकि, मौजूदा दृष्टिकोण दो प्रमुख चुनौतियों का सामना करते हैं:

तर्क संबंधी सीमाएँ (Reasoning Limitations): वर्तमान विजन-लैंग्वेज मॉडल्स (VLMs) मुख्य रूप से वीडियो समझ और बड़े कॉन्टेक्स्ट विंडो पर निर्भर करते हैं लेकिन उनकी जटिल तर्क क्षमता का कम उपयोग करते हैं। वे अक्सर उप-कार्यों (subtasks) के बीच जटिल अस्थायी निर्भरताओं (temporal dependencies) के साथ दृश्य अवलोकनों को संरेखित करने में विफल रहते हैं।
संगणनात्मक अक्षमता (Computational Inefficiency): वास्तविक समय के वास्तविक दुनिया के परिनियोजन (deployment) के लिए भारी संख्या में विजुअल टोकन और कॉन्टेक्स्ट लंबाई की सीमाओं के कारण, VLMs के साथ पूर्ण, लंबे वीडियो प्रक्षेपवक्र (trajectories) को प्रोसेस करना अत्यधिक खर्चीला है।

2. कार्यप्रणाली: R2VLM

लेखक R2VLM (Recurrent Reasoning Vision-Language Model) का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जिसे पुनरावृत्ति स्थानीय वीडियो प्रोसेसिंग (iterative local video processing) को एक वैश्विक तर्क स्मृति (global reasoning memory) के साथ जोड़कर कार्य प्रगति का अनुमान लगाने के लिए डिज़ाइन किया गया है।

मुख्य वास्तुकला (Core Architecture)

पुनरावर्ती तर्क फ्रेमवर्क (Recurrent Reasoning Framework): पूरे वीडियो इतिहास को एक बार में मॉडल में फीड करने के बजाय, R2VLM वीडियो को छोटे, स्थानीय स्निपेट्स (जैसे, 2-4 सेकंड) के अनुक्रम के रूप में प्रोसेस करता है।
विकसित होता चेन ऑफ थॉट (Evolving Chain of Thought - CoT): मॉडल एक विकसित होते CoT के माध्यम से वैश्विक संदर्भ बनाए रखता है। प्रत्येक समय चरण $t$ पर, मॉडल लेता है:
1. वर्तमान वीडियो स्निपेट ( $v_t$ )।
2. पिछले इटरेशन से ऐतिहासिक CoT ( $c_{t-1}$ )।
3. कार्य विवरण ( $\tau$ )।
इसके बाद यह CoT ( $c_t$ ) को अपडेट करता है और वर्तमान प्रगति अनुमान ( $p_t$ ) आउटपुट करता है।

CoT तंत्र (The CoT Mechanism)

CoT एक ऐतिहासिक स्मृति के रूप में कार्य करता है और स्पष्ट रूप से निम्नलिखित को रिकॉर्ड करता है:

कार्य अपघटन (Task Decomposition): लंबे समय तक चलने वाले कार्य को प्रमुख उप-कार्यों में तोड़ना।
स्थिति ट्रैकिंग (Status Tracking): दृश्य साक्ष्यों के आधार पर यह पहचानना कि कौन से चरण पूरे हो चुके हैं, लंबित हैं, या अधूरे हैं।
गतिशील समायोजन (Dynamic Adjustment): यदि प्रारंभिक अपघटन वास्तविक दृश्य अवलोकनों के साथ संघर्ष करता है (जैसे, यदि कोई उपयोगकर्ता एक चरण छोड़ देता है या उन्हें क्रम से बाहर करता है), तो मॉडल चरणों को मर्ज, स्प्लिट या पुनर्व्यवस्थित कर सकता है।
प्रगति गणना (Progress Calculation): कुल आवश्यक चरणों के सापेक्ष पूर्ण किए गए चरणों के अनुपात के आधार पर अंतिम प्रगति का अनुमान लगाया जाता है।

प्रशिक्षण रणनीति (Training Strategy)

मॉडल को ALFRED (सिमुलेशन) और Ego4D (वास्तविक दुनिया) से बड़े पैमाने पर स्वचालित रूप से उत्पन्न डेटासेट पर प्रशिक्षित किया गया है। प्रशिक्षण में दो चरण शामिल हैं:

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): मॉडल एक स्वचालित पाइपलाइन द्वारा उत्पन्न उच्च-गुणवत्ता वाले डेटा का उपयोग करके संरचित CoT और प्रगति अनुमान उत्पन्न करना सीखता है। यह पाइपलाइन मॉडल को सतही दृश्य संकेतों पर निर्भर होने से रोकने के लिए "डिस्ट्रैक्टर" (distractor) कार्य विवरण बनाती है।
रीइन्फोर्समेंट लर्निंग (RL): प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) का उपयोग करके, मॉडल को एक बहु-घटक रिवॉर्ड फंक्शन के साथ और अधिक परिष्कृत किया जाता है:
- फॉर्मेट रिवॉर्ड (Format Reward): सुनिश्चित करता है कि आउटपुट CoT + उत्तर संरचना का पालन करता है।
- बिन रिवॉर्ड (Bin Reward): जाँचता है कि क्या प्रगति पूर्ण किए गए चरणों की संख्या के आधार पर सही अंतराल में आती है।
- MAE रिवॉर्ड (MAE Reward): सटीक संख्यात्मक सटीकता को प्रोत्साहित करता है।
- इम्प्रूवमेंट रिवॉर्ड (Improvement Reward): विशेष रूप से मल्टी-टर्न RL के लिए डिज़ाइन किया गया है, यह मॉडल को पिछले टर्न की तुलना में त्रुटि कम करने के लिए पुरस्कृत करता है, जिससे आत्म-सुधार (self-correction) को बढ़ावा मिलता है।
- फिनिश रिवॉर्ड (Finish Reward): कार्य पूर्ण होने (100%) के सटीक पता लगाने को सुनिश्चित करता है।

3. प्रमुख योगदान (Key Contributions)

नया पुनरावर्ती तर्क प्रतिमान (Novel Recurrent Reasoning Paradigm): R2VLM पहला मॉडल है जो एम्बोडीड टास्क प्रोग्रेस एस्टीमेशन के लिए पुनरावर्ती CoT फ्रेमवर्क को लागू करता है, जिससे मॉडल केवल स्थानीय वीडियो स्निपेट्स को प्रोसेस करते हुए वैश्विक संदर्भ बनाए रख सकता है। यह पूर्ण-वीडियो प्रोसेसिंग के कंप्यूटेशनल ओवरहेड से बचाता है।
स्वचालित डेटासेट निर्माण (Automated Dataset Construction): लेखकों ने मौजूदा डेटासेट (ALFRED और Ego4D) से CoT एनोटेशन और डिस्ट्रैक्टर कार्यों के साथ बड़े पैमाने पर मल्टी-टर्न प्रशिक्षण डेटा उत्पन्न करने के लिए एक पाइपलाइन विकसित की है, जो इस विशिष्ट कार्य के लिए उच्च-गुणवत्ता वाले तर्क डेटा की कमी को दूर करती है।
व्यापक रिवॉर्ड डिज़ाइन (Comprehensive Reward Design): RL चरण में "इम्प्रूवमेंट रिवॉर्ड" और "बिन रिवॉर्ड" का परिचय मॉडल को पुनरावृत्ति से अपने तर्क को परिष्कृत करने और चरण-वार पूर्णता को समझने के लिए प्रभावी ढंग से निर्देशित करता है।
बहुमुखी डाउनस्ट्रीम अनुप्रयोग (Versatile Downstream Applications): मॉडल केवल एक प्रगति एस्टीमेटर नहीं है बल्कि एक सामान्य-उद्देश्य वाला उपकरण है:
- प्रगति-वर्धित नीति सीखना (Progress-Enhanced Policy Learning): सिमेंटिक प्रगति संकेतों (जो समय-आधारित संकेतों से बेहतर हैं) प्रदान करके एजेंट के प्रदर्शन में सुधार करना।
- रिवॉर्ड मॉडलिंग (Reward Modeling): ऑनलाइन रीइन्फोर्समेंट लर्निंग के लिए सघन (dense), सटीक रिवॉर्ड उत्पन्न करना, जो लॉन्ग-होरिज़न कार्यों में स्पार्सिटी (sparsity) की समस्या को हल करता है।
- सक्रिय सहायता (Proactive Assistance): मानव-इन-द-लूप मार्गदर्शन के लिए रियल-टाइम, स्टेप-वाइज ट्रैकिंग को सक्षम करना।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन ALFRED और Ego4D बेंचमार्क पर मजबूत बेसलाइन्स के विरुद्ध किया गया था, जिसमें क्लोज्ड-सोर्स API (GPT-5, Gemini-2.5-Pro) और ओपन-सोर्स VLMs (Qwen2.5-VL, InternVL3) शामिल हैं।

स्टेट-ऑफ-द-आर्ट प्रदर्शन (State-of-the-Art Performance): R2VLM ने सभी चार मेट्रिक्स में सर्वश्रेष्ठ परिणाम प्राप्त किए:
- pMAE (Progress Mean Absolute Error): बेसलाइन्स की तुलना में काफी कम (उदाहरण के लिए, ALFRED पर 2.19 बनाम बेस Qwen2.5-VL-7B के लिए 27.87)।
- $\Delta$ pMAE: प्रगति इन्क्रीमेंट्स (प्रगति के अंश) की भविष्यवाणी करने में उच्च सटीकता (जो रिवॉर्ड मॉडलिंग के लिए महत्वपूर्ण है)।
- Bin Accuracy: सही पूर्णता चरण की पहचान करने में उच्च सटीकता।
- Acc: पूर्ण कार्य पूर्णता का पता लगाने में उच्च सटीकता।
दक्षता (Efficiency): वीडियो स्निपेट्स + CoT का उपयोग करके, R2VLM वीडियो की लंबाई के बावजूद स्थिर अनुमान समय (inference time) बनाए रखता है, जबकि पूर्ण-वीडियो बेसलाइन रैखिक रूप से बढ़ती लेटेंसी और अटेंशन डिस्पर्शन से जूझते हैं।
सामान्यीकरण (Generalization): मॉडल ने मजबूत क्रॉस-डोमेन सामान्यीकरण दिखाया, एक डेटासेट पर प्रशिक्षित होने और दूसरे पर परीक्षण किए जाने पर भी अच्छा प्रदर्शन किया, जो दर्शाता है कि इसने डेटासेट-विशिष्ट पैटर्न के बजाय तर्क रणनीतियों को सीखा है।
एब्लेशन स्टडीज (Ablation Studies): "इम्प्रूवमेंट रिवॉर्ड" को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जिससे इसकी पुनरावृत्ति तर्क शोधन (iterative reasoning refinement) के लिए आवश्यकता की पुष्टि हुई।

5. महत्व (Significance)

यह कार्य बड़े VLMs की तर्क क्षमताओं और एम्बोडीड AI की व्यावहारिक बाधाओं के बीच के अंतर को पाटता है। वैश्विक संदर्भ (CoT के माध्यम से) को स्थानीय दृश्य प्रसंस्करण (स्निपेट्स के माध्यम से) से अलग करके, R2VLM एक स्केलेबल, कुशल और अत्यधिक सटीक समाधान प्रदान करता है। इसकी सघन, सिमेंटिक रिवॉर्ड उत्पन्न करने की क्षमता इसे रीइन्फोर्समेंट लर्निंग के माध्यम से अधिक सक्षम एम्बोडीड एजेंटों को प्रशिक्षित करने के लिए एक मौलिक घटक बनाती है, जो स्पार्स (sparse), बाइनरी सफलता संकेतों से आगे बढ़ती है। मॉडल्स और बेंचमार्क्स का सार्वजनिक रिलीज एम्बोडीड AI प्रोग्रेस एस्टीमेशन में अनुसंधान को और गति देता है।