🤖 machine learning

ProcVLM: Learning Procedure-Grounded Progress Rewards for Robotic Manipulation

यह शोध पत्र ProcVLM को प्रस्तुत करता है, जो एक विज़न-लैंग्वेज मॉडल है जो शेष परमाणु क्रियाओं (atomic actions) और दृश्य परिवर्तनों के बारे में तर्क करके प्रक्रिया-आधारित प्रगति पुरस्कार (procedure-grounded progress rewards) सीखता है, जिसे लंबी अवधि के रोबोटिक हेरफेर (long-horizon robotic manipulation) के लिए सघन, विभेदक फीडबैक प्रदान करने हेतु एक विशाल 60M-फ्रेम डेटासेट (ProcCorpus-60M) पर प्रशिक्षित किया गया है।

मूल लेखक: Youhe Feng, Hansen Shi, Haoyang Li, Xinlei Guo, Yang Wang, Chengyang Zhang, Jinkai Zhang, Xiaohan Zhang, Jie Tang, Jing Zhang

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Youhe Feng, Hansen Shi, Haoyang Li, Xinlei Guo, Yang Wang, Chengyang Zhang, Jinkai Zhang, Xiaohan Zhang, Jie Tang, Jing Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ ProcVLM पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के माध्यम से समझाया गया है।

बड़ी समस्या: "समय का जाल" (The "Time Trap")

कल्पना कीजिए कि आप एक रोबोट को केक बनाना सिखा रहे हैं।

पुराना तरीका: अधिकांश रोबोट एक वीडियो देखकर सीखते हैं जिसमें एक आदर्श केक बनाया जा रहा हो। लेकिन अगर रोबोट केक बनाने की कोशिश करता है और आटा गिरा देता है, तो पुराने सिस्टम अक्सर बस इतना कहते हैं, "आपने अंत में असफल हो गए।" उन्हें यह नहीं पता होता कि वे क्यों असफल हुए या गलती होने से पहले रोबोट कितना आगे तक पहुँच गया था।
"समय" का जाल: कुछ सिस्टम घड़ी देखकर प्रगति का अनुमान लगाने की कोशिश करते हैं। वे सोचते हैं, "अगर 10 सेकंड बीत चुके हैं, तो रोबोट 50% काम पूरा कर चुका होगा!" लेकिन यह गलत है। यदि रोबोट एक फिसलन भरे चम्मच को उठाने की कोशिश में 10 सेकंड बिता देता है, तो उसने वास्तव में कोई प्रगति नहीं की है। बीतता हुआ समय $\neq$ किया गया काम।

इस पेपर के लेखक कहते हैं: रोबोटों को एक ऐसे शिक्षक की आवश्यकता है जो चरणों (steps) को समझता हो, न कि केवल घड़ी या अंतिम परिणाम को।

समाधान: ProcVLM (एक "स्टेप-बाय-स्टेप" कोच)

टीम ने एक नया AI मॉडल बनाया जिसे ProcVLM कहा जाता है। इसे एक बहुत ही चौकस कोच के रूप में सोचें जो एक रोबोट को काम करते हुए देखता है और उसे लगातार फीडबैक देता है कि प्रक्रिया कैसी चल रही है।

यह कैसे काम करता है ("तर्क पहले" वाला तरीका):
सिर्फ एक नंबर का अनुमान लगाने (जैसे "70% पूरा हुआ") के बजाय, ProcVLM एक मानव कोच की तरह काम करता है जो बोलने से पहले सोचता है:

यह दृश्य को देखता है: "ठीक है, रोबोट नीली प्लेट पकड़े हुए है।"
यह योजना के बारे में तर्क करता है: "लक्ष्य प्लेट को रैक में रखना है। रोबोट पहले ही प्लेट धो चुका है। उसे अभी भी इसे पकड़ने, उठाने और स्लाइड करने की आवश्यकता है।"
यह प्रगति की गणना करता है: "चूंकि इसने धोना पूरा कर लिया है और वर्तमान में उठा रहा है, इसलिए यह लगभग 80% पूरा हो गया है।"

यह "अनुमान लगाने से पहले तर्क करने" वाला दृष्टिकोण सुनिश्चित करता है कि रोबोट को एक उप-चरण (जैसे धोना) पूरा करने का श्रेय मिले, भले ही वह अगले चरण (जैसे उठाना) पर अटक जाए।

प्रशिक्षण डेटा: "60 मिलियन फ्रेम" का पुस्तकालय

ProcVLM को इतना अच्छा कोच बनाने के लिए, शोधकर्ताओं को उदाहरणों का एक विशाल पुस्तकालय बनाना पड़ा।

चुनौती: वास्तविक रोबोट वीडियो में आमतौर पर केवल एक "शुरुआत" और एक "अंत" का लेबल होता है। उनमें हर सेकंड रोबोट क्या कर रहा है, इसके लिए लेबल नहीं होते।
समाधान: उन्होंने एक बहुत ही स्मार्ट AI (एक "लार्ज VLM एनोटेटर") का उपयोग किया जिसने 400,000 रोबोट वीडियो देखे और प्रत्येक फ्रेम के लिए विस्तृत नोट्स स्वतः लिखे।
- रोबोट ने अभी क्या किया? (जैसे, "कप पकड़ा")
- आगे क्या करना बाकी है? (जैसे, "कप को सिंक में रखें")
- क्या कार्य पूरा हो गया है? (हाँ/नहीं)
परिणाम: उन्होंने ProcCorpus-60M बनाया, जो 60 मिलियन एनोटेटेड फ्रेम वाला एक डेटासेट है। यह एक 400,000 पन्नों की किताब को, जिसमें केवल अध्याय के शीर्षक थे, एक ऐसी किताब में बदलने जैसा है जिसमें हर एक पन्ने पर विस्तृत सारांश हो।

"VQA" गेम: सवाल पूछकर सीखना

उन्होंने इस विशाल पुस्तकालय को ProcVQA नामक एक खेल में बदल दिया। केवल देखने के बजाय, AI को इन सवालों के जवाब देने थे:

"अभी कौन सा कार्य हो रहा है?"
"रोबोट को अगला कदम क्या उठाना चाहिए?"
"जो आप देख रहे हैं, उसके आधार पर, कार्य कितने प्रतिशत पूरा हो गया है?"

60 मिलियन उदाहरणों के साथ इस खेल को बार-बार खेलकर, ProcVLM ने केवल चित्रों को नहीं, बल्कि कार्य के तर्क (logic) को समझना सीख लिया।

यह क्यों महत्वपूर्ण है: "डेंस रिवॉर्ड" (Dense Reward)

रोबोट लर्निंग की दुनिया में, "रिवॉर्ड" (इनाम) एक ट्रीट या इनाम जैसा होता है।

स्पार्स रिवॉर्ड (पुराना तरीका): रोबोट को इनाम तभी मिलता है जब कार्य 100% परफेक्ट होता है। यदि वह बीच में ही असफल हो जाता है, तो उसे कुछ नहीं मिलता। इससे सीखना धीमा और निराशाजनक हो जाता है।
डेंस रिवॉर्ड (ProcVLM): ProcVLM रोबोट को हर कदम पर एक "ट्रीट" (फीडबैक) देता है। "ब्लॉक उठाने के लिए अच्छा काम किया!" "ठीक है, आपने इसे गिरा दिया, लेकिन आप अभी भी सही ज़ोन में हैं।"

क्योंकि ProcVLM चरणों को समझता है, यह अंतर कर सकता है:

ठहराव (Stagnation): रोबोट फंसा हुआ है और कुछ नहीं कर रहा है।
विफलता (Failure): रोबोट ने वस्तु गिरा दी।
प्रगति (Progress): रोबोट संघर्ष कर रहा है लेकिन आगे बढ़ रहा है।

परिणाम: क्या यह काम करता है?

पेपर में तीन मुख्य तरीकों से ProcVLM का परीक्षण किया गया:

कार्यों को समझना: यह अन्य शीर्ष AI मॉडलों की तुलना में यह अनुमान लगाने में बेहतर था कि रोबोट किस चरण पर है और आगे क्या करना है।
तेजी से अनुकूलन: किसी नए कार्य का केवल एक उदाहरण (यहाँ तक कि एक असफल उदाहरण भी) दिखाए जाने पर, ProcVLM तुरंत उस विशिष्ट कार्य के लिए प्रगति को आंकने में सक्षम था। अन्य मॉडल इतने कम डेटा के साथ तालमेल बिठाने में संघर्ष करते हैं।
रोबोट को सिखाना: जब उन्होंने एक वास्तविक रोबोट (कटोरे स्टैकिंग) को प्रशिक्षित करने में मदद करने के लिए ProcVLM का उपयोग किया, तो रोबोट ने मानक तरीकों की तुलना में तेजी से और अधिक स्थिरता से सीखा। यह वास्तविक दुनिया की गड़बड़ियों को संभालने में बेहतर था।

सारांश उपमा (Summary Analogy)

कल्पना कीजिए कि आप कार चलाना सीख रहे हैं।

पुराना AI: आपको टेस्ट के अंत में केवल "पास" या "फेल" ग्रेड मिलता है। यदि आप बीच में कार बंद (stall) कर देते हैं, तो आपको इसे कैसे ठीक किया जाए, इस पर कोई फीडबैक नहीं मिलता।
ProcVLM: यह एक ड्राइविंग इंस्ट्रक्टर की तरह है जो बगल वाली सीट पर बैठा है। वह कहता है, "आपने चाबी घुमाई, अच्छा। अब आप बहुत अधिक गैस दबा रहे हैं, थोड़ा धीरे करें। आप चौराहे के 60% हिस्से से गुजर रहे हैं, लाइट पर नज़र रखें।"

ProcVLM रोबोटों को इसी तरह का निरंतर, स्टेप-बाय-स्टेप मार्गदर्शन देता है, जिससे वे नए काम सीखने में अधिक स्मार्ट और विश्वसनीय बनते हैं।

तकनीकी सारांश: ProcVLM

समस्या विवरण (Problem Statement)

लंबे समय तक चलने वाले रोबोटिक हेरफेर (long-horizon robotic manipulation) के लिए सघन फीडबैक संकेतों (dense feedback signals) की आवश्यकता होती है जो केवल प्रक्षेपवक्र (trajectory) स्तर पर बाइनरी सफलता/विफलता परिणामों पर निर्भर रहने के बजाय, प्रक्रियात्मक चरणों (procedural stages) के माध्यम से कार्य की प्रगति को सटीक रूप से दर्शाते हैं। मौजूदा रिवॉर्ड मॉडल अक्सर स्पार्स टर्मिनल लेबल या समय-आधारित इंटरपोलेशन (time-based interpolation) पर निर्भर करते हैं। लेखक तर्क देते हैं कि ये दृष्टिकोण अधूरे चरणों, ठहराव (stagnation) और विफलता रिकवरी जैसे महत्वपूर्ण राज्यों को पकड़ने में विफल रहते हैं, क्योंकि जटिल हेरफेर कार्यों में बीता हुआ समय आवश्यक रूप से वास्तविक कार्य प्रगति के साथ सह-संबंधित नहीं होता है। इसके अलावा, अधिकांश बड़े पैमाने के रोबोट डेटासेट में स्पष्ट प्रक्रियात्मक संरचना (जैसे उप-कार्य सीमाएं और शेष क्रियाएं) के स्पष्ट एनोटेशन का अभाव होता है, जिससे रिवॉर्ड मॉडल को अप्रत्यक्ष पर्यवेक्षण (indirect supervision) पर निर्भर होना पड़ता है जो टेम्पोरल प्रॉक्सी को सिमेंटिक प्रगति के साथ मिला देता है।

कार्यप्रणाली (Methodology)

1. प्रक्रियात्मक पर्यवेक्षण संश्लेषण (Procedural Supervision Synthesis - ProcCorpus-60M)

सघन प्रक्रियात्मक पर्यवेक्षण की कमी को दूर करने के लिए, लेखकों ने कच्चे रोबोटिक प्रक्षेपवक्रों से फ्रेम-स्तरीय एनोटेशन को संश्लेषित करने के लिए एक स्केलेबल पाइपलाइन विकसित की।

पदानुक्रमित एनोटेशन (Hierarchical Annotation): बड़े विजन-लैंग्वेज मॉडल्स (VLMs) को एनोटेटर के रूप में उपयोग करते हुए, पाइपलाइन पहले पूरे वीडियो से उच्च-स्तरीय कार्य योजनाओं और उप-कार्यों के टेम्पोरल स्पैन का अनुमान लगाती है। फिर यह इन सेगमेंट को फ्रेम-वार असाइनमेंट में विस्तारित करती है, जिससे विजुअली डीडुप्लिकेटेड (visually deduplicated) की-फ्रेम्स पर रीजनिंग क्यूज़ (स्टेट रीजनिंग, पूर्णता स्थिति, शेष क्रियाएं) उत्पन्न होते हैं।
डेटासेट निर्माण: इस पाइपलाइन को 30 एम्बोडीड डेटासेट्स (DROID, BridgeData V2, Fractal और सिमुलेशन बेंचमार्क सहित) पर लागू किया गया, जिसके परिणामस्वरूप ProcCorpus-60M प्राप्त हुआ, जिसमें 400K से अधिक प्रक्षेपवक्र और 60M एनोटेटेड फ्रेम्स शामिल हैं।
प्रगति लेबलिंग (Progress Labeling): निरंतर प्रगति लक्ष्यों (continuous progress targets) को उप-कार्य स्तर की संरचना और इंट्रा-सबटास्क विजुअल मोशन के संयोजन द्वारा प्राप्त किया जाता है। प्रत्येक उप-कार्य को उसके सापेक्ष अवधि के आधार पर एक प्रोग्रेस बजट सौंपा जाता है, और इस बजट को स्थानीय विजुअल परिवर्तनों ( $\|\dot{\phi}(\tau)\|$ ) के अनुसार समय पर वितरित किया जाता है, जिससे सरल लीनियर टाइम इंटरपोलेशन से बचा जा सके।

2. ProcVQA और प्रशिक्षण प्रतिमान (Training Paradigm)

एनोटेशन को ProcVQA में परिवर्तित किया गया है, जो 20B-टोकन का एक प्रशिक्षण कॉर्पस है जो कार्य प्रगति अनुमान पर केंद्रित है। प्रशिक्षण एक "अनुमान से पहले रीजनिंग" (reasoning-before-estimation) प्रतिमान का पालन करता है, जहाँ मॉडल को निरंतर प्रगति स्कोर की भविष्यवाणी करने से पहले वर्तमान निष्पादन चरण और शेष परमाणु क्रियाओं (atomic actions) का अनुमान लगाना होता है।

कार्य परिवार (Task Families):
- उप-कार्य-संरचित प्रगति भविष्यवाणी: मॉडल <progress> टैग के भीतर लिपटे हुए शेष परमाणु उप-कार्यों और उसके बाद एक निरंतर पूर्णता प्रतिशत को आउटपुट करता है।
- एक्शन सेगमेंटेशन: परमाणु क्रियाओं की टेम्पोरल सीमाओं की भविष्यवाणी करना।
- भविष्य की योजना (Future planning): कार्य को पूरा करने के लिए आवश्यक शेष क्रियाओं के क्रम की भविष्यवाणी करना।
आर्किटेक्चर: ProcVLM को Qwen3-VL-2B-Instruct बैकबोन पर बनाया गया है। यह टेक्स्ट जनरेशन के लिए एक मानक ऑटो-रिग्रेसिव लैंग्वेज मॉडलिंग हेड और निरंतर रिग्रेशन के लिए एक समर्पित प्रोग्रेस वैल्यू हेड (एक 3-लेयर MLP) का उपयोग करता है।
प्रशिक्षण उद्देश्य (Training Objectives): एक संयुक्त लॉस फंक्शन भाषा मॉडलिंग लॉस ( $L_{LM}$ ) को प्रगति स्कोर के लिए रिग्रेशन लॉस ( $L_{value}$ ) के साथ जोड़ता है। एक गेटिंग मैकेनिज्म वैल्यू हेड को केवल तभी सक्रिय करता है जब प्रगति पर्यवेक्षण मौजूद होता है।
दो-चरणीय प्रशिक्षण:
1. प्रीट्रेनिंग: सामान्य प्रक्रियात्मक प्रतिनिधित्व सीखने के लिए पूरे ProcVQA डेटासेट (~20B टोकन) पर बड़े पैमाने पर प्रशिक्षण।
2. रिफाइनमेंट: उप-कार्य संरेखण और प्रगति अनुमान को तेज करने के लिए एक क्यूरेटेड, उच्च-गुणवत्ता वाले उपसमुच्चय (~2.8B टोकन) पर फाइन-ट्यूनिंग।

मुख्य योगदान (Key Contributions)

ProcVLM: एक प्रोग्रेस-अवेयर एम्बोडीड VLM जो सघन, प्रक्रिया-आधारित रिवॉर्ड्स की भविष्यवाणी करता है। यह निरंतर प्रगति अनुमान को उप-कार्य सिमेंटिक्स, शेष क्रियाओं और स्टेज-के-भीतर की प्रगति से जोड़ता है।
स्केलेबल पर्यवेक्षण पाइपलाइन: कच्चे हेरफेर प्रक्षेपवक्रों को फ्रेम-स्तरीय, उप-कार्य-संरचित एनोटेशन में बदलने की एक विधि, जिससे ProcCorpus-60M और ProcVQA बेंचमार्क प्राप्त हुआ।
व्यवस्थित मूल्यांकन: प्रक्रिया-जागरूक समझ, रिवॉर्ड मॉडलिंग, क्रॉस-टास्क अनुकूलन और डाउनस्ट्रीम पॉलिसी ऑप्टिमाइज़ेशन में व्यापक मूल्यांकन।

प्रयोगात्मक परिणाम (Experimental Results)

एम्बोडीड प्रक्रियात्मक समझ (ProcVQA)

इन-डिस्ट्रीब्यूशन (ID) और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) स्प्लिट्स पर मूल्यांकित किए जाने पर, ProcVLM ने एक्शन सेगमेंटेशन, फ्यूचर प्लानिंग और टास्क प्रोग्रेस एस्टीमेशन में मुख्यधारा के VLMs (GPT-5.4, Gemini 3.1 Pro, और Qwen3.5 सहित) को पछाड़ दिया। इसने उच्चतम BF1@5, Success, VOC (Value-Order Correlation), और EPR@50 (Effective Progress Resolution) स्कोर प्राप्त किए।

सामान्यीकरण योग्य प्रगति रिवॉर्ड मूल्यांकन (Generalizable Progress Reward Evaluation)

ज़ीरो-शॉट तुलना: ProcVQA-OOD उपसमुच्चय पर, ProcVLM ने सर्वश्रेष्ठ VOC प्राप्त किया, जो Robometer और RoboDopamine जैसे बेसलाइन्स की तुलना में बेहतर प्रक्षेपवक्र-आंतरिक प्रगति क्रम (trajectory-internal progress ordering) को दर्शाता है।
वन-शॉट अनुकूलन: RoboFAC बेंचमार्क (रियल-रोबोट फेलियर एनालिसिस) पर, एक एकल सफल प्रदर्शन जोड़ने से ProcVLM के VOC में 85.7% और MCC में 18.8% का सुधार हुआ। इसके विपरीत, Robometer जैसे बेसलाइन्स में न्यूनतम सुधार देखा गया, जो बताता है कि स्पार्स प्रेफरेंस पर्यवेक्षण सिंगल-डेमोंस्ट्रेशन अनुकूलन के लिए कम प्रभावी है।
एब्लेशन अध्ययन (Ablation Studies): प्रक्रिया-जागरूक प्रीट्रेनिंग को हटाने से गंभीर गिरावट आई (जैसे, फॉल्ट लोकलाइजेशन में MAE में -88.8%), जो पुष्टि करता है कि ट्रांसफर करने योग्य प्रगति धारणा के लिए बड़े पैमाने पर प्रीट्रेनिंग आवश्यक है। रीजनिंग-फॉर्मेटेड सुपरविजन को हटाने से भी निरंतर गिरावट देखी गई, जो स्पष्ट उप-कार्य संरचना के महत्व को रेखांकित करती है।

डाउनस्ट्रीम पॉलिसी ऑप्टिमाइज़ेशन (Downstream Policy Optimization)

Evo-RL फ्रेमवर्क का उपयोग करते हुए रिवॉर्ड-गाइडेड फाइन-ट्यूनिंग (RFT) प्रयोगों में:

सिमुलेशन (LIBERO-10): SFT (सुपरवाइज्ड फाइन-ट्यूनिंग) की तुलना में RFT के साथ ProcVLM रिवॉर्ड्स ने मध्यम लाभ (+0.4 से +1.2 प्रतिशत अंक) दिया।
रियल रोबोट (Stack Bowls): RFT ने महत्वपूर्ण सुधार प्रदर्शित किए, SFT की तुलना में 5k स्टेप्स पर सफलता दर में +25.0% और 10k स्टेप्स पर +12.5% की वृद्धि की। लेखक इसका श्रेय ProcVLM की टेलीऑपरेटेड डेटा में शोर वाले सेगमेंट (जैसे, बार-बार ग्रैस्प रिट्राइज़) को कम वजन देने की क्षमता को देते हैं, जिससे पॉलिसी ऑप्टिमाइज़ेशन स्थिर होता है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि प्रक्रिया-आधारित प्रगति अनुमान (procedure-grounded progress estimation) रोबोटिक्स में ट्रांसफर करने योग्य रिवॉर्ड मॉडलिंग के लिए एक महत्वपूर्ण सक्षमकर्ता (enabler) है। प्रगति को टेम्पोरल प्रॉक्सी के बजाय प्रक्रियात्मक संरचना में स्थापित करके, ProcVLM एक डिस्क्रिमिनेटिव फीडबैक प्रदान करता है जो स्थिर पॉलिसी सुधार का समर्थन करता है, विशेष रूप से शोर वाले रियल-रोबोट डेटा और लंबे समय तक चलने वाले कार्यों वाले परिदृश्यों में। यह कार्य सुझाव देता है कि बड़े पैमाने पर प्रक्रिया-जागरूक प्रीट्रेनिंग, कार्यों और विफलता मोड के बीच सामान्यीकरण करने में सक्षम रिवॉर्ड मॉडल विकसित करने के लिए एक आशाजनक मार्ग है, जो ऑफलाइन डेमोंस्ट्रेशन से परे रिवॉर्ड-गाइडेड पॉलिसी ऑप्टिमाइज़ेशन की सुविधा प्रदान करता है।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि अनुमान उप-कार्य अपघटन (subtask decomposition) की गुणवत्ता पर निर्भर करते हैं और वर्तमान कार्य सभी पॉलिसी-ग्रेडिएंट या प्रेफरेंस-बेस्ड इंटीग्रेशन को पूरी तरह से कवर करने के बजाय विशिष्ट रिवॉर्ड-गाइडेड ऑप्टिमाइज़ेशन सेटिंग्स पर केंद्रित है।