🤖 machine learning

Temporal Difference Calibration in Sequential Tasks: Application to Vision-Language-Action Models

यह शोध पत्र विज़न-लैंग्वेज-एक्शन मॉडल्स के लिए एक टेम्पोरल-डिफरेंस कैलिब्रेशन फ्रेमवर्क पेश करता है जो एपिसोडिक रोबोटिक्स कार्यों में अनिश्चितता मात्रा निर्धारण और कार्य प्रदर्शन को बेहतर बनाने के लिए अनुक्रमिक ब्रायर स्कोर न्यूनीकरण और वैल्यू फंक्शन्स के बीच संबंध का लाभ उठाता है।

मूल लेखक: Shelly Francis-Meretzki, Mirco Mutti, Yaniv Romano, Aviv Tamar

प्रकाशित 2026-04-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shelly Francis-Meretzki, Mirco Mutti, Yaniv Romano, Aviv Tamar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट शेफ को एक जटिल व्यंजन, जैसे कि सूफ़ले (soufflé) बनाना सिखा रहे हैं। रोबोट को चरणों का एक लंबा क्रम करना होगा: अंडे फोड़ना, उन्हें फेंटना, मैदा मिलाना, बेक करना और फिर यह जांचना कि वह कितना फूला है।

समस्या: अति-आत्मविश्वासी रोबोट
वर्तमान AI रोबोट (जिन्हें विजन-लैंग्वेज-एक्शन मॉडल कहा जाता) अगले कदम का अनुमान लगाने में बहुत अच्छे होते हैं। वे कह सकते हैं, "मुझे 90% यकीन है कि मुझे अंडे फेंटने चाहिए।" लेकिन पेच यह है: क्या उन्हें पता है कि वे कब विफल होने वाले हैं?

यदि रोबोट कटोरा गिराने वाला है, तो वह अभी भी कह सकता है, "मुझे 90% यकीन है कि मुझे कटोरा गिराना चाहिए!" क्योंकि वह पूरी कहानी को नहीं समझता। यह एक ऐसे छात्र की तरह है जो हर सवाल का जवाब "मुझे 100% यकीन है!" के साथ देता है, भले ही वह केवल अंदाज़ा लगा रहा हो। वे कुछ सवालों में भाग्यशाली हो सकते हैं, लेकिन वे परीक्षा में फेल हो जाएंगे, और उन्हें तब तक पता नहीं चलेगा कि वे मुसीबत में हैं जब तक कि बहुत देर न हो जाए।

रोबोटिक्स में, यह खतरनाक है। यदि एक रोबोट पुल बना रहा है या सर्जरी कर रहा है, तो हमें चाहिए कि वह कहे, "रुको, मुझे यकीन नहीं है कि यह कदम काम करेगा, चलिए रुकते हैं या मदद मांगते हैं," इससे पहले कि कोई आपदा आए।

समाधान: "भविष्य देखने वाला" कोच
यह पेपर रोबोटों को उनके आत्मविश्वास के बारे में ईमानदार होने के लिए प्रशिक्षित करने का एक नया तरीका पेश करता है। लेखक इसे टेम्पोरल डिफरेंस कैलिब्रेशन (TDQC) कहते हैं।

यहाँ सरल उपमा दी गई है:

1. पुराना तरीका: "स्नैपशॉट" कोच

कल्पना कीजिए कि एक कोच जो रोबोट को एक बार में केवल एक सेकंड के लिए देखता है।

रोबोट: "मैं फेंटने जा रहा हूँ।"
कोच: "ठीक है, क्या तुमने सही ढंग से फेंटा? हाँ? अच्छा काम किया। नहीं? बुरा काम किया।"
परिणाम: कोच को यह नहीं पता चलता कि फेंटना बिल्कुल बेकार था क्योंकि रोबोट तीन कदम पहले ओवन को प्रीहीट करना भूल गया था। रोबोट व्यक्तिगत कदमों के बारे में आत्मविश्वासी होना सीख जाता है लेकिन उसे इस बात का कोई अंदाजा नहीं होता कि पूरा व्यंजन सफल होगा या नहीं।

2. नया तरीका: "कहानी सुनाने वाला" कोच (TDQC)

लेखक एक ऐसे कोच का प्रस्ताव देते हैं जो खाना पकाने की प्रक्रिया की पूरी कहानी देखता है। यह कोच समझता है कि एक एकल कदम तभी मायने रखता है जब वह अंत में एक सफल भोजन की ओर ले जाए।

वे वीडियो गेम AI (रीइन्फोर्समेंट लर्निंग) से ली गई एक तकनीक का उपयोग करते हैं। केवल वर्तमान चाल का निर्णय करने के बजाय, कोच पूछता है: "यदि मैं अभी यह चाल चलता हूँ, तो भविष्य में मेरे गेम जीतने (कार्य पूरा करने) की कितनी संभावना है?"

"ब्रियर स्कोर" (रिपोर्ट कार्ड): लेखकों ने "सीक्वेंशियल ब्रियर स्कोर" नामक एक नया रिपोर्ट कार्ड बनाया है। यह केवल यह नहीं जांचता कि रोबට अभी सही था या नहीं; यह जांचता है कि रोबोट का आत्मविश्वास पूरे एपिसोड के अंतिम परिणाम से मेल खाता है या नहीं।
- खराब कैलिब्रेशन: रोबोट कहता है "सफलता की 90% संभावना" लेकिन 50% बार विफल हो जाता है।
- अच्छा कैलिब्रेशन: रोबोट कहता है "सफलता की 90% संभावना" और 90% बार सफल होता है।

3. जादू का मंत्र: "आगे देखना"

गुप्त सूत्र को टेम्पोरल डिफरेंस (TD) कहा जाता है।
कल्पना कीजिए कि आप एक अंधेरे जंगल में चल रहे हैं।

पुराना तरीका: आप अभी अपने पैरों के नीचे जमीन महसूस करते हैं। "क्या यह कदम सुरक्षित है?"
नया तरीका (TD): आप अपने पैरों के नीचे की जमीन देखते हैं और आगे का रास्ता भी देखते हैं। आप पूछते हैं, "यदि मैं यह कदम उठाता हूँ, तो क्या मैं 10 सेकंड में सुरक्षित रहूँगा?"

रोबोट जाते-जाते अपना आत्मविश्वास अपडेट करना सीखता है। यदि वह एक ऐसा कदम उठाता है जो अभी ठीक लग रहा है लेकिन बाद में खाई की ओर ले जाता है, तो "भविष्य देखने वाला" कोच तुरंत उसका आत्मविश्वास स्कोर कम कर देता है। यह रोबोट को दुर्घटना होने से बहुत पहले यह समझने की अनुमति देता है कि, "ओह, मैं मुसीबत में हूँ।"

यह क्यों महत्वपूर्ण है

इस पेपर का परीक्षण वास्तविक रोबोटों और सिम्युलेटेड रोबोटों (जैसे LIBERO बेंचमार्क) पर किया गया। यहाँ बताया गया है कि उन्होंने क्या पाया:

ईमानदारी: यह नया तरीका रोबोटों को यह जानने में बहुत बेहतर बनाता है कि वे कब विफल होने जा रहे हैं। वे अति-आत्मविश्वासी होने से बचते हैं।
ब्लैक-बॉक्स फ्रेंडली: आमतौर पर, रोबोट के आत्मविश्वास को ठीक करने के लिए, आपको उसके "मस्तिष्क" (इसके आंतरिक कोड) के अंदर झांकने की आवश्यकता होती है। यह तरीका तब भी काम करता है जब आप रोबोट के मस्तिष्क के अंदर नहीं देख सकते। आपको बस यह देखने की आवश्यकता है कि वह क्या क्रिया करने का दावा करता है। महंगे, क्लोज्ड-सोर्स AI मॉडल का उपयोग करने के लिए यह बहुत बड़ी बात है।
बेहतर निर्णय: जब रोबोट को पता होता है कि वह अनिश्चित है, तो शोधकर्ताओं ने दिखाया कि वे इस ज्ञान का उपयोग रोबोट को कार्य करने से पहले "गहराई से सोचने" के लिए करने हेतु कर सकते हैं। यह ऐसा है जैसे रोबोट कहता है, "मुझे इस चाल के बारे में यकीन नहीं है, आइए एक चुनने से पहले तीन अलग-अलग विकल्पों का अनुकरण (simulate) कर लें।" इसने वास्तव में रोबोटों को अधिक बार सफल बनाया (कुछ परीक्षणों में 15% तक बेहतर)।

निचोड़

यह पेपर रोबोटों को एक "अंतर्ज्ञान" (gut feeling) देता है जो वास्तव में काम करता है। यह उन्हें अपने वर्तमान कार्यों को अंतिम परिणाम से जोड़ने के लिए सिखाता है, ताकि वे "मैं आश्वस्त हूँ" तभी कह सकें जब उनके पास वास्तव में गेम जीतने का अच्छा मौका हो। यह एक "ब्लैक बॉक्स" रोबोट को, जो अंधाधुंध अनुमान लगाता है, एक विश्वसनीय साथी में बदल देता है जो अपनी सीमाओं को जानता है।

यहाँ शोध पत्र "Temporal Difference Calibration in Sequential Tasks: Application to Vision-Language-Action Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

आधुनिक विजन-लैंग्वेज-एक्शन (VLA) मॉडल रोबोटिक्स के लिए शक्तिशाली हैं, लेकिन अक्सर उनमें विश्वसनीय अनिश्चितता मात्रा निर्धारण (uncertainty quantification) की कमी होती है। हालांकि ये मॉडल एक्शन प्रोबेबिलिटी (action probabilities) आउटपुट करते हैं, लेकिन वे कार्य की सफलता की वास्तविक संभावना को दर्शाने के लिए स्वाभाविक रूप से कैलिब्रेटेड (calibrated) नहीं होते हैं।

चुनौती: अनुक्रमिक कार्यों (sequential tasks) में (जैसे, एक रोबोट वस्तुओं को संचालित कर रहा है), सफलता केवल एक एपिसोड के अंत में निर्धारित होती है (विलंबित फीडबैक), न कि व्यक्तिगत टाइम स्टेप्स पर।
अंतराल (The Gap): मौजूदा कैलिब्रेशन विधियाँ सिंगल-स्टेप क्लासिफिकेशन पर ध्यान केंद्रित करती हैं या टाइम स्टेप्स को स्वतंत्र रूप से मानती हैं। वे इस तथ्य को ध्यान में रखने में विफल रहती हैं कि वर्तमान निर्णय का आत्मविश्वास पूरे प्रक्षेपवक्र (trajectory) और भविष्य के परिणामों पर निर्भर करता है।
लक्ष्य: एक पॉलिसी के आत्मविश्वास को समय के साथ कैलिब्रेट करने के लिए एक फ्रेमवर्क विकसित करना, ताकि इसकी अनुमानित सफलता की संभावना, आंशिक प्रक्षेपवक्रों के देखे जाने पर भी, सफलता की अनुभवजन्य आवृत्ति (empirical frequency) के अनुरूप हो सके।

2. कार्यप्रणाली: टेम्पोरल डिफरेंस Q-आधारित कैलिब्रेशन (TDQC)

लेखक एक नया फ्रेमवर्क प्रस्तावित करते हैं जो अनिश्चितता कैलिब्रेशन (Uncertainty Calibration) और रीइन्फोर्समेंट लर्निंग (RL) के बीच के अंतर को पाटता है।

A. सैद्धांतिक आधार (Theoretical Foundation)

सीक्वेंशियल ब्रियर स्कोर (Sequential Brier Score): लेखक एपिसोडिक कार्यों में कैलिब्रेशन को मापने के लिए ब्रियर स्कोर का एक अनुक्रमिक संस्करण परिभाषित करते हैं। लक्ष्य समय $t$ पर अनुमानित सफलता संभावना $f(h_t)$ और एपिसोड के अंत में बाइनरी परिणाम $Y(h_T)$ (सफलता/विफलता) के बीच माध्य वर्ग त्रुटि (mean squared error) को कम करना है।
वैल्यू फंक्शन्स के साथ संबंध: वे एक मौलिक प्रमेय सिद्ध करते हैं: अनुक्रमिक ब्रियर स्कोर को कम करना गणितीय रूप से पॉलिसी के वैल्यू फंक्शन ( $Q^\pi$ ) को सीखने के समान है।
- RL में, वैल्यू फंक्शन अपेक्षित संचयी भविष्य के रिवॉर्ड (expected cumulative future reward) की भविष्यवाणी करता है।
- इस संदर्भ में, "कार्य की सफलता" (एक बाइनरी रिवॉर्ड) की भविष्यवाणी करना, वैल्यू फंक्शन की भविष्यवाणी करने के समान है।
- इसलिए, एक कैलिब्रेटेड सफलता प्रेडिक्टर अनिवार्य रूप से एक वैल्यू एस्टिमेटर है।

B. TDQC एल्गोरिदम

RL के साथ संबंध का लाभ उठाते हुए, लेखक TDQC पेश करते हैं, जो मानक सुपरवाइज्ड लर्निंग (जैसे बाइनरी क्रॉस-एन्ट्रॉपी) के बजाय टेम्पोरल डिफरेंस (TD) लर्निंग का उपयोग करता है।

इनपुट: प्रक्षेपवطों $(h_T, h_Y)$ का एक कैलिब्रेशन डेटासेट और पॉलिसी के आउटपुट्स (या तो आंतरिक फीचर्स या एक्शन प्रोबिटीज)।
लॉस फंक्शन: सीधे हर स्टेप पर अंतिम परिणाम की भविष्यवाणी करने के बजाय (Monte Carlo), TDQC एक बूटस्ट्रैपिंग दृष्टिकोण का उपयोग करता है:
$\mathcal{L} = \sum_{t=1}^{T-1} (f_\theta(h_t) - f_\theta(h_{t+1}))^2 + (f_\theta(h_T) - Y)^2$
- यह लॉस $t$ पर भविष्यवाणी को $t+1$ पर भविष्यवाणी के सुसंगत होने के लिए प्रोत्साहित करता है, जो अंततः अंत में वास्तविक परिणाम $Y$ की ओर अभिसरण (converge) करता है।
ब्लैक-बॉक्स बनाम व्हाइट-बॉक्स:
- व्हाइट-बॉक्स (White-Box): VLA के आंतरिक हिडन स्टेट्स का उपयोग करता है (SAFE पद्धति के समान)।
- ब्लैक-बॉक्स (Black-Box): केवल VLA द्वारा आउटपुट की गई दृश्यमान एक्शन प्रोबेबिलिटीज (या टोकन प्रोबेबिलिटीज) का उपयोग करता है। यह उन प्रोप्रायटरी मॉडल्स के लिए महत्वपूर्ण है जहाँ आंतरिक स्टेट्स सुलभ नहीं होते हैं।

C. डाउनस्ट्रीम अनुप्रयोग (Downstream Applications)

कैलिब्रेटेड प्रेडिक्टर $f_\theta$ (जो सफलता की संभावना को दर्शाता है) का उपयोग दो अनुप्रयोगों के लिए किया जाता है:

अर्ली स्टॉपिंग (Early Stopping): कॉन्फॉर्मल प्रेडिक्शन (Conformal Prediction) का उपयोग करके, सिस्टम यह पता लगा सकता है कि कब विफलता की संभावना ( $1 - f_\theta$ ) एक समय-परिवर्तनीय थ्रेशोल्ड से अधिक हो जाती है, जिससे रोबोट को संसाधनों को बचाने और क्षति को रोकने के लिए एक विफल होते प्रक्षेपवط के दौरान जल्दी रुकने (abort) की अनुमति मिलती है।
टेस्ट-टाइम एक्शन सर्च (Test-Time Action Search): कैलिब्रेटेड वैल्यू फंक्शन एक्शन चयन का मार्गदर्शन करता है। उच्चतम संभावना वाले एक्शन को लालची (greedily) रूप से चुनने के बजाय, सिस्टम कई संभावित एक्शन सैंपल करता है, अगले स्टेप का अनुकरण करता है (एक वर्ल्ड मॉडल का उपयोग करके), और उस एक्शन को चुनता है जो उच्चतम अनुमानित सफलता संभावना ( $Q$ -value) की ओर ले जाता है।

3. मुख्य योगदान (Key Contributions)

औपचारिक फ्रेमवर्क: विलंबित टर्मिनल फीडबैक वाले अनुक्रमिक कार्यों के लिए कैलिब्रेशन की पहली औपचारिक परिभाषा, जो VLA में विफलता का पता लगाने को सामान्य कैलिब्रेशन सिद्धांत के साथ जोड़ती है।
सैद्धांतिक लिंक: अनुक्रमिक ब्रियर स्कोर को न्यूनतम करने और RL वैल्यू फंक्शन को सीखने के बीच समानता स्थापित करना, जिससे कैलिब्रेशन के लिए TD विधियों का उपयोग संभव होता है।
TDQC विधि: TD लॉस का लाभ उठाकर स्टेट-ऑफ-द-आर्ट (SOTA) विधियों (जैसे SAFE) से बेहतर प्रदर्शन करने वाला एक नवीन कैलिब्रेशन एल्गोरिदम।
ब्लैक-बॉक्स क्षमता: यह प्रदर्शित करना कि केवल एक्शन प्रोबेबिलिटीज (आंतरिक फीचर्स तक पहुँच के बिना) का उपयोग करके कैलिब्रेशन करने से आंतरिक फीचर्स की आवश्यकता वाली विधियों की तुलना में प्रतिस्पर्धी या बेहतर परिणाम मिलते हैं।
प्रदर्शन सुधार: यह दिखाना कि कैलिब्रेटेड प्रेडिक्टर का उपयोग एक्शन सर्च को निर्देशित करने के लिए किया जा सकता है, जिससे बेसलाइन पॉलिसियों की सफलता दर में उल्लेखनीय वृद्धि होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन चार VLA मॉडल्स (OpenVLA, UniVLA, $\pi_0$ , $\pi_0$ -FAST) पर सिम्युलेटेड (LIBERO) और रियल-रोबोट (WidowX, Franka) बेंचमार्क में किया गया।

कैलिब्रेशन प्रदर्शन (Brier Score):
- TDQC ने सभी बेंचमार्क और मॉडल्स में लगातार सबसे कम अनुक्रमिक ब्रियर स्कोर प्राप्त किया।
- इसने स्टैटिक बेसलाइन्स (जैसे मैक्स प्रोबेबिलिटी, एवरेज एंट्रॉपी) और सुपरवाइज्ड लर्निंग बेसलाइन्स (BCE लॉस) को काफी पीछे छोड़ दिया।
- ब्लैक-बॉक्स सफलता: "ब्लैक-बॉक्स" TDQC (केवल एक्शन प्रोबेबिलिटीज का उपयोग करके) ने कई सेटिंग्स में "व्हाइट-बॉक्स" विधियों (आंतरिक फीचर्स का उपयोग करने वाली) के प्रदर्शन की बराबरी की या उससे बेहतर प्रदर्शन किया, जो सिद्ध करता है कि यदि सही ढंग से प्रशिक्षित किया जाए तो एक्शन प्रोबेबिलिटीज में कैलिब्रेशन के लिए पर्याप्त सिग्नल होता है।
विफलता का पता लगाना (ROC-AUC):
- TDQC ने 6 में से 4 अनदेखे कार्य परिदृश्यों में SOTA ROC-AUC स्कोर प्राप्त किया।
  - ब्रियर स्कोर और ROC-AUC के बीच एक मजबूत नकारात्मक सहसंबंध ( $\rho \approx -0.68$ ) देखा गया, जो पुष्टि करता है कि बेहतर कैलिब्रेशन बेहतर विफलता का पता लगाने की ओर ले जाता है।
टेस्ट-टाइम एक्शन सर्च:
- LIBERO बेंचमार्क पर OpenVLA के लिए एक्शन चयन को निर्देशित करने के लिए उपयोग किए जाने पर, TDQC-निर्देशित खोज ने ग्रेडी बेसलाइन की तुलना में सफलता दर में 13% (~42% से ~55% तक) की वृद्धि की।
- यह कंप्यूट लागत और सफलता दर के बीच लगभग रैखिक ट्रेड-ऑफ (linear trade-off) के साथ प्राप्त किया गया था।

5. महत्व और प्रभाव (Significance and Impact)

सुरक्षा और विश्वसनीयता: रोबोटिक पॉलिसियों में अनिश्चितता को मापने का एक सिद्धांत आधारित तरीका प्रदान करता है, जिससे अर्ली स्टॉपिंग जैसे सुरक्षा तंत्र सक्षम होते हैं।
ब्लैक-बॉक्स प्रयोज्यता: केवल API-पहुंच योग्य आउटपुट्स (एक्शन प्रोबेबिलिटीज) का उपयोग करके मॉडल्स को कैलिब्रेट करने की क्षमता इस पद्धति को उन प्रोप्रायटरी कमर्शियल मॉडल्स के लिए लागू करने योग्य बनाती है जहाँ उनके आंतरिक वेट्स छिपे होते हैं।
विषयों को जोड़ना: सफलतापूर्वक रीइन्फोर्समेंट लर्निंग (TD लर्निंग) से एल्गोरिथमिक अंतर्दृष्टि को अनिश्चितता मात्रा निर्धारण (Uncertainty Quantification) के क्षेत्र में स्थानांतरित किया, जो मानक सुपरवाइज्ड कैलिब्रेशन की तुलना में अधिक मजबूत बायस-वेरिएंस ट्रेड-ऑफ प्रदान करता है।
संसाधन दक्षता: यह विधि "स्मार्ट" संसाधन आवंटन की अनुमति देती है, जहाँ महंगे सर्च को केवल तभी ट्रिगर किया जाता है जब पॉलिसी अनिश्चित होती है, जबकि आत्मविश्वासी स्टेप्स को सीधे निष्पादित किया जाता है।

सीमाएं (Limitations)

सामान्यीकरण (Generalization): विफलता प्रेडिक्टर एक ही वातावरण के भीतर अनदेखे कार्यों के लिए अच्छी तरह से सामान्य होता है, लेकिन अलग-अलग वातावरणों या अलग-अलग रोबोट एम्बॉडिमेंट्स (जैसे, LIBERO सिमुलेशन से WidowX रियल रोबोट तक) में जाने में संघर्ष करता है।
बाइनरी सफलता: वर्तमान फॉर्मूलेशन बाइनरी एपिसोडिक सफलता पर केंद्रित है, हालांकि लेखकों ने उल्लेख किया है कि इसे सामान्य रिवॉर्ड फंक्शन्स तक विस्तारित किया जा सकता है।
टेस्ट-टाइम सर्च: निर्देशित एक्शन सर्च के लिए वातावरण के फॉरवर्ड मॉडल (सिम्युलेटर) की आवश्यकता होती है, जो वास्तविक दुनिया की सेटिंग्स में हमेशा उपलब्ध नहीं होता है।