🤖 machine learning

STITCH-OPE: Trajectory Stitching with Guided Diffusion for Off-Policy Evaluation

STITCH-OPE एक मॉडल-आधारित जनरेटिव फ्रेमवर्क है जो गाइडेड डिफ्यूजन और ट्रजेक्टरी स्टिचिंग का लाभ उठाता है ताकि उच्च-आयामी, लंबे-क्षितिज वाले परिवेश में मौजूदा ऑफ-पॉलिसी इवैल्यूएशन विधियों की सीमाओं को दूर किया जा सके, जिससे महत्वपूर्ण रूप से कम वेरिएंस और बेहतर सटीकता प्राप्त होती है।

मूल लेखक: Hossein Goli, Michael Gimelfarb, Nathan Samuel de Lara, Haruki Nishimura, Masha Itkina, Florian Shkurti

प्रकाशित 2026-07-13

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hossein Goli, Michael Gimelfarb, Nathan Samuel de Lara, Haruki Nishimura, Masha Itkina, Florian Shkurti

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखाने की कोशिश कर रहे हैं, लेकिन आप रोबोट को वास्तव में वास्तविक दुनिया में गेम खेलने नहीं दे सकते। शायद वह रोबोट बहुत महंगा है, या गेम बहुत खतरनाक है। इसके बजाय, आपके पास एक पुराने वीडियो रिकॉर्डिंग का विशाल पुस्तकालय है जो एक अलग रोबोट (मान लीजिए "Old Bot") को गेम खेलते हुए दिखाता है। आपका लक्ष्य यह पता लगाना है कि एक नया रोबोट ("New Bot") कैसा प्रदर्शन करेगा, केवल उन पुराने रिकॉर्डिंग को देखकर। इसे ऑफ-पॉलिसी इवैल्यूएशन (Off-Policy Evaluation - OPE) कहा जाता है।

समस्या यह है कि Old Bot और New Bot खेलने के तरीके में बहुत अलग हो सकते हैं। यदि New Bot कुछ ऐसा करने की कोशिश करता है जो Old Bot ने कभी नहीं किया, तो पुरानी रिकॉर्डिंग बेकार हो जाएगी। यदि आप पुरानी डेटा को खींचकर (stretch करके) New Bot के स्कोर का अनुमान लगाने की कोशिश करते हैं, तो गणित उलझ जाएगा और अराजकता में बदल जाएगा, खासकर लंबे, जटिल खेलों के लिए।

यहाँ STITCH-OPE आता है, जो एक चतुर वीडियो एडिटर और एक रचनात्मक निर्देशक (creative director) दोनों की तरह काम करता है।

पुराने तरीकों के साथ समस्या

इस समस्या को हल करने के पिछले प्रयास एक पूरी फिल्म का अनुमान लगाने की कोशिश करने जैसे थे, जहाँ हर एक फ्रेम का अनुमान एक ही बार में लगाने की कोशिश की जाती है।

"इम्पॉर्टेंस सैंपलिंग" (Importance Sampling) दृष्टिकोण: यह एक टूटी हुई फिल्म को ठीक करने की कोशिश करने जैसा था जहाँ हर फ्रेम के वॉल्यूम को एक बहुत बड़ी संख्या से गुणा किया जाता है। यदि फिल्म लंबी है, तो वॉल्यूम इतना तेज़ हो जाता है कि स्पीकर टूट जाते हैं (वेरिएंस विस्फोट/variance explodes)।
"मॉडल-बेस्ड" (Model-Based) दृष्टिकोण: यह दुनिया का एक आदर्श सिम्युलेटर बनाने की कोशिश करने जैसा था। लेकिन यदि आप पहले सेकंड में एक छोटी सी गलती करते हैं, तो वह गलती हर सेकंड के बाद बड़ी होती जाती है, जब तक कि अंत तक सिमुलेशन पूरी तरह से गलत न हो जाए।

STITCH-OPE समाधान: "लेगो" (Lego) रणनीति

STITCH-OPE खेल को बदल देता है और लंबी फिल्म को छोटे, प्रबंधनीय टुकड़ों में तोड़ देता है। इसे एक लंबा लेगो ब्रिज बनाने की तरह समझें। एक बार में पूरा पुल जोड़ने के बजाय (जो कठिन है और टूटने की संभावना रहती है), आप इसे एक-एक टुकड़े करके बनाते हैं, एक छोटे हिस्से के अंत को अगले हिस्से की शुरुआत से जोड़ते हुए।

यह कैसे काम करता है, यहाँ चरण-दर-चरण दिया गया है:

"शॉर्ट-क्लिप" एडिटर:
पूरी 10 मिनट की वीडियो एक साथ जेनरेट करने के लिए मॉडल को प्रशिक्षित करने के बजाय, STITCH-OPE गेम के केवल छोटे क्लिप्स जेनरेट करने के लिए एक "डिफ्यूजन मॉडल" (एक फैंसी AI जो रैंडम स्टैटिक नॉइज़ को स्पष्ट चित्रों में बदलना सीखता है) को प्रशिक्षित करता है। मान लीजिए कि यह 8-सेकंड के क्लिप जेनरेट करना सीखता है। यह एक क्लिप के अस्त-व्यस्त, शोर वाले संस्करण को साफ करने के लिए सीखता है जब तक कि वह एक वास्तविक चाल की तरह न दिखने लगे जो Old Bot करता।
"स्टिचिंग" (Stitching) ट्रिक:
एक लंबी वीडियो बनाने के लिए, STITCH-OPE इसे एक साथ जेनरेट नहीं करता है। यह एक 8-सेकंड का क्लिप जेनरेट करता है, रुकता है, और फिर AI से पूछता है: "ठीक है, तुम इस विशिष्ट स्थान पर समाप्त हुए। अब, अगला 8-सेकंड का क्लिप ठीक वहीं से शुरू करो जहाँ तुमने छोड़ा था।" यह छोटे क्लिप्स को एक के बाद एक जोड़ता जाता है।

यह क्यों शानदार है: यदि AI पहले क्लिप में एक छोटी सी गलती करता है, तो यह पूरे मूवी को खराब नहीं करता। यह बस पिछले क्लिप के वास्तविक अंत के आधार पर अगला क्लिप बनाता है। यह उस "एरर एक्सप्लोजन" (error explosion) को रोकता है जो अन्य तरीकों को परेशान करता है।

"डायरेक्टर गाइडेंस" (Director's Guidance - निर्देशक का मार्गदर्शन) (गुप्त सूत्र):
अब, हमें यह सुनिश्चित करने की आवश्यकता है कि ये क्लिप केवल Old Bot की तरह नहीं, बल्कि New Bot की तरह दिखें। AI के पास एक "स्कोर फंक्शन" होता है (यह जानने का तरीका कि New Bot क्या पसंद करता है)।

जाल (The Trap): यदि आप केवल AI को कहते हैं "वही करो जो New Bot पसंद करता है," तो यह भ्रमित हो सकता है और असंभव चालें बना सकता है क्योंकि New Bot की शैली Old Bot से बिल्कुल अलग है।
समाधान (The Fix): STITCH-OPE एक "नेगेटिव गाइडेंस" (negative guidance) ट्रिक का उपयोग करता है। यह AI को बताता है: "वही करो जो New Bot पसंद करता है, लेकिन उन चीजों को घटा दो जिन्हें Old Bot बहुत पसंद करता था।"
उपमा (The Analogy): कल्पना कीजिए कि आप एक दृश्य निर्देशित कर रहे हैं। Old Bot को घेरे में नाचने का शौक है। New Bot एक सीधी रेखा में दौड़ना चाहता है। यदि आप केवल कहते हैं "सीधी रेखा में दौड़ो," तो अभिनेता फंस सकता है। लेकिन यदि आप कहते हैं "घेरे में मत नाचो, और फिर दौड़ो," तो अभिनेता को पता चल जाता है कि उसे क्या टालना है। यह AI को Old Bot की चालों के "कंफर्ट ज़ोन" में फंसने से रोकता है और उसे New Bot की शैली को खोजने के लिए मजबूर करता है।

आंकड़े क्या कहते हैं

लेखकों ने रोबोट नियंत्रण के कुछ प्रसिद्ध कार्यों (जैसे रोबोट को कूदना, चलना या दौड़ना सिखाना) पर D4RL और OpenAI Gym जैसे डेटासेट का उपयोग करके इसका परीक्षण किया। उन्होंने बड़े रोबोटों के लिए गेम की लंबाई 768 स्टेप्स और छोटे रोबोटों के लिए 256 या 196 स्टेप्स रखी।

परिणाम उत्साहजनक थे:

सटीकता (Accuracy): STITCH-OPE ने 11 में से 15 विशिष्ट परीक्षण मामलों में लगभग हर अन्य विधि को पछाड़ दिया।
रैंकिंग (Ranking): यह यह पता लगाने में बहुत अच्छा था कि कौन सा रोबोट "सबसे अच्छा" है, भले ही रोबोट रिकॉर्डिंग वाले रोबोट से बहुत अलग क्यों न हो।
"विंडो" (Window) का आकार: उन्होंने पाया कि लंबाई 8 (विंडो साइज $w$ ) के क्लिप जेनरेट करना सबसे सटीक रहा। इसने गलतियों को कम किए बिना चीजों को जोड़ने के बीच एक संतुलन बनाया।

वे अभी क्या नहीं जानते (अभी तक)

पेपर सावधानी से कहता है कि यह हर चीज़ के लिए जादू की छड़ी नहीं है।

"असंभव" चालें: यदि New Bot कुछ ऐसा करने की कोशिश करता है जो Old Bot ने कभी नहीं किया (जैसे चट्टान से कूदना जबकि Old Bot केवल जमीन पर चला था), तो AI भ्रमित हो सकता है और एक नकली, असंभव चाल बना सकता है। गणित यह मानता है कि Old Bot ने कम से कम वह सब देखा है जो New Bot करता है।
वास्तविक दुनिया की जटिलता: हालांकि यह इन कंप्यूटर सिमुलेशन पर बहुत अच्छा काम करता है, लेखक स्वीकार करते हैं कि वे अभी निश्चित नहीं हैं कि क्या यह वास्तविक दुनिया की जटिल समस्याओं पर भी पूरी तरह से काम करेगा जहाँ डेटा अधूरा हो सकता है या रोबोट सब कुछ स्पष्ट रूप से नहीं देख पाता है।

निष्कर्ष (The Bottom Line)

STITCH-OPE सुझाव देता है कि लंबी, डरावनी समस्याओं को छोटे, जोड़ने योग्य टुकड़ों में तोड़कर और AI को निर्देशित करने के लिए एक चतुर "ऐसा मत करो" नियम का उपयोग करके, हम वास्तविक दुनिया को छुए बिना एक नए रोबोट के प्रदर्शन का बेहतर अनुमान लगा सकते हैं। यह उच्च-जोखिम वाली स्थितियों में रोबोटों को सुरक्षित रूप से टेस्ट करने की दिशा में एक बड़ा कदम है, लेकिन लेखक हमें याद दिलाते हैं कि यह अभी भी एक सिमुलेशन-आधारित सफलता है, और वास्तविक दुनिया का परीक्षण अगला पड़ाव है।

तकनीकी सारांश: STITCH-OPE

समस्या विवरण (Problem Statement)

ऑफ-पॉलिसी इवैल्यूएशन (OPE) का लक्ष्य एक अलग बिहेवियर पॉलिसी ( $\beta$ ) से एकत्र किए गए ऑफलाइन डेटा का उपयोग करके एक टारगेट पॉलिसी ( $\pi$ ) के प्रदर्शन का अनुमान लगाना है। यह रोबोटिक्स और स्वास्थ्य सेवा जैसे डोमेन में महत्वपूर्ण है जहाँ ऑनलाइन इंटरेक्शन महंगा या असुरक्षित हो सकता है। हालाँकि, मौजूदा OPE विधियाँ उच्च-आयामी (high-dimensional), लंबे क्षितिज (long-horizon) वाली समस्याओं में संघर्ष करती हैं क्योंकि वे दो प्राथमिक विफलता मोडों का सामना करती हैं:

इम्पोर्टेंस सैंपलिंग (IS): यह "क्षितिज के अभिशाप" (curse of horizon) से ग्रस्त है, जहाँ इवैल्यूएशन होराइजन के साथ वेरिएंस (variance) तेजी से बढ़ता है।
मॉडल-आधारित विधियाँ (Model-Based Methods): हालांकि ये सैंपल-एफिशिएंट हैं, लेकिन लंबे ट्राजेक्टरीज़ के लिए डायनेमिक्स मॉडल सीखने के दौरान ये कंपाउंडिंग एरर्स (compounding errors) से ग्रस्त होती हैं, जिससे वैल्यू एस्टीमेट्स गलत हो जाते हैं।
डिस्ट्रीब्यूशन शिफ्ट (Distribution Shift): $\beta$ और $\pi$ के बीच अंतर सटीक अनुमान लगाने में बाधा डालता है, जिससे डिप्लॉयमेंट से पहले पॉलिसी सिलेक्शन पर भरोसा करना कठिन हो जाता है।

मॉडल-फ्री डेंसिटी रेशियो एस्टीमेशन का उपयोग करने वाले हालिया प्रयास महत्वपूर्ण अंतर होने पर खराब एम्पिरिकल प्रदर्शन दिखाते हैं।

कार्यप्रणाली (Methodology): STITCH-OPE

लेखक STITCH-OPE (सब-ट्राजेक्टरी इम्पोर्टेंस-वेटेड ट्राजेक्टरी कंपोजिशन फॉर लॉन्ग-होराइजन OPE) का प्रस्ताव करते हैं, जो डिनोइजिंग डिफ्यूजन मॉडल्स का लाभ उठाने वाला एक मॉडल-आधारित जनरेटिव फ्रेमवर्क है। मुख्य नवाचार फुल-ट्राजेक्टरी जनरेशन के कंपाउंडिंग एरर्स से बचते हुए, बिहेवियर डेटा पर प्रशिक्षित डिफ्यूजन मॉडल को गाइड करके टारगेट पॉलिसी के लिए सिंथेटिक ट्राजेक्टरीज जेनरेट करना है।

1. डिस्ट्रीब्यूशन शिफ्ट सुधार के लिए गाइडेड डिफ्यूजन (Guided Diffusion)

हर नई टारगेट पॉलिसी के लिए मॉडल को फिर से प्रशिक्षित करने के बजाय, STITCH-OPE बिहेवियर डेटासेट ( $D_\beta$ ) पर बिहेवियर ट्राजेक्टरी डिस्ट्रीब्यूशन $p_\beta(\tau)$ को सीखने के लिए एक डिफ्यूजन मॉडल को प्री-ट्रेन करता है। इन्फरेंस के दौरान, यह डिफ्यूजन प्रक्रिया को गाइड (guide) करके टारगेट पॉलिसी ट्राजेक्टरीज ( $p_\pi$ ) जेनरेट करता है।

गाइडेंस फंक्शन $g(\tau)$ को टारगेट और बिहेवियर पॉलिसियों के बीच लाइकलीहुड रेशियो से प्राप्त किया जाता है। डिफ्यूजन गाइडेंस में क्लासिफिकेशन डेंसिटी के रूप में लाइकलीहुड रेशियो की व्याख्या करके, लेखक गाइडेंस को स्कोर फंक्शन्स के अंतर के रूप में फॉर्म्युलेट करते हैं:
$g(\tau) = \nabla_\tau \sum_{t=0}^{T-1} \log \pi(a_t|s_t) - \nabla_\tau \sum_{t=0}^{T-1} \log \beta(a_t|s_t)$
यह मॉडल को बिना रिट्रेनिंग के $p_\beta$ से $p_\pi$ की ओर सैंपलिंग डिस्ट्रीब्यूशन को शिफ्ट करने की अनुमति देता है।

2. नेगेटिव बिहेवियर गाइडेंस (Negative Behavior Guidance)

एक प्रमुख तकनीकी योगदान नेगेटिव बिहेवियर स्कोर टर्म ( $-\nabla_\tau \log \beta$ ) का समावेश है।

समस्या: केवल टारगेट पॉलिसी स्कोर ( $\nabla_\tau \log \pi$ ) का उपयोग करने से गाइडेड सैंपलिंग डिस्ट्रीब्यूशन बिहेवियर पॉलिसी के हाई-डेंसिटी क्षेत्रों में कोलैप्स (collapse) हो सकता है, भले ही वे क्षेत्र टारगेट पॉलिसी के तहत असंभावित हों (ओवर-रेगुलराइजेशन)।
समाधान: बिहेवियर स्कोर को घटाने से यह कोलैप्स रुक जाता है, जिससे मॉडल आउट-ऑफ-डेटा सामान्यीकरण (generalize) कर पाता है और डिस्ट्रीब्यूशन शिफ्ट को सही ढंग से संबोधित करता है। लेखक इसे $\alpha$ और $\lambda$ (जहाँ आमतौर पर $\lambda < \alpha$ ) गुणांकों के साथ सामान्यीकृत करते हैं ताकि पॉलिसियों के सापेक्ष महत्व को नियंत्रित किया जा सके।

3. कंडीशनल डिफिफ़्यूजन के साथ ट्राजेक्टरी स्टिचिंग (Trajectory Stitching)

लंबे क्षितिज वाली जनरेशन के कंपाउंडिंग एरर को दूर करने के लिए, STITCH-OPE एक बार में पूरी ट्राजेक्टरी जेनरेट नहीं करता है। इसके बजाय:

सब-ट्राजेक्टरी जनरेशन: डिफ्यूजन मॉडल को लंबाई $w \ll T$ वाले छोटे सब-ट्राजेक्टरीज पर प्रशिक्षित किया जाता है।
कंडीशनल सैंपलिंग: जनरेशन एक सेमी-ऑटोरेग्रेसिव तरीके से की जाती है। मॉडल पिछले जेनरेट किए गए सब-ट्राजेक्टरी के फाइनल स्टेट पर कंडिशन होकर एक नया सब-ट्राजेक्टरी जेनरेट करता है।
स्टिचिंग (Stitching): इन आंशिक रोलआउट्स को एक पूर्ण-लंबाई वाली ट्राजेक्टरी बनाने के लिए एंड-टू-एंड जोड़ा (stitch) जाता है।

यह दृष्टिकोण बिहेवियर ट्राजेक्टरी डिस्ट्रीब्यूशन को सब-ट्राजेक्टरीज के मिश्रण के रूप में मानता है। केवल तत्काल पिछले स्टेट (पूरे इतिहास के बजाय) पर कंडिशन होकर, मॉडल उच्च एंट्रॉपी और बिहेवियर डेटा के व्यापक कवरेज को बनाए रखता है, जिससे कंपोजिबिलिटी और नए इनिशियल स्टेट्स के प्रति सामान्यीकरण में काफी सुधार होता है।

सैद्धांतिक गारंटी (Theoretical Guarantees)

पेपर STITCH-OPE एस्टीमेटर के मीन स्क्वेर्ड एरर (MSE) पर एक सैद्धांतिक बाउंड प्रदान करता है (थ्योरम 3.3)।

हल्के अनुमानों (बाउंडेड लाइकलीहुड रेशियो और सीखे गए बिहेवियर मॉडल में बाउंडेड एरर) के तहत, MSE बाउंडेड है।
महत्वपूर्ण रूप से, यह बाउंड कुल होराइजन $T$ के बजाय सब-ट्राजेक्टरी लंबाई $w$ पर निर्भर करता है।
इसके परिणामस्वरूप स्टैंडर्ड इम्पोर्टेंस सैंपलिंग (जो $O(\exp(T))$ स्केल करती है) की तुलना में वेरिएंस में घातांकीय कमी और फुल-ट्राजेक्टरी डिफ्यूजन मेथड्स की तुलना में अधिक अनुकूल बहुपद निर्भरता ( $O(T^2)$ ) प्राप्त होती है।

एम्पिरिकल परिणाम (Empirical Results)

लेखकों ने D4RL बेंचमार्क (Hopper, Walker2d, HalfCheetah) और OpenAI Gym (Pendulum, Acrobot) पर STITCH-OPE का मूल्यांकन किया।

प्रदर्शन: STITCH-OPE ने विभिन्न मेट्रिक्स में 15 में से 11 मामलों में स्टेट-ऑफ-द-आर्ट बेसलाइन्स (Fitted Q-Evaluation, Doubly Robust, Importance Sampling, और Policy-Guided Diffusion सहित) को पछाड़ दिया:
- Log RMSE: एरर में महत्वपूर्ण कमी।
- Rank Correlation: टारगेट पॉलिसियों को सही ढंग से रैंक करने की बेहतर क्षमता।
- Regret@1: सर्वश्रेष्ठ पॉलिसी चुनने में कम रिग्रेट।
डिफ्यूजन पॉलिसियाँ: विधि ने जटिल टारगेट पॉलिसियों का सफलतापूर्वक मूल्यांकन किया जो डिफ्यूजन मॉडल्स के रूप में परिभाषित हैं, एक ऐसा कार्य जहाँ अन्य एस्टीमेटर्स स्पष्ट प्रायिकता वितरण की कमी के कारण संघर्ष करते हैं।
एब्लेशन (Ablation): प्रयोगों ने पुष्टि की कि इष्टतम प्रदर्शन एक छोटे विंडो साइज ( $w=8$ ) और एक ऐसी गाइडेंस कॉन्फ़िगरेशन के साथ होता है जहाँ नेगेटिव बिहेवियर टर्म मौजूद है ( $0 < \lambda < \alpha$ )।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि STITCH-OPE उच्च-आयामी, लंबे क्षितिज वाले कार्यों में मजबूत ऑफ-पॉलिसी इवैल्यूएशन प्रदर्शित करने वाला पहला कार्य है। इसका महत्व निम्नलिखित में निहित है:

अंतराल को पाटना: यह ट्राजेक्टरी स्टिचिंग के माध्यम से कंपाउंडिंग एरर्स को कम करके मॉडल-आधारित OPE (सैंपल एफिशिएंसी) और फुल-ट्राजेक्टरी ऑफलाइन डिफ्यूजन (जनरेटिव क्षमता) के बीच के अंतर को सफलतापूर्वक पाटता है।
स्केलेबिलिटी: यह प्रदर्शित करता है कि डिफ्यूजन मॉडल्स को IS मेथड्स की विशिष्ट घातांकीय वेरिएंस विस्फोट (exponential variance explosion) से समझौता किए बिना उच्च-आयामी स्पेस में OPE के लिए लागू किया जा सकता है।
सामान्यीकरण: कंडीशनल डिफ्यूजन और नेगेटिव बिहेवियर गाइडेंस का संयोजन बिहेवियर पॉलिसी से काफी अलग टारगेट पॉलिसियों के मजबूत मूल्यांकन की अनुमति देता है, जिसमें अलग इनिशियल स्टेट्स या एक्शन डिस्ट्रीब्यूशन शामिल हैं।

लेखक अपनी सीमाओं के प्रति विनम्र बने हुए हैं, यह नोट करते हुए कि विधि इस धारणा पर निर्भर करती है कि बिहेवियर डेटा टारगेट पॉलिसी के सपोर्ट को कवर करता है (Assumption 3.1) और जटिल, आंशिक रूप से अवलोकन योग्य (partially observable) अवस्थाओं में ट्राजेक्टरी फिडेलिटी का मूल्यांकन करना चुनौतीपूर्ण बना हुआ है। वे यह भी उल्लेख करते कि रोबोटिक्स के बाहर डोमेन-विशिष्ट समस्याओं में इसकी प्रयोज्यता एक खुला प्रश्न है।