🤖 machine learning

Counterfactual Transport Flows for Offline Conservative Trajectory Refinement

यह शोध पत्र काउंटरफैक्चुअल ट्रांसपोर्ट फ्लोज़ (Counterfactual Transport Flows) प्रस्तुत करता है, जो ऑफलाइन सुदृढीकरण शिक्षण (reinforcement learning) के लिए एक ढांचा है जो लेटेंट स्पेस में उच्च प्रदर्शन करने वाले निकटवर्ती प्रक्षेप पथों (trajectories) को पुनः प्राप्त करके और उनसे सीखकर उम्मीदवार प्रक्षेप पथों को परिष्कृत करता है, जिससे लॉग किए गए डेटा के सपोर्ट से बाहर एक्सट्रपलेशन किए बिना, वर्ल्ड फीडबैक द्वारा निर्देशित रूढ़िवादी और व्याख्या योग्य नीति सुधार सक्षम होता है।

मूल लेखक: Lena Krieger, Xuan Zhao, Zhuo Cao, Qin Wang, Hanno Scharr, Ira Assent

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lena Krieger, Xuan Zhao, Zhuo Cao, Qin Wang, Hanno Scharr, Ira Assent

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जिसने अभी-अभी एक भोजन बनाया है। यह खाने योग्य है, लेकिन शायद थोड़ा फीका है। आप पूरे बर्तन को फेंककर शून्य से शुरुआत नहीं करना चाहते; आप बस उस रेसिपी में थोड़ा सुधार करना चाहते हैं ताकि वह बेहतर स्वाद दे सके।

यह शोध पत्र कंप्यूटरों (विशेष रूप से AI एजेंटों) के लिए ठीक यही करने का एक नया तरीका पेश करता है: एक मौजूदा योजना या "ट्रैजेक्टरी" (trajectory) को लेना और उसमें छोटे, स्मार्ट सुधार करना, बिना उस मूल योजना के गुणों को खोए जिसने उसे काम करने लायक बनाया था।

यहाँ उनके विचार, "काउंटरफैक्चुअल ट्रांसपोर्ट फ्लो" (Counterfactual Transport Flows), का विवरण सरल उपमाओं का उपयोग करके दिया गया है:

1. समस्या: पहिए का पुनरुvention न करें (Don't Reinvent the Wheel)

AI की दुनिया में, सीखने के दो मुख्य तरीके हैं:

ऑनलाइन लर्निंग (Online Learning): AI चीज़ें आज़माता है, असफल होता है, सीखता है, और फिर से कोशिश करता है। (जैसे एक शेफ खाना बनाते समय चखता है और बदलाव करता है)।
ऑफलाइन लर्निंग (Offline Learning): AI केवल पिछले प्रयासों (लॉग्स) की एक विशाल नोटबुक को देखता है। वह अब वास्तविक दुनिया को छू नहीं सकता।

ऑफलाइन लर्निंग के साथ समस्या यह है कि यदि AI एक ऐसा "परफेक्ट" नया प्लान बनाने की कोशिश करता है जो उसने पहले कभी नहीं देखा है, तो वह अक्सर भ्रमित (hallucinate) हो जाता है या खतरनाक गलतियाँ कर देता है। यह एक ऐसे शेफ की तरह है जो केवल उन सामग्रियों की सूची के आधार पर एक पूरी तरह से नया व्यंजन आविष्कार करने की कोशिश कर रहा है जिन्हें उसने अतीत में देखा है, बिना वास्तव में उसे पकाए। वे अंततः कुछ ऐसा बना सकते हैं जो खाने योग्य न हो।

2. समाधान: "क्या होगा अगर" का मानचित्र (The "What If" Map)

लेखक एक विधि प्रस्तावित करते हैं जिसे काउंटरफैक्चुअल ट्रांसपोर्ट फ्लो कहा जाता है। इसे एक निर्णयों के लिए "क्या होगा अगर?" (What If?) मानचित्र के रूप में समझें।

एक बिल्कुल नया परफेक्ट प्लान बनाने के बजाय, AI एक विशिष्ट, थोड़ी त्रुटिपूर्ण योजना (जिसे "सोर्स" या स्रोत कहा जाता है) को देखता है और पूछता है: "यदि मैंने यहाँ थोड़े अलग चुनाव किए होते, तो क्या मैं एक बेहतर परिणाम प्राप्त कर पाता?"

इसका उत्तर देने के लिए, AI एक लेटेंट स्पेस (Latent Space) का उपयोग करता है। कल्पना कीजिए कि एक विशाल, अदृश्य 3D मानचित्र है जहाँ एक रोबोट या एजेंट द्वारा लिए जा सकने वाले हर संभावित पथ का एक बिंदु (dot) है।

द सोर्स (The Source): एक बिंदु जो एक ऐसे पथ को दर्शाता है जो बहुत अच्छा नहीं रहा (कम फीडबैक)।
द टार्गेट (The Target): AI उस बिंदु के आसपास देखता है और एक निकटवर्ती बिंदु खोजता है जो एक ऐसे पथ का प्रतिनिधित्व करता है जिसने बहुत बेहतर प्रदर्शन किया (उच्च फीडबैक)।

3. जादू: "ट्रांसपोर्ट फ्लो" (The "Transport Flow")

एक बार जब AI एक पास का "बेहतर" पथ खोज लेता है, तो वह सीधे वहां नहीं कूदता। वह ऐसा करना एक अलग शहर में टेलीपोर्ट होने जैसा होगा; आप अपना मूल संदर्भ खो देंगे।

इसके बजाय, AI एक फ्लो (Flow) सीखता है। एक बहती हुई नदी की धारा की कल्पना करें।

AI उस धारा की दिशा सीखता है जो "बुरे" पथ से "अच्छे" पथ की ओर बहती है।
यह उस विशिष्ट शुरुआती बिंदु के लिए विशेष रूप से उस धारा को सीखता है। यह सभी के लिए एक सामान्य नदी नहीं है; यह आपकी विशिष्ट स्थिति के लिए एक कस्टम धारा है।

यही "ट्रांसपोर्ट फ्लो" है। यह मूल योजना को एक सुचारू पथ पर बेहतर परिणाम की ओर धीरे से धकेलता है।

4. कंट्रोल नॉब: कितना बदलाव करें? (The Control Knob)

इस प्रणाली का सबसे शानदार हिस्सा एक "डायल" या नॉब है जिसे रिफाइनमेंट स्ट्रेंथ ( $\alpha$ ) कहा जाता है।

इसे 0 पर घुमाने पर: आप बिल्कुल वहीं रहते हैं जहाँ से आपने शुरू किया था (मूल योजना)।
इसे 1 पर घुमाने पर: आप डेटा में मिले "बेहतर" पथ तक पूरी तरह से चलते हैं।
इसे 0.5 पर घुमाने पर: आप आधा रास्ता तय करते हैं।

यह उपयोगकर्ता को निर्णय लेने की अनुमति देता है: "मैं परिणाम में सुधार चाहता हूँ, लेकिन मैं योजना को बहुत अधिक नहीं बदलना चाहता क्योंकि मुझे सुरक्षा की चिंता है।" यह रूढ़िवादिता (सुरक्षित रहना) और सुधार (बेहतर परिणाम प्राप्त करना) के बीच एक आदर्श संतुलन प्रदान करता है।

5. उन्होंने इसका परीक्षण कैसे किया

शोधकर्ताओं ने मानक रोबोट सिमुलेशन गेम्स (जैसे एक भूलभुलैया में नेविगेट करने वाला रोबोट चींटी या दौड़ता हुआ चीता) पर इसका परीक्षण किया।

उन्होंने उन रास्तों को लिया जो रोबots ने अतीत में लिए थे जो ठीक थे, लेकिन बहुत अच्छे नहीं थे।
उन्होंने इन रास्तों को डेटा में मौजूद बेहतर परिणामों की ओर "धकेलने" (nudge) के लिए अपनी विधि का उपयोग किया।
परिणाम: रोबोटों ने अजीब या असंभव गतिविधियों में भटके बिना बेहतर स्कोर (अधिक "फीडबैक") प्राप्त किया। वे मूल व्यवहार के करीब रहे लेकिन थोड़े अधिक स्मार्ट बन गए।

सारांश

संक्षेप में, यह शोध पत्र कहता है: "शून्य से एक आदर्श भविष्य का आविष्कार करने की कोशिश न करें। इसके बजाय, जो आपने पहले ही कर लिया है उसे देखें, उसी चीज़ का एक थोड़ा बेहतर संस्करण खोजें जो आपके इतिहास में मौजूद है, और अपनी वर्तमान योजना को उसकी ओर धीरे से मोड़ दें।"

यह एक GPS की तरह है जो आपको दूसरे शहर जाने के लिए नहीं कहता, बल्कि कहता है, "आप सही सड़क पर हैं, लेकिन यदि आप इस विशिष्ट निकास (exit) से मुड़ते हैं और यहाँ बाईं ओर मुड़ते हैं, तो आप 5 मिनट बचा लेंगे और उस गड्ढे से बच जाएंगे।"

तकनीकी सारांश: ऑफलाइन कंजर्वेटिव ट्राजेक्टरी रिफाइनमेंट के लिए काउंटरफैक्चुअल ट्रांसपोर्ट फ्लो (Counterfactual Transport Flows)

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र ऑफलाइन सुदृढीकरण शिक्षण (Reinforcement Learning - RL) की एक मौलिक सीमा को संबोधित करता है: लॉग किए गए डेटा के सपोर्ट (support) से बाहर एक्सट्रपलेशन (extrapolation) किए बिना देखे गए व्यवहार में सुधार करने की कठिनाई। जबकि मानक RL रिएक्टिव स्टेट-टू-एक्शन मैपिंग सीखता है, यह अक्सर स्पष्ट रूप से यह मॉडल करने में विफल रहता है कि एक विशिष्ट कम-परिणाम वाली ट्राजेक्टरी (trajectory) को स्थानीय रूप से कैसे संशोधित किया जा सकता है ताकि वह सफल हो सके। मौजूदा ऑफलाइन विधियाँ या तो वैल्यू पेनल्टी के माध्यम से नीतियों को बाधित करती हैं या जेनेरेटिव मॉडल (डिफ्यूजन/फ्लो) का उपयोग करके नए व्यवहार बनाती हैं, जो अक्सर ट्रांजिशन स्तर पर कार्य करते हैं या ग्लोबल पॉलिसी सीखते हैं, न कि इंस्टेंस-विशिष्ट सुधार (instance-specific improvements) पर।

लेखक इस समस्या को सोर्स-कंडीशनड ट्राजेक्टरी रिफाइनमेंट के रूप में निरूपित करते हैं। एक प्रारंभिक कैंडिडेट ट्राजेक्टरी $\tau^-$ के दिए जाने पर, जिसका वर्ल्ड फीडबैक (जैसे कम रिटर्न, सुरक्षा उल्लंघन) कम है, लक्ष्य एक पास की वैकल्पिक $\tau^*$ की ओर स्थानीय संशोधन सीखना है जो बेहतर फीडबैक प्रदान करे और व्यवहारिक रूप से लॉग डेटा वितरण के भीतर ही रहे। इसे एक ऐसे व्यवहार्य ट्राजेक्टरी को खोजने के रूप में संकल्पित किया गया है जो सोर्स से विचलन (deviation) को न्यूनतम करता है और एक सुधार मार्जिन $\delta$ को संतुष्ट करता है:
$\tau^* = \arg \min_{\tau' \in \mathcal{T}_{feas}} d_\tau(\tau', \tau^-) \quad \text{s.t.} \quad R(\tau') \ge R(\tau^-) + \delta$
जहाँ $R(\tau)$ मापने योग्य वर्ल्ड फीडबैक को दर्शाता है और $d_\tau$ ट्राजेक्टरी-स्तरीय विचलन को मापता है।

2. कार्यप्रणाली: काउंटरफैक्चुअल ट्रांसपोर्ट फ्लो (Methodology: Counterfactual Transport Flows)

प्रस्तावित फ्रेमवर्क, काउंटरफैक्चुअल ट्रांसपोर्ट फ्लो, कंडीशनल फ्लो मैचिंग का उपयोग करके एक लेटेंट ट्राजेक्टरी स्पेस में सोर्स ट्राजेक्टरी को एक बेहतर विकल्प की ओर ले जाने (transport) का कार्य सीखता है। यह विधि तीन चरणों में कार्य करती है:

A. लोकल प्रेफरेंस पेयर कंस्ट्रक्शन (Local Preference Pair Construction)

एक ग्लोबल पॉलिसी सीखने के बजाय, यह विधि ऑफलाइन डेटा से कमजोर स्थानीय प्राथमिकता जोड़े (weak local preference pairs) बनाती है। एक दिए गए सोर्स ट्राजेक्टरी $\tau^-$ के लिए, एल्गोरिदम:

एक एनकोडर $\phi$ का उपयोग करके ट्राजेक्टरीज को लेटेंट स्पेस में एनकोड करता है।
समान ट्राजेक्टरीज का एक स्थानीय लेटेंट पड़ोस $\mathcal{N}(\tau^-)$ पहचानता है।
इस पड़ोस से एक लक्ष्य ट्राजेक्टरी $\tau^+$ चुनता है जो सुधार मानदंड ( $R(\tau^+) \ge R(\tau^-) + \delta$ ) को संतुष्ट करती है।
एक जोड़ा $(\tau^-, \tau^+)$ बनाता है जो एक "काउंटरफैक्चुअल" संशोधन का प्रतिनिधित्व करता है: एजेंट ने समान परिस्थितियों में बेहतर फीडबैक प्राप्त करने के लिए क्या अलग किया होता।

B. सोर्स-कंडीशनड फ्लो मैचिंग (Source-Conditioned Flow Matching)

रिफाइनमेंट को वन-शॉट प्रेडिक्शन के बजाय एक निरंतर ट्रांसपोर्ट प्रक्रिया के रूप में मॉडल किया गया है।

लेटेंट इंटरपोलेशन (Latent Interpolation): प्रत्येक जोड़े के लिए, एक लीनियर इंटरपोलेशन पथ परिभाषित किया जाता है: $z_s = (1-s)z^- + s z^+$ , जहाँ $z^- = \phi(\tau^-)$ और $z^+ = \phi(\tau^+)$ , और $s \sim U(0, 1)$ है।
कंडीशनल वेक्टर फील्ड (Conditional Vector Field): मॉडल एक वेक्टर फील्ड $v_\theta(z_s, s \mid z^-)$ सीखता है जो विशेष रूप से सोर्स ट्राजेक्टरी $z^-$ पर कंडिशन किया गया है। यह सुनिश्चित करता है कि रिफाइनमेंट की दिशा इंस्टेंस-विशिष्ट हो, यह सीखती है कि इस विशेष ट्राजेक्टरी को कैसे संशोधित किया जा सकता है, न कि हाई-फीडबैक क्षेत्रों की ओर एक ग्लोबल दिशा सीखती है।
ट्रेनिंग ऑब्जेक्टिव (Training Objective): मॉडल फ्लो मैचिंग ऑब्जेक्टिव का उपयोग करके प्रेडिक्टेड वेलोसिटी और टारगेट वेलोसिटी ( $z^+ - z^-$ ) के बीच के अंतर को कम करने के लिए प्रशिक्षित किया जाता है:
$\mathcal{L}_{FM} = \mathbb{E}_{z^-, z^+, s} \left[ \| v_\theta(z_s, s \mid z^-) - (z^+ - z^-) \|_2^2 \right]$

C. रिफाइनमेंट स्ट्रेंथ के साथ इन्फरेंस (Inference with Refinement Strength)

इन्फरेंस के समय, विधि एक प्रारंभिक कैंडिडेट ट्राजेक्टरी $\tau^-$ लेती है, उसे $z^-$ में एनकोड करती है, और सीखे गए वेक्टर फील्ड को इंटीग्रेट करती है। इंटीग्रेशन को एक रिफाइनमेंट स्ट्रेंथ पैरामीटर $\alpha \in [0, 1]$ पर रोका जाता है:
$\tilde{z} = z_\alpha$
परिणामी लेटेंट स्टेट को रिफाइंड ट्राजेक्टरी $\tau^* = \psi(\tilde{z})$ उत्पन्न करने के लिए डिकोड किया जाता है।

$\alpha = 0$ : मूल ट्राजेक्टरी को रिकवर करता है (कंजर्वेटिव)।
$\alpha = 1$ : ट्राजेक्टरी को पूरी तरह से स्थानीय हाई-फीडबैक लक्ष्य की ओर ट्रांसपोर्ट करता है।
$0 < \alpha < 1$ : मूल व्यवहार को संरक्षित करने और अधिक आक्रामक सुधार लागू करने के बीच एक निरंतर ट्रेड-ऑफ की अनुमति देता है।

3. मुख्य योगदान (Key Contributions)

लेखक तीन प्राथमिक योगदानों को रेखांकित करते हैं:

निरूपण (Formulation): वे ऑफलाइन निर्णय सुधार को वर्ल्ड फीडबैक से सोर्स-कंडीशनड ट्राजेक्टरी रिफाइनमेंट के रूप में पुनर्गठित करते हैं, जो ग्लोबल पॉलिसी ऑप्टिमाइजेशन या अनकन्स्ट्रेंड ट्राजेक्टरी जनरेशन से भिन्न है।
कार्यप्रणाली (Methodology): वे देखे गए परिणामों से स्थानीय प्राथमिकता जोड़े बनाने और लेटेंट ट्राजेक्टरी स्पेस में इंस्टेंस-विशिष्ट रिफाइनमेंट दिशाओं को सीखने के लिए कंडीशनल फ्लो मैचिंग का उपयोग करने का प्रस्ताव देते हैं।
वैधीकरण (Validation): वे D4RL बेंचमार्क (AntMaze और MuJoCo) पर अपने दृष्टिकोण को मान्य करते हैं, जो बिना किसी ह्यूमन प्रेफरेंस लेबल या अलग रिवॉर्ड मॉडल के, बेहतर फीडबैक और कंजर्वेटिव ट्राजेक्टरी विचलन प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग लेटेंट स्पेस कंस्ट्रक्शन के लिए ट्राजेक्टरी ऑटोएनकोडर का उपयोग करते हुए AntMaze और MuJoCo (HalfCheetah) सहित D4RL डेटासेट्स पर किए गए।

बेसलाइन्स (Baselines): विधि की तुलना निम्नलिखित से की गई:
- नियरेस्ट इम्प्रूव्ड नेबर (Nearest Improved Neighbor): सोर्स को निकटतम उच्च-फीडबैक ट्राजेक्टरी से सीधे बदलना।
- रैंडम इम्प्रूव्ड ट्राजेक्टरी (Random Improved Trajectory): सोर्स को रैंडम उच्च-फीडबैक ट्राजेक्टरी से बदलना।
- नॉन-लोकल फ्लो मैचिंग (Non-local Flow Matching): टारगेट सिलेक्शन पर लोकैलिटी बाधाओं के बिना फ्लो मॉडल को प्रशिक्षित करना।
प्रदर्शन (Performance):
- AntMaze: प्रस्तावित विधि ने सबसे कम एक्शन डेविएशन (1.41) और लेटेंट डेविएशन (27.00) के साथ +69.44 का फीडबैक सुधार प्राप्त किया। इसके विपरीत, "रैंडम इम्प्रूव्ड ट्राजेक्टरी" ने काफी बड़े विचलन (एक्शन: 2.18, लेटेंट: 62.50) के साथ अधिक रॉ गेन्स (+117.50) प्राप्त किए, जो कंजर्वेटिविटी की कमी को दर्शाता है। "नॉन-लोकल फ्लो मैचिंग" बेसलाइन ने वास्तव में फीडबैक को कम (-11.48) कर दिया।
- MuJoCo: समान रुझान देखे गए। प्रस्तावित विधि ने 1.58 (एक्शन) और 31.40 (लेटेंट) के विचलन के साथ +1180.20 फीडबैक सुधार प्राप्त किया। "नियरेस्ट इम्प्रूव्ड नेबर" ने थोड़ा कम रॉ सुधार (+1050.30) प्राप्त किया लेकिन उच्च विचलन (2.14/42.50) के साथ।
विश्लेषण (Analysis): परिणाम संकेत देते हैं कि लोकल टारगेट कंस्ट्रक्शन और सोर्स कंडीशनिंग दोनों ही कंजर्वेटिव रिफाइनमेंट के लिए आवश्यक हैं। ग्लोबल या नॉन-लोकल दृष्टिकोण स्थिर रिफाइनमेंट दिशाएं सीखने में विफल रहते हैं, जबकि डायरेक्ट रिप्लेसमेंट रणनीतियां व्यवहारिक निष्ठा (behavioral fidelity) का बहुत अधिक त्याग करती हैं।

5. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि काउंटरफैक्चुअल ट्रांसपोर्ट फ्लो विश्वसनीय ऑफलाइन सुधार के लिए एक आशाजनक दिशा प्रदान करते हैं क्योंकि वे:

डेटा में सुधार को ग्राउंड (Ground) करते हैं: यह विधि केवल लॉग किए गए डेटा से स्केलर वर्ल्ड फीडबैक (जैसे रिटर्न्स) का उपयोग करके व्यवहार में सुधार करती है, जिससे मानव प्रेफरेंस लेबल, अलग रिवॉर्ड मॉडल, या ऑनलाइन एनवायरनमेंट इंटरेक्शन की आवश्यकता समाप्त हो जाती है।
व्याख्यात्मकता (Interpretability): ट्रांसपोर्ट परिप्रेक्ष्य ट्राजेक्टरी-स्तरीय व्याख्यात्मकता प्रदान करता है। सीखा गया वेक्टर फील्ड स्पष्ट रिफाइनमेंट पथों को ट्रेस करता है, जो यह बताता है कि कम-फीडबैक वाले व्यवहारों को कैसे संशोधित किया जा सकता है।
नियंत्रणीयता (Controllability): रिफाइनमेंट स्ट्रेंथ पैरामीटर $\alpha$ कंजर्वेटिविटी (मूल प्रस्ताव को बनाए रखना) और आक्रामक सुधार के बीच एक ट्यूनेबल ट्रेड-ऑफ सक्षम करता है।

लेखक एक मध्यम रुख अपनाते हैं, यह नोट करते हुए कि "काउंटरफैक्चुअल" शब्द का उपयोग औपचारिक कॉज़ल इन्फरेंस (causal inference) के बजाय ट्राजेक्टरी-रिफाइनमेंट के संदर्भ में किया गया है। वे भविष्य के कार्य की दिशाओं की पहचान करते हैं, जिसमें एडेप्टिव नेबरहुड सिलेक्शन, डिकोडेड ट्राजेक्टरीज के लिए सैद्धांतिक गारंटी, और इटरेटिव हाइपोथेटिकल प्लानिंग के लिए सीखे गए वर्ल्ड मॉडल्स के साथ एकीकरण शामिल है।