🤖 machine learning

Matrix-Space Reinforcement Learning for Reusing Local Transition Geometry

यह शोध पत्र मैट्रिक्स-स्पेस रीइन्फोर्समेंट लर्निंग (MSRL) प्रस्तुत करता है, जो एक ज्यामितीय ढांचा है जो स्थानीय संक्रमण ज्यामिति (local transition geometry) के बीजगणितीय संयोजन और हस्तांतरण को सक्षम करने के लिए धनात्मक अर्ध-निश्चित मैट्रिक्स डिस्क्रिप्टर (positive semidefinite matrix descriptors) के माध्यम से प्रक्षेपवक्र खंडों (trajectory segments) का प्रतिनिधित्व करता है, जिससे मौजूदा विधियों की तुलना में कंपोजिशनल जनरलाइजेशन में बेहतर नमूना दक्षता और प्रदर्शन प्राप्त होता है।

मूल लेखक: Zuyuan Zhang, Carlee Joe-Wong, Tian Lan

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zuyuan Zhang, Carlee Joe-Wong, Tian Lan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक नए, जटिल शहर में नेविगेट करना सिखाने की कोशिश कर रहे हैं। आपके पास वीडियो का एक पुस्तकालय है जो एक छोटे, सरल पड़ोस में रोबोट के गाड़ी चलाने के दृश्य दिखाता है। पुराने तरीके में, आप रोबोट को पूरा वीडियो दिखाते और उम्मीद करते कि वह नियम समझ जाएगा। लेकिन क्या होगा यदि नए शहर में अलग ट्रैफिक संकेत, अलग ट्रैफिक लाइट और अलग सड़क लेआउट हों? रोबोट भ्रमित हो सकता है क्योंकि नए शहर का "लुक" पुराने वाले से बिल्कुल अलग होगा।

यह शोध पत्र रोबोट को सिखाने का एक नया तरीका प्रस्तावित करता है, जिसे मैट्रिक्स-स्पेस रीइन्फोर्समेंट लर्निंग (MSRL) कहा जाता है। विशिष्ट वीडियो फ्रेम को याद करने के बजाय, रोबोट गति के अंतर्निहित ज्यामिति (geometry) और भौतिकी (physics) को पहचानना सीखता है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:

1. "रेसिपी कार्ड" बनाम "पूरा भोजन"

कल्पना कीजिए कि आपके पास किसी को केक बेक करते हुए एक वीडियो है।

पुराना तरीका: आप रोबोट को पूरा वीडियो दिखाते हैं। यह "मिलाना, डालना, पकाना" के सटीक क्रम को याद करने की कोशिश करता है। यदि नया कार्य पाई (pie) बनाना है, तो रोबोट अटक जाता है क्योंकि चरण अलग दिखते हैं।
MSRL का तरीका: वीडियो के बजाय, आप रोबोट को एक गणितीय "रेसिपी कार्ड" (जिसे मैट्रिक्स डिस्क्रिप्टर कहा जाता है) देते हैं। यह कार्ड इस बात की परवाह नहीं करता कि घटनाओं का क्रम क्या है या सामग्री के रंग क्या हैं। इसके बजाय, यह क्रिया के सार को संक्षेप में बताता है:
- बैटर (batter) कितना हिला? (विस्थापन/Displacement)
- कितना बल लगाया गया? (क्रिया/Action)
- परिणाम कितना मीठा था? (पुरस्कार/Reward)
- इसमें कितना समय लगा? (समय/Time)

यह "रेसिपी कार्ड" एक विशेष गणितीय वस्तु (मैट्रिक्स) है जो गति की कहानी के बजाय गति के आकार को कैप्चर करता है।

2. LEGO ब्लॉक्स के साथ निर्माण

इस पद्धति का जादू यह है कि इन "रेसिपी कार्डों" को LEGO ब्लॉक्स की तरह एक साथ जोड़ा जा सकता है।

जोड़ (Addition): यदि आपके पास "सीधे चलने" का एक कार्ड है और "बाएं मुड़ने" का एक कार्ड है, तो आप नए कार्ड को बनाने के लिए बस उन दोनों मैट्रिसेस को आपस में जोड़ सकते हैं।
पुनः याद करने की आवश्यकता नहीं: क्योंकि कार्ड केवल गणितीय सारांश हैं, रोबोट को यह दोबारा सीखने की ज़रूरत नहीं है कि बाएं मुड़ना नया शहर होने पर भी "बाएं मुड़ना" ही है। वह बस अपने लाइब्रेरी से "बाएं मुड़ने" वाला कार्ड उठाता है और उसे वर्तमान स्थिति के साथ जोड़ देता है।

यह शोध पत्र सिद्ध करता है कि यह जोड़ (addition) पूरी तरह से काम करता है। यदि आप दो वैध मूवमेंट सेगमेंट को मिलाते हैं, तो उनके संयुक्त "रेसिपी कार्ड" उनके व्यक्तिगत कार्डों के योग के बराबर होते हैं।

3. "ऑब्स्ट्रक्शन फिल्टर" (सुरक्षा जांच)

सिर्फ इसलिए कि आप दो LEGO ब्लॉक्स को एक साथ जोड़ सकते हैं, इसका मतलब यह नहीं है कि बनने वाला टावर खड़ा रह पाएगा। आप "दीवार के माध्यम से गाड़ी चलाने" के कार्ड को "आगे बढ़ने" के कार्ड के साथ जोड़ने की कोशिश कर सकते हैं, जो कि भौतिक रूप से असंभव है।

MSRL में एक सुरक्षा फिल्टर (जिसे ऑब्स्ट्रक्शन फिल्टर कहा जाता है) शामिल है। इससे पहले कि रोबोट कार्डों के नए संयोजन का उपयोग करने की कोशिश करे, वह जाँचता है: "क्या यह संयोजन वास्तव में इस वास्तविक वातावरण में संभव है?"

यदि गणित कहता है "हाँ, यह एक वैध पथ है," तो रोबोट इसे आजमाता है।
यदि गणित कहता है "नहीं, यह असंभव है (जैसे बंद दरवाजे के माध्यम से गाड़ी चलाना)," तो रोबोट तुरंत उस संयोजन को हटा देता है।

4. सीखने का "शॉर्टकट"

इस शोध पत्र की सबसे बड़ी जीत इसकी गति है।

MSRL के बिना: रोबोट को नए शहर में शून्य से शुरुआत करनी होगी, यह सीखने के लिए कि "बाएं मुड़ना" अभी भी "बाएं मुड़ना" ही है, वह हजारों बार टकराएगा और असफल होगा।
MSRL के साथ: रोबोट उस सरल पड़ोस से सीखे गए "रेसिपी कार्ड" लेता है, उन्हें सुरक्षा फिल्टर के साथ जाँचता है, और जटिल शहर में सीखने की प्रक्रिया को तेज़ करने के लिए उनका उपयोग करता है।

शोध पत्र दिखाता है कि यह विधि रोबोट को बहुत तेज़ी से सीखने और मानक तरीकों की तुलना में कम प्रयासों (कम "शॉट्स") के साथ कौशल के उच्च स्तर तक पहुँचने में सक्षम बनाती है। इसने एक कठिन परीक्षण में 0.73 का स्कोर प्राप्त किया, जो अन्य शीर्ष तरीकों को पछाड़ देता है जिनका स्कोर लगभग 0.57 से 0.65 था।

सारांश

MSRL को यह समझने के रूप में देखें कि रोबोट को यह दिखाने के बजाय कि क्या करना है, उसे मूवीज दिखाने के बजाय सार्वभौमिक ज्यामितीय बिल्डिंग ब्लॉक्स का एक सेट दिया जा रहा है।

यह अव्यवस्थपूर्ण मूवमेंट डेटा को साफ, गणितीय "रेसिपी कार्डों" में बदल देता है।
यह रोबोट को नए पथों की योजना बनाने के लिए इन कार्डों को आपस में जोड़ने की अनुमति देता है।
यह सुनिश्चित करने के लिए एक सुरक्षा जांच का उपयोग करता है कि नए पथ भौतिक रूप से संभव हैं।
यह रोबोट को जटिल नई समस्याओं को तुरंत हल करने के लिए सरल कार्यों से प्राप्त ज्ञान का पुन: उपयोग करने की अनुमति देता है, बिना बुनियादी बातों को दोबारा सीखे।

यह शोध पत्र दावा करता है कि यह अतीत के विशिष्ट विवरणों के बजाय गति की ज्यामिति पर ध्यान केंद्रित करके AI एजेंटों को स्मार्ट और तेज़ बनाने का एक नया, गणितीय रूप से सिद्ध तरीका है।

तकनीकी सारांश: स्थानीय ट्रांज़िशन ज्योमेट्री के पुन: उपयोग के लिए मैट्रिक्स-स्पेस सुदृढीकरण सीखना (Matrix-Space Reinforcement Learning)

समस्या विवरण

अनुक्रमिक निर्णय लेने (sequential decision-making) के लिए एजेंटों को यह पहचानने की आवश्यकता होती है कि नए कार्यों को प्राप्त करने के लिए पिछले रोलआउट्स (rollouts) के कौन से घटक उपयोगी बने रहते हैं ताकि कंपोजिशनल जनरलाइजेशन (compositional generalization) हासिल किया जा सके। जबकि मौजूदा सुदृढीकरण शिक्षण (RL) विधियाँ कौशल, भविष्य कहनेवाला मॉडल (predictive models), या संकुचित अवस्थाओं (compressed states) का सफलतापूर्वक पुन: उपयोग करती हैं, वे अक्सर समृद्ध स्थानीय ट्रांज़िशन ज्योमेट्री और डायनेमिक्स को अनदेखा कर देती हैं। वर्तमान दृष्टिकोण यह निर्धारित करने में संघर्ष करते हैं कि अलग-अलग स्वरूपों (जैसे, भिन्न क्षितिज लंबाई, कार्य यथार्थता, या एक्शन रिप्रेजेंटेशन) वाली प्रक्षेपवक्रों (trajectories) का उपयोग कैसे किया जाए, ताकि व्यवहार को अव्यवहारिक बनाए बिना वैल्यू और पॉलिसी लर्निंग में सुधार किया जा सके। मुख्य चुनौती स्थानीय ट्रांज़िशन डायनेमिक्स को इस तरह से मापने की है जो साझा छिपी हुई संरचनाओं को उजागर करे और संबंधित कार्यों में स्थानांतरण (transfer) के लिए बीजगणितीय संयोजन (algebraic composition) का समर्थन करे।

कार्यप्रणाली: मैट्रिक्स-स्पेस सुदृढीकरण शिक्षण (MSRL)

यह शोध पत्र मैट्रिक्स-स्पेस सुदृढीकरण शिक्षण (MSRL) का प्रस्ताव करता है, जो एक ज्यामितीय अमूर्तीकरण (geometric abstraction) है जो प्रक्षेपवक्र खंडों (trajectory segments) को पॉजिटिव सेमीडेफिनिट (PSD) मैट्रिक्स डिस्क्रिप्टर के माध्यम से निरूपित करता है।

1. मैट्रिक्स प्रॉक्सी $M(\tau)$

MSRL की मौलिक इकाई प्रक्षेपवक्र-खंड मैट्रिक्स $M(\tau)$ है। एक खंड $\tau = ((o_t, a_t, r_t, o_{t+1}))_{t=0}^{T-1}$ के लिए, विधि एक निश्चित-चरण "लिफ्ट" $\psi_t(\tau)$ को परिभाषित करती है जो एकत्रित करता है:

एम्बेडेड ट्रांज़िशन मिडपॉइंट ( $c_t$ ) और निर्देशित विस्थापन ( $\delta_t$ )।
एक्शन-कंडीशन्ड मिडपॉइंट्स और विस्थापनों (एक्शन फीचर्स के साथ क्रोनेकर उत्पादों के माध्यम से)।
प्रेक्षित रिवॉर्ड ( $r_t$ ) और एक निरंतर चैनल।
मैट्रिक्स प्रॉक्सी को लिफ्ट किए गए वेक्टर्स के आउटर प्रोडक्ट के योग के रूप में परिभाषित किया गया है:
$M(\tau) = \sum_{t=0}^{T-1} \psi_t(\tau)\psi_t(\tau)^\top \in \mathbb{S}^m_+$
यह निर्माण एक कोवेरिएंस-समान मैट्रिक्स का परिणाम देता है जो लिफ्ट किए गए वन-स्टेप ट्रांज़िशन के द्वितीय-क्रम सांख्यिकी (second-order statistics) को एकत्रित करता है। महत्वपूर्ण रूप से, क्योंकि $M(\tau)$ एक कम्यूटेटिव योग है, यह पूर्ण कालानुक्रमिक अनुक्रम (जो कार्यों में भिन्न होता है) को त्याग देता है लेकिन वैल्यू लर्निंग के लिए आवश्यक निम्न-क्रम योगात्मक सांख्यिकी (low-order additive statistics) को बनाए रखता है।

2. बीजगणितीय संयोजन और ग्लूइंग (Algebraic Composition and Gluing)

यह विधि इन डिस्क्रिप्टर्स पर एक बीजगणित स्थापित करती है:

संयोजन (Composition): खंडों $\tau = \tau^{(1)} \star \tau^{(2)}$ का वैध संयोजन ठीक मैट्रिक्स जोड़ के बराबर है: $M(\tau) = M(\tau^{(1)}) + M(\tau^{(2)})$ ।
ग्लूइंग (Gluing): ओवरलैपिंग स्थानीय प्रतिबंधों को एक वैश्विक डिस्क्रिप्टर में असेंबल किया जा सकता है, जिससे रिप्ले लाइब्रेरीज़ को आंशिक खंडों को संग्रहीत और पुनर्संयोजित करने की अनुमति मिलती है।

3. ऑब्स्ट्रक्शन फ़िल्टरिंग (Obstruction Filtering)

यह सुनिश्चित करने के लिए कि संयोजित मैट्रिक्स वास्तविक प्रक्षेपवक्रों के अनुरूप हों, विधि एक ऑब्स्ट्रक्शन स्कोर पेश करती है। यह मीट्रिक एक विशिष्ट वातावरण में सुलभ (reachable) मैट्रिसेस के सेट से एक उम्मीदवार मैट्रिक्स की दूरी को मापता है। सकारात्मक ऑब्स्ट्रक्शन एक विसंगति का प्रमाण (certificate of inconsistency) के रूप में कार्य करता है, जो योजना बनाने (planning) से पहले ही अवास्तविक संयोजनों को फ़िल्टर करता है।

4. वैल्यू लर्निंग और ट्रांसफर

MSRL प्रक्षेपवोट-खंड मैट्रिक्स पर वैल्यू फंक्शन्स को कंडीशन करता है। लेखक सिद्ध करते हैं कि विशिष्ट धारणाओं (लिफ्टेड बेलमैन कम्पैटिबिलिटी और लोकल स्मूथनेस) के तहत, वैल्यू फंक्शन मैट्रिक्स स्पेस में एक प्रथम-क्रम स्मूथ एप्रोक्सिमेशन को स्वीकार करता है। विशेष रूप से, छोटे कंपोजिशनल परटर्बेशन्स $H_0, H_1$ के लिए:
$\bar{Q}^\star(o, H_0 + H_1, a) \approx \bar{Q}^\star(o, H_0, a) + \bar{Q}^\star(o, H_1, a) - \bar{Q}^\star(o, 0, a)$
यह "सेंटर्ड कंपोजिशनल वैल्यू लॉ" सोर्स-टू-टारगेट ट्रांसफर को सक्षम बनाता है: एक मैट्रिक्स-टू-वैल्यू ब्रांच ( $M \to V$ ) को सोर्स एनवायरनमेंट्स पर प्री-ट्रेन किया जाता है और टारगेट कार्यों में क्रिटिक को इनिशियलाइज़ करने के लिए उपयोग किया जाता है। टारगेट पॉलिसी और एक्शन हेड्स को टारगेट डेटा पर शून्य से प्रशिक्षित किया जाता है, जबकि मैट्रिक्स-वैल्यू ब्रांच एक स्ट्रक्चरल इंडक्टिव बायस प्रदान करती है।

मुख्य योगदान

ज्यामितीय डिस्क्रिप्टर: प्रक्षेपवक्र-खंड मैट्रिक्स $M(\tau)$ का परिचय जो एक पर्याप्त, निम्न-क्रम डिस्क्रिप्टर के रूप में कार्य करता है जो स्थानीय ज्योमेट्री और डायनेमिक्स को कैप्चर करता है और बीजगणितीय संयोजन को सक्षम बनाता है।
मौलिक गुण: प्रमाण कि $M(\tau)$ $M (τ)$ है:
- कोऑर्डिनेट गेज तक अच्छी तरह से परिभाषित (कोऑर्डिनेट परिवर्तन के संरेखण के तहत अपरिवर्तित)।
- प्रेरित निम्न-क्रम योगात्मक सिग्नल क्लास के लिए पूर्ण (सभी प्रासंगिक प्रथम-क्रम और क्वाड्रेटिक सांख्यिकी को कैप्चर करना)।
- वैध खंड संयोजन के तहत योगात्मक।
- स्वीकार्य योगात्मक डिस्क्रिप्टर्स के बीच न्यूनतम पर्याप्त।
- ऑब्स्ट्रक्शन स्कोर के माध्यम से वातावरण की वास्तविकता से अलग (separable)।
MSRL सिद्धांत: एक मैट्रिक्स-कंडीशन्ड वैल्यू लॉ का विकास जो दिखाता है कि वैल्यू फंक्शन्स मैट्रिक्स स्पेस में स्थानीय रूप से स्मूथ और लगभग योगात्मक होते हैं, जो नए कार्यों में लर्निंग को बूटस्ट्रैप करने के लिए सोर्स-ट्रेन्ड $M \to V$ मैपिंग के उपयोग को न्यायसंगत बनाता है।
प्रायोगिक सत्यापन: यह प्रदर्शन करना कि MSRL फ्यू-शॉट सेटिंग्स में मानक RL और ट्रांसफर बेसलाइन्स की तुलना में बेहतर प्रदर्शन करता है।

प्रायोगिक परिणाम

विधि का मूल्यांकन सरल सोर्स एनवायरनमेंट्स (GraphMotif, MicroGrid, PointRooms, Dubins-Reacher) और जटिल टारगेट कंट्रोल टास्क (AntMaze, Reacher/Pusher, Walker2d, Hopper, Humanoid) के एक समूह पर किया गया।

सोर्स डायग्नोस्टिक्स: मैट्रिक्स डिस्क्रिप्टर ने व्याख्या योग्य संरचनाओं को सफलतापूर्वक रिकवर किया, जिसमें निर्देशित मोटिफ्स (directed motifs), कोऑर्डिनेट-अलाइन्ड मैचिंग, और एक्शन-कंडीशन्ड ट्रांसपोर्ट शामिल हैं।
ट्रांसफर प्रदर्शन: जटिल टारगेट सूट में, सोर्स-प्रीट्रेन्ड मैट्रिक्स-वैल्यू ब्रांच के साथ इनिशियलाइज्ड MSRL ने 0.73 का नॉर्मलाइज्ड फ्यू-शॉट AUC प्राप्त किया। इसने निम्नलिखित को पछाड़ दिया:
- स्क्रैच से प्रशिक्षित MSRL (0.65)।
- TD-MPC-PT+FT (0.63)।
- स्टैंडर्ड TD-MPC (0.57)।
लर्निंग स्पीड: सोर्स-इनिशियलाइज्ड दृष्टिकोण ने बेसलाइन्स की तुलना में तेज़ अर्ली लर्निंग कन्वर्जेंस दिखाया, जो यह दर्शाता है कि मैट्रिक्स-वैल्यू नॉलेज का ट्रांसफर टारगेट टास्क में सैंपल कॉम्प्लेक्सिटी को प्रभावी ढंग से कम करता है।

महत्व और सीमाएं

यह शोध पत्र तर्क देता है कि MSRL कंपोजिशनल जनरलाइजेशन के लिए एक पारदर्शी बीजगणितीय इंटरफेस प्रदान करता है, जो प्रक्षेपवक्र के पुन: उपयोग को मैट्रिक्स ऑपरेशन्स में बदल देता है। स्थानीय ट्रांज़िशन ज्योमेट्री को PSD मैट्रिसेस में एब्स्ट्रैक्ट करके, यह विधि एजेंटों को सटीक स्टेट मैचिंग या पूर्ण कालानुक्रमिक इतिहास पर निर्भर किए बिना कार्यों के बीच संरचनात्मक घटकों की पहचान करने और उन्हें पुनर्संयोजित करने में सक्षम बनाती है।

लेखक इस पद्धति की सार्वभौमिकता पर एक विनम्र रुख बनाए रखते हैं। वे स्पष्ट रूप से नोट करते हैं कि:

दृष्टिकोण के लिए सोर्स और टारगेट सेटिंग्स के बीच एक अलाइन्ड ट्रांज़िशन लिफ्ट की आवश्यकता होती; यह स्वतः ही किसी भी मनमाने वातावरण को अलाइन नहीं करता है।
डिस्क्रिप्टर केवल निम्न-क्रम योगात्मक एफाइन-क्वाड्रेटिक जानकारी को सुरक्षित रखता है और लिफ्ट किए गए वेक्टर्स में दिखने वाले कालानुक्रमिक क्रम से परे किसी भी मनमाने क्रम को एनकोड नहीं करता है।
अनुमानित योगात्मक वैल्यू नियम एक लोकल मॉडलिंग रैशनल है जो स्मूथनेस धारणाओं पर निर्भर है, न कि मनमाने मैट्रिक्स योग के लिए कोई सटीक डायनेमिक प्रोग्रामिंग आइडेंटिटी है।
ऑब्स्ट्रक्शन सर्टिफिकेट केवल वास्तविक 'रीचेबल सेट' के लिए सटीक है; व्यवहार में, यह एक सीखे हुए सरोगेट फिल्टर पर निर्भर करता है।

इन सीमाओं के बावजूद, यह कार्य स्थानीय ट्रांज़िशन संरचनाओं के पुन: उपयोग के लिए एक कठोर ज्यामितीय ढांचा स्थापित करता है, जो मॉडल-फ्री और मॉडल-बेस्ड दोनों RL विधियों के लिए एक प्लग-इन संगत समाधान प्रदान करता है।