🤖 AI

Temporal Action Representation Learning for Tactical Resource Control and Subsequent Maneuver Generation

यह शोध पत्र TART को प्रस्तुत करता है, जो एक टेम्पोरल एक्शन रिप्रेजेंटेशन लर्निंग फ्रेमवर्क है जो कंट्रास्टिव लर्निंग और क्वांटाइज्ड डिस्क्रीट कोडबुक्स का उपयोग करता है ताकि संसाधन उपयोग और मैन्युवर्स के बीच कारण संबंधी निर्भरताओं (causal dependencies) को प्रभावी ढंग से कैप्चर किया जा सके, जिससे स्वायत्त एजेंटों को संसाधन-बाधित वातावरण में मल्टी-मोडल, कॉन्टेक्स्ट-अवेयर व्यवहार उत्पन्न करने में सक्षम बनाया जा सके।

मूल लेखक: Hoseong Jung, Sungil Son, Daesol Cho, Jonghae Park, Changhyun Choi, H. Jin Kim

प्रकाशित 2026-02-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hoseong Jung, Sungil Son, Daesol Cho, Jonghae Park, Changhyun Choi, H. Jin Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक उच्च-दांव वाला वीडियो गेम खेल रहे हैं जहाँ आपका पात्र एक फाइटर पायलट या एक मेज़ रनर (maze runner) है। आपके पास दो बड़ी समस्याएँ हैं:

आपके पास सीमित गोला-बारूद और ईंधन है। (संसाधन संबंधी बाधाएं)
स्थिति तुरंत बदल जाती है। (गतिशील वातावरण)

अधिकांश AI रोबोट इसे हल करने की कोशिश करते हैं कि वे एक क्रिया चुनते हैं (जैसे "मिसाइल दागना") और फिर तुरंत अगला कदम चुनते हैं (जैसे "बाएं मुड़ना")। वे इन्हें अलग-अलग चरणों के रूप में देखते हैं। लेकिन वास्तविक जीवन में, आप अभी जो करते हैं वह बदल देता है कि आप आगे क्या कर सकते हैं। यदि आप एक मिसाइल दागते हैं, तो आप तुरंत दूसरी मिसाइल नहीं दाग सकते, और आपका उड़ान पथ लक्ष्य पर निशाना साधने के लिए बदलना चाहिए। यदि आपके पास ईंधन खत्म हो जाता है, तो आप तेज़ी से नहीं उड़ सकते।

यह पेपर एक नया AI मस्तिष्क पेश करता है जिसे TART (टेम्पोरल एक्शन रिप्रेजेंटेशन फॉर टैक्टिकल रिसोर्स कंट्रोल एंड सब्सिक्वेंट मैन्यूवर जनरेशन) कहा जाता है। TART को एक ग्रैंडमास्टर शतरंज खिलाड़ी के रूप में समझें जो केवल अगले कदम को नहीं देखता, बल्कि खेल की कहानी को भी समझता है।

TART कैसे काम करता है, सरल उपमाओं के साथ यहाँ समझाया गया है:

1. समस्या: "एक-कदम" वाला रोबोट

कल्पना कीजिए कि एक रोबोट एक बेजान रोबोट कुत्ते की तरह है।

परिदृश्य: वह एक दीवार देखता है।
क्रिया: वह "कूदने" का निर्णय लेता है (एक बैटरी चार्ज का उपयोग करके)।
अगला कदम: वह बस एक रैंडम दिशा में दौड़ने का निर्णय लेता है।
दोष: उसे यह एहसास नहीं होता कि क्योंकि उसने कूदने के लिए अपनी बैटरी का उपयोग किया है, इसलिए वह कुछ समय तक फिर से कूद नहीं सकता है, और उसे विशेष रूप से वहीं दौड़ना होगा जहाँ वह कूदने के बाद पहुँचा है। वह "कूदने" और "दौड़ने" को दो पूरी तरह से असंबंधित चीजों के रूप में मानता है। इससे व्यवहार भद्दा और अक्षम हो जाता है।

2. समाधान: TART की "टैक्टिकल कोडबुक"

TART अलग है। केवल प्रतिक्रिया देने के बजाय, यह पैटर्न या रणनीतियों (tactics) को सीखता है।

TART को एक अनुभवी पायलट के रूप में समझें जिसके पास टैक्टिकल मोड्स (Tactical Modes) की एक मानसिक "चीट शीट" है।

चीट शीट (कोडबुक): हर एक छोटी हरकत को याद रखने के बजाय, TART समान स्थितियों को "मोड्स" में समूहबद्ध करता है।
- मोड A: "मैंने अभी एक मिसाइल दागी है; अब मुझे बचने और वापस घूमने की जरूरत है।"
- मोड B: "मेरे पास ईंधन कम है; मुझे ग्लाइड करना चाहिए और ऊर्जा बचानी चाहिए।"
- मोड C: "मैं एक भूलभुलैया (maze) में फंस गया हूँ; मुझे अपनी विशेष दीवार तोड़ने की शक्ति का उपयोग करने की आवश्यकता है।"

3. यह कैसे सीखता है: "टाइम-ट्रैवल" जासूस

TART इन मोड्स को कैसे सीखता है? यह कॉन्ट्रास्टिव लर्निंग (Contrastive Learning) नामक तकनीक का उपयोग करता है।

कल्पना कीजिए कि आप एक फिल्म देख रहे हैं, लेकिन आप केवल क्लिफहैंगर (वर्तमान क्षण) और अंत (भविष्य का परिणाम) देखते हैं।

खेल: TART को एक दृश्य दिखाया जाता है जहाँ रोबोट एक मिसाइल दागता है। फिर यह अनुमान लगाने की कोशिश करता है कि अगले 5 सेकंड की उड़ान कैसी दिखेगी।
परीक्षण: इसे वास्तविक अगले 5 सेकंड (सही "अंत") और कई नकली अंत (गलत भविष्य) दिखाए जाते हैं।
सबक: इसे यह सीखने की आवश्यकता है कि: "आह! जब मैं एक मिसाइल दागता हूँ, तो वास्तविक भविष्य बाईं ओर एक तीखा मोड़ है, न कि एक सीधी रेखा।"
इसे लाखों बार करने से, यह कारण संबंध (causal link) सीख जाता है: "क्रिया X, भविष्य Y का कारण बनती है।"

4. जादू: मल्टी-मोडैलिटी (आपका "अपना चुनाव करें" वाला रोमांच)

कभी-कभी, एक क्रिया कई अच्छे परिणामों की ओर ले जा सकती है।

परिदृश्य: आप एक मिसाइल दागते हैं।
विकल्प A: दुश्मन बाईं ओर मुड़ता है, इसलिए आपको दाईं ओर मुड़ना चाहिए।
विकल्प B: दुश्मन दाईं ओर मुड़ता है, इसलिए आपको बाईं ओर मुड़ना चाहिए।

पुराना AI आमतौर पर केवल एक औसत रास्ता चुनता है (जो दोनों के लिए बुरा हो सकता है)। हालाँकि, TART सीखता है कि "मिसाइल दागना" कई वैध विकल्पों का एक मेनु खोलता है। यह अपने विकल्पों को खुला रखता है, जो दुश्मन वास्तव में क्या करता है इसके आधार पर सर्वश्रेष्ठ चुनने के लिए तैयार रहता है। यह एक जैज़ संगीतकार की तरह है जो कॉर्ड प्रोग्रेशन (संसाधन की बाधा) को जानता है लेकिन भीड़ के आधार पर अलग-अलग सोलो (मैन्यूवर) को इम्प्रोवाइज कर सकता है।

5. परिणाम: खेल जीतना

शोधकर्ताओं ने दो दुनियाओं में TART का परीक्षण किया:

एक भूलभुलैया (Maze) में: रोबोट के पास सीमित "दीवार तोड़ने" वाले चार्ज थे। TART ने सीखा कि उन्हें सबसे तंग जगहों पर कैसे बचाया जाए और उन्हें ठीक उसी समय कैसे इस्तेमाल किया जाए जब उनकी आवश्यकता हो, बजाय इसके कि उन्हें बेकार में बर्बाद किया जाए। इसने अन्य किसी भी AI की तुलना में भूलभुलैया को तेजी से हल किया।
हवाई युद्ध (Air Combat): एक F-16 लड़ाकू विमान को मिसाइलों और रक्षात्मक फ्लेयर्स (flares) का प्रबंधन करना था। TART ने सीखा कि मिसाइल दागने के लिए एक विशिष्ट फॉलो-अप उड़ान पथ की आवश्यकता होती है ताकि हिट सुनिश्चित किया जा सके। इसने प्रतियोगिता की तुलना में अधिक डॉगफाइट्स जीतीं और अपने गोला-बारूद का अधिक कुशलता से उपयोग किया।

सारांश

TART एक स्मार्ट रणनीतिकार की तरह है जो हर चाल की "लागत" को समझता है।

यह केवल यह नहीं सोचता, "मैं गोली चलाऊंगा।"
यह सोचता है, "मैं गोली चला रहा हूँ। इससे मेरा गोला-बारूद खत्म हो रहा है। क्योंकि मेरे पास गोला-बारूद कम है, इसलिए मुझे अब जीवित रहने और जीतने के लिए इस विशिष्ट पैटर्न में उड़ना होगा।"

इन टेम्पोरल स्टोरीज (कैसे अतीत भविष्य को प्रभावित करता है) को सीखकर, TART ऐसे रोबोट बनाता है जो केवल प्रतिक्रिया देने वाले नहीं, बल्कि रणनीतिक रूप से उत्कृष्ट होते हैं, भले ही वे बहुत कम बजट पर चल रहे हों।

यहाँ शोध पत्र "Temporal Action Representation Learning for Tactical Resource Control and Subsequent Maneuver Generation" (TART) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

स्वायत्त रोबोटिक प्रणालियाँ अक्सर गतिशील वातावरण में सख्त संसाधन सीमाओं (जैसे, सीमित बैटरी, गोला-बारूद, या कम्प्यूटेशनल बजट) के तहत कार्य करती हैं। संबोधित किया जाने वाला मुख्य मुद्दा हाइब्रिड एक्शन स्पेस (Hybrid Action Spaces) के भीतर संसाधन सीमाओं के तहत सामरिक निर्णय लेना (Tactical Decision-Making under Resource Limits) है।

हाइब्रिड एक्शन स्पेस: इस समस्या में डिस्क्रीट क्रियाओं (संसाधन उपयोग, जैसे, मिसाइल दागना, बूस्ट का उपयोग करना) और निरंतर क्रियाओं (मैन्यूवर, जैसे, उड़ान नियंत्रण, स्टीयरिंग) का एक संयोजन शामिल है।
मौजूदा विधियों में मुख्य कमियाँ:
1. कारण संबंधी निर्भरता (Causal Dependency): पूर्ववर्ती हाइब्रिड-एक्शन सुदृढीकरण शिक्षण (Reinforcement Learning - RL) विधियाँ अक्सर एक डिस्क्रीट संसाधन निर्णय और उसके बाद के निरंतर मैन्यूवर की व्यवहार्यता और इष्टतमता पर पड़ने वाले प्रभाव के बीच के कारण संबंध को पकड़ने में विफल रहती हैं।
2. बहु-मोडालिटी (Multi-modality): सामरिक परिदृश्य अक्सर एक ही डिस्क्रीट निर्णय के लिए संदर्भ के आधार पर कई वैध भविष्य के मैन्यूवर की अनुमति देते हैं। मानक RL दृष्टिकोण अक्सर एक एकल प्रभावी नीति (dominant policy) की ओर झुक जाते हैं, जिससे इस विविधता की अनदेखी होती है।
3. कालिक सुसंगति (Temporal Coherence): मौजूदा विधियाँ अक्सर क्रियाओं को एकल-चरण की घटनाओं के रूप में मानती हैं न कि कालिक रूप से जुड़े अनुक्रमों के रूप में, जिससे दीर्घकालिक सामरिक निर्भरताओं को मॉडल करने में विफलता होती है।

2. कार्यप्रणाली: TART ढांचा (Methodology: TART Framework)

लेखक TART (Temporal Action Representation learning for Tactical resource control and subsequent maneuver generation) प्रस्तावित करते हैं। TART एक संरचित लेटेंट रिप्रजेंटेशन (latent representation) सीखता है जो संसाधन नियंत्रण और मैन्यूवर जनरेशन को एकीकृत करता है।

A. मुख्य उद्देश्य: पारस्परिक सूचना का अधिकतमकरण (Mutual Information Maximization)

TART ऐसे स्टेट-एक्शन रिप्रजेंटेशन सीखने का लक्ष्य रखता है जो स्टेट हिस्ट्री + वर्तमान डिस्क्रीट निर्णय और भविष्य के निरंतर मैन्यूवर अनुक्रम के बीच भविष्य कहने वाली जानकारी को कैप्चर करता है।

लक्ष्य: संदर्भ (state history $z_{t-K+1:t}$ और discrete action $u_{t,d}$ ) और भविष्य के निरंतर प्रक्षेपवक्र (continuous trajectory $u_{t:t+K-1,c}$ ) के बीच पारस्परिक सूचना (Mutual Information - MI) को अधिकतम करना।
फॉर्मूलेशन: $J_{TART} = I(u_{t:t+K-1,c}; [z_{t-K+1:t}, u_{t,d})$ ।
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि मानक धारणाओं के तहत, इस उद्देश्य को अधिकतम करने से Joint $Q^*$ -sufficiency प्राप्त होती है, जिसका अर्थ है कि सीखे गए रिप्रजेंटेशन बिना किसी हानि के इष्टतम क्रिया मूल्यों (optimal action values) का मूल्यांकन करने के लिए पर्याप्त जानकारी सुरक्षित रखते हैं।

B. InfoNCE के साथ कंट्रास्टिव लर्निंग (Contrastive Learning with InfoNCE)

चूंकि प्रत्यक्ष MI गणना अव्यवहार्य (intractable) है, TART InfoNCE लॉस के माध्यम से एक सुलभ लोअर बाउंड (lower bound) का उपयोग करता है:

संदर्भ (Context - $h_t$ ): स्टेट हिस्ट्री और डिस्क्रीट एक्शन से एनकोड किया गया।
भविष्य (Future - $p_t$ ): बाद के निरंतर मैन्यूवर अनुक्रम से एनकोड किया गया।
लॉस फंक्शन: मॉडल को सही भविष्य (पॉजिटिव पेयर) के साथ संदर्भ को संरेखित करने के लिए प्रशिक्षित किया जाता है, जबकि इसे बैच के अन्य प्रक्षेप पथों के भविष्य (नेगेटिव पेयर्स) से दूर धकेला जाता है। यह कालिक सुसंगति (temporal coherence) को लागू करता है।

C. सामरिक मोड के लिए वेक्टर क्वांटाइजेशन (Vector Quantization - VQ)

बहु-मोडालिटी को संभालने और व्याख्या योग्य रणनीतियाँ बनाने के लिए, निरंतर लेटेंट रिप्रजेंटेशन को एक डिस्क्रीट टैक्टिकल कोडबुक ( $\mathcal{C} = \{c_1, ..., c_M\}$ ) में क्वांटाइज किया जाता है।

प्रक्रिया: संदर्भ एम्बेडिंग $h_t$ को $\ell_2$ -नेरेस्ट नेबर के माध्यम से निकटतम कोडबुक प्रविष्टि $c_{i_t}$ से मैप किया जाता है।
परिणाम: यह एक डिस्क्रीट "टैक्टिक मोड" ( $q_t$ ) बनाता है जो एक आवर्ती सामरिक पैटर्न (जैसे, "आक्रामक पीछा करना," "रक्षात्मक बचाव") का प्रतिनिधित्व करता है।

D. फैक्टराइज्ड हाइब्रिड पॉलिसी (Factorized Hybrid Policy)

सीखा गया टैक्टिकल कोड $q_t$ पॉलिसी नेटवर्क को कंडीशन करता है, जिसे दो एक्टर्स में विभाजित किया गया है:

डिस्क्रीट एक्टर ( $\pi_d$ ): स्टेट के आधार पर संसाधन क्रिया (जैसे, मिसाइल दागना) चुनता है।
निरंतर एक्टर ( $\pi_c$ ): स्टेट, डिस्क्रीट एक्शन, और क्वांटाइज्ड टैक्टिक कोड $q_t$ के आधार पर निरंतर मैन्यूवर उत्पन्न करता है।

प्रशिक्षण: ढांचा एक ऑन-पॉलिसी वर्कफ़्लो (PPO) का उपयोग करता है जहाँ रिप्रजेंटेशन लर्निंग (कंट्रास्टिव + VQ) और पॉलिसी ऑप्टिमाइजेशन को इंटरलीव (interleave) किया जाता है।

3. प्रमुख योगदान (Key Contributions)

TART फ्रेमवर्क: एक नया रिप्रजेंटेशन लर्निंग फ्रेमवर्क जो विशेष रूप से हाइब्रिड एक्शन स्पेस के लिए डिज़ाइन किया गया है, जो डिस्क्रीट रिसोर्स यूसेज और निरंतर मैन्यूवर जनरेशन के बीच के कारण संबंध को स्पष्ट रूप से मॉडल करता है।
कालिक संरेखण और बहु-मोडालिटी: कंट्रास्टिव लर्निंग (कालिक संरेखण के लिए) और वेक्टर क्वांटाइजेशन (बहु-मोडल क्लस्टरिंग के लिए) का संयोजन एजेंट को एक एकल नियत (deterministic) नीति के बजाय विविध, संदर्भ-जागरूक सामरिक व्यवहार सीखने की अनुमति देता है।
सैद्धांतिक आधार: हाइब्रिड एक्शन सेटिंग्स के लिए $Q^*$ -sufficiency अवधारणाओं का विस्तार, जो इन रिप्रजेंटेशन का उपयोग वैल्यू-बेस्ड या एक्टर-क्रिटिक विधियों में करने के लिए एक सैद्धांतिक औचित्य प्रदान करता है।
अनुभवजन्य सत्यापन (Empirical Validation): दो अलग-अलग डोमेन में अत्याधुनिक बेसलाइनों की तुलना में श्रेष्ठ प्रदर्शन प्रदर्शित करने वाले व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो डोमेन में TART का मूल्यांकन किया: मेज़ नेविगेशन (सीमित बूस्ट/पेनेट्रेशन क्रियाएं) और हाई-फिडेलिटी एयर-टू-एयर कॉम्बैट (मिसाइलों/डिफेंस के साथ F-16)।

प्रदर्शन मेट्रिक्स:
- मेज़ नेविगेशन: TART ने HyAR, HPPO, और PDQN जैसे बेसलाइनों की तुलना में उच्चतम सफलता दर (Easy पर 97.2% तक, Hard पर 72.8%) प्राप्त की। इसने कम टाइम-टू-गोल (TTG) और अधिक कुशल पथ कवरेज भी दिखाया, विशेष रूप से गतिशील बाधाओं वाले "Hard" परिदृश्यों में जहाँ इसने डेडलॉक को हल करने के लिए "पेनेट्रेशन" क्रिया का प्रभावी ढंग से उपयोग किया।
- एयर-टू-एयर कॉम्बैट: TART ने Easy, Medium, और Hard परिदृश्यों में सभी बेसलाइनों को पछाड़ दिया (औसत सफलता दर 87.2% बनाम सर्वश्रेष्ठ बेसलाइन के लिए 77.4%)। महत्वपूर्ण रूप से, इसने संसाधनों को बर्बाद किए बिना ये लाभ प्राप्त किए, कम या तुलनीय शॉट्स-पर-एलमिनेशन (SPE) और टाइम-टू-एलमिनेशन (TTE) बनाए रखा।
एब्लेशन स्टडीज (Ablation Studies):
- कंट्रास्टिव लॉस ( $L_{NCE}$ ) को हटाने से प्रदर्शन में गिरावट आई और वेरिएंस बढ़ गया, जो कालिक संरेखण की आवश्यकता को सिद्ध करता है।
- वेक्टर क्वांटाइजेशन लॉस ( $L_{VQ}$ ) को हटाने से बहु-मोडल व्यवहारों को संभालने की क्षमता कम हो गई, जो डिस्क्रीट टैक्टिकल मोड के मूल्य की पुष्टि करती है।
गुणात्मक विश्लेषण (Qualitative Analysis):
- हीटमैप्स ने दिखाया कि TART एजेंट अधिक सीधे पथ लेते हैं और डेडलॉक को कुशलतापूर्वक हल करते हैं।
- कॉम्बैट में, TART ने संदर्भ-जागरूक समन्वय प्रदर्शित किया, जैसे कि एक मिसाइल दागना और तुरंत एक विशिष्ट रक्षात्मक मैन्यूवर निष्पादित करना (कारण निर्भरता), या टैक्टिकल कोड के आधार पर आक्रामक और रक्षात्मक मोड के बीच स्विच करना।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र स्वायत्त रोबोटों को वास्तविक दुनिया के सामरिक परिदृश्यों में तैनात करने में आने वाली एक महत्वपूर्ण बाधा को संबोधित करता है: वर्तमान RL विधियों की सीमित संसाधन उपयोग के साथ जटिल, निरंतर मैन्यूवर को प्रभावी ढंग से समन्वित करने में असमर्थता।

महत्व: TART यह प्रदर्शित करता है कि कालिक रूप से ग्राउंडेड, डिस्क्रीट सामरिक रिप्रजेंटेशन सीखने से एजेंट संसाधन खपत के परिणामों के बारे में तर्क करने में सक्षम होते हैं। यह केवल क्रिया चयन से आगे बढ़कर सामरिक योजना (strategic planning) की ओर बढ़ता है, जिससे एजेंट संसाधन-कुशल और सामरिक रूप से लचीले दोनों बन जाते हैं।
भावी कार्य: लेखक इसे वास्तविक हार्डवेयर बाधाओं (ऊर्जा, बैंडविड्थ) और मल्टी-एजेंट/लाइफलॉन्ग लर्निंग सेटिंग्स तक विस्तारित करने की योजना बना रहे हैं।

संक्षेप में, TART एक सीखे गए, बहु-मोडल टेम्पोरल रिप्रजेंटेशन के माध्यम से डिस्क्रीट रिसोर्स मैनेजमेंट और निरंतर नियंत्रण को एकीकृत करके हाइब्रिड कंट्रोल समस्याओं के लिए एक मजबूत समाधान प्रदान करता है, जो मौजूदा हाइब्रिड-एक्शन RL बेसलाइनों से काफी बेहतर प्रदर्शन करता है।