🤖 machine learning

PlatoLTL: Learning to Generalize Across Symbols in LTL Instructions for Multi-Task RL

PlatoLTL एक नवीन मल्टी-टास्क रिइन्फोर्समेंट लर्निंग दृष्टिकोण है जो प्रपोज़िशन को पैरामीटराइज्ड एटोमिक प्रेडिकेट्स के रूप में मॉडल करके और उन्हें एक विशेष आर्किटेक्चर के भीतर एम्बेड करके अनदेखे टास्क सिम्बल्स के लिए ज़ीरो-शॉट जनरलाइजेशन को सक्षम बनाता है, ताकि कंपोजिशनल LTL स्ट्रक्चर्स और पैरामेट्रिक वेरिएशंस दोनों को संभाला जा सके।

मूल लेखक: Jacques Cloete, Mathias Jackermeier, Ioannis Havoutis, Alessandro Abate

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jacques Cloete, Mathias Jackermeier, Ioannis Havoutis, Alessandro Abate

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "PlatoLTL" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके दिया गया विवरण है।

बड़ी समस्या: रोबोट की "शब्दावली" की सीमा

कल्पना कीजिए कि आप एक रोबोट को घर साफ करना सिखा रहे हैं। आप उसे निर्देश देते हैं जैसे, "लाल कप उठाओ," या "नीला कप उठाओ।"

वर्तमान रोबोट लर्निंग की दुनिया में, यदि आप रोबोट को एक लाल कप और एक नीले कप पर प्रशिक्षित करते हैं, तो वह उन विशिष्ट रंगों को पहचानना सीख जाता है। लेकिन यदि आप अचानक उससे हरा कप उठाने के लिए कहते हैं (एक ऐसा रंग जो उसने पहले कभी नहीं देखा), तो वह अक्सर भ्रमित हो जाता है। वह "हरे" को केवल एक और रंग मानने के बजाय एक पूरी तरह से नए, पराये विचार के रूप में देखता है।

रोबोट को हरा रंग समझाने के लिए, शोधकर्ताओं को आमतौर पर हर उस संभावित रंग, आकार और स्थान को पहले से प्रोग्राम करना पड़ता है जिसका रोबोट कभी सामना कर सकता है। यदि दुनिया में अनंत विविधताएँ हैं (जैसे लाल रंग के अनंत शेड्स या मानचित्र पर अनंत निर्देशांक/coordinates), तो यह तरीका विफल हो जाता है। यह बोलने शुरू करने से पहले ही हर संभव शब्द को शामिल करने वाली डिक्शनरी लिखने जैसा है।

समाधान: PlatoLTL (द "कॉन्सेप्ट" लर्नर)

इस पेपर के लेखकों, जैक्स क्लोट (Jacques Cloete) और ऑक्सफोर्ड की उनकी टीम ने PlatoLTL नामक एक नई विधि बनाई है।

रोबोट को विशिष्ट शब्दों (जैसे "RedCup" या "BlueCup") को याद करने के बजाय, वे उसे अवधारणाओं (concepts) (जैसे "कप" और "रंग") को समझना सिखाते हैं।

इसे इस प्रकार समझें:

पुराना तरीका: रोबोट के पास "लाल कप" के लिए एक फ्लैशकार्ड है, "नीले कप" के लिए एक फ्लैशकार्ड है, और "हरे कप" के लिए एक फ्लैशकार्ड है। यदि आप उसे "बैंगनी कप" दिखाते हैं, तो वह घबरा जाता है क्योंकि उसके पास उस चीज़ के लिए कोई फ्लैशकार्ड नहीं है।
PlatoLTL का तरीका: रोबोट "कप" की अवधारणा और "रंग" की अवधारणा को सीखता है। जब आप कहते हैं "बैंगनी कप उठाओ," तो रोबोट "कप" की अवधारणा को "बैंगनी" के विशिष्ट मान (value) के साथ जोड़ देता है। वह समझ जाता है कि "बैंगनी" वास्तव में "रंग" के डायल की एक विशिष्ट सेटिंग है, भले ही उसने पहले कभी बैंगनी रंग नहीं देखा हो।

यह कैसे काम करता है: "रेसिपी" की उपमा

यह पेपर रोबोट को निर्देश देने के लिए लिनियर टेम्पोरल लॉजिक (Linear Temporal Logic - LTL) नामक एक औपचारिक भाषा का उपयोग करता है। यह भाषा समय-आधारित कार्यों (जैसे, "किचन में जाओ, फिर कप उठाओ, जबकि कुत्ते से बचते रहो") के लिए एक सख्त रेसिपी की तरह है।

सामग्री (Predicates): शोधकर्ता निर्देश के हिस्सों को (जैसे "स्थान X पर" या "रंग Y") निश्चित शब्दों के रूप में नहीं, बल्कि टेम्पलेट्स या रेसिपी के रूप में देखते हैं।
- "लोकेशन 5" शब्द के बजाय, रोबोट एक टेम्पलेट देखता है: Location(x, y)।
- संख्याएं x और y केवल रेसिपी में डाली जाने वाली सामग्रियां हैं।
शेफ (न्यूरल नेटवर्क): रोबोट का मस्तिष्क (एक न्यूरल नेटवर्क) यह सीखता है कि इन सामग्रियों को कैसे मिलाया जाए। वह सीखता है कि यदि x 5 है और y 3 है, तो यह एक विशिष्ट स्थान है। यदि x 6 है और y 4 है, तो यह एक अलग स्थान है, लेकिन वहां पहुँचने का लॉजिक वही है।
परिणाम (जीरो-शॉट जनरलाइजेशन): क्योंकि रोबोट ने केवल सामग्रियों (विशिष्ट संख्याओं) को याद करने के बजाय रेसिपी (संरचना) को सीखा है, इसलिए वह नई संख्याओं वाले नए निर्देश को तुरंत संभाल सकता है। इसे जीरो-शॉट जनरलाइजेशन (zero-shot generalization) कहा जाता है। यह एक ऐसे शेफ की तरह है जो केक बनाना जानता है, इसलिए वह चॉकलेट केक भी बना सकता है भले ही उसने पहले केवल वैनिला और लेमन केक ही बनाए हों।

"Plato" का संबंध

लेखकों ने प्राचीन ग्रीक दार्शनिक प्लेटो और उनके "थ्योरी ऑफ फॉर्म्स" (Theory of Forms) को सम्मान देने के लिए इसका नाम PlatoLTL रखा है।

प्लेटो का मानना था कि वास्तविक दुनिया में प्रत्येक वस्तु (एक विशिष्ट, अपूर्ण कुर्सी) के लिए, उस वस्तु का एक पूर्ण, अमूर्त "रूप" (Form) होता है (आदर्श कुर्सी)।
इस पेपर में, "रूप" (Form) एटॉमिक प्रेडिकेट (Atomic Predicate) (सामान्य अवधारणा, जैसे "स्थान पर") है।
विशिष्ट कार्य (जैसे "स्थान 5,5 पर") उस "रूप" के "अपूर्ण प्रतिरूप" या उदाहरण हैं।
PlatoLTL रोबोट को "रूपों" को समझने के लिए सिखाता है ताकि वह किसी भी "प्रतिरूप" को तुरंत पहचान सके।

उन्होंने क्या परीक्षण किया

टीम ने यह देखने के लिए चार अलग-अलग "वीडियो गेम" वातावरण में इसका परीक्षण किया कि क्या रोबोट नए, अनदेखे निर्देशों को संभाल सकता है:

RGBZoneEnv: एक 2D मानचित्र पर नेविगेट करने वाला रोबोट जिसमें रंगीन ज़ोन हैं। रंग लगातार बदल रहे थे। रोबोट को उन विशिष्ट रंगों पर जाना था जिन्हें उसने प्रशिक्षण के दौरान कभी नहीं देखा था।
XYZEnv और XYXYEnv: 3D स्पेस में चलते हुए या एक साथ दो बिंदुओं को नियंत्रित करने वाले रोबोट। उन्हें रैंडम और अनदेखे निर्देशांकों (coordinates) तक पहुँचना था।
FalloutWorld: एक ग्रिड-आधारित रोबोट जो रेडियोधर्मी मानचित्र पर नेविगेट कर रहा है। उसे विशिष्ट ग्रिड निर्देशांकों पर जाना था और साथ ही विशिष्ट रेडिएशन स्तरों से बचना था, जो सभी रैंडमाइज्ड थे।

परिणाम

पेपर का दावा है कि PlatoLTL पिछले अत्याधुनिक (state-of-the-art) तरीकों की तुलना में काफी बेहतर था:

गति (Speed): इसने बहुत तेज़ी से सीखा। जबकि अन्य तरीके संघर्ष करते थे जैसे-जैसे निर्देशों की संख्या बढ़ती गई, PlatoLTL स्थिर रहा।
सफलता दर (Success Rate): एक पूरी तरह से नए रंग, स्थान या रेडिएशन स्तर (जो उसने पहले कभी नहीं देखा था) के साथ दिए जाने पर, PlatoLTL लगभग 100% बार सफल रहा। अन्य तरीके विफल हो गए या बहुत खराब प्रदर्शन कर गए क्योंकि वे अपनी डिक्शनरी में मौजूद न होने वाले शब्द के लिए "फ्लैशकार्ड" खोजने में फंसे हुए थे।
दक्षता (Efficiency): रोबोट केवल सफल ही नहीं हुआ; उसने लक्ष्य तक पहुँचने के लिए सबसे छोटा रास्ता भी खोजा, जबकि अन्य तरीके अक्सर भटक जाते थे या बहुत अधिक समय लेते थे।

सारांश

PlatoLTL रोबोट को जटिल, समय-आधारित कार्य सिखाने का एक नया तरीका है। हर एक संभावित निर्देश को याद करने के बजाय, यह रोबोट को निर्देशों की अंतर्निहित संरचना (structure) सिखाता है। यह रोबोट को उन नए नंबरों, रंगों या स्थानों वाले कार्यों को तुरंत समझने और करने की अनुमति देता है जिन्हें उसने पहले कभी नहीं देखा है, क्योंकि वह कार्य के पीछे की "रेसिपी" को समझता है।

तकनीकी सारांश: PlatoLTL

समस्या विवरण (Problem Statement)

मल्टी-टास्क सुदृढीकरण शिक्षण (Multi-task Reinforcement Learning - RL) में एक केंद्रीय चुनौती ऐसे सामान्यज्ञ नीतियों (generalist policies) को प्रशिक्षित करना है जो प्रशिक्षण के दौरान न देखे गए कार्यों को करने में सक्षम हों। जबकि लीनियर टेम्पोरल लॉजिक (Linear Temporal Logic - LTL) संरचित, समय-विस्तारित कार्यों को निर्दिष्ट करने के लिए एक शक्तिशाली औपचारिकता के रूप में उभरा है, मौजूदा LTL-निर्देशित RL दृष्टिकोण एक गंभीर सीमा का सामना करते हैं: वे प्रस्तावों (propositions/symbols) की अनदेखी शब्दावलियों (unseen vocabularies) तक सामान्यीकरण (generalize) नहीं कर सकते। वर्तमान विधियों के लिए सभी वैध LTL विशिष्टताओं को पूर्व-निर्धारित ज्ञात परमाणु प्रस्तावों (atomic propositions) की एक निश्चित, असतत शब्दावली से संयोजित करना आवश्यक होता है। यह उन कार्यों में उनकी प्रयोज्यता को प्रतिबंधित करता है जहाँ प्रस्ताव निरंतर चरों (continuous variables) द्वारा पैरामीटराइज्ड होते हैं (जैसे, किसी विशिष्ट निर्देशांक $(x, y)$ पर किसी वस्तु को उठाना या कोण $\theta$ द्वारा एक वाल्व को घुमाना)। मौजूदा समाधान या तो पैरामीटर स्पेस को विविक्त (discretize) करते हैं, जो रिज़ॉल्यूशन के साथ खराब स्केल करता है, या अवलोकनों (observations) में पैरामीटर जोड़ते हैं, जो मल्टी-टास्क सेटिंग्स में खराब स्केल करता है और संबंधित प्रस्तावों के बीच साझा संरचना सीखने में विफल रहता है।

कार्यप्रणाली: PlatoLTL (Methodology: PlatoLTL)

लेखक PlatoLTL (LTL में टेम्पोरल उद्देश्यों के लिए पैरामीटराइज्ड लॉजिक आर्किटेक्चर) का प्रस्ताव करते हैं, जो एक नया दृष्टिकोण है जो नीतियों को LTL संरचनाओं के माध्यम से कंपोजिशनली (compositionally) और प्रस्तावों के माध्यम से पैरामीट्रिक रूप से (parametrically) ज़ीरो-शॉट सामान्यीकरण (zero-shot generalize) करने में सक्षम बनाता है।

मुख्य अवधारणा: पैरामीटराइज्ड प्रेडिकेट्स (Core Concept: Parameterized Predicates)

असतत टोकन के रूप में अलग-अलग परमाणु प्रस्तावों के बजाय, PlatoLTL उन्हें विशिष्ट पैरामीटर मानों वाले परमाणु प्रेडिकेट्स (atomic predicates) के उदाहरणों के रूप में मॉडल करता है। एक प्रस्ताव $p$ को $p = f(x_f)$ के रूप में परिभाषित किया जाता है, जहाँ $f$ एक परमाणु प्रेडिकेट है (एक बुलियन-मूल्य वाला फलन जो वातावरण के बारे में सत्य कथन का प्रतिनिधित्व करता है) और $x_f$ निश्चित पैरामीटर हैं। यह नीति को प्रेडिकेट प्रकार और उसके पैरामीटर्स पर निर्भर करके संबंधित प्रस्तावों के बीच साझा संरचना सीखने की अनुमति देता है।

आर्किटेक्चर (Architecture)

यह दृष्टिकोण एक गोल-कंडीशन्ड (goal-conditioned) RL फ्रेमवर्क का उपयोग करता है जहाँ नीति $\pi(a | s, \phi)$ को LTL विशिष्टता $\phi$ पर कंडिशन किया जाता है। आर्किटेक्चर के तीन घटक हैं:

प्रेडिकेट इंस्टेंस एम्बेडिंग (Predicate Instance Embedding):
- एक परमाणु प्रस्ताव $p = f(x_f)$ को उसके प्रेडिकेट टोकन $f$ और पैरामीटर्स $x_f$ में विभाजित किया जाता है।
- प्रेडिकेट $f$ को एक सीख योग्य एम्बेडिंग $\phi_{prd}(f)$ में मैप किया जाता है।
- पैरामीटर्स $x_f$ को प्रेडिकेट-विशिष्ट पैरामीटर एम्बेडिंग नेटवर्क $\rho_f(\cdot)$ के माध्यम से पास किया जाता है।
- इन एम्बेडिंग्स को संयोजित (concatenate) किया जाता है और प्रेडिकेट-विशिष्ट नेटवर्क $f_f(\cdot)$ के माध्यम से फ्यूज किया जाता है ताकि प्रस्ताव एम्बेडिंग $\phi(p)$ प्राप्त हो सके। यह बेस प्रेडिकेट एम्बेडिंग का एक सीखा हुआ रूपांतरण है जो पैरामीटर्स द्वारा मॉड्युलेट किया गया है।
अनुक्रम संयोजन (Sequence Composition):
- LTL विशिष्टताओं को लिमिट-डिटरमिनिस्टिक बुची ऑटोमेटा (Limit-Deterministic Büchi Automata - LDBAs) में परिवर्तित किया जाता है।
- LDBA से एक रीच-अवॉयड सीक्वेंस (reach-avoid sequence) के बुलियन फॉर्मुला निकाला जाता है, जो एक स्वीकार्य चक्र (accepting cycle) की ओर पथ का प्रतिनिधित्व करता है।
- अनुक्रम में प्रत्येक बुलियन फॉर्मुला को एक एब्स्ट्रैक्ट सिंटैक्स ट्री (AST) के रूप में दर्शाया जाता है।
- एक ग्राफ कन्वोल्यूशनल नेटवर्क (GCN) इन ASTs को प्रोसेस करता है, जो लीफ नोड्स के लिए प्रेडिकेट एम्बेडिंग्स और लॉजिकल ऑपरेटर्स के लिए सीख योग्य एम्बेडिंग्स का उपयोग करता है, जिससे फॉर्मुला एम्बेडिंग्स प्राप्त होती हैं।
- एक गेटेड रिकरेंट यूनिट (GRU) फॉर्मुला एम्बेडिंग्स के अनुक्रम को (पीछे-से-आगे) प्रोसेस करता है ताकि एक एकल कार्य एम्बेडिंग उत्पन्न की जा सके।
नीति निष्पादन (Policy Execution):
- पॉलिसी नेटवर्क (एक्टर-क्रिटिक) स्टेट एम्बेडिंग (वातावरण अवलोकनों से) और टास्क एम्बेडिंग को संयोजित (concatenate) करता है।
- LDBA $\epsilon$ -ट्रांजिशन (अनऑब्जर्व्ड जम्प्स) को संभालने के लिए, एक्शन स्पेस को एक विशेष $\epsilon$ -एक्शन के साथ ऑगमेंट किया जाता है। नीति यह अनुमान लगाना सीखती है कि इन ट्रांजिशन को कब ट्रिगर करना है।
- मूल्यांकन (evaluation) के समय, यदि LDBA स्टेट बदलता है, तो एक नया रीच-अवॉयड सीक्वेंस निकाला जाता है, और नीति को इस नए अनुक्रम पर पुनः कंडिशन किया जाता है।

प्रशिक्षण (Training)

PlatoLTL को PPO (Proximal Policy Optimization) का उपयोग करके एंड-टू-एंड प्रशिक्षित किया जाता है, जिसमें चुनौतीपूर्ण रीच-अवॉयड अनुक्रमों का एक करिकुलम (curriculum) होता है। महत्वपूर्ण रूप से, प्रशिक्षण अनुक्रमों को विशिष्ट LTL विशिष्टताओं से बांधने के बजाय, मनमाने अनुक्रमों के वितरण से सैंपल किया जाता है, जिससे नीति प्रेडिकेट इंस्टेंस की अंतर्निहित संरचना को सीख पाती है और अनदेखी विशिष्टताओं पर सामान्यीकरण कर पाती है।

प्रमुख योगदान (Key Contributions)

पैरामीट्रिक मॉडलिंग: LTL प्रस्तावों को परमाणु प्रेडिकेट्स के पैरामीटराइज्ड इंस्टेंस के रूप में मॉडल करने का प्रस्ताव, जो निरंतर पैरामीटर स्पेस में सामान्यीकरण को सक्षम बनाता है।
नया आर्किटेक्चर: एक न्यूरल नेटवर्क आर्किटेक्चर जो अर्थपूर्ण रूप से प्रेडिकेट पैरामीटर्स को एम्बेडिंग्स में मैप करता है और ASTs एवं सीक्वेंस मॉडलिंग के माध्यम से LTL फॉर्मुला को कंपोज करता है।
ज़ीरो-शॉट सामान्यीकरण: यह प्रदर्शन करना कि PlatoLTL कंपोजिशनली (LTL संरचनाओं के माध्यम से) और पैरामीट्रिक रूप से (अनदेखे प्रस्तावों के माध्यम से) दोनों तरह से ज़ीरो-शॉट सामान्यीकरण प्राप्त करता है।
नए बेंचमार्क: चार नए प्रेडिकेट-आधारित बेंचमार्क वातावरण (RGBZoneEnv, XYZEnv, XYXYEnv, FalloutWorld) का परिचय, जो जटिल, पैरामीटराइज्ड LTL विशिष्टताओं का समर्थन करते हैं और मौजूदा साहित्य का विस्तार करते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो स्टेट-ऑफ-द-आर्ट बेसलाइन्स (DeepLTL, LTL-GNN) और पैरामीटराइजेशन-आधारित विधियों (Naïve, SIAMS) की तुलना में PlatoLTL के बेहतर प्रदर्शन और अभिसरण (convergence) गति को दर्शाते हैं।

परिणाम (Results)

प्रयोग प्रस्तावों के असतत (discrete) सेट और निरंतर (continuous) सेट दोनों पर किए गए।

डिस्क्रीट सामान्यीकरण (Discrete Generalization): अनदेखे मूल्यांकन प्रस्तावों पर, PlatoLTL ने प्रशिक्षण प्रस्तावों के बराबर प्रदर्शन बनाए रखा (जैसे, RGBZoneEnv में ~99% सफलता दर), जबकि बेसलाइन्स (DeepLTL, LTL-GNN) सामान्यीकरण करने में विफल रहे, जिससे काफी कम सफलता दर देखी गई।
निरंतर सामान्यीकरण (Continuous Generalization): निरंतर प्रस्तावों वाले वातावरण में (XYZEnv, XYXYEnv), बेसलाइन्स ने पैरामीटर्स तक पहुँच होने के बावजूद लगभग शून्य सफलता दर प्राप्त की। PlatoLTL ने उच्च सफलता दर (जैसे, XYZEnv में >95%) और कम एपिसोड लंबाई हासिल की।
अभिसरण (Convergence): PlatoLTL बेसलाइन्स की तुलना में काफी तेजी से अभिसरण हुआ। जैसे-जैसे प्रशिक्षण प्रस्तावों की संख्या बढ़ी, बेसलाइन्स की अभिसरण दर लगातार घटती गई (जिसके लिए बड़े शब्दावलियों के लिए अव्यवहारिक प्रशिक्षण समय की आवश्यकता थी), जबकि PlatoLTL मजबूत रहा और अप्रभावित रहा।
एम्बेडिंग संरचना (Embedding Structure): PCA ने खुलासा किया कि PlatoLTL ने एक निम्न-आयामी (low-dimensional), संरचित एम्बेडिंग स्पेस सीखा है जहाँ संबंधित प्रस्ताव (जैसे, विभिन्न RGB रंग) सुसंगत ज्यामिति (जैसे, एक क्यूब) बनाते हैं, जबकि बेसलाइन्स शोर (noise) की तरह दिखने वाले बिखरे हुए, उच्च-आयामी एम्बेडिंग्स उत्पन्न करते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि PlatoLTL न्यूरो-सिंबोलिक RL की एक मौलिक सीमा को संबोधित करता है: प्रस्तावों की अनदेखी शब्दावलियों तक सामान्यीकरण करने में असमर्थता। प्रस्तावों को परमाणु प्रेडिकेट्स के पैरामीटराइज्ड इंस्टेंस के रूप में मानकर, यह दृष्टिकोण कार्य पैरामीटर्स और वातावरण के बीच ग्राउंडेड एसोसिएशन (grounded associations) को सीखता है।

लेखक PlatoLTL को एक ऐसे एजेंट बनाने की दिशा में एक कदम के रूप में देखते हैं जो बिना किसी निश्चित, डिस्क्रीट शब्दावली की आवश्यकता के मनमाने जटिल, लॉन्ग-होराइजन कार्यों को करने में सक्षम हो। वे नोट करते हैं कि हालांकि यह दृष्टिकोण प्रेडिकेट्स के a priori ज्ञात होने पर निर्भर करता है (एक सीमा जो पिछले कार्यों में भी है, हालांकि यह अधिक सामान्य है), यह पैरामीटराइज्ड सेटिंग्स में स्केलेबिलिटी और सामान्यीकरण में महत्वपूर्ण सुधार करता है। उनका कार्य सुझाव देता है कि इस बैकबोन को अन्वेषण दक्षता (exploration efficiency) और मजबूती (robustness) के तरीकों के साथ जोड़ने से उच्च-आयामी, वास्तविक दुनिया के रोबोटिक कार्यों तक स्केलिंग संभव हो सकती है। लेखक विनम्रतापूर्वक कहते हैं कि भविष्य के कार्यों को इन संयोजनों और ग्राउंडेड प्रेडिकेट्स की स्वचालित खोज की जांच करनी चाहिए।