🤖 AI

Neuro-Symbolic Injection of LTLf Constraints in Autoregressive Reinforcement Learning Policies

यह शोधपत्र एक न्यूरो-सिंबोलिक फ्रेमवर्क प्रस्तावित करता है जो विनिर्देशों (specifications) को विभेदनीय नियतात्मक परिमित ऑटोमेटा (differentiable deterministic finite automata) में संकलित करके, ट्रांसफॉर्मर-आधारित ऑटोरिग्रेसिव सुदृढीकरण शिक्षण (reinforcement learning) नीतियों में सीमित ट्रेसेस पर लीनियर टेम्पोरल लॉजिक (LTLf) बाधाओं को एकीकृत करता है, जिससे ऑफलाइन आरएल (RL) कार्यों में प्रतिस्पर्धी प्रतिफल बनाए रखते हुए बाधा संतुष्टि में सुधार होता है।

मूल लेखक: Ashkan Ansarifard (Sapienza University of Rome), Matteo Mancanelli (Sapienza University of Rome), Elena Umili (Sapienza University of Rome), Fabio Patrizi (Sapienza University of Rome)

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ashkan Ansarifard (Sapienza University of Rome), Matteo Mancanelli (Sapienza University of Rome), Elena Umili (Sapienza University of Rome), Fabio Patrizi (Sapienza University of Rome)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: रोबोट को बिना 'ट्रायल-एंड-एरर' के नियम मानना सिखाना

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में रास्ता खोजना सिखाने की कोशिश कर रहे हैं। वास्तविक दुनिया में, यदि रोबोट किसी दीवार से टकराता है, तो वह सीखता है "आह, ऐसा मत करो।" लेकिन ऑफलाइन रीइन्फोर्समेंट लर्निंग (Offline Reinforcement Learning) में, रोबोट को वास्तविक दुनिया को छूने की अनुमति नहीं होती है। वह केवल किसी और द्वारा किए गए पिछले प्रयासों के एक विशाल फोटो एल्बम का अध्ययन कर सकता है।

समस्या क्या है? फोटो एल्बम में मौजूद रोबोट ने गलतियाँ की होंगी। यदि आप बस रोबोट को "अधिकतम अंक प्राप्त करने" के लिए कहते हैं, तो वह उन गलतियों की नकल करना सीख सकता है क्योंकि अतीत में उनसे उच्च स्कोर मिले थे, भले ही वे खतरनाक क्यों न थीं।

यह पेपर इन रोबोटों को सिखाने का एक नया तरीका पेश करता है: न्यूरो-सिंबोलिक इंजेक्शन (Neuro-Symbolic Injection)। इसे एक सख्त, तार्किक भाषा (LTLf) में लिखे गए "नियमों की किताब" के रूप में समझें और रोबोट को फोटो एल्बम से सीखते समय उस नियम पुस्तिका का अध्ययन करने के लिए मजबूर करें।

मुख्य समस्या: "रिवॉर्ड ट्रैप" (इनाम का जाल)

मानक AI मॉडल (जैसे इस पेपर में उपयोग किए गए मॉडल, जिन्हें ट्रांसफॉर्मर कहा जाता है) उन प्रतिभाशाली छात्रों की तरह हैं जो 'A' ग्रेड (रिवॉर्ड को अधिकतम करना) पाने के लिए जुनूनी होते हैं। वे फोटो एल्बम देखते हैं और कहते हैं, "ठीक है, मैं देख रहा हूँ कि इस तस्वीर में रोबोट बम पर चला गया, लेकिन बाद में उसे बहुत बड़ा रिवॉर्ड मिला। मैं भी यही करूँगा!"

लेकिन सुरक्षा-महत्वपूर्ण स्थितियों में (जैसे सेल्फ-ड्राइविंग कार या मेडिकल रोबोट), बम पर पैर रखना "गेम ओवर" है। आप सिर्फ यह नहीं कह सकते कि "खैर, मुझे बाद में रिवॉर्ड मिल गया था।" आपको यह सुनिश्चित करने की आवश्यकता है कि रोबोट कभी भी बम पर पैर न रखे, भले ही इसका मतलब लंबा रास्ता लेना ही क्यों न हो।

समाधान: "ट्रैफिक पुलिस" और "लॉजिक इंजन"

लेखकों ने एक ऐसा सिस्टम बनाया है जो छात्र रोबोट के साथ पढ़ाई करते समय एक ट्रैफिक पुलिस (Traffic Cop) की तरह खड़ा रहता है।

नियमों की किताब (LTLf): "सुरक्षित रहें" जैसे अस्पष्ट निर्देशों के बजाय, शोधकर्ता लीनियर टेम्पोरल लॉजिक (Linear Temporal Logic) का उपयोग करते हैं। यह एक सटीक कानूनी अनुबंध की तरह है।
- बुरा निर्देश: "बमों से बचने की कोशिश करें।"
- LTLf निर्देश: "आपको हमेशा बमों से बचना होगा, और आपको अंततः लक्ष्य तक पहुँचना होगा।"
- यह पूरी यात्रा को कवर करता है, न कि केवल अगले कदम को।
ट्रैफिक पुलिस (DFA): कंप्यूटर उस कानूनी अनुबंध को एक डिटरमिनिस्टिक फाइनाइट ऑटोमेटन (DFA) में बदल देता है। एक फ्लोचार्ट या बोर्ड गेम मैप की कल्पना करें।
- हर बार जब रोब सहित अपने प्रशिक्षण में एक कदम उठाता है, तो ट्रैफिक पुलिस फ्लोचार्ट की जाँच करती है।
- "क्या आपने बम पर पैर रखा? नहीं? अच्छा, अगले वर्ग (square) पर बढ़ें।"
- "क्या आपने बम पर पैर रखा? हाँ? रुकिए। अब आप 'फेल' ज़ोन में हैं।"
"सॉफ्ट" इशारा (Differentiable Loss): यहीं असली जादू है। आमतौर पर, एक फ्लोचार्ट कठोर होता है: या तो आप सुरक्षित हैं या आप खत्म हो गए। लेकिन रोबोट अपने मस्तिष्क में सूक्ष्म समायोजन करके सीखता है (गणितीय रूपनों में)। आप एक "डेड" स्टेट (मृत अवस्था) को एडजस्ट नहीं कर सकते।
- लेखकों ने ट्रैफिक पुलिस को डिफरेंशिएबल (Differentiable) बनाया है। इसका मतलब है कि पुलिस केवल "फेल" नहीं कहती; वह कहती है, "आप 90% सुरक्षित हैं, लेकिन आप खतरे के क्षेत्र के करीब पहुँच रहे हैं। कृपया खतरे से दूर जाने के लिए अपने मस्तिष्क को थोड़ा समायोजित करें।"
- यह एक लॉजिक लॉस (Logic Loss) बनाता है। यह एक शिक्षक की तरह है जो छात्र को न केवल अंतिम परीक्षा पर, बल्कि उनके होमवर्क के हर एक कदम पर ग्रेड देता है, जिससे उन्हें घातक गलती करने से पहले ही धीरे से सुधारा जा सके।

उन्होंने इसका परीक्षण कैसे किया: "कलरबॉम्ब" (ColourBomb) गेम

उन्होंने एक ग्रिड-वर्ल्ड गेम में इसका परीक्षण किया जिसे ColourBomb कहा जाता है।

लक्ष्य: रंगीन निकास (exit) तक पहुँचना।
खतरा: लाल "बम" सेल जो खेल को तुरंत समाप्त कर देते हैं।
चुनौती: रोबोट को बिना कभी बम पर पैर रखे लक्ष्य तक पहुँचना सीखना था।

उन्होंने दो प्रकार के AI मॉडल की तुलना की:

डिसीजन ट्रांसफॉर्मर (Decision Transformer - DT): एक मॉडल जो इतिहास के आधार पर अगला निर्णय लेता है।
ट्रैजेक्टरी ट्रांसफॉर्मर (Trajectory Transformer - TT): एक मॉडल जो पूरे रास्ते की भविष्यवाणी एक साथ करता है।

परिणाम: "अराजकता" से "चैंपियन" तक

लॉजिक पुलिस के बिना (बेसलाइन):
रोबोट विनाशकारी थे। वे बमों से टकराते रहे क्योंकि वे केवल उन्हें दिए गए बिखरे हुए डेटा के आधार पर अंक अधिकतम करने की कोशिश कर रहे थे। वे लगभग 100% समय सुरक्षित रूप से लक्ष्य तक पहुँचने में विफल रहे।

लॉजिक पुलिस के साथ (नई विधि):
"लॉजिक लॉस" (ट्रैफिक पुलिस के कोमल इशारों) को जोड़ने से परिणाम नाटकीय रूप से बदल गए:

सुरक्षा: रोबोटों ने बमों से टकराना बंद कर दिया। उन्होंने सर्वोत्तम सेटिंग्स में 100% सुरक्षा हासिल की।
सफलता: वे सफलतापूर्वक लक्ष्य तक पहुँचे।
प्रदर्शन: वे केवल सुरक्षित ही नहीं हुए; वे असुरक्षित रोबोटों की तुलना में वास्तव में बेहतर स्कोर भी प्राप्त कर गए क्योंकि उन्होंने मरने और फिर से शुरू करने में समय बर्बाद नहीं किया।

ट्रेड-ऑफ: सही संतुलन ढूँढना

शोधकर्ताओं ने एक "गोल्डिलॉक्स" ज़ोन (सही संतुलन वाला क्षेत्र) पाया।

यदि लॉजिक पुलिस बहुत कमजोर थी (बहुत कम "इशारा"), तो रोबोट नियमों को अनदेखा कर देता था और बमों से टकरा जाता था।
यदि लॉजिक पुलिस बहुत मजबूत थी, तो रोबोट नियमों से इतना डर जाता था कि वह जम जाता और कभी आगे नहीं बढ़ पाता (वह सुरक्षित तो था, लेकिन लक्ष्य तक भी नहीं पहुँच पाता था)।
पुलिस की "शक्ति" (एक पैरामीटर जिसे $\alpha$ कहा जाता है) को ट्यून करके, उन्होंने वह आदर्श संतुलन खोजा जहाँ रोबोट सुरक्षित भी था और सफल भी।

सारांश

यह पेपर दिखाता है कि आप एक AI को सख्त, जटिल सुरक्षा नियमों (जैसे "हमेशा X से बचें, लेकिन अंततः Y करें") का पालन करना सिखा सकते हैं, भले ही आप उसे वास्तविक दुनिया में अभ्यास करने की अनुमति न दे सकें। उन नियमों को एक गणितीय "फ्लोचार्ट" में बदलकर और उसका उपयोग AI की सीखने की प्रक्रिया को धीरे से सुधारने के लिए करके, उन्होंने ऐसे रोबोट बनाए जो केवल रिवॉर्ड के आधार पर प्रशिक्षित रोबोटों की तुलना में बहुत अधिक सुरक्षित और विश्वसनीय हैं।

मुख्य बात: आपको रोबोट के पूरे मस्तिष्क या उसके द्वारा अध्ययन किए जाने वाले डेटा को फिर से लिखने की आवश्यकता नहीं है। आपको बस एक "लॉजिक लेयर" जोड़ने की आवश्यकता है जो एक निरंतर, कोमल मार्गदर्शक के रूप में कार्य करे, यह सुनिश्चित करते हुए कि रोबोट शुरुआत से ही सही आदतें सीखे।

तकनीकी सारांश: ऑटोरेग्रेसिव सुदृढीकरण शिक्षण (Reinforcement Learning) नीतियों में LTL $_f$ बाधाओं का न्यूरो-सिम्बोलिक इंजेक्शन

समस्या विवरण
ऑफलाइन सुदृढीकरण शिक्षण (RL) में, एजेंट केवल पूर्व-संग्रहित डेटासेट से विशेष रूप से नीतियां सीखते हैं, जिसमें ऑनलाइन इंटरेक्शन (interaction) नहीं होता है। जबकि हालिया सीक्वेंस-मॉडलिंग दृष्टिकोणों, जैसे कि ट्राजेक्टरी ट्रांसफॉर्मर (TT) और डिसीजन ट्रांसफॉर्मर (DT) ने RL को एक सीक्वेंस जनरेशन समस्या के रूप में सफलतापूर्वक फ्रेम किया है, वे आमतौर पर केवल संचयी रिवॉर्ड (cumulative reward) के लिए अनुकूलन करते हैं। यह सुरक्षा-महत्वपूर्ण डोमेन (जैसे, रोबोटिक्स, स्वायत्त नेविगेशन) में एक महत्वपूर्ण अंतराल पैदा करता है जहाँ नीतियों को उच्च-स्तरीय, टेम्पोरल रूप से विस्तृत बाधाओं का पालन करना चाहिए। मानक रिवॉर्ड-आधारित अनुकूलन यह गारंटी नहीं दे सकता कि एक नीति जटिल टेम्पोरल लॉजिक आवश्यकताओं को पूरा करेगी, जैसे कि "लक्ष्य तक पहुँचना जबकि हमेशा खतरों से बचना," विशेष रूप से तब जब उल्लंघन को ऑफलाइन सेटिंग में ट्रायल-एंड-एरर एक्सप्लोरेशन के माध्यम से ठीक नहीं किया जा सकता है।

कार्यप्रणाली (Methodology)
लेखक एक न्यूरो-सिम्बोलिक फ्रेमवर्क प्रस्तावित करते हैं जो ऑटोरेग्रेसिव ट्रांसफॉर्मर-आधारित नीतियों के प्रशिक्षण प्रक्रिया में सीधे 'लीनियर टेम्पोरल लॉजिक ओवर फाइनाइट ट्रेसेस' (LTL $_f$ ) बाधाओं को इंजेक्ट करता है। मुख्य कार्यप्रणाली में तीन मुख्य घटक शामिल हैं:

LTL $_f$ से DFA कंपाइलेशन: उच्च-स्तरीय टेम्पोरल स्पेसिफिकेशन को डिटरमिनिस्टिक फाइनाइट ऑटोमेटा (DFA) में संकलित किया जाता है। यह अनुवाद लॉजिकल बाधाओं को ऐसे स्टेट-ट्रांजिशन सिस्टम के रूप में प्रस्तुत करने की अनुमति देता है जो टोकन के अनुक्रमों (sequences) को प्रोसेस कर सकते हैं।
डिफरेंशिएबल लॉजिक लॉस: न्यूरल नेटवर्क के निरंतर अनुकूलन में इन डिस्क्रीट ऑटोमेटा को एकीकृत करने के लिए, लेखक एक डिफरेंशिएबल प्रतिनिधित्व का उपयोग करते हैं।
- सॉफ्ट सैटिस्फैक्शन सिग्नल्स: हार्ड सैंपलिंग के बजाय, फ्रेमवर्क ट्रेनिंग के दौरान डिफरेंशिएबल, नियर-वन-हॉट टोकन वेक्टर्स उत्पन्न करने के लिए गम्बल-सॉफ्टमैक्स (Gumbel-Softmax) सैंपलिंग का उपयोग करता है।
- DeepDFA इंटीग्रेशन: इन सॉफ्ट टोकन्स को एक "DeepDFA" में फीड किया जाता है, जो मानक DFA का एक न्यूरल रिलैक्सेशन है। यह मॉड्यूल एक संभाव्य सैटिस्फैक्शन सिग्नल की गणना करता है जो इस बात की संभावना बताता है कि उत्पन्न ट्राजेक्टरी LTL $_f$ फॉर्मूला को संतुष्ट करती है।
- रेगुलराइजेशन: एक लॉजिक लॉस फंक्शन ( $L_\phi$ ) निकाला जाता है जो सैटिस्फैक्शन के नेगेटिव लॉग-प्रोबेबिलिटी से प्राप्त होता है। इसे एक वेटेड सम के माध्यम से मानक सुपरवाइज्ड सीक्वेंस मॉडलिंग लॉस ( $L_{\mathcal{D}}$ ) के साथ जोड़ा जाता है: $L = \alpha L_\phi + (1 - \alpha) L_{\mathcal{D}}$ , जहाँ $\alpha$ एक ट्रेड-ऑफ पैरामीटर है।
आर्किटेक्चर एग्नोस्टिसिज्म (Architecture Agnosticism): यह फ्रेमवर्क ऑटोरेग्रेसिव सीक्वेंस मॉडल्स की श्रेणी के भीतर मॉडल-एग्नोस्टिक होने के लिए डिज़ाइन किया गया है। यह टोकन-टू-सिंबल मैपिंग और DFA रोलआउट को संभालने के लिए एक साझा "लॉजिक एडैप्टर" का उपयोग करता है, जिससे यह अपने अंतर्निचर ढांचे को बदले बिना TT और DT दोनों आर्किटेक्चरों के लिए लागू करने योग्य बन जाता है।

प्रमुख योगदान
यह पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

एकीकृत न्यूरो-सिम्बोलिक फ्रेमवर्क: ऑटोमेटा-आधारित मॉड्यूल का उपयोग करके ट्रांसफॉर्मर-आधारित ऑफलाइन RL नीतियों में LTL $_f$ बाधाओं को इंजेक्ट करने की एक विधि, जो आर्किटेक्चर-एग्नोस्टिक है।
कैनोनिकल इवैल्यूएशन स्टैक: एक सुसंगत एंड-ऑफ-एपिसोड इवैल्यूएशन पाइपलाइन जो डेटासेट सीरियलाइजेशन, टोकन-टू-सिंबल मैपिंग और लॉजिकल इवैल्यूएशन को संरेखित करती है, जिससे ट्रेनिंग और टेम्पोरल लॉजिक असेसमेंट के बीच सिमेंटिक मिसमैच को रोका जा सके।
अनुभवजन्य विश्लेषण (Empirical Analysis): नेविगेशन डोमेन में एक व्यवस्थित मूल्यांकन, जो विभिन्न स्तरों के लॉजिकल गाइडेंस के तहत टास्क परफॉरमेंस (रिटर्न) और कंस्ट्रेंट सैटिस्फैक्शन के बीच ट्रेड-ऑफ को प्रदर्शित करता है।

प्रायोगिक परिणाम
फ्रेमवर्क का मूल्यांकन ColourBomb नेविगेशन एनवायरनमेंट पर किया गया, जिसमें दो स्पेसिफिकेशन प्रकारों का परीक्षण किया गया: इनवेरिएंट सेफ्टी ( $G(\neg \text{bomb})$ ) और रीच-व्हाइल-सेफ ( $G(\neg \text{bomb}) \land F(\text{goal})$ )।

डिसीजन ट्रांसफॉर्मर (DT):
- वैनिला DTs (बिना लॉजिक रेगुलराइजेशन के) पूरी तरह विफल रहे, बम सेल्स से टकराए और लक्ष्यों तक पहुँचने में विफल रहे।
- हाई ट्रेड-ऑफ पैरामीटर ( $\alpha = 0.8$ ) के साथ लॉजिक रेगुलराइजेशन पेश करने से दोनों सुरक्षा और रीच-व्हाइल-सेफ स्पेसिफिकेशन के लिए 100% सैटिस्फैक्शन प्राप्त हुआ।
- महत्वपूर्ण रूप से, इस हाई-कंस्ट्रेंट सेटिंग ने कैटास्ट्रोफिक फेलियर्स (बम हिट्स) को समाप्त करके औसत रिटर्न ( -1.460 से -0.780) में भी सुधार किया, जो दर्शाता है कि कंस्ट्रेंट सैटिस्फैक्शन ऑफलाइन सेटिंग में परफॉरमेंस के साथ संरेखित हो सकता है।
ट्राजेक्टरी ट्रांसफॉर्मर (TT):
- वैनिला TTs ने आंशिक सुरक्षा अनुपालन दिखाया लेकिन लक्ष्य प्राप्ति कम रही।
- लॉजिक रेगुलराइजेशन ने सैटिस्फैक्शन रेट में सुधार किया और बम-हिट रेट को कम किया। इनवेरिएंट सेफ्टी टास्क के लिए, $\alpha = 0.8$ ने सर्वश्रेष्ठ परिणाम दिए। अधिक जटिल रीच-व्हाइल-सेफ टास्क के लिए, एक कम वजन ( $\alpha = 0.1$ ) ने बेसलाइन की तुलना में सैटिस्फैक्शन और रिटर्न दोनों में सुधार करते हुए इष्टतम संतुलन प्रदान किया।
- लेखक नोट करते हैं कि हालांकि सुधार देखे गए, लेकिन TTs में ये DTs की तुलना में अधिक मध्यम थे, जो भविष्य के अन्वेषण के लिए एक विसंगति है।

महत्ता और दावे
यह पेपर दावा करता है कि डेटा रिप्रेजेंटेशन को संशोधित करने या रिवॉर्ड शेपिंग पर भरोसा करने के बजाय, सिम्बोलिक बैकग्राउंड नॉलेज को सीधे लर्निंग ऑब्जेक्टिव में एकीकृत करना, सुरक्षित ऑफलाइन RL में पॉलिसी विश्वसनीयता में सुधार के लिए एक आशाजनक दिशा है।

मेथड की महत्ता के संबंध में प्रमुख दावे हैं:

डायरेक्ट कंस्ट्रेंट इंजेक्शन: उन दृष्टिकोणों के विपरीत जो शील्डिंग (shielding) पर निर्भर करते हैं (जिसके लिए स्पष्ट एनवायरनमेंट मॉडल की आवश्यकता होती है) या रिवॉर्ड शेपिंग (जो इंजीनियर करने में कठिन हो सकता है), यह विधि टेम्पोरल लॉजिक ज्ञान को सीधे ट्रेनिंग लॉस में इंजेक्ट करती है।
जनरैलिटी (Generality): यह फ्रेमवर्क मनमाने LTL $_f$ फॉर्मूला का समर्थन करता है, जो "सेफ्टी फ्रैगमेंट" से आगे बढ़कर लाइवनेस (liveness) और जटिल टेम्पोरल कॉम्बिनेशन तक विस्तृत है।
परफॉरमेंस प्रिजर्वेशन: परिणाम बताते हैं कि सख्त लॉजिकल कंस्ट्रेंट्स लागू करने से आवश्यक रूप से टास्क परफॉरमेंस कम नहीं होती है; परीक्षण किए गए परिदृश्यों में, इसने वास्तव में रिटर्न में सुधार किया क्योंकि इसने उन कैटास्ट्रोफिक परिणामों को रोका जिन्हें वैनिला मॉडल अक्सर सामना करते थे।

लेखक एक विनम्र लहजा बनाए रखते हैं, यह स्वीकार करते हुए कि वर्तमान में यह दृष्टिकोण ऑफलाइन सेटिंग्स तक सीमित है और TTs में देखा गया सुधार DTs की तुलना में कम स्पष्ट था। वे भविष्य के कार्य के रूप में अतिरिक्त बेंचमार्क, मॉडल आर्किटेक्चर तक विस्तार करने और स्थापित सेफ RL फ्रेमवर्क के साथ व्यापक एंड-टू-एंड तुलना करने की पहचान करते हैं।