💻 computer science

Mining Beyond the Bools: Learning Data Transformations and Temporal Specifications

यह शोध पत्र सिंटेक्स गाइडेड सिंथेसिस (Syntax Guided Synthesis) को टेम्पोरल स्ट्रीम लॉजिक (TSL $_f$ ) के एक परिमित-प्रिफिक्स व्याख्या (finite-prefix interpretation) के साथ जोड़कर निष्पादन ट्रेसेस (execution traces) से डेटा-जागरूक टेम्पोरल विनिर्देशों (data-aware temporal specifications) को खनन करने के लिए एक नवीन दृष्टिकोण प्रस्तावित करता है, जो डेटा रूपांतरणों और टेम्पोरल व्यवहारों दोनों को समाहित करने वाले रिएक्टिव प्रोग्रामों के सुदृढ़ और नमूना-कुशल संश्लेषण (sample-efficient synthesis) को सक्षम बनाता है।

मूल लेखक: Sam Nicholas Kouteili, William Fishell, Christian Scaff, Mark Santolucito, Ruzica Piskac

प्रकाशित 2026-03-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sam Nicholas Kouteili, William Fishell, Christian Scaff, Mark Santolucito, Ruzica Piskac

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखाने की कोशिश कर रहे हैं, जैसे कि FrozenLake (जहाँ आप एक छेद में गिरे बिना एक लक्ष्य तक पहुँचने के लिए एक पात्र को बर्फ पर फिसलाते हैं)।

आमतौर पर, जब हम रोबोट को सिखाते हैं, तो हम एक विधि का उपयोग करते हैं जिसे "इमिटेशन लर्निंग" (Imitation Learning) कहा जाता है। यह बिल्कुल वैसा ही है जैसे आप रोबोट को एक इंसान द्वारा गेम खेलने का वीडियो दिखाते हैं और कहते हैं, "उन्होंने जो किया, बिल्कुल वैसा ही करो।" रोबोट विशिष्ट चालों को याद कर लेता है: "जब मैं वर्ग A पर हूँ, तो दाईं ओर जाओ। जब मैं वर्ग B पर हूँ, तो नीचे जाओ।"

समस्या: यह दृष्टिकोण बहुत नाजुक (fragile) है। यदि आप गेम में थोड़ा सा भी बदलाव कर देते हैं—जैसे कि आप लक्ष्य को किसी अलग जगह पर रख देते हैं या एक नया छेद जोड़ देते हैं—तो रोबोट भ्रमित हो जाता है। यह उस छात्र की तरह है जिसने गणित के टेस्ट के उत्तर रट लिए हैं लेकिन उसे गणित समझ नहीं आया। यदि संख्याएँ बदल जाती हैं, तो वह असफल हो जाता है।

समाधान: यह पेपर एक स्मार्ट तरीके का प्रस्ताव देता है। केवल चालों को याद करने के बजाय, यह सिस्टम गेम के नियमों की खोज करने की कोशिश करता है। यह गेम के लॉग्स को देखता है और पूछता है: "वे कौन से अंतर्निहित नियम हैं जो इस गेम को काम करने में मदद करते हैं?"

यहाँ बताया गया है कि उन्होंने इसे कैसे किया, जिसे सरल अवधारणाओं में विभाजित किया गया है:

1. "डिटेक्टिव" चरण (फंक्शंस को खोजना)

कल्पना कीजिए कि आप एक चलती हुई कार की तस्वीरों की एक श्रृंखला देख रहे हैं एक जासूस की तरह। आप देखते हैं कि कार स्थिति 10 पर है, फिर 11 पर, फिर 12 पर।

पुराना तरीका: आप बस नोट करते हैं "कार 10 पर थी, फिर 11 पर।"
इस पेपर का तरीका: सिस्टम एक विशेष टूल (जिसे SyGuS कहा जाता है) का उपयोग करके एक जासूस की तरह मैकेनिज्म (तंत्र) को समझने की कोशिश करता है। वह महसूस करता है: "आह! कार केवल बेतरतीब ढंग से नहीं चल रही है; यह एक नियम का पालन कर रही है: नई स्थिति = पुरानी स्थिति + 1।"

सिस्टम स्वचालित रूप से इन "गति के नियमों" (जैसे +1 जोड़ना, -1 घटाना, या निर्देशांकों की तुलना करना) को खोज लेता है, बिना किसी के यह बताए कि वे क्या हैं। वह यह पता लगा लेता है कि खिलाड़ी +1 या -1 से चलता है और छेद स्थिर बाधाएं हैं।

2. "स्टोरीटेलर" चरण (एक नई भाषा)

एक बार जब सिस्टम गति के नियमों को जान लेता है, तो उसे रोबोट के लिए एक "स्पेसिफिकेशन" (निर्देशों का एक सेट) लिखने की आवश्यकता होती है।

पुरानी भाषा (LTL): यह केवल "हाँ/नहीं" स्विच का उपयोग करके एक कहानी लिखने जैसा है। यह कहने के लिए कि "छेद में न गिरें," आपको हर एक छेद के निर्देशांकों को सूचीबद्ध करना होगा: "यदि आप (1,1) AND (0,3) AND (3,2) पर हैं, तो रुकें।" यह अव्यवस्थित है और यदि आप एक नया छेद जोड़ते हैं तो काम नहीं करता।
नई भाषा (TSLf): यह वेरिएबल्स और संबंधों का उपयोग करके एक कहानी लिखने जैसा है। सिस्टम लिखता है: "हमेशा उस किसी भी निर्देशांक से दूर रहें जो एक छेद से मेल खाता हो।"
- यह फोन बुक को याद रखने (पुराना) और "नंबर डायल करने" की अवधारणा को समझने (नया) के बीच का अंतर है।

3. "टीचर" चरण (नियमों को खोजना)

सिस्टम जीतने वाले गेम्स (पॉजिटिव ट्रेसेस) और हारने वाले गेम्स (नेगेटिव ट्रेसेस) के उदाहरणों को देखता है।

वह देखता है कि जीतने वाले गेम्स में, खिलाड़ी अंततः लक्ष्य तक पहुँच जाता है।
वह देखता है कि हारने वाले गेम्स में, खिलाड़ी एक छेद से टकरा जाता है।
वह इन प्रेक्षणों को एक मास्टर नियम में जोड़ता है: "अंततः लक्ष्य तक पहुँचो, लेकिन हमेशा उससे बचो जो एक छेद जैसा दिखता है।"

4. परिणाम: एक सुपर-अडैप्टेबल रोबोट

जब शोधकर्ताओं ने इसका परीक्षण किया, तो परिणाम प्रभावशाली थे:

सैंपल एफिशिएंसी (Sample Efficiency): सिस्टम ने बहुत कम उदाहरणों के साथ गेम सीख लिया (कभी-कभी केवल 20 के साथ)। "याद करने वाले" रोबोटों को इसके करीब पहुँचने के लिए हजारों उदाहरणों की आवश्यकता थी।
जनरलाइजेशन (Generalization): जब उन्होंने गेम को बदला (छेद बदल दिए, ग्रिड बड़ा कर दिया, या यहाँ तक कि भौतिकी बदल दी ताकि खिलाड़ी अलग तरह से चले), तो सिस्टम टूटा नहीं। क्योंकि इसने तर्क (जैसे "छेद से बचें") सीख लिया था, यह एक पूरी तरह से नए बोर्ड पर उस तर्क को लागू कर सका। याद करने वाले रोबोट तुरंत विफल हो गए।

एक रचनात्मक उपमा: शतरंज का खिलाड़ी

पुराना तरीका (इमिटेशन लर्निंग): आप एक रोबोट को ग्रैंडमास्टर के शतरंज खेलने के 1,000 वीडियो दिखाते हैं। रोबोट याद कर लेता है: "यदि नाइट B1 पर है, तो C3 पर चलो।" यदि आप बोर्ड सेटअप बदल देते हैं, तो रोबोट घबरा जाता है क्योंकि उसने पहले कभी यह विशिष्ट सेटअप नहीं देखा है।
इस पेपर का तरीका: रोबोट वीडियो देखता है और शतरंज के नियमों को समझता है: "नाइट L-शेप में चलते हैं," "आप हार जाते हैं यदि आपके राजा को कैप्चर किया जाता है," और "आप चेकमेट करके जीतते हैं।"
- अब, यदि आप 10x10 बोर्ड पर मोहरे रखते हैं या शुरुआती स्थितियाँ बदलते हैं, तो भी रोबोट खेलना जानता है क्योंकि वह केवल विशिष्ट चालों को नहीं, बल्कि सिद्धांतों को समझता है।

यह क्यों मायने रखता है

यह पेपर सिंबोलिक रीइन्फोर्समेंट लर्निंग (Symbolic Reinforcement Learning) की दिशा में एक कदम है। केवल "अनुमान" लगाने के बजाय (ट्रायल एंड एरर के आधार पर, जैसा कि एक न्यूरल नेटवर्क करता है), AI दुनिया का एक फॉर्मल मॉडल बनाता है। यह अपने परिवेश के "भौतिकी के नियमों" और "तर्क के नियमों" को सीखता है।

यह AI को अधिक मजबूत बनाता है, इसे सीखने के लिए कम डेटा की आवश्यकता होती है, और इसे नई स्थितियों में तुरंत अनुकूल होने की अनुमति देता है—ठीक वैसे ही जैसे एक इंसान जो किसी खेल के नियमों को समझता है, वह उस खेल के नए संस्करण में जाकर तुरंत खेलना शुरू कर सकता है।

यहाँ शोध पत्र "Mining Beyond the Bools: Learning Data Transformations and Temporal Specifications" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

स्पेसिफिकेशन माइनिंग (Specification Mining) सिस्टम के निष्पादन ट्रेसेस (execution traces) से तार्किक गुणों (logical properties/specifications) को प्राप्त करने की प्रक्रिया है। जबकि मौजूदा दृष्टिकोण (जैसे LTL या LTLf का उपयोग करना) घटनाओं के टेम्पोरल ऑर्डरिंग को कैप्चर करने में प्रभावी हैं, वे घटनाओं के बूलियन एब्स्ट्रैक्शन (Boolean abstractions) पर निर्भर करते हैं।

सीमा (Limitation): वास्तविक दुनिया के सिस्टम्स में गैर-बूलियन प्रकारों (जैसे पूर्णांक/integers, निर्देशांक/coordinates) पर जटिल डेटा रूपांतरण शामिल होते हैं। मानक बूलियन लॉजिक का उपयोग करने के लिए, डेटा को या तो मैन्युअल रूपनों द्वारा प्रेडिकेट्स (predicates) में बदलना पड़ता है (जिसके लिए मानवीय अंतर्ज्ञान की आवश्यकता होती) या "बिट-ब्लास्टिंग" (पूर्णांकों को बाइनरी बिट्स में बदलना) करनी पड़ती है, जिससे फॉर्मूला का आकार बढ़ जाता है और अवांछित सिमेंटिक संबंध उत्पन्न होते हैं।
लक्ष्य (Goal): लेखक बिना किसी मैन्युअल प्रेडिकेट इंजीनियरिंग के, कच्चे निष्पादन ट्रेसेस (raw execution traces) से सीधे डेटा-अवेयर टेम्पोरल स्पेसिफिकेशन (data-aware temporal specifications) को कैप्चर करने का लक्ष्य रखते हैं, जो यह दर्शाता है कि चर (variables) कैसे बदलते हैं (डेटा रूपांतरण) और ये परिवर्तन कब होते हैं (टेम्पोरल लॉजिक)।

2. कार्यप्रणाली (Methodology)

प्रस्तावित फ्रेमवर्क तीन मुख्य चरणों में कार्य करता है: फंक्शन डिस्कवरी (Function Discovery), ट्रेस लिफ्टिंग (Trace Lifting), और स्पेसिफिकेशन माइनिंग (Specification Mining)।

A. औपचारिकता: TSLf (Temporal Stream Logic with Finite Prefix)

लेखक TSLf पेश करते हैं, जो टेम्पोरल स्ट्रीम लॉजिक (TSL) का एक 'फाइनाइट-प्रिफिक्स' इंटरप्रिटेशन है।

सिंटैक्स (Syntax): LTLf के विपरीत, जो बूलियन एटम्स का उपयोग करता है, TSLf फंक्शन के माध्यम से वेरिएबल अपडेट्स को वर्णित करने के लिए अपडेट टर्म्स (Update Terms) ( $[s \leftarrow f(s_1, \dots, s_n)]$ ) और स्थितियों के लिए प्रेडिकेट टर्म्स (Predicate Terms) ( $p(s_1, \dots, s_n)$ ) का उपयोग करता है।
सिमेंटिक्स (Semantics): यह उन फाइनाइट ट्रेसेस पर काम करता है जहाँ प्रत्येक टाइमस्टेप पर प्रत्येक वेरिएबल को विशिष्ट रूप से अपडेट किया जाता है (अपडेट्स का आपसी अपवर्जन/mutual exclusion) और अंत में एक विशिष्ट END प्रेडिकेट होता है।
अभिव्यक्ति क्षमता (Expressivity): TSLf मूल रूप से फर्स्ट-ऑर्डर प्रेडिकेट्स और फंक्शनल अपडेट्स का समर्थन करता है, जिससे "अंततः खिलाड़ी का निर्देशांक लक्ष्य के निर्देशांक के बराबर हो जाता है" जैसे स्पेसिफिकेशन संभव होते हैं, न कि केवल "अंततः x का बिट 3 सत्य है।"

B. चरण 1: फंक्शन डिस्कवरी (Function Discovery - Bottom-Up Synthesis)

टेम्पोरल लॉजिक को माइन करने से पहले, सिस्टम को यह खोजना होगा कि कौन से फंक्शन ट्रेसेस में डेटा इवोल्यूशन की व्याख्या करते हैं।

इनपुट (Input): समय के साथ वेरिएबल वैल्यूज के कच्चे ट्रेसेस।
प्रक्रिया (Process):
1. कैंडिडेट जनरेशन (Candidate Generation): प्रत्येक वेरिएबल ट्रांजिशन ( $v_t \to v_{t+1}$ ) के लिए, सिस्टम अन्य वेरिएबल्स के आधार पर संभावित इनपुट-आउटपुट जोड़े बनाता है।
2. SyGuS सिंथेसिस: सिस्टम सिंटैक्स-गाइडेड सिंथेसिस (SyGuS) (विशेष रूप से CVC5 सॉल्वर) का उपयोग करके एक ऐसा फंक्शन $f$ खोजता है जो देखे गए इनपुट-आउटपुट बाधाओं को संतुष्ट करता है।
3. ग्रीडी मर्जिंग (Greedy Merging): एक बॉटम-अप एल्गोरिदम ट्रांजिशन के समूहों को पुनरावृत्ति से मर्ज करता है। यदि एक ही फंक्शन कई ट्रांजिशन की व्याख्या कर सकता है (जैसे, कई स्टेप्स के लिए $x_{t+1} = x_t + 1$ ), तो उन्हें ग्रुप किया जाता है। स्पूरियस (spurious) फंक्शन्स (जैसे, $f(x) = x - x + 1$ ) को अधिक डेटा पॉइंट्स जोड़ने पर हटा दिया जाता है।
आउटपुट (Output): फंक्शन्स का एक न्यूनतम सेट $\mathcal{F}$ जो ट्रेसेस में डेटा रूपांतरणों को कवर करता है।

C. चरण 2: वेल-फॉर्म्ड TSLf ट्रेसेस में लिफ्टिंग (Lifting to Well-Formed TSLf Traces)

एक बार फंक्शन डिस्कवर हो जाने के बाद, कच्चे लॉग्स को औपचारिक TSLf ट्रेसेस में बदल दिया जाता है।

डिटरमिनइजेशन (Determinization): यदि किसी टाइमस्टेप पर एक वेरिएबल के लिए कई वैध अपडेट मौजूद हैं, तो सिस्टम सभी ट्रेसेस में सबसे अधिक बार होने वाले वैध अपडेट को चुनता है ताकि एक एकल, सुव्यवस्थित व्याख्या सुनिश्चित हो सके।
प्रेडिकेट एप्लीकेशन (Predicate Application): प्रेडिकेट्स (जैसे, समानता, असमानता) को हर टाइमस्टेप पर एक ही प्रकार के वेरिएबल्स के बीच स्वचालित रूप से लागू किया जाता है।
परिणाम (Result): अपडेट टर्म्स और प्रेडिकेट्स के सेट की एक सीक्वेंस, जो मानक माइनिंग एल्गोरिदम के लिए तैयार है।

D. चरण 3: स्पेसिफिकेशन माइनिंग (Specification Mining)

लिफ्ट किए गए ट्रेसेस को बूलियन सीक्वेंस (जहाँ प्रत्येक अपडेट/प्रेडिकेट एक एटम है) के रूप में माना जाता है और एक माइनिंग सॉल्वर (विस्तारित Bolt) में भेजा जाता है।

डिकंपोजिशन (Decomposition): माइनिंग समस्या को विभाजित किया जाता है:
- लाइवननेस (Liveness - $F\psi$ ): क्या अंततः होना चाहिए (जैसे, लक्ष्य तक पहुँचना)।
- सेफ्टी (Safety - $G\phi$ ): क्या हमेशा बना रहना चाहिए (जैसे, छेदों/holes से बचना)।
सिंथेसिस (Synthesis): परिणामी स्पेसिफिकेशन का उपयोग एक रिएक्टिव कंट्रोलर (टूल Issy का उपयोग करके) को सिंथेसाइज करने के लिए किया जाता है जो ऑब्जर्वेशन को एक्शन में मैप करता है।

3. प्रमुख योगदान (Key Contributions)

TSLf औपचारिकता: डेटा रूपांतरण और फर्स्ट-ऑर्डर प्रेडिकेट्स को मूल रूप से सपोर्ट करने वाले टेम्पोरल स्ट्रीम लॉजिक के फाइनाइट-ट्रेस सिमेंटिक्स का परिचय।
एकीकृत माइनिंग पाइपलाइन: एक नया एल्गोरिदम जो फंक्शन डिस्कवरी के लिए SyGuS को टेम्पोरल माइनिंग के लिए Boolean Subset Cover के साथ जोड़ता है, जिससे मैन्युअल प्रेडिकेट परिभाषा की आवश्यकता समाप्त हो जाती है।
सिंबोलिक सुदृढीकरण सीखना (Symbolic Reinforcement Learning): एक ऐसे प्रतिमान (paradigm) का प्रदर्शन जहाँ एक एजेंट ग्रेडिएंट डिसेंट या स्टेट-एक्शन मैपिंग के माध्यम से पॉलिसी सीखने के बजाय, ट्रेसेस से एक औपचारिक वर्ल्ड मॉडल (स्पेसिफिकेशन) सीखता है और कंट्रोलर सिंथेसाइज करता है।
मजबूती और दक्षता (Robustness and Efficiency): यह विधि पैसिव लर्निंग बेसलाइन्स की तुलना में काफी कम सैंपल्स के साथ उच्च सामान्यीकरण (generalization) प्राप्त करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस दृष्टिकोण का मूल्यांकन OpenAI-Gymnasium ToyText सूट (FrozenLake, CliffWalking, Taxi, Blackjack) पर किया गया।

FrozenLake:
- प्रदर्शन: केवल 24 ट्रेसेस (12 पॉजिटिव, 12 नेगेटिव) का उपयोग करके अनदेखी बोर्ड कॉन्फ़िगरेशन (विभिन्न होल पोजीशन और ग्रिड साइज) पर 100% जीत दर प्राप्त की।
- तुलना: 1000 सैंपल्स पर प्रशिक्षित बेसलाइन्स (Alergia, Behavioral Cloning, Decision Trees) विविध कॉन्फ़िगरेशन पर केवल 70–85% और नए साइज पर टेस्ट करने पर <50% प्राप्त कर सके।
- अंतर्दृष्टि: TSLf ने रिलेशनल रूल्स (जैसे, "कोऑर्डिनेट्स जो होल्स से मेल खाते हैं उनसे बचें") सीखे, जबकि बेसलाइन्स ने विशिष्ट स्टेट-एक्शन पेयर्स को याद किया।
CliffWalking:
- TSLf ने विभिन्न क्लिफ हाइट और बोर्ड साइज के लिए पूर्ण सामान्यीकरण दिखाया।
- बेसलाइन्स तब विफल रहे जब खतरा क्षेत्र (hazard region) बदला (जैसे, ऊंचे क्लिफ), क्योंकि उन्होंने ग्लोबल सेफ्टी इनवेरिएंट के बजाय लोकल ट्रांजिशन प्रोबेबिलिटीज को सीखा था।
Taxi:
- लक्ष्यों के टेम्पोरल सीक्वेंस (पैसेंजर उठाना $\to$ डेस्टिनेशन पर छोड़ना) को सफलतापूर्वक कैप्चर किया।
- बेसलाइन्स टेम्पोरल डिपेंडेंसी सीखने में विफल रहे, 1000 सैंपल्स के बावजूद कम जीत दर प्राप्त की। TSLf को केवल 24 ट्रेसेस की आवश्यकता थी।
Blackjack:
- स्टोकेस्टिक, नॉन-स्पेशियल गेम्स के लिए सेफ्टी स्पेसिफिकेशन्स को माइन करने की क्षमता प्रदर्शित की।
- 8–24 ट्रेसेस के साथ जटिल रणनीतियों (Threshold, Conservative, Basic) के प्रति 100% पालन प्राप्त किया।

5. महत्व (Significance)

सैंपल एफिशिएंसी (Sample Efficiency): यह विधि न्यूरल या सिंबोलिक बेसलाइन्स की तुलना में कई गुना अधिक सैंपल-एफिशिएंट है, जिसे जटिल पॉलिसी सीखने के लिए 20 से भी कम उदाहरणों की आवश्यकता होती है।
सामान्यीकरण (Generalization): विशिष्ट वैल्यूज के बजाय रिलेशनल इनवेरिएंट्स (जैसे, $x = \text{goal}$ ) को सीखकर, सिंथेसाइज्ड कंट्रोलर्स उन वातावरणों के साथ सामान्यीकरण करते हैं जो ट्रेनिंग के दौरान कभी नहीं देखे गए थे (जैसे अलग आकार, लेआउट और डायनेमिक्स)।
व्याख्यात्मकता (Interpretability): आउटपुट एक मानव-पठनीय औपचारिक स्पेसिफिकेशन (TSLf फॉर्मूला) है, जो "ब्लैक बॉक्स" न्यूरल नेटवर्क्स के विपरीत एजेंट के निर्णय लेने के तर्क में पारदर्शिता प्रदान करता है।
RL का भविष्य: यह कार्य शुद्ध सिंबोलिक सुदृढीकरण लर्निंग (purely symbolic reinforcement learning) की ओर एक कदम है, जहाँ एजेंट वातावरण के साथ इंटरैक्ट करते हैं, अनुभव से औपचारिक स्पेसिफिकेशन माइन करते हैं, और औपचारिक सिंथेसिस के माध्यम से अपने व्यवहार को परिष्कृत करते हैं, जो वर्तमान डीप RL विधियों द्वारा सामना की जाने वाली आउट-ऑफ-डिस्ट्रीब्यूशन जनरलाइजेशन चुनौतियों को हल कर सकता है।