🤖 AI

On the Ability of Transformers to Verify Plans

यह शोध पत्र C*-RASP को प्रस्तुत करता है ताकि सैद्धांतिक रूप से यह स्थापित किया जा सके कि डिकोडर-ओनली ट्रांसफॉर्मर, अनुक्रम लंबाई (sequence length) और शब्दावली आकार (vocabulary size) में एक साथ वृद्धि के बावजूद, शास्त्रीय नियोजन डोमेन (classical planning domains) में लंबी योजनाओं को सत्यापित करना प्रमाणिक रूप से सीख सकते हैं, जो अनुभवजन्य प्रयोगों द्वारा समर्थित एक निष्कर्ष है।

मूल लेखक: Yash Sarrof, Yupei Du, Katharina Stein, Alexander Koller, Sylvie Thiébaux, Michael Hahn

प्रकाशित 2026-03-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yash Sarrof, Yupei Du, Katharina Stein, Alexander Koller, Sylvie Thiébaux, Michael Hahn

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े शाब्दिक अर्थ समझने वाले (literal-minded) रोबोट असिस्टेंट को यह सिखा रहे हैं कि निर्देशों के एक सेट (एक "प्लान") की जांच कैसे की जाए कि क्या वह वास्तव में काम पूरा करेगा। शायद काम कमरे A से कमरे B में बक्से ले जाना हो, या ग्रिड में सभी लाइटों को बंद करना हो।

यह शोध पत्र इस बारे में है कि कब यह रोबोट छोटे, सरल निर्देशों पर अभ्यास करके लंबे, जटिल निर्देशों की जांच करना सीख सकता है, और कब वह अनिवार्य रूप से भ्रमित हो जाएगा।

यहाँ रोजमर्रा के उदाहरणों का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: लंबी कहानियों में रोबोट खो जाता है

आप सोच सकते हैं, "अगर मैं एक रोबोट को एक कमरे से दूसरे कमरे में बक्सा ले जाना सिखाता हूँ, तो उसे पूरे शहर में बक्सा ले जाने में सक्षम होना चाहिए।"

लेकिन AI प्लानिंग की दुनिया में, रोबोट (विशेष रूप से ट्रांसफॉर्मर्स, जो मेरे जैसे मॉडल्स के पीछे का दिमाग हैं) अक्सर विफल हो जाते हैं। यदि आप उन्हें छोटे प्लान्स (3 स्टेप्स) पर प्रशिक्षित करते हैं, तो जब आप उनसे एक लंबा प्लान (100 स्टेप्स) सत्यापित करने के लिए कहेंगे, तो वे पूरी तरह विफल हो सकते हैं। वे "कहानी" का ट्रैक खो देते हैं, भूल जाते हैं कि रोबोट कहाँ है, या ऐसे कार्य सुझाते हैं जिनका कोई अर्थ नहीं निकलता।

शोधकर्ताओं ने पूछा: क्या ऐसा इसलिए होता है क्योंकि प्लान बहुत लंबा है, या इसलिए क्योंकि प्लान का प्रकार बहुत पेचीदा है?

2. नया टूल: बढ़ते संसारों के लिए एक "यूनिवर्सल ट्रांसलेटर"

इस उत्तर को खोजने के लिए, शोधकर्ताओं ने C-RASP* नामक एक नया गणितीय ढांचा बनाया।

C-RASP (पुराना संस्करण) को एक ऐसे खेल के नियम पुस्तिका की तरह समझें जो लेगो (Lego) ब्रिक्स के एक निश्चित सेट के साथ खेला जाता है। आप जानते हैं कि आपके पास कौन से ब्रिक्स हैं।

समस्या: वास्तविक जीवन में, वस्तुओं (ब्रिक्स) की संख्या बढ़ सकती है। हो सकता है कि आप 5 गेंदों के साथ शुरू करें, लेकिन टेस्ट के लिए 500 गेंदों की आवश्यकता हो। पुरानी नियम पुस्तिका बदलते हुए ब्रिक्स की संख्या को नहीं संभाल सकती थी।

C-RASP* उस नियम पुस्तिका को अपग्रेड करने जैसा है। यह रोबोट को ऐसे नियम सीखने की अनुमति देता है जो तब भी काम करते हैं जब आपके पास 5 गेंदें हों या 5,000। यह रोबोट को विशिष्ट वस्तुओं के नाम रटने के बजाय निर्देशों के पैटर्न पर ध्यान केंद्रित करना सिखाता है।

3. बड़ी खोज: यह "खेल के नियमों" के बारे में है

पेपर ने पाया कि रोबोट की सामान्यीकरण (छोटे से लंबे तक सीखने) की क्षमता पूरी तरह से प्लानिंग डोमेन की संरचना पर निर्भर करती है। उन्होंने दो प्रकार की दुनिया की पहचान की:

🟢 "सुव्यवस्थित" दुनिया (अच्छी खबर!)

इन दुनियाओं में, हर क्रिया का एक स्पष्ट, अनुमानित प्रभाव होता है।

उदाहरण: कल्पना कीजिए कि टिक-टैक-टो (Tic-Tac-Toe) का खेल है। यदि आप एक 'X' रखते हैं, तो वह 'X' ही रहता है। वह तब तक जादू से 'O' नहीं बनता या गायब नहीं होता जब तक कि आप विशेष रूप से उसे हटा न दें।
परिणाम: इन "वेल-फॉर्म्ड" (Well-Formed) या "डिलीट-फ्री" (Delete-Free) दुनिया में, रोबोट पैटर्न सीख सकता है। यदि वह छोटे प्लान्स पर अभ्यास करता है, तो वह लंबे प्लान्स को पूरी तरह से सत्यापित कर सकता है, भले ही वस्तुओं की संख्या बढ़ जाए। वह केवल याद नहीं करता, बल्कि तर्क सीखता है।

🔴 "अराजक" दुनिया (बुरी खबर!)

इन दुनियाओं में, क्रियाओं के "कंडीशनल इफेक्ट्स" (यदि-तो नियम) होते हैं या वे पेचीदा तरीकों से चीजों को हटा सकते हैं।

उदाहरण: कल्पना कीजिए कि लाइट्स आउट (Lights Out) का खेल है (एक पहेली जहाँ बटन दबाने से लाइट टॉगल होती है और उसके पड़ोसी भी)। बटन दबाने का प्रभाव पूरी तरह से लाइटों की वर्तमान स्थिति पर निर्भर करता है। बटन दबाने से लाइट चालू हो सकती है यदि वह बंद थी, या बंद हो सकती है यदि वह चालू थी।
परिणाम: इन दुनियाओं में, रोबोट सामान्यीकरण (generalize) नहीं कर सकता। भले ही आप उसे छोटे प्लान्स पर प्रशिक्षित करें, वह लंबे प्लान्स पर विफल हो जाता है। वह हर एक लाइट स्विच के विशिष्ट इतिहास को याद रखने की कोशिश में फंस जाता है। यह किसी फोन नंबर को डायल करने की संख्या गिनकर याद रखने जैसा है, बजाय इसके कि सीधे अंक पढ़े जाएं।

4. "फ्लिप-फ्लॉप" और "पैरिटी" के जाल

लेखक समझाते हैं कि अराजक दुनियाएँ दो प्रसिद्ध दिमागी पहेलियों के गणितीय रूप से समान हैं:

फ्लिप-फ्लॉप (Flip-Flop): "क्या मेरे द्वारा आखिरी बार दबाए गए स्विच ने लाइट चालू की या बंद की?" आपको याद रखना होगा कि आखिरी चीज़ क्या हुई थी।
पैरिटी (Parity): "कुल 'ऑन' स्विचों की संख्या सम (even) है या विषम (odd)?" आपको सब कुछ गिनना होगा।

पेपर साबित करता है कि मानक AI रोबोट लंबी सूचियों के मामले में इस प्रकार के तर्क में बहुत खराब होते हैं। वे लंबी दूरी तक सटीक रूप से गिनने या "अंतिम स्थिति" को याद रखने में सक्षम नहीं हैं।

5. निष्कर्ष: समस्या को पुनर्गठित करना (Reformulate the Problem)

सबसे रोमांचक हिस्सा समाधान है।

यदि आपके पास एक ऐसी समस्या है जो "अराजक" (जैसे कि कंडीशनल लाइट्स आउट) है, तो रोबोट विफल हो जाएगा। लेकिन, यदि आप खेल के नियमों को "सुव्यवस्थित" (प्रत्येक संभावित स्थिति के लिए विशिष्ट क्रियाएं बनाकर) बनाने के लिए फिर से लिखते हैं (भले ही इसके लिए एक क्रिया के बजाय हजारों क्रियाओं की आवश्यकता हो), तो रोबोट अचानक जीनियस बन जाता है।

साधारण शब्दों में:

"AI को केवल एक कठिन समस्या में न झोंकें और उम्मीद न करें कि वह इसे सुलझा लेगा। यदि समस्या के नियम अव्यवस्थित और कंडीशनल हैं, तो AI खो जाएगा। लेकिन यदि आप समस्या की संरचना को इस तरह बदल देते हैं कि प्रत्येक क्रिया का परिणाम सरल और अनुमानित हो, तो AI इसे सीख सकता है, चाहे प्लान कितना भी लंबा क्यों न हो।"

सारांश

लक्ष्य: क्या AI छोटे प्लान्स देखने के बाद लंबे प्लान्स को सत्यापित कर सकता है?
उत्तर: केवल तभी जब खेल के नियम "सुव्यवस्थित" (well-behaved) हों।
जादू: समस्या की संरचना बदलकर (इसे "वेल-फॉर्म्ड" बनाकर), हम AI को प्लानिंग में बहुत स्मार्ट बना सकते हैं, भले ही वस्तुओं की संख्या अधिक हो और प्लान लंबे हों।
सीमा: यदि नियमों में पेचीदा "यदि-यह-तो-वह" जैसी शर्तें शामिल हैं जो वर्तमान स्थिति पर निर्भर करती हैं, तो AI विफल हो जाएगा, चाहे आप उसे कितना भी प्रशिक्षित क्यों न करें।

यहाँ शोध पत्र "On the Ability of Transformers to Verify Plans" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र AI प्लानिंग कार्यों में ट्रांसफॉर्मर-आधारित लार्ज लैंग्वेज मॉडल्स (LLMs) के असंगत प्रदर्शन को संबोधित करता है। जबकि LLMs योजनाएँ (plans) उत्पन्न करने में आशाजनक दिखते हैं, वे अक्सर लंबी योजनाओं या प्रशिक्षण के दौरान देखे गए ऑब्जेक्ट्स से अधिक ऑब्जेक्ट्स वाले उदाहरणों पर सामान्यीकरण (generalize) करने में विफल रहते हैं। विशेष रूप से, लेखक योजना सत्यापन (plan verification) पर ध्यान केंद्रित करते हैं: यह निर्धारित करना कि क्या क्रियाओं (actions) का एक दिया गया क्रम किसी प्लानिंग इंस्टेंस को सही ढंग से हल करता है।

मुख्य चुनौती परिवर्तनीय ब्रह्मांडों (variable universes) के तहत लंबाई सामान्यीकरण (length generalization) है। मौजूदा सैद्धांतिक ढांचे (जैसे C-RASP) प्रशिक्षण और अनुमान (inference) दोनों के समय एक निश्चित शब्दावली (token set) मानते हैं। हालाँकि, प्लानिंग में, ऑब्जेक्ट्स की संख्या (और इस प्रकार प्रभावी शब्दावली का आकार) अक्सर परीक्षण के समय बढ़ जाती है। शोध पत्र यह प्रश्न पूछता है: किन संरचनात्मक स्थितियों के तहत एक ट्रांसफॉर्मर मनमाने आकार और ऑब्जेक्ट काउंट वाली योजनाओं को सत्यापित करना सीख सकता है, और कब यह सैद्धांतिक रूप से असंभव है?

2. कार्यप्रणाली (Methodology)

A. सैद्धांतिक ढांचा: C*-RASP

निश्चित-शब्दावली धारणाओं की सीमा को दूर करने के लिए, लेखक C-RASP* पेश करते हैं, जो C-RASP (Counting RASP) भाषा का एक विस्तार है।

विभाजित वर्णमाला (Split Alphabet): इनपुट वर्णमाला को एक निश्चित सेट $\Sigma$ (predicates, actions) और एक गणनीय, बढ़ते सेट $C$ (object identifiers) में विभाजित किया गया है।
सिंबोलिक लिमिट ट्रांसफॉर्मर (Symbolic Limit Transformer): लेखक एक सैद्धांतिक सीमा ऑब्जेक्ट को परिभाषित करते हैं जो बढ़ती लंबाई और बढ़ती शब्दावली वाले ट्रांसफॉर्मरों के एक अनुक्रम का प्रतिनिधित्व करता है। इस ऑब्जेक्ट को निम्नलिखित को संतुष्ट करना चाहिए:
- अनुवाद अपरिवर्तनीयता (Translation Invariance): इंटरैक्शन केवल सापेक्ष अंतरों (जैसे, $f(c_i, c_j) = f(c_{i+\delta}, c_{j+\delta})$ ) पर निर्भर करते हैं, न कि पूर्ण इंडेक्स या विशिष्ट ऑब्जेक्ट आईडी पर।
- स्थानीयता (Locality): एक सीमित बैंडविड्थ के परे इंटरैक्शन समाप्त हो जाते हैं।
मैच प्रेडिकेट (Match Predicate): एक नया ऑपरेशन जिसे C-RASP में जोड़ा गया है जो मॉडल को यह जांचने की अनुमति देता है कि अनुक्रम के विभिन्न हिस्सों में टोकन एक ही ऑब्जेक्ट पहचान को संदर्भित करते हैं या नहीं (उदाहरण के लिए, यह जांचना कि एक एक्शन के तर्क, प्रीकंडिशन के तर्कों से मेल खाते हैं या नहीं) बिना विशिष्ट आईडी को याद किए।
लर्निंग मॉडल: वे एक अनुमान प्रक्रिया को औपचारिक रूपते हैं जहाँ एक मॉडल को प्रशिक्षण डेटा (लंबाई $n/2$ ) को फिट करते हुए एक रेगुलराइज़र (जटिलता और गैर-स्थानीय इंटरैक्शन को दंडित करने वाला) को कम करने के लिए चुना जाता है। वे सिद्ध करते हैं कि यदि कोई कार्य एक Symbolic Limit Transformer द्वारा व्यक्त किया जा सकता है, तो यह प्रक्रिया लंबाई $n$ तक सामान्यीकरण की गारंटी देती है।

B. प्लानिंग डोमेन वर्गीकरण (Planning Domain Classification)

लेखक प्लानिंग डोमेन को उनकी संरचनात्मक विशेषताओं के आधार पर वर्गीकृत करते हैं ताकि C*-RASP में उनकी सदस्यता निर्धारित की जा सके:

डिलीट-फ्री (Delete-Free): क्रियाएं केवल तथ्यों को जोड़ती हैं (कोई विलोपन नहीं)।
वेल-फॉर्म्ड (Well-Formed): प्रत्येक एक्शन अनुप्रयोग सख्ती से स्थिति (state) को बदलता है (कोई "no-op" क्रिया नहीं; प्रभाव सत्य मानों को टॉगल करते हैं)।
STRIPS: बिना कंडीशनल इफेक्ट्स के मानक प्लानिंग (लेकिन विलोपन और no-ops की अनुमति है)।
कंडीशनल इफेक्ट्स (Conditional Effects): क्रियाओं के प्रभाव वर्तमान स्थिति पर निर्भर करते हैं।

C. अनुभवजन्य सेटअप (Empirical Setup)

डोमेन: तीन कस्टम डोमेन बनाए गए थे:
- Heavy Grippers: एक रोबोट द्वारा बॉल्स को हिलाना (वैरिएंट: Well-Formed, Delete-Free)।
- Colors: बैग में रंगीन बॉल्स को जोड़ना/हटाना (वैरिएंट: Well-Formed, Standard STRIPS)।
- Lights Out: ग्रिड पर लाइट्स को टॉगल करना (वैरिएंट: Well-Formed, Conditional Effects)।
आर्किटेक्चर: एब्सोल्यूट पोजीशनल एनकोडिंग (APE) के साथ GPT-2 आधारित डिकोडर-ओनली ट्रांसफॉर्मर।
प्रशिक्षण/परीक्षण: लंबाई 11–100 के प्लान्स पर प्रशिक्षित; इन-डिस्ट्रीब्यूशन (ID) 11–100 और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) 101–200 पर परीक्षण। ऑब्जेक्ट काउंट प्लान लेंथ के साथ बदलता रहा।

3. मुख्य योगदान (Key Contributions)

C-RASP फ्रेमवर्क:* C*-RASP और "Symbolic Limit Transformer" की अवधारणा का परिचय, जो ट्रांसफॉर्मर में लंबाई सामान्यीकरण के लिए पहले सैद्धांतिक गारंटी प्रदान करता है जब परीक्षण के समय शब्दावली का आकार (ऑब्जेक्ट्स की संख्या) बढ़ता है।
प्लान वेरिफिकेशन का सैद्धांतिक लक्षण वर्णन:
- सकारात्मक परिणाम: Delete-Free और Well-Formed डोमेन के लिए प्लान वेरिफिकेशन C*-RASP में है। ट्रांसफॉर्मर इन योजनाओं को लंबी अनुक्रमों और बड़े ऑब्जेक्ट सेट्स के साथ पूर्ण सामान्यीकरण के साथ सत्यापित करना सीख सकते हैं।
- नकारात्मक परिणाम: सामान्य STRIPS और Conditional Effects वाले डोमेन के लिए प्लान वेरिफिकेशन C*-RASP में नहीं है। ये कार्य Flip-Flop या PARITY भाषाओं में कम हो जाते हैं, जो लंबाई सामान्यीकरण के लिए ट्रांसफॉर्मर द्वारा अनलर्नेबल (unlearnable) ज्ञात हैं।
संरचनात्मक अंतर्दृष्टि: शोध पत्र यह प्रदर्शित करता है कि प्लानिंग समस्या का संरचनात्मक फॉर्मूलेशन (जैसे, क्या क्रियाएं well-formed हैं) सीखने की क्षमता (learnability) के लिए क्रियाओं या ऑब्जेक्ट्स की संख्या से अधिक महत्वपूर्ण निर्धारक है।

4. परिणाम (Results)

सैद्धांतिक परिणाम

Theorem 3.1 & 3.6: स्थापित किया गया कि यदि कोई डोमेन Delete-Free या Well-Formed है, तो वैध प्लान की भाषा C*-RASP (और निश्चित यूनिवर्स के लिए C-RASP) में है। इसके विपरीत, STRIPS और Conditional Effect डोमेन में Flip-Flop या PARITY के समरूप (isomorphic) इंस्टेंस शामिल हैं, जो उन्हें C*-RASP से बाहर रखते हैं।
निहितार्थ: ट्रांसफॉर्मर अनंत लंबाई और ऑब्जेक्ट काउंट वाले Well-Formed/Delete-Free कार्यों के लिए सामान्यीकरण कर सकते हैं, लेकिन वे अनियंत्रित STRIPS या Conditional Effect कार्यों के लिए सामान्यीकरण करने में विफल रहेंगे, चाहे प्रशिक्षण डेटा का आकार कुछ भी हो।

अनुभवजन्य परिणाम

Well-Formed & Delete-Free: मॉडल्स ने Heavy Grippers और Colors के लिए ID और OOD (लंबी योजनाएं, अधिक ऑब्जेक्ट्स) दोनों पर लगभग पूर्ण सटीकता (लगभग 1.0) प्राप्त की।
STRIPS (Colors): जबकि ID सटीकता उच्च थी, OOD (लंबी योजनाएं) पर प्रदर्शन काफी गिर गया, जो कमजोर सामान्यीकरण की सैद्धांतिक भविष्यवाणी की पुष्टि करता है।
Conditional Effects (Lights Out): मॉडल्स ने निश्चित ऑब्जेक्ट सेट्स पर भी चांस लेवल (0.5) पर प्रदर्शन किया, जो पुष्टि करता है कि संरचनात्मक जटिलता सीखने को रोकती है।
पुनर्गठन सफलता (Reformulation Success): "Lights Out" डोमेन, जिसे Conditional Effects से Well-Formed संस्करण में पुनर्गठित किया गया था (सभी स्टेट कॉम्बिनेशन को कवर करने के लिए एक्शन स्पेस का विस्तार करके), ने लगभग पूर्ण सामान्यीकरण प्राप्त किया, जो इस सिद्धांत को मान्य करता है कि संरचनात्मक गुण सीखने की क्षमता को संचालित करते हैं।

5. महत्व (Significance)

विफलता की व्याख्या: यह शोध पत्र एक कठोर सैद्धांतिक स्पष्टीकरण प्रदान करता है कि क्यों LLMs प्लानिंग में संघर्ष करते हैं: कई मानक प्लानिंग बेंचमार्क (जैसे STRIPS) स्वाभाविक रूप से ऐसे रीजनिंग पैटर्न (जैसे Flip-Flop) की आवश्यकता रखते हैं जिन्हें ट्रांसफॉर्मर सामान्यीकृत नहीं कर सकते।
अभ्यास के लिए मार्गदर्शन: यह सुझाव देता है कि ट्रांसफॉर्मर्स के प्रभावी होने के लिए, समस्याओं को "Well-Formed" या "Delete-Free" में पुनर्गठित (reformulate) किया जाना चाहिए। इसे कंडीशनल इफेक्ट्स को स्पष्ट क्रियाओं में संकलित करके या यह सुनिश्चित करके किया जा सकता है कि स्टेट ट्रांजिशन सख्त रूप से मोनोटोनिक (monotonic) हों।
सैद्धांतिक प्रगति: C*-RASP फ्रेमवर्क निश्चित वर्णमालाओं से परे ट्रांसफॉर्मर की अभिव्यक्ति (expressiveness) की समझ को बढ़ाता है, जो गतिशील संस्थाओं (जैसे ग्राफ, कोड, या मल्टी-एजेंट सिस्टम जहाँ एजेंटों की संख्या बदलती रहती है) वाले कार्यों में सामान्यीकरण का विश्लेषण करने के लिए एक नया दृष्टिकोण प्रदान करता है।
सीमाएं: सिद्धांत सत्यापन (verification) के लिए लागू होता है, जनरेशन (generation) के लिए नहीं, और मानक ट्रांसफॉर्मर (बिना Chain-of-Thought/scratchpads के) को मानता है। हालांकि, यह एक आधार रेखा स्थापित करता है कि इन महंगे तंत्रों के बिना क्या संभव है।

संक्षेप में, यह शोध पत्र औपचारिक भाषा सिद्धांत और अनुभवजन्य AI प्लानिंग के बीच के अंतर को पाटता है, यह सिद्ध करते हुए कि डोमेन के संरचनात्मक गुण (विशेष रूप से well-formedness) ही निर्णायक कारक हैं कि क्या ट्रांसफॉर्मर अनदेखी लंबाई और ऑब्जेक्ट काउंट के लिए प्लान वेरिफिकेशन को सामान्यीकृत कर सकते हैं।