💬 NLP

When Does Tool Use Increase the Expressive Power of Finite-Precision Recurrent Models?

यह शोध पत्र एक स्पष्ट द्वंद्व स्थापित करता है जो यह दर्शाता है कि जहाँ परिमित-अवस्था (finite-state) उपकरण परिमित-परिशुद्धता वाले आवर्ती मॉडलों (finite-precision recurrent models) में नगण्य कम्प्यूटेशनल शक्ति जोड़ते हैं, वहीं एक एकल लघुतम अनंत-अवस्था उपकरण (एक रीड-राइट टेप) उन्हें ट्यूरिंग पूर्ण (Turing complete) बना देता है, एक ऐसी क्षमता जिसे चयनात्मक एफाइन स्टेट-स्पेस मॉडलों (selective affine state-space models) द्वारा मूर्त रूप से साकार किया गया है।

मूल लेखक: Nikola Zubić, Qian Li, Yuyi Wang, Davide Scaramuzza

प्रकाशित 2026-07-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nikola Zubić, Qian Li, Yuyi Wang, Davide Scaramuzza

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ा भुलक्कड़ रोबोट है। यह रोबोट एक "फाइनाइट-प्रिसिजन रिकरेंट मॉडल" (Finite-Precision Recurrent Model) है। सरल शब्दों में, यह एक कंप्यूटर प्रोग्राम है जो जानकारी को चरण-दर-चरण प्रोसेस करता है, लेकिन इसकी याददाश्त बहुत कम और निश्चित है (जैसे कि केवल 100 खानों वाला एक नोटपैड)। क्योंकि इसकी याददाश्त इतनी छोटी और सीमित है, यह रोबोट सीमित है: यह केवल सरल, दोहराव वाले पैटर्न ही हल कर सकता है। यह अनंत तक गिनती नहीं कर सकता, एक लंबी कहानी याद नहीं रख सकता, या ऐसे जटिल पहेलियाँ हल नहीं कर सकता जिनमें आगे-पीछे देखने की आवश्यकता होती है।

यह शोध पत्र एक सरल प्रश्न पूछता है: क्या होगा यदि हम इस भुलक्कड़ रोबोट को एक औज़ार (tool) दे दें?

लेखकों ने पाया कि उत्तर पूरी तरह से इस बात पर निर्भर करता है कि आप उसे किस तरह का औज़ार देते हैं। उन्होंने एक स्पष्ट "या तो/या" का विभाजन पाया:

1. "फाइनाइट" टूल: एक छोटा कैलकुलेटर

कल्पना कीजिए कि आप अपने रोबोट को एक कैलकुलेटर देते हैं जो केवल बुनियादी गणित कर सकता है और जिसमें एक छोटी स्क्रीन है जो एक बार में एक संख्या दिखाती है।

परिणाम: रोबमाट बहुत अधिक स्मार्ट नहीं होता है। उसे बस कैलकुलेटर के काम करने के तरीके को याद रखने के लिए अपनी खुद की मेमोरी का एक बहुत छोटा हिस्सा खर्च करना पड़ता है।
उपमा: यह एक ऐसे व्यक्ति को पोस्ट-इट नोट (post-it note) देने जैसा है जिसकी याददाश्त कम है। वे एक चीज़ लिख तो सकते हैं, लेकिन वे अभी भी एक जटिल रहस्य को हल नहीं कर सकते। रोबोट "फाइनाइट-स्टेट" (finite-state) ही रहता है। वह अभी भी केवल सरल, दोहराव वाले कार्य ही कर सकता है।
शोध पत्र का दावा: यदि औज़ार की अपनी मेमोरी सीमित है और उसके कमांड्स का सेट सीमित है, तो रोबोट बस कैलकुलेटर की मेमोरी को अपने दिमाग में "कॉपी" कर सकता है। इससे उसे लगभग कोई नई शक्ति प्राप्त नहीं होती।

2. "इन्फिनिट" टूल: एक अनंत टेप (Infinite Tape)

अब, कल्पना कीजिए कि आप रोबोट को एक टेप देते हैं (जैसे कि पुराना टेप या कागज का स्क्रॉल) जो अनंत रूप से लंबा है। रोबोट उस टेप के साथ केवल तीन चीजें कर सकता है:

वर्तमान स्थान के नीचे के चिह्न (symbol) को पढ़ सकता है।
एक नया चिह्न लिख सकता है।
हेड (head) को एक कदम बाएं या दाएं ले जा सकता है।

परिणाम: अचानक, रोबोट एक जीनियस बन जाता है। वह किसी भी ऐसी समस्या को हल कर सकता है जिसे कंप्यूटर द्वारा हल किया जा सकता है, चाहे वह कितनी भी जटिल क्यों न हो। वह "ट्यूरिंग कम्पलीट" (Turing Complete) बन जाता है।
उपमा: यह एक ऐसे व्यक्ति को लाइब्रेरी देने जैसा है जिसकी याददाश्त कम है। भले ही उनका दिमाग छोटा हो, लेकिन वे लाइब्रेरी में आगे-पीछे घूम सकते हैं, और अलमारियों पर नोट्स पढ़ और लिख सकते हैं। अब वे कठिन गणितीय समस्याओं को हल कर सकते हैं, उपन्यास लिख सकते हैं, या कोड तोड़ सकते हैं। वह "अनंत टेप" एक बाहरी मस्तिष्क के रूप में कार्य करता है।
शोध पत्र का दावा: केवल एक ऐसा साधारण, अनंत टेप एक साधारण रोबोट को सार्वभौमिक कंप्यूटर (universal computer) में बदलने के लिए पर्याप्त है। रोबोट को इस अनंत शक्ति को नियंत्रित करने के लिए केवल थोड़ी सी आंतरिक मेमोरी की आवश्यकता होती है (यह याद रखने के लिए कि वह टेप पर कहाँ है और वह वर्तमान में क्या सोच रहा है)।

"जादुई" तत्व: चयनात्मकता (Selectivity)

यह शोध पत्र यह भी दिखाता है कि यह केवल सैद्धांतिक नहीं है; यह एक आधुनिक AI आर्किटेक्चर के विशिष्ट प्रकार के साथ काम करता है जिसे सिलेक्टिव स्टेट-स्पेस मॉडल (Selective State-Space Model - SSM) कहा जाता है।

उपमा: एक मानक रोबोट को एक निश्चित ट्रैक पर चलने वाली ट्रेन के रूप में सोचें। वे हमेशा एक ही तरह से चलती हैं। एक "सिलेक्टिव" रोबोट उस ट्रेन की तरह है जो अपने सामने दिखने वाली चीज़ों के आधार पर अपना ट्रैक बदल सकती है।
लेखकों ने सिद्ध किया कि यदि आप इस "ट्रैक बदलने वाले" रोबलेट को थोड़ी सी मेमोरी और एक अनंत टेप देते हैं, तो यह किसी भी कंप्यूटर प्रोग्राम का सटीक अनुकरण (simulate) कर सकता है। "चयनात्मकता" (इनपुट के आधार पर व्यवहार बदलना) वह कुंजी है जो अनंत शक्ति के दरवाजे को खोल देती है।

"समानता" परीक्षण (एक ठोस उदाहरण)

इसे सिद्ध करने के लिए, लेखकों ने एक विशिष्ट परीक्षण का उपयोग किया: यह जांचना कि क्या संख्याओं की दो लंबी स्ट्रिंग्स (strings) समान हैं।

बिना टूल के: यदि स्ट्रिंग्स 1,000 अंक लंबी हैं, तो रोबोट को उन्हें जांचने के लिए 1,000 अंकों की मेमोरी वाले दिमाग की आवश्यकता होगी। यदि स्ट्रिंग्स 10 लाख अंक लंबी हैं, तो उसे 10 लाख अंकों की मेमोरी की आवश्यकता होगी। एक छोटे रोबोट के लिए यह असंभव है।
टेप टूल के साथ: रोबोट टेप पर पहली स्ट्रिंग लिख सकता है, फिर दूसरी स्ट्रिंग के साथ तुलना करने के लिए आगे-पीछे घूम सकता है। उसे केवल यह याद रखने के लिए बहुत कम आंतरिक मेमोरी की आवश्यकता है कि "मैं अंक संख्या #500 की तुलना कर रहा हूँ।" टेप सारा भारी काम करता है।

सारांश

शोध पत्र निष्कर्ष निकालता है कि औज़ार केवल उनके अस्तित्व मात्र से AI को स्मार्ट नहीं बनाते।

यदि औज़ार छोटा और सीमित है, तो AI भी सीमित रहेगा।
यदि औज़ार एक अनंत मेमोरी टेप है (भले ही उसमें बहुत सरल कमांड हों), तो AI अनंत रूप से शक्तिशाली हो जाता है, बशर्ते उसके पास इस टेप को नियंत्रित करने के लिए एक विशिष्ट "सिलेक्टिव" तंत्र हो।

यह हमें बिल्कुल सटीक रूप से बताता है कि जब एक AI को बाहरी औज़ारों का उपयोग करने की अनुमति दी जाती है, तो उसे कितने "ब्रेन पावर" (आंतरिक मेमोरी) की आवश्यकता होती है। यह पता चलता है कि यदि आपके पास एक विशाल नोटबुक है, तो आपको एक विशाल दिमाग की आवश्यकता नहीं है।

तकनीकी सारांश: टूल का उपयोग कब सीमित-परिशुद्धता वाले रिकरेंट मॉडल्स की अभिव्यंजक शक्ति (Expressive Power) को बढ़ाता है?

समस्या विवरण

आधुनिक अनुक्रम मॉडल (sequence models) तेजी से ऐसे एजेंटों के रूप में तैनात किए जा रहे हैं जो बाहरी टूल्स (जैसे कैलकुलेटर, कोड इंटरप्रेटर, रिट्रीवल सिस्टम) के साथ टोकन जनरेशन को इंटरलीव करते हैं। जबकि अनुभवजन्य सफलता स्पष्ट है, एक मौलिक सैद्धांतिक प्रश्न अनुत्तरित बना हुआ है: कौन से विशिष्ट टूल्स एक निश्चित सीमित-परिशुद्धता वाले रिकरेंट मॉडल की कम्प्यूटेशनल अभिव्यक्तता (computational expressivity) को बढ़ाते हैं, कितनी बढ़ाते हैं, और इसके लिए आंतरिक मेमोरी की लागत क्या होती है?

मौजूदा साहित्य स्थापित करता है कि निश्चित सीमित-परिशुद्धता वाले रिकरेंट मॉडल (जिनमें स्टेट-स्पेस मॉडल्स या SSMs भी शामिल हैं) परिमित अवस्था मशीनों (Finite-State Machines - FSMs) के समकक्ष हैं और केवल रेगुलर भाषाओं को पहचानते हैं। चेन-ऑफ-थॉट डिकोडिंग सीमित लाभ प्रदान करती है जो जनरेट किए गए स्टेप्स की संख्या द्वारा बाधित होती है। यह शोध पत्र इस बात का सटीक, आर्किटेक्चर-स्तरीय लक्षण वर्णन प्रदान करने का प्रयास करता है कि टूल तक पहुंच कम्प्यूटेशनल परिदृश्य को कैसे बदलती है, जिसमें उन टूल्स के बीच अंतर किया गया है जो केवल सीमित मेमोरी जोड़ते हैं और वे जो मौलिक रूप से कम्प्यूटेशनल शक्ति का विस्तार करते हैं।

कार्यप्रणाली (Methodology)

लेखक अनुक्रम मॉडल को एक डिटरमिनिस्टिक फाइनाइट-स्टेट कंट्रोलर के रूप में देखते हैं जो एक सीमित कमांड/ऑब्जर्वेशन इंटरफेस के माध्यम से एक ऑरेकल (oracle) के साथ इंटरैक्ट करता है।

कंट्रोलर मॉडल: $B$ बिट्स की आंतरिक अवस्था वाले एक कंट्रोलर को अधिकतम $2^B$ कॉन्फ़िगरेशन वाले एक FSM के रूप में मॉडल किया गया है। यह एक इनपुट पढ़ता है, फिर एक जनरेशन चरण में प्रवेश करता है जहाँ यह टोकन उत्सर्जित करता है, टूल कमांड जारी करता है, ऑब्जर्वेशन प्राप्त करता है, या रुक जाता है।
टूल इंटरफेस: शोध पत्र दो अलग-अलग वर्गों के टूल्स का विश्लेषण करता है:
1. फाइनाइट-स्टेट बाउंडेड-इंटरफेस ऑरेकल: सीमित मेमोरी सेट और सीमित कमांड/ऑब्जर्वेशन अल्फाबेट वाले टूल्स।
2. अनबाउंडेड टेप ऑरेकल: एक न्यूनतम अनंत-अवस्था वाला टूल जो अनबाउंडेड टेप पर स्थानीय रीड/राइट/मूव ऑपरेशन्स का समर्थन करता है (एक ट्यूरिंग मशीन टेप के समान)।
साक्षात्कार (Realization): सैद्धांतिक निर्माणों को फाइनाइट-प्रिसिजन सिलेक्टिव एफाइन SSMs में मैप किया गया है। लेखक सिद्ध करते हैं कि किसी भी ऑब्जर्वेशन-ड्रिवन फाइनाइट-स्टेट कंट्रोलर को एक-लेयर SSM द्वारा सटीक रूप से साकार किया जा सकता है, जिसमें बाइनरी वन-हॉट हिडन स्टेट्स, $\{0, 1\}$ ट्रांजिशन मैट्रिसेस और ज़ीरो बायस (zero biases) होते हैं, बशर्ते कि ट्रांजिशन मैट्रिसेस सिलेक्टिव (वर्तमान ऑब्जर्वेशन टोकन पर निर्भर) हों।

मुख्य योगदान और परिणाम

1. फाइनाइट-स्टेट टूल्स (लगभग) कुछ भी नहीं जोड़ते

शोध पत्र एक "प्रोडक्ट-स्टेट सिमुलेशन" प्रमेय स्थापित करता है। यदि एक टूल स्वयं एक मेमोरी सेट $M$ और एक सीमित इंटरफेस वाली फाइनाइट-स्टेट मशीन है, तो कंट्रोलर टूल की अवस्था को आंतरिक रूप से आत्मसात कर सकता है।

परिणाम: संवर्धित प्रणाली (augmented system) अभी भी एक फाइनाइट-स्टेट मशीन ही रहती है। आंतरिक मेमोरी लागत केवल $\log_2 |M| + O(1)$ बिट्स बढ़ती है।
निहितार्थ: फाइनाइट-स्टेट टूल्स द्वारा पहचानी जाने वाली भाषाओं के वर्ग में कोई वृद्धि नहीं होती है। इंटरफेस की फाइनाइट-स्टेट प्रकृति आवश्यक है; अन्यथा, मनमाना इनिशियलाइजेशन या कमांड-टू-ऑब्जर्वेशन मैप्स गैर-रेगुलर व्यवहार को एनकोड कर सकते हैं।

2. एक न्यूनतम अनबाउंडेड टूल ट्यूरिंग पूर्णता (Turing Completeness) प्रदान करता है

लेखक एक "टेप ऑरेकल" को परिभाषित करते हैं जो केवल स्थानीय रीड/राइट/मूव कमांड का समर्थन करता है।

परिणाम: एक कंट्रोलर जिसमें $O(\log |Q| + \log |\Gamma|)$ बिट्स की आंतरिक मेमोरी है (जहाँ $Q$ ट्यूरिंग मशीन की अवस्थाओं का सेट है और $\Gamma$ टेप अल्फाबेट है), इस टेप ऑरेकल के साथ इंटरैक्ट करते समय किसी भी सिंगल-टेप ट्यूरिंग मशीन का अनुकरण (simulate) कर सकता है।
ट्यूरिंग पूर्णता: सिस्टम ट्यूरिंग पूर्ण हो जाता है। कंट्रोलर को टेप को स्टोर करने की आवश्यकता नहीं है; उसे केवल सिम्युलेटेड मशीन की वर्तमान अवस्था और संचालन के मोड को स्टोर करने की आवश्यकता है।
ठोस पृथक्करण: शोध पत्र समानता समस्या $EQ_n$ $E Q_{n}$ (यह जांचना कि क्या दो $n$ $n$ -बिट स्ट्रिंग्स समान हैं) का उपयोग करके एक ठोस घातीय निचली सीमा (exponential lower bound) प्रदान करता है।
- टूल्स के बिना: $EQ_n$ को हल करने के लिए कम से कम $2^n$ अवस्थाओं वाले कंट्रोलर की आवश्यकता होती है।
- टेप एक्सेस के साथ: एक एकल स्थिर-आकार का कंट्रोलर (जो $n$ से स्वतंत्र है) सभी $n$ के लिए $EQ_n$ को हल कर सकता है।

3. सिलेक्टिव SSMs द्वारा सटीक साक्षात्कार (Exact Realization)

शोध पत्र सिद्ध करता है कि ऊपर वर्णित सैद्धांतिक फाइनाइट-स्टेट कंट्रोलर न केवल अमूर्त निर्माण हैं बल्कि एक विशिष्ट न्यूरल आर्किटेक्चर द्वारा सटीक रूप से साकार किए जा सकते हैं।

आर्किटेक्चर: एक-लेयर फाइनाइट-प्रिसिजन सिलेक्टिव एफाइन SSM जिसमें शामिल हैं:
- बाइनरी वन-हॉट हिडन स्टेट्स।
- $\{0, 1\}$ प्रविष्टियों वाले ट्रांजिशन मैट्रिसेस।
- ज़ीरो बायस।
- सिलेक्टिविटी (Selectivity): ट्रांजिशन मैट्रिक्स $A_\omega$ वर्तमान ऑब्जर्वेशन टोकन $\omega$ पर निर्भर करता है।
सिलेक्टिविटी का महत्व: लेखक इस बात पर जोर देते हैं कि 'सिलेक्टिविटी' महत्वपूर्ण आर्किटेक्चरल घटक है। एक निश्चित लीनियर टाइम-इनवेरिएंट रिकरेंस (गैर-सिलेक्टिव) इस सेटिंग में मनमाना फाइनाइट कंट्रोल लागू नहीं कर सकता है।
डायमेंशन: आवश्यक हिडन डायमेंशन $d = O(|Q| \cdot |\Gamma|)$ है, जो वन-हॉट एनकोडिंग का उपयोग करते समय सिम्युलेट की गई मशीन के स्टेट स्पेस के आकार के रैखिक (linear) है।

4. सटीक संसाधन गणना (पूरक परिणाम)

पूरक सामग्री संसाधन सीमाओं को परिष्कृत करती है:

लॉगारिदमिक सिमुलेशन: फिक्स्ड रीडआउट में मशीन विवरण को हार्ड-कोड करके और टेप को बाहरी मेमोरी के रूप में उपयोग करके, किसी भी $B$ -स्टेट ट्यूरिंग मशीन को सिम्युलेट करने के लिए $O(\log B)$ रिकरेंट बिट्स पर्याप्त हैं। यह डायमेंशन को $O(|Q|)$ से सुधारकर $O(\log |Q|)$ कर देता है।
प्रत्यक्ष साक्षात्कार की असंभवता: बिना बाहरी मेमोरी के, एक एकल एफाइन रिकरेंट अपडेट में मनमाने $B$ -स्टेट ट्रांजिशन मैप को सटीक रूप से साकार करने के लिए ठीक $B-1$ का कुल रिकरेंट डायमेंशन आवश्यक है। यह पुष्टि करता है कि लॉगरिदमिक लाभ पूरी तरह से अवस्था को बाहरी टेप पर ऑफलोड करने पर निर्भर है।

महत्व और दावे

शोध पत्र का दावा है कि यह टूल-ऑगमेंटेड कम्प्यूटेशनल गणना की एक सटीक संसाधन-गणना तस्वीर प्रदान करता है। इसका प्राथमिक महत्व एक स्पष्ट द्वैत (sharp dichotomy) स्थापित करने में निहित है:

फाइनाइट-स्टेट टूल्स अभिव्यंजक वर्ग (expressivity class) के मामले में कम्प्यूटेशनल रूप से "मुफ्त" हैं (वे रेगुलर ही रहते हैं), लेकिन वे एक छोटी, रैखिक मेमोरी लागत वहन करते हैं।
अनबाउंडेड टेप टूल्स (यदि कंट्रोलर आर्किटेक्चर 'सिलेक्टिविटी' का समर्थन करता है) न्यूनतम, लॉगरिदमिक आंतरिक मेमोरी लागत के साथ अभिव्यक्तता में एक बड़ी छलांग (ट्यूरिंग पूर्णता तक) प्रदान करते हैं।

यह कार्य इस प्रश्न का समाधान करता है कि टूल का उपयोग शक्ति को कब बढ़ाता है: यह पूरी तरह से टूल के स्टेट स्पेस और इंटरफेस द्वारा नियंत्रित होता है, न कि कंट्रोलर द्वारा। परिणाम सटीक निर्माण और बिना शर्त निचली सीमाएं हैं, जो किसी प्रशिक्षण, सन्निकटन (approximation), या संभाव्य तर्कों पर निर्भर नहीं हैं। शोध पत्र निष्कर्ष निकालता है कि आधुनिक SSMs की "सिलेक्टिव" प्रकृति (जहाँ ट्रांजिशन इनपुट पर निर्भर करते हैं) वह विशिष्ट तंत्र है जो इन मॉडल्स को बाहरी मेमोरी के साथ मिलकर सटीक फाइनाइट कंट्रोलर के रूप में कार्य करने में सक्षम बनाता है, जो सीमित-परिशुद्धता वाले मॉडल्स और ट्यूरिंग-पूर्ण गणना के बीच के अंतर को पाटता है।