← नवीनतम पेपर
🤖 machine learning

Steering Recurrent Reasoners at Inference Time with Readout Feedback

यह शोध पत्र रीडआउट फीडबैक (RoFB) को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त इन्फरेंस-टाइम विधि है जो मध्यवर्ती रीडआउट संभावनाओं का उपयोग करके लेटेंट डायनेमिक्स को निर्देशित करके रिकरेंट रीजनिंग मॉडल्स के प्रदर्शन में सुधार करती है, जो सुडोकू और मेज़ जैसे कार्यों पर केवल गणना चरणों को बढ़ाने या कई ट्रैजेक्टरीज को सैंपल करने की तुलना में बेहतर परिणाम प्राप्त करती है।

मूल लेखक: Shunsuke Kamiya, Masanori Koyama, Seongcheol Jeong, Fumiya Uchiyama, Kenji Kubo, Kohei Hayashi, Masahiro Suzuki, Yutaka Matsuo

प्रकाशित 2026-08-26
📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Shunsuke Kamiya, Masanori Koyama, Seongcheol Jeong, Fumiya Uchiyama, Kenji Kubo, Kohei Hayashi, Masahiro Suzuki, Yutaka Matsuo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मशीनों को सोचने के योग्य बनाने की खोज में, शोधकर्ताओं ने लंबे समय से एक सरल सिद्धांत पर भरोसा किया है: कंप्यूटर को अधिक समय दें, और वह संभवतः एक बेहतर उत्तर खोज लेगा। जिस तरह एक मानव गणितज्ञ किसी प्रमाण को परिष्कृत करने के लिए रुक सकता है या एक शतरंज खिलाड़ी क्षण भर के चिंतन के बाद अपनी चाल पर पुनर्विचार कर सकता है, आधुनिक आर्टिफिशियल इंटेलिजेंस सिस्टम को भी तेजी से रुकने, पुनर्विचार करने और पुनरावृत्ति करने के लिए डिज़ाइन किया जा रहा है। यह दृष्टिकोण, जिसे 'इन्फरेंस-टाइम कंप्यूटेशन' (inference-time computation) कहा जाता है, मॉडलों को तर्क के कई संभावित पथ उत्पन्न करने, उनका मूल्यांकन करने और सबसे आशाजनक पथ चुनने की अनुमति देता है। जबकि यह रणनीति लार्ज लैंग्वेज मॉडल्स के लिए प्रभावी सिद्ध हुई है, मशीनों का एक अलग वर्ग—रिकरेंट मॉडल्स (recurrent models)—थोड़े अलग तर्क पर काम करता है। ये सिस्टम एक आंतरिक स्थिति (internal state), जो एक प्रकार का मानसिक रफ-नोट (scratchpad) है, को बार-बार अपडेट करके समस्याओं को हल करते हैं। कई अलग-अलग ड्राफ्ट बनाने और उनकी तुलना करने के बजाय, वे एक एकल, विकसित होते विचार प्रक्रिया को चरण-दर-चरण परिष्कृत करते हैं। प्रश्न जो बना हुआ है वह यह है कि क्या इस विचार के एक ही धागे को चलते समय अधिक प्रभावी ढंग से निर्देशित किया जा सकता है, बजाय इसके कि इसे बस अपने मार्ग पर चलने दिया जाए या कई अलग-अलग शुरुआती बिंदुओं का प्रयास किया जाए।

टोक्यो विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इन आंतरिक विचार प्रक्रियाओं को वास्तविक समय में निर्देशित करने का एक नया तरीका प्रस्तावित किया है। वे अपने इस तरीके को 'रीडआउट फीडबैक' (Readout Feedback) कहते हैं, एक ऐसी तकनीक जो मॉडल के अपने मध्यवर्ती अनुमानों को सुनती है और उस जानकारी का उपयोग उसके आंतरिक स्टेट को सही समाधान की ओर धीरे से धकेलने के लिए करती है। इसका मूल विचार आश्चर्यजनक रूप से सहज है: जैसे-जैसे एक मॉडल पहेली को हल करने के करीब पहुँचता है, समस्या के विभिन्न हिस्सों के उसके आंतरिक प्रतिनिधित्व (representations) खुद को व्यवस्थित करना शुरू कर देते हैं। जो आइटम एक ही श्रेणी के होते हैं वे स्वाभाविक रूप से एक साथ समूहबद्ध हो जाते हैं, जबकि जो अलग श्रेणियों के होते हैं वे दूर चले जाते हैं। शोधकर्ताओं ने पाया कि वे इस संगठित पैटर्न का पता लगा सकते हैं और सिस्टम में एक सूक्ष्म बल इंजेक्ट कर सकते हैं ताकि इसे प्रोत्साहित किया जा सके, जिससे प्रभावी रूप से मॉडल को बिना पुन: प्रशिक्षित किए या अधिक कंप्यूटिंग पावर दिए, भ्रम से बाहर निकलने में मदद मिलती है।

इस विचार का परीक्षण करने के लिए, टीम ने अपने तरीके को तीन अलग-अलग प्रकार के रिकरेंट रीजनिंग मॉडल्स पर लागू किया, जिनमें से प्रत्येक की एक अद्वितीय आंतरिक वास्तक्चर है, और उनसे दो क्लासिक लॉजिक पहेलियाँ हल करने को कहा: सुडोकू (Sudoku) और मेज़ (Maze)। सुडोकू में, लक्ष्य एक ग्रिड को संख्याओं से भरना है ताकि प्रत्येक पंक्ति, कॉलम और खंड में एक से नौ तक के सभी अंक हों। मेज़ कार्य में, मॉडल को बाधाओं से भरे ग्रिड के माध्यम से सबसे छोटा रास्ता खोजना होता है। शोधकर्ताओं ने इन मॉडलों को उनकी मानक समाधान प्रक्रिया के माध्यम से चलाया, जिसमें सैकड़ों बार उनकी आंतरिक स्थिति को अपडेट करना शामिल है, और फिर उनके नए फीडबैक लूप द्वारा उन्नत प्रक्रिया के विरुद्ध परिणामों की तुलना की। उन्होंने पाया कि छह मॉडल और पहेली के संयोजनों में से चार में, फीडबैक पद्धति ने काफी बेहतर परिणाम दिए। कुछ मामलों में, बेहतर मॉडल ने पहेलियों को सटीकता के उस स्तर के साथ हल किया जो मानक मॉडल तक भी नहीं पहुँच सका, भले ही उसे बहुत लंबे समय तक चलने दिया गया हो या शोधकर्ताओं ने दर्जनों अलग-अलग शुरुआती बिंदुओं का प्रयास किया हो।

इस सुधार के पीछे का तंत्र मॉडल के अपने आत्मविश्वास पर निर्भर करता है। जैसे-जैसे मॉडल पहेली को प्रोसेस करता है, वह हर चरण पर हर संभावित उत्तर के लिए एक प्रायिकता (probability) उत्पन्न करता है। शोधकर्ताओं ने देखा कि जब मॉडल फँसा हुआ या भटक रहा होता है, तो ये प्रायिकताएँ अव्यवस्थित और असंरचित होती हैं। हालाँकि, जब मॉडल समाधान के करीब होता है, तो सही उत्तरों के लिए प्रायिकताएँ संरेखित होने लगती हैं, जिससे एक स्पष्ट पैटर्न बनता है। नया तरीका इसी पैटर्न का लाभ उठाता है। समाधान प्रक्रिया के विशिष्ट क्षणों पर, यह पहेली के विभिन्न हिस्सों के प्रायिकता पैटर्न के बीच की दूरी की गणना करता है। यदि पहेली के दो हिस्सों के लिए अलग-अलग उत्तरों की भविष्यवाणी की जाती है, तो सिस्टम एक बल लगाता है जो उनकी आंतरिक अवस्थाओं को एक-दूसरे से दूर धकेलता है। यदि उन्हें समान होने की भविष्यवाणी की जाती है, तो यह उन्हें करीब रहने के लिए प्रोत्साहित करता है। यह एक स्व-सुधारात्मक गतिशीलता बनाता है जो मॉडल को डेड-एंड (dead ends) से निकलने और सही समाधान पर बहुत तेज़ी से पहुँचने में मदद करता है।

परिणाम विशिष्टता में प्रभावशाली थे। एक मॉडल के लिए, जो जटिल तर्क के लिए डिज़ाइन किया गया एक कॉम्पैक्ट सिस्टम था, फीडबैक पद्धति ने सुडोकू पर इसकी सफलता दर को लगभग साठ-आठ प्रतिशत से बढ़ाकर सत्तर-चार प्रतिशत से अधिक कर दिया, जो बिना मॉडल के मूल कोड या प्रशिक्षण डेटा को बदले प्राप्त की गई एक बड़ी उपलब्धि थी। दूसरे मॉडल के लिए, जो मेज़ पहेली से जूझ रहा था, इस पद्धति ने इसे मानक दृष्टिकोण की तुलना में बहुत कम कंप्यूटेशनल स्टेप्स के साथ उच्च स्तर की सटीकता तक पहुँचने की अनुमति दी। वास्तव में, बेहतर मॉडल कभी-कभी मानक मॉडल से बेहतर प्रदर्शन करता है, तब भी जब मानक मॉडल को सैकड़ों अतिरिक्त स्टेप्स या दर्जनों संभावित पथों को सैंपल करने की अनुमति दी गई हो। यह सुझाव देता है कि बेहतर प्रदर्शन की कुंजी केवल अधिक काम करना नहीं था, बल्कि सही प्रकार का काम करना था, यानी सिस्टम की आंतरिक गतिशीलता को सक्रिय रूप से निर्देशित करना।

हालाँकि, शोधकर्ता इस बात को ध्यान में रखते हुए सावधान थे कि यह विधि एक सार्वभौमिक समाधान नहीं है। छह परीक्षण मामलों में से दो में, फीडबैक लूप ने कोई मापने योग्य लाभ नहीं दिया, और एक विशिष्ट मामले में, इसने बहुत कम अंतर पैदा किया क्योंकि मॉडल पहले से ही लगभग पूर्ण स्तर पर प्रदर्शन कर रहा था। यह इंगित करता है कि यह तकनीक तब सबसे अच्छा काम करती है जब मॉडल समस्या को हल करने में सक्षम होता है लेकिन अपने विचारों को प्रभावी ढंग से व्यवस्थित करने में संघर्ष कर रहा होता है। जब मॉडल पहले से ही अत्यधिक आश्वस्त होता है या जब समस्या की आंतरिक संरचना इस प्रकार के क्लस्टरिंग (clustering) के अनुकूल नहीं होती है, तो फीडबैक सिग्नल के पास कार्य करने के लिए बहुत कम आधार होता है। अध्ययन बताता है कि हालांकि यह दृष्टिकोण मौजूदा मॉडलों के भीतर एक छिपी हुई क्षमता को अनलॉक करता है, लेकिन यह हर प्रकार की तर्क संबंधी समस्या को हल करने वाला कोई जादुई डंडा नहीं है।

इस कार्य के निहितार्थ केवल पहेलियाँ हल करने तक सीमित नहीं हैं। यह इस बात पर एक नया दृष्टिकोण प्रदान करता है कि विचार प्रक्रिया के दौरान आर्टिफिशियल इंटेलिजेंस को कैसे नियंत्रित किया जा सकता है। केवल ब्रूट फोर्स (brute force) पर निर्भर रहने के बजाय—अधिक स्टेप्स चलाना या अधिक विकल्प सैंपल करना—यह विधि प्रदर्शित करती है कि एक मॉडल को उसके अपने मध्यवर्ती संकेतों द्वारा निर्देशित किया जा सकता है। यह एक ऐसे व्यक्ति के समान है जो एक जटिल समस्या को हल कर रहा है जो, फंस जाने पर शून्य से शुरू करने के बजाय, अपने वर्तमान नोट्स को देखता है, यह महसूस करता है कि उसके तर्क के कौन से हिस्से आपस में टकरा रहे हैं, और अपने सोचने के तरीके को समायोजित करता है। शोधकर्ताओं ने पाया कि इस क्लोज्ड-लूप कंट्रोल को 'फ्रोजन मॉडल्स' (frozen models) पर भी लागू किया जा सकता है, जिसका अर्थ है वे सिस्टम जिन्हें पहले ही प्रशिक्षित किया जा चुका है और जो अब सीख नहीं रहे हैं, बस समाधान चरण के दौरान फीडबैक की एक परत जोड़कर।

हालाँकि वर्तमान अध्ययन विशिष्ट प्रकार की तर्क पहेलियों और छोटे पैमाने के मॉडलों तक सीमित है, निष्कर्ष तर्क प्रणालियों के भविष्य के लिए एक आशाजनक दिशा का सुझाव देते हैं। लेखक स्वीकार करते हैं कि इस तकनीक को लार्ज लैंग्वेज मॉडल्स पर लागू करना, जो विशाल शब्दावली और जटिल मानवीय भाषा से निपटते हैं, एक महत्वपूर्ण चुनौती होगी और इसके लिए अलग अनुकूलन की आवश्यकता हो सकती है। फिर भी, इन संरचित कार्यों पर मिली सफलता इस बात का पुख्ता प्रमाण है कि तर्क मॉडलों की आंतरिक गतिशीलता में अप्रयुक्त क्षमता मौजूद है। अपने स्वयं के स्वर को सुनकर और यात्रा को निर्देशित करने के लिए उसका उपयोग करके, शोधकर्ताओं ने इन प्रणालियों को अधिक प्रभावी ढंग से सोचने का एक तरीका खोजने में सफलता प्राप्त की है, जो यह सिद्ध करता है कि कभी-कभी मशीन के तर्क को बेहतर बनाने का सबसे अच्छा तरीका उसे अधिक सिखाना नहीं, बल्कि उसे खुद को सुनना सिखाना है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →