MILES: Modular Instruction Memory with Learnable Selection for Self-Improving LLM Reasoning
MILES एक स्व-सुधारित (self-improving) LLM रीजनिंग के लिए एक नवीन ढांचा है जो चरण-वार निर्देश युग्मों (step-wise instruction pairs) की एक मॉड्यूलर मेमोरी को गतिशील रूप से विस्तारित करता है और यथार्थवादी टेस्ट-टाइम बाधाओं के तहत मेमोरी संरचना और रीजनिंग सटीकता को अनुकूलित करने के लिए एक कोर्स-टू-फाइन (coarse-to-fine), सीखने योग्य चयन तंत्र का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ MILES पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रचनात्मक उपमाओं (analogies) में विभाजित किया गया है।
बड़ी तस्वीर: AI के लिए "स्मार्ट नोटबुक"
कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान लेकिन जिद्दी दोस्त (AI) है जो पहेलियाँ सुलझाने में माहिर है, लेकिन उसकी याददाश्त बहुत खराब है। हर बार जब आप उससे कोई नया गणित का सवाल पूछते हैं, तो वह ऐसे व्यवहार करता है जैसे उसने ऐसा सवाल पहले कभी नहीं देखा हो। वह सवाल हल तो कर लेता है, लेकिन यदि आप बाद में उससे मिलता-जुलता सवाल पूछें, तो उसे फिर से शून्य से शुरुआत करनी पड़ती है।
आमतौर पर, इस दोस्त को स्मार्ट बनाने के लिए, आपको उसे सब कुछ फिर से सीखने के लिए सालों तक स्कूल भेजना होगा (इसे "ट्रेनिंग" या मॉडल के पैरामीटर्स को अपडेट करना कहा जाता है)। लेकिन क्या होगा यदि आपका दोस्त एक ऐसी बंद किताब है जिसे आप वापस स्कूल नहीं भेज सकते? आप उसके दिमाग को बदल नहीं सकते।
MILES इस दोस्त को काम करते समय स्मार्ट बनाने का एक नया तरीका है, बिना उसके दिमाग को बदले। यह उसे एक डायनेमिक, सीखने योग्य नोटबुक (learnable notebook) देता है जिसमें वह वास्तविक समय (real-time) में लिख सकता है और परामर्श ले सकता है।
पुराने नोटबुक्स के साथ समस्या
AI को "याददाश्त" देने के पिछले प्रयासों में दो मुख्य कमियां थीं:
- "पूरा समाधान" वाली नोटबुक (The "Whole Solution" Notebook): कुछ विधियाँ पिछले सवालों के पूरे उत्तरों को स्टोर करती थीं। यदि आप कोई ऐसा सवाल पूछते जो पुराने सवाल से 90% समान था, तो यह बहुत अच्छा काम करता था। लेकिन यदि सवाल थोड़ा अलग होता (एक "नया/novel" सवाल), तो पुराना उत्तर बेकार हो जाता था। यह "एप्पल पाई" की रेसिपी का उपयोग "ब्लूबेरी मफिन" बनाने के लिए करने जैसा था।
- "अनुमानी" नोटबुक (The "Heuristic" Notebook): अन्य विधियाँ छोटे चरणों (जैसे "2 से विभाजित करें" या "यूनिट्स की जाँच करें") को स्टोर करती थीं। लेकिन AI को केवल शब्दों की समानता देखकर यह अंदाज़ा लगाना पड़ता था कि अगला कौन सा कदम उठाना है। यह एक शेफ की तरह था जो बस इसलिए एक रैंडम मसाला का डिब्बा उठा लेता है क्योंकि उसका लेबल उस चीज़ से मिलता-जुलता दिखता है जिसकी उसे ज़रूरत है, और बस उम्मीद करता है कि वह काम कर जाए।
MILES का समाधान: एक "मॉड्यूलर" और "सीखने योग्य" प्रणाली
MILES गेम को इस तरह बदल देता है जैसे रीजनिंग (तर्क) को कंक्रीट के एक एकल ब्लॉक के बजाय एक लेगो सेट (Lego set) की तरह माना जाए।
1. निर्माण खंड (Building Blocks): "उप-लक्ष्य" (Sub-goals) और "उप-निर्देश" (Sub-instructions)
पूरे उत्तरों को स्टोर करने के बजाय, MILES समस्याओं को छोटे, पुन: प्रयोज्य लेगो ब्रिक्स में तोड़ देता है।
- उप-लक्ष्य (The Sub-goal - लेबल): आगे क्या किया जाना है इसका एक संक्षिप्त विवरण (जैसे, "भिन्न (fraction) को सरल करें")।
- उप-निर्देश (The Sub-instruction - ब्रिक): इसे कैसे करना है, इसके बारे में एक विशिष्ट, प्राकृतिक भाषा वाला सुझाव (जैसे, "ऊपरी और निचले नंबरों को उनके महत्तम समापवर्तक (GCD) से विभाजित करें")।
इसे एक टूलबॉक्स के रूप में सोचें जहाँ हर उपकरण पर एक स्पष्ट लेबल लगा है।
2. "स्मार्ट सेलेक्टर" (The "Smart Selector" - लर्नबल हेड)
यही जादुई हिस्सा है। अतीत में, AI केवल उस टूल को चुनता था जो वर्तमान समस्या के सबसे समान दिखता था। MILES प्रत्येक टूल के लिए AI को एक व्यक्तिगत सहायक (एक "सिलेक्शन हेड") देता है।
- यह कैसे सीखता है: जब AI किसी समस्या को आत्मविश्वास से हल करता है (वह सही उत्तर प्राप्त करता है), तो MILES उन चरणों को देखता है जो उसने उठाए थे। वह पूछता है: "हे, जब हमने 'Simplify Fraction' टूल का उपयोग किया, तो क्या इससे हमें सही उत्तर पाने में मदद मिली?"
- ट्रेनिंग: यदि उत्तर "हाँ" है, तो सहायक सीख जाता है कि ऐसी ही स्थितियों के लिए उस टूल पर भरोसा करना है। यदि उत्तर "नहीं" है, तो सहायक उस टूल से बचने के लिए सीख जाता है।
- स्कूल की ज़रूरत नहीं: AI का दिमाग स्थिर रहता है। केवल ये छोटे "सहायक" (जो बहुत छोटे कंप्यूटर प्रोग्राम हैं) ही अपडेट होते हैं।
3. दो-चरणीय खोज प्रक्रिया (The Two-Step Search Process)
जब AI के सामने एक नई समस्या आती है, तो MILES एक "कोर्स-टू-फाइन" (Coarse-to-Fine) खोज का उपयोग करता है, जैसे लाइब्रेरी में किताब ढूँढना:
- लेयर 1 (रफ सर्च): AI कुछ संभावित टूल्स खोजने के लिए लेबल (Sub-goals) को जल्दी से स्कैन करता है। यह "मैथ" वाली एयले (aisle) में चलने और कुछ ऐसी किताबें उठाने जैसा है जो प्रासंगिक हो सकती हैं।
- लेयर 2 (एक्सपर्ट रिव्यू): "सहायक" (सिलेक्शन हेड्स) उन कुछ उम्मीदवारों को लेते हैं और अपने पिछले अनुभव के आधार पर उन्हें स्कोर देते हैं। "रुको, यह टूल अलजेब्रा के लिए बहुत अच्छा था लेकिन ज्योमेट्री में विफल रहा। चलिए दूसरा वाला चुनते हैं।"
यह वास्तविक समय में कैसे काम करता है (The "Confident vs. Uncertain" Flow)
सिस्टम AI के भरोसे के आधार पर दो मोड में काम करता है:
"कॉन्फिडेंट" मोड (सीखने का चरण):
यदि AI किसी समस्या को आसानी से हल करता है और सही उत्तर प्राप्त करता है, तो वह इसे एक "ट्रेनिंग सेशन" के रूप में मानता है। वह अपने सफल चरणों को तोड़ता है, उन्हें नए लेगो ब्रिक्स के रूप में सेव करता है, और अपने सहायकों को सिखाता है कि कौन से टूल्स ने सबसे अच्छा काम किया। नोटबुक हर सफलता के साथ समृद्ध होती जाती है।"अनसर्टेन" मोड (मदद करने का चरण):
यदि AI अटक जाता है या अनिश्चित होता है, तो वह अंदाज़ा लगाना बंद कर देता है। वह नोटबुक खोलता है, अपने सहायकों से सलाह मांगता है, और अपनी सोच को गाइड करने के लिए सबसे अच्छे टूल्स का उपयोग करता है। यह एक छात्र की तरह है जो अटक जाने पर हिंट (संकेत) मांगने के लिए शिक्षक का हाथ उठाता है।
यह क्यों महत्वपूर्ण है (परिणाम)
पेपर ने कठिन गणित और विज्ञान परीक्षाओं (जैसे AIME और MATH-500) पर MILES का परीक्षण किया।
- बेहतर सटीकता: इसने अन्य तरीकों की तुलना में लगातार अधिक समस्याओं को सही ढंग से हल किया जो मेमोरी या सर्च का उपयोग करते हैं।
- दक्षता (Efficiency): इसने रैंडम अनुमान लगाने में उतनी कंप्यूटिंग पावर बर्बाद नहीं की; इसने सही रास्ता चुनने के लिए "सीखे हुए" मेमोरी का उपयोग किया।
- स्थानांतरणीयता (Transferability): एक AI मॉडल द्वारा बनाई गई नोटबुक वास्तव में दूसरे AI मॉडल को समस्या हल करने में मदद कर सकती थी। यह एक मास्टर शेफ द्वारा लिखी गई कुकबुक की तरह है जिसे एक जूनियर शेफ तुरंत उठा सकता है और उपयोग कर सकता है, भले ही वे पहले कभी मिले न हों।
सारांश उपमा (Summary Analogy)
कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं।
- पुराना तरीका: आप हर लेवल को अंदाज़े से जीतने की कोशिश करते हैं। यदि आप हार जाते हैं, तो आप फिर से शुरू करते हैं।
- पिछला मेमोरी वाला तरीका: आप विशिष्ट लेवल के लिए "जीतने की रणनीतियों" की एक सूची रखते हैं। यदि आप लेवल 5 देखते हैं, तो आप लेवल 5 की रणनीति का उपयोग करते हैं। यदि आप लेवल 5.1 देखते हैं, तो आप फंस जाते हैं।
- MILES का तरीका: आप एक डायनेमिक स्ट्रैटेजी गाइड रखते है जो खुद को अपडेट करता है। जब आप एक लेवल जीतते हैं, तो गाइड स्वचालित रूप से लिख देता है कि उस विशिष्ट स्थिति के लिए कौन सा मूव सबसे अच्छा काम कर गया। अगली बार जब आप एक कठिन जंप का सामना करेंगे, तो गाइड केवल एक लिस्ट नहीं दिखाएगा; इसमें एक "स्मार्ट फ़िल्टर" होगा जो कहता है, "आपके पिछले जीतों के आधार पर, 'डबल जंप' मूव यहाँ 90% संभावना है कि काम करेगा।"
MILES AI को अनुभव जमा करने और समय के साथ स्मार्ट बनने की अनुमति देता है, उसके दिमाग को फिर से ट्रेन करके नहीं, बल्कि अपने बढ़ते हुए टिप्स और ट्रिक्स के पुस्तकालय का बेहतर उपयोग करना सीखकर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।