ASTER: Agentic Scaling with Tool-integrated Extended Reasoning
यह शोध पत्र ASTER को प्रस्तुत करता है, जो एक लक्षित कोल्ड-स्टार्ट रणनीति को इंटरेक्शन-सघन प्रक्षेप पथों (interaction-dense trajectories) के साथ उपयोग करके टूल-एकीकृत तर्क में होने वाले इंटरेक्शन कोलैप्स (interaction collapse) पर विजय प्राप्त करता है, जिससे एक 4B-पैरामीटर वाला मॉडल AIME 2025 जैसे गणितीय बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करने में सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन अनुभवहीन छात्र (एक लार्ज लैंग्वेज मॉडल) को अविश्वसनीय रूप से कठिन गणितीय समस्याओं को हल करना सिखाने की कोशिश कर रहे हैं। यह छात्र सोचने में तो बहुत माहिर है, लेकिन अक्सर छोटी-छोटी गणना संबंधी गलतियाँ कर देता है जो गलत उत्तरों में बदल जाती हैं क्योंकि वह सब कुछ अपने दिमाग में करने की कोशिश करता है।
यह शोध पत्र इस समस्या को ठीक करने के लिए एक नया प्रशिक्षण तरीका पेश करता है जिसे ASTER (एजेंटिक स्केलिंग विद टूल-इंटीग्रेटेड एक्सटेंडेड रीजनिंग) कहा जाता है। इसे समझाने के लिए यहाँ सरल उपमाओं का उपयोग किया गया है।
समस्या: "अति-आत्मविश्वासी" छात्र
पहले, शोधकर्ता इन AI मॉडलों को उपकरण (जैसे कैलकुलेटर या कोड इंटरप्रेटर) का उपयोग करना सिखाने के लिए उन्हें केवल अभ्यास करने और अपनी गलतियों से सीखने (रीइन्फोर्समेंट लर्निंग) की कोशिश करते थे।
हालाँकि, इससे एक समस्या उत्पन्न हुई जिसे लेखक "इंटरैक्शन कोलैप्स" (Interaction Collapse) कहते हैं।
- उपमा: कल्पना कीजिए कि एक छात्र है जिसे एक लंबे, जटिल गणित के टेस्ट के लिए कैलकुलेटर का उपयोग करने के लिए कहा गया है। इसके बजाय, वह कठिन गणित को अपने दिमाग में करने की कोशिश करता है, भ्रमित हो जाता है, और फिर अंत में, वह अपने काम को "चेक" करने के लिए कैलकुलेटर में केवल
1+1टाइप कर देता है। उसने सोचने में मदद के लिए उपकरण का वास्तव में उपयोग नहीं किया; उसने इसे केवल अंत में एक छोटे सुरक्षा जाल के रूप में इस्तेमाल किया। - परिणाम: AI उपकरणों का प्रभावी ढंग से उपयोग करना बंद कर देता है। वह आंतरिक रूप से बहुत अधिक "सोचने" लगता है, गलतियाँ करता है, और लंबी, जटिल समस्याओं को हल करने में विफल रहता है।
समाधान: "मास्टर शेफ" की प्रशिक्षुता (Apprenticeship)
लेखकों ने महसूस किया कि इससे पहले कि आप छात्र को अपने आप अभ्यास करने दें, आपको उन्हें पहले यह दिखाना होगा कि उपकरणों का सही उपयोग कैसे किया जाता है। वे इसे कोल्ड-स्टार्ट SFT (सुपरवाइज्ड फाइन-ट्यूनिंग) कहते हैं।
उन्होंने छात्र को सिखाने के विभिन्न तरीकों का परीक्षण किया:
- "क्विक फिक्स" विधि: छात्र को ऐसे समाधान दिखाना जहाँ उपकरण का उपयोग केवल एक या दो बार किया जाता है।
- "डीप डाइव" विधि (ASTER): छात्र को उदाहरणों का एक छोटा सेट (केवल 4,000) दिखाना जहाँ उपकरण का उपयोग लगातार किया जाता है।
मुख्य खोज: इंटरैक्शन डेंसिटी (Interaction Density)
शोध पत्रों ने पाया कि प्रशिक्षण उदाहरणों में टूल के उपयोग का घनत्व (Density) किसी भी अन्य चीज़ से अधिक महत्वपूर्ण है।
- उपमा: यदि आप एक शेफ को 10-कोर्स का भोजन बनाना सिखाना चाहते हैं, तो उन्हें ऐसी रेसिपी दिखाना पर्याप्त नहीं है जहाँ वे ओवन का उपयोग केवल एक बार करते हैं। आपको उन्हें ऐसी रेसिपी दिखानी होगी जहाँ वे लगातार चीजों को काट रहे हैं, चला रहे हैं, चख रहे हैं और गर्मी को एडजस्ट कर रहे हैं।
- ASTER का दृष्टिकोण: उन्होंने एक "मास्टर शेफ" डेटासेट बनाया जहाँ AI को उपकरण (कोड इंटरप्रेटर) का बार-बार उपयोग करना पड़ता था—एक ही समस्या को हल करने के लिए कभी-कभी 9 बार से भी अधिक—ताकि वह काम को पूरा कर सके। इसने AI में एक "आदत" (या व्यवहार संबंधी पूर्वधारणा/Behavioral Prior) विकसित की कि वह केवल अनुमान लगाने के बजाय अपने काम को लगातार टूल के साथ चेक करता रहे।
प्रशिक्षण प्रक्रिया: दो चरण
एक बार जब AI ने इन 4,000 उदाहरणों से यह "आदत" सीख ली, तो उन्होंने इसे रीइन्फोर्समेंट लर्निंग का उपयोग करके अपने आप अभ्यास करने दिया।
- चरण 1 (अभ्यास रन): AI टूल के उपयोग की एक सीमा के साथ अभ्यास करता है। यह कुशल बनना सीखता है।
- चरण 2 (मैराथन): वे AI को बहुत अधिक "सोचने की जगह" (अधिक मेमोरी) देते हैं और इसे 50 बार तक टूल का उपयोग करने देते हैं। क्योंकि इसने पहले "डीप डाइव" आदत सीखी थी, इसलिए यह कोलैप्स नहीं होता है; यह कठिन समस्याओं को हल करने के लिए प्रभावी ढंग से टूल का उपयोग करना जारी रखता है।
परिणाम: छोटे लेकिन शक्तिशाली
इस शोध पत्र का सबसे आश्चर्यजनक हिस्सा मॉडल का आकार है।
- उन्होंने एक अपेक्षाकृत छोटा मॉडल (4 बिलियन पैरामीटर्स) प्रशिक्षित किया।
- उपमा: यह एक छोटी, फुर्तीली रेस कार की तरह है क्योंकि उसे सही ड्राइविंग तकनीक सिखाई गई है, जिससे वह एक कठिन ट्रैक पर विशाल, भारी ट्रकों (बहुत बड़े AI मॉडलों) को हरा सकती है।
- स्कोर: एक बहुत ही कठिन गणित प्रतियोगिता (AIME 2025) में, इस छोटे मॉडल ने 90.0% स्कोर किया, जिसने DeepSeek-V3.2 (जिसमें 671 बिलियन पैरामीटर्स हैं) जैसे बहुत बड़े मॉडलों और यहाँ तक कि OpenAI के सर्वश्रेष्ठ मॉडलों को भी पीछे छोड़ दिया।
"सीक्रेट सॉस" का सारांश
शोध पत्र का दावा है कि AI को लंबे, कठिन कार्यों के लिए टूल का उपयोग करने में अच्छा बनाने के लिए, आपको उसे सीधे गहरे पानी में नहीं फेंकना चाहिए। इसके बजाय:
- तत्काल पूर्णता की चिंता न करें: शुरुआती प्रशिक्षण उदाहरणों ने AI को तुरंत गणित में परफेक्ट नहीं बनाया।
- "फ्लो" (प्रवाह) पर ध्यान दें: आपको शुरुआती प्रशिक्षण के दौरान AI को टूल का बहुत अधिक उपयोग करने के लिए मजबूर करना होगा।
- प्रतिफल (Payoff): यह एक मजबूत आदत बनाता है। जब AI अपने आप अभ्यास करना शुरू करता है, तो वह स्वाभाविक रूप से टूल का उपयोग करना जारी रखता है, जिससे वह उन समस्याओं को हल करने में सक्षम होता है जो पहले उसके लिए असंभव थीं।
संक्षेप में: AI को कैलकुलेटर का लगातार उपयोग करना सिखाएं, न कि केवल अंत में, और वह गणित का जीनियस बन जाएगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।