ATLAS: Agentic Test-time Learning-to-Allocate Scaling
ATLAS एक एजेंटिक टेस्ट-टाइम स्केलिंग फ्रेमवर्क पेश करता है जहाँ एक LLM ऑर्केस्ट्रेटर पूरी रीजनिंग प्रक्रिया को गतिशील रूप से नियंत्रित करता है—जिसमें यह शामिल है कि कब अन्वेषण करना है, किस सॉल्वर का उपयोग करना है, और उत्तरों को कैसे संश्लेषित करना है—जो विविध बेंचमार्क पर फिक्स्ड-वर्कफ्लो बेसलाइन से बेहतर प्रदर्शन करता है और साथ ही API कॉल लागत को काफी कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ ATLAS (एजेंटिक टेस्ट-टाइम लर्निंग-टू-एलोकेट स्केलिंग) पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए हिंदी अनुवाद दिया गया है।
मुख्य विचार: बॉस कौन होना चाहिए?
कल्पना कीजिए कि आप एक बहुत कठिन पहेली सुलझाने की कोशिश कर रहे हैं। आपके पास स्मार्ट सहायकों (AI मॉडल्स) की एक टीम है जो आपके लिए इसे हल करने की कोशिश कर सकती है।
पुराना तरीका (डिजाइनर-इंजीनियर्ड):
अतीत में, एक मानव प्रबंधक ("डिजाइनर") को टीम के शुरू होने से पहले ही नियम तय करने होते थे। प्रबंधक कहता: "ठीक है, सभी लोग ठीक 5 बार प्रयास करें। फिर, हम उस उत्तर को चुनेंगे जो सबसे अधिक बार आता है।" या, "जब तक आपको 90 का स्कोर न मिल जाए, तब तक प्रयास करते रहें, फिर रुक जाएं।"
समस्या यह है कि मानव प्रबंधक को यह नहीं पता होता कि पहेली आसान है या कठिन।
- यदि पहेली आसान है, तो 5 बार प्रयास करने के लिए कहना पैसा और समय की बर्बादी है।
- यदि पहेली असंभव है, तो 5 बार प्रयास करना अभी भी बर्बादी है, लेकिन अब आपने और भी अधिक पैसा खर्च कर दिया है।
AI सहायक केवल आदेशों का पालन कर रहे थे; वे यह तय नहीं कर सकते थे कि कब रुकना है या कैसे काम करना है।
नया तरीका (ATLAS):
इस पेपर के लेखकों ने ATLAS पेश किया है। एक कठोर नियम सेट करने वाले मानव प्रबंधक के बजाय, उन्होंने पूरी टीम की जिम्मेदारी संभालने के लिए एक AI सहायक को प्रभारी बना दिया है। यह "ऑर्केस्ट्रेटर" (Orchestrator) बॉस है।
- ऑर्केस्ट्रेटर समस्या को देखता है।
- वह एक मददगार (helper) को इसे हल करने के लिए कहता है।
- वह मददगार के उत्तर को देखता है।
- महत्वपूर्ण रूप से: ऑर्केस्ट्रेटर तय करता है: "क्या यह काफी अच्छा है? क्या मुझे एक और मददगार की आवश्यकता है? क्या मुझे एक अलग प्रकार के मददगार को बुलाना चाहिए? या क्या मुझे अब रुक जाना चाहिए और अंतिम उत्तर दे देना चाहिए?"
AI अब केवल समस्या को हल नहीं कर रहा है; वह समस्या को हल करने के लिए संसाधनों (समय और पैसे) का प्रबंधन कर रहा है।
यह कैसे काम करता है: "एक्सप्लोर" (Explore) बटन
ऑर्केस्ट्रेटर को एक जासूस के रूप में सोचें जो एक केस चला रहा है। उसके पास एक उपकरण है जिसे Explore कहा जाता है।
- जासूस (ऑर्केस्ट्रेटर): वह एक केस फाइल (समस्या) के साथ डेस्क पर बैठा है।
- क्रिया (Action - Explore): जासूस एक ताज़ा, स्वतंत्र जासूस को जांच के लिए बाहर भेजने के लिए बटन दबाता है।
- महत्वपूर्ण: नया जासूस शून्य से शुरुआत करता है। वे पिछले जासूसों ने क्या पाया, यह नहीं देखते। यह सुनिश्चित करता है कि हर कोई वास्तव में एक स्वतंत्र राय दे रहा है।
- रिपोर्ट (Observation): नया जासूस एक उत्तर, अपना तर्क (reasoning) और यह बताता है कि वह कितना आश्वस्त है, लेकर वापस आता है।
- निर्णय (Decision): मुख्य जासूस रिपोर्ट पढ़ता है।
- परिदृश्य A: उत्तर संदिग्ध लग रहा है। जासूस और सबूत जुटाने के लिए फिर से Explore बटन दबाता है।
- परिदृश्य B: तीन जासूसों ने अलग-अलग तरीकों का उपयोग करके एक ही उत्तर पर सहमति जताई है। जासूस कहता है, "बहुत अच्छा, हमारे पास पर्याप्त सबूत हैं," और Stop बटन दबाता है।
- परिदृश्य C: जासूस बार-बार विफल हो रहे हैं या बकवास दे रहे हैं। जासूस को एहसास होता है, "हमारे वर्तमान उपकरणों के साथ यह मामला हल करने योग्य नहीं है," और वह पैसा बचाने के लिए रुक जाता है।
"एक्शन स्पेस" (Action Space): बॉस को अधिक उपकरण देना
पेपर दिखाता है कि ऑर्केस्ट्रेटर के पास जितने अधिक उपकरण होंगे, वह उतना ही बेहतर प्रदर्शन करेगा। उन्होंने तीन संस्करणों का परीक्षण किया:
- ATLAS (बेसिक बॉस): ऑर्केस्ट्रेटर केवल "Explore" या "Stop" कह सकता है। वह तय करता है कि कब रुकना है, लेकिन वह हमेशा एक ही प्रकार के मददगार का उपयोग करता है।
- ATLAS-MM (मल्टी-टूल बॉस): ऑर्केस्ट्रेटर यह भी चुन सकता है कि किस मददगार को भेजना है।
- उपमा: यदि पहला मददगार एक जूनियर इंटर्न है और वह विफल हो जाता है, तो बॉस तय कर सकता है, "ठीक है, अब सीनियर एक्सपर्ट को भेजते हैं।" या, "पहले तीन सस्ते इंटर्न भेजें, और यदि वे असहमत होते हैं, तो महंगे विशेषज्ञ को बुलाएं।"
- ATLAS-MI (फोकस्ड बॉस): ऑर्केस्ट्रेटर मददगार को एक विशिष्ट संकेत (hint) दे सकता है।
- उपमा: यदि पहले तीन मददगारों ने एक ही गलती की है, तो बॉस अगले मददगार को बता सकता है, "पहले भाग को अनदेखा करें, विशेष रूप से इस कठिन चरण पर ध्यान केंद्रित करें।"
परिणाम: स्मार्ट खर्च
शोधकर्ताओं ने चार अलग-अलग प्रकार की कठिन चुनौतियों पर इस सिस्टम का परीक्षण किया:
- विज्ञान के प्रश्न: (जैसे स्नातक स्तर की भौतिकी या रसायन विज्ञान की परीक्षा)।
- कोडिंग: (कंप्यूटर प्रोग्राम लिखना)।
- विजुअल रीजनिंग: (छवियों को देखना और उनके बारे में सवालों के जवाब देना)।
क्या हुआ?
- बेहतर सटीकता: ATLAS ने पुराने "निश्चित नियम" वाले तरीकों की तुलना में उच्च स्कोर प्राप्त किया। उदाहरण के लिए, सबसे कठिन विज्ञान प्रश्नों पर, यह लगभग 83% सही होने से बढ़कर 85.86% सही हो गया।
- सस्ता: भले ही इसने बेहतर स्कोर प्राप्त किया, लेकिन इसने अन्य तरीकों की तुलना में वास्तव में कम पैसा (कम API कॉल्स) खर्च किया।
- क्यों? क्योंकि पुराने तरीके आसान सवालों पर पैसा बर्बाद करते थे (5 प्रयास करना जब 1 ही काफी था) और असंभव सवालों पर भी (5 प्रयास करना जब 0 ही काम आता)। ATLAS ठीक उसी समय रुक गया जब उसके पास पर्याप्त सबूत थे।
असली मंत्र: "स्टेटफुल एविडेंस" (Stateful Evidence)
पेपर ने पाया कि ATLAS के काम करने का सबसे बड़ा कारण स्टेटफुल एविडेंस मैनेजमेंट है।
- पुराना तरीका: कल्पना कीजिए कि एक समिति है जहाँ हर कोई वोट देता है, लेकिन वोटों की गिनती करने वाला व्यक्ति केवल नामों की अंतिम सूची देखता है। उन्हें यह नहीं पता होता कि लोगों ने कैसे वोट दिया या वे क्या सोच रहे थे।
- ATLAS का तरीका: ऑर्केस्ट्रेटर पूरी कहानी देखता है। वह हर विचार, हर प्रयास और हर कारण को देखता है कि क्यों एक मददगार ने एक उत्तर दिया।
- यदि ऑर्केस्ट्रेटर देखता है कि दो मददगारों ने एक ही उत्तर पर सहमति जताई लेकिन उन्होंने एक ही गलत तर्क का उपयोग किया, तो वह समझ जाता है कि यह एक जाल है और और अधिक खोज जारी रखता है।
- यदि वह एक ऐसे मददगार को देखता है जिसके पास एक अजीब उत्तर है लेकिन एक शानदार, अद्वितीय स्पष्टीकरण है, तो वह बहुमत की राय के बजाय उस अल्पसंख्यक राय पर भरोसा कर सकता है।
सारांश
ATLAS एक ऐसा सिस्टम है जहाँ एक AI एक स्मार्ट मैनेजर के रूप में कार्य करता है। एक कठोर स्क्रिप्ट का पालन करने के बजाय, यह अपनी टीम को देखता है, सबूत जुटाता है, और यह तय करता है कि पैसा बचाने के लिए काम कब रोकना है और सही उत्तर पाने के लिए कब जारी रखना है। यह "स्केलिंग अप" (अधिक कंप्यूटर पावर का उपयोग करना) को एक कुंद हथौड़े से बदलकर एक सटीक स्कैल्पल (सर्जिकल चाकू) में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।