Cost-Effective Agent Harnesses for Abstract Reasoning and Generalization on ARC-AGI-1
यह शोध पत्र यह प्रदर्शित करता है कि एक लागत प्रभावी, नॉन-फाइन-ट्यून्ड ओपन-वेट मॉडल (DeepSeek V3.2), जो विशिष्ट एजेंटिक हार्नेस—विशेष रूप से एक एक्सप्लोरर-डेफिनर पाइपलाइन और एक रिफ्लेक्टिव ऑर्केस्ट्रेटर—से सुसज्जित है, पैटर्न डिस्कवरी को प्रोग्राम सिंथेसिस से स्पष्ट रूप से अलग करके और ट्रांसफॉर्मेशन को अनुकूल रूप से पुनः एक्सप्लोर करके, भारी टेस्ट-टाइम कंप्यूट या बेंचमार्क-विशिष्ट प्रशिक्षण के बिना, ARC-AGI-1 प्रदर्शन को 15.50% बेसलाइन से बढ़ाकर 67.25% pass@2 तक महत्वपूर्ण रूप से बढ़ा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जटिल पहेली को हल करने की कोशिश कर रहे हैं जहाँ हर बार एक नया टुकड़ा उठाने पर नियम बदल जाते हैं। ARC-AGI बेंचमार्क यही है: एक ऐसा परीक्षण जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या एक कंप्यूटर बिना उस विशिष्ट पहेली को देखे, अमूर्त पैटर्न और तर्क को समझ सकता है।
लंबे समय से, इन पहेलियों को हल करने के लिए दो महंगे दृष्टिकोणों में से एक की आवश्यकता होती थी:
- "ब्रूट फोर्स" (Brute Force) विधि: एक अत्यंत बुद्धिमान (और बहुत महंगी) AI को लाखों रैंडम अनुमान लगाने के लिए काम पर रखना जब तक कि वह भाग्यशाली न हो जाए। इसमें बहुत अधिक पैसा और कंप्यूटर पावर खर्च होती है।
- "स्पेशलिस्ट" (Specialist) विधि: एक छोटे AI को केवल इन विशिष्ट पहेलियों को हल करने के लिए सिखाना, उसे हजारों उदाहरण दिखाकर। यह अच्छा काम करता है, लेकिन AI एक विशेषज्ञ बन जाता है जो इसके अलावा कुछ और नहीं कर सकता।
इस शोध पत्र का मुख्य विचार
लेखक, डार्टमाउथ कॉलेज के कबीर मोगे और पीटर चिन ने एक अलग सवाल पूछा: क्या हम एक "जनरलिस्ट" (Generalist) AI (एक ऐसा AI जिसे इन पहेलियों के लिए विशेष रूप से प्रशिक्षित नहीं किया गया है) को एक चतुर टीम संरचना का उपयोग करके इन पहेलियों को अच्छी तरह से हल करने के लिए प्रेरित कर सकते हैं?
उन्होंने एक किफायती "एजेंट हार्नेस" (Agent Harness) बनाया—जो मूल रूप से एक प्रबंधन प्रणाली है जो यह व्यवस्थित करती है कि AI कैसे सोचता है। उन्होंने इसका परीक्षण एक मानक, ओपन-सोर्स AI मॉडल (DeepSeek V3.2) पर किया जो विशेष रूप से इन पहेलियों के लिए प्रशिक्षित नहीं था।
यह प्रणाली कैसे काम करती है, इसे एक सरल उपमा (Analogy) के माध्यम से समझते हैं:
उपमा: डिटेक्टिव एजेंसी (जासूसी एजेंसी)
कल्पना कीजिए कि आप एक अपराध स्थल (पहेली) को सुलझाने की कोशिश कर रहे हैं। आपके पास एजेंटों की एक टीम है जिनके पास अलग-अलग काम हैं।
1. पुराना तरीका (One-Shot Baseline)
आप एक जासूस को बुलाते हैं, उसे अपराध स्थल दिखाते हैं, और पूछते हैं, "किसने यह किया?" वह तुरंत अनुमान लगा लेता है।
- परिणाम: वे केवल 15.5% बार सही होते हैं। वे अंधेरे में अनुमान लगा रहे हैं।
2. "बोलने से पहले सोचें" वाला तरीका (Chain-of-Thought)
आप फिर से जासूस को बुलाते हैं, लेकिन इस बार आप उन्हें उत्तर देने से पहले अपने तर्क को लिखने के लिए मजबूर करते हैं।
- परिणाम: सटीकता बढ़कर 30% हो जाती है। केवल विचार प्रक्रिया को लिखना मदद करता है।
3. नया तरीका: "एक्सप्लोरर-डिफाइनर पाइपलाइन" (Explorer-Definer Pipeline)
एक जासूस के बजाय, आप एक टीम को काम पर रखते हैं।
- एक्सप्लोरर्स (पैटर्न खोजने वाले): आप 5 अलग-अलग एजेंटों को स्वतंत्र रूप से अपराध स्थल को देखने के लिए भेजते हैं। वे अभी समाधान खोजने की कोशिश नहीं करते; वे केवल सुराग, पैटर्न और अजीब समरूपता (Symmetry) देखते हैं। वे जो देखते हैं उस पर विस्तृत रिपोर्ट लिखते हैं।
- डिफाइनर (द आर्किटेक्ट/वास्तुकार): एक मास्टर आर्किटेक्ट सभी 5 रिपोर्टों को पढ़ता है। वे सबसे अच्छे विचारों को लेते हैं, उन्हें मिलाते हैं, और पहेली को हल करने के लिए एक विशिष्ट "नुस्खा" (एक कंप्यूटर प्रोग्राम) लिखते हैं।
- चेक (जांच): वे ज्ञात सुरागों पर इस नुस्खे का परीक्षण करते हैं। यदि यह विफल रहता है, तो वे नुस्खे में सुधार करते हैं।
- परिणाम: यह टीम दृष्टिकोण 57.5% पहेलियों को सही हल करती है, जिसकी लागत केवल $0.25 प्रति पहेली है। उन्हें किसी बहुत महंगे AI को काम पर रखने या विशेषज्ञ प्रशिक्षण देने की आवश्यकता नहीं थी; उन्होंने बस काम को बेहतर ढंग से व्यवस्थित किया।
4. "रिफ्लेक्टिव ऑर्केस्ट्रेटर" (The Boss with a Second Chance)
लेखकों ने पाइपलाइन के साथ एक समस्या देखी: कभी-कभी एक्सप्लोरर्स बड़ी तस्वीर को पूरी तरह से मिस कर देते हैं। आर्किटेक्ट फिर नुस्खे को ठीक करने की कोशिश करता है, लेकिन वह एक टूटे हुए आधार को ठीक करने में फंस जाता है। यह एक फटी हुई कैनवास पर मास्टरपीस पेंट करने जैसा है।
इसलिए, उन्होंने एक बॉस (ऑर्केस्ट्रेटर) जोड़ा।
- यदि आर्किटेक्ट का नुस्खा विफल हो जाता है, तो बॉस केवल सुधार के लिए नहीं कहता। बॉस कहता है, "ठीक है, यह दृष्टिकोण गलत है। चलिए एक नई, छोटी टीम को विशेष रूप से उन सुरागों को देखने के लिए भेजते हैं जिन्हें हमने मिस कर दिया है।"
- यह सिस्टम को तब फिर से शुरू करने की अनुमति देता है जब वह फंस जाता है।
- परिणाम: यह स्मार्ट लूप 67.25% पहेलियों को सही हल करता है, जो लगभग $0.62 प्रति पहेली है।
उन्होंने क्या खोजा?
यह शोध पत्र इस बारे में महत्वपूर्ण खोज करता है कि यह क्यों काम करता है:
यह "जेनरेशन" (उत्पत्ति) के बारे में है, "सिलेक्शन" (चयन) के बारे में नहीं:
टीम ने पाया कि उनके विफल होने का मुख्य कारण यह नहीं था कि वे सूची से सही उत्तर को चुन नहीं पा रहे थे। बल्कि यह था कि वे शुरुआत में पर्याप्त अलग प्रकार के विचार जेनरेट नहीं कर पा रहे थे।- उपमा: यह नहीं है कि टीम सही चाबी चुनने में खराब है; बल्कि यह है कि वे दरवाजे के लिए पर्याप्त अलग-अलग चाबियाँ नहीं लाए।
- "ऑर्केस्ट्रेटर" ने इसे ठीक किया क्योंकि उसने टीम को नए विचार (नई चाबियाँ) जेनरेट करने के लिए मजबूर किया जब पुराने विचार काम नहीं आए।
"थिंक" (सोचें) टूल अत्यंत महत्वपूर्ण है:
उन्होंने परीक्षण किया कि क्या होता है यदि वे "थिंक" टूल (एक निजी स्क्रैचपैड जहाँ AI बोलने से पहले नोट्स लिख सकता है) को हटा देते हैं।- परिणाम: सटीकता लगभग 6% गिर गई।
- उपमा: यह एक जासूस को बिना नोट्स लिखने की अनुमति दिए, जोर से मामला सुलझाने के लिए मजबूर करने जैसा है। वे भ्रमित हो जाते हैं और गलतियाँ करते हैं। निजी "सोचने की जगह" जटिल तर्क के लिए आवश्यक है।
लागत बनाम प्रदर्शन:
उन्होंने इन कठिन तर्क पहेलियों को हल करने के लिए हजारों डॉलर खर्च किए बिना (जैसे "ब्रूट फोर्स" विधियों में) और एक नया AI शुरू से प्रशिक्षित किए बिना (जैसे "स्पेशलिस्ट" विधियों में) उच्च स्कोर प्राप्त किया। उन्होंने एक मौजूदा, किफायती AI के लिए एक स्मार्ट वर्कफ़्लो बनाकर यह किया।
निचोड़ (The Bottom Line)
यह पेपर साबित करता है कि कठिन तर्क पहेलियों को हल करने के लिए आपको हमेशा एक बड़े, अधिक बुद्धिमान या अधिक महंगे AI की आवश्यकता नहीं होती है। कभी-कभी, आपको बस एक बेहतर मैनेजर की आवश्यकता होती है जो यह व्यवस्थित कर सके कि AI कैसे सोचता है। समस्या को चरणों में तोड़कर (पैटर्न देखना, फिर समाधान बनाना) और जब सिस्टम फंस जाए तो "फिर से सोचने" की अनुमति देकर, उन्होंने एक बहुत छोटे बजट का उपयोग करके प्रदर्शन को 15% से बढ़ाकर लगभग 67% कर दिया।
नोट: लेखकों ने विशेष रूप से 400 पहेलियों के सार्वजनिक सेट पर इसका परीक्षण किया है। उन्होंने यह दावा नहीं किया है कि यह चिकित्सा निदान, सेल्फ-ड्राइविंग कारों या अन्य वास्तविक दुनिया के अनुप्रयोगों के लिए काम करता है; उन्होंने केवल इस विशिष्ट अमूर्त तर्क परीक्षण के लिए इसे सिद्ध किया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।