AutoHarness: improving LLM agents by automatically synthesizing a code harness
यह शोध पत्र प्रदर्शित करता है कि एक छोटा भाषा मॉडल (Gemini-2.5-Flash) पुनरावृत्ति परिशोधन (iterative refinement) के माध्यम से स्वचालित रूप से कोड हार्नेस या पूर्ण नीतियां संश्लेषित कर सकता है, जो प्रभावी रूप से अवैध कार्यों को रोकता है और विभिन्न TextArena खेलों में काफी बड़े मॉडलों से बेहतर प्रदर्शन करते हुए अधिक लागत दक्षता प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ AutoHarness पेपर का स्पष्टीकरण है, जिसे सरल भाषा और रचनात्मक उपमाओं (analogies) में अनुवादित किया गया है।
मुख्य विचार: एक जीनियस को नियम मानना सिखाना
कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान, अति-प्रतिभाशाली शतरंज खिलाड़ी है (LLM, या लार्ज लैंग्वेज मॉडल)। यह खिलाड़ी हर रणनीति को जानता है, जटिल भविष्य की चालों की गणना कर सकता है, और खेल के गहरे दर्शन को समझता है।
हालाँकि, एक समस्या है: यह जीनियस बुनियादी नियमों का पालन करने में बहुत बुरा है।
हाल ही में एक प्रतियोगिता में, इस "जीनियस" ने अपने 78% खेल इसलिए नहीं हारे क्योंकि उसने कोई गलत रणनीतिक निर्णय लिया, बल्कि इसलिए हारे क्योंकि उसने घोड़े (Knight) को ऊँट (Bishop) की तरह चलाने की कोशिश की, या किसी मोहरे को बोर्ड से ही बाहर निकाल दिया। यह बिल्कुल वैसा ही था जैसे कोई ग्रैंडमास्टर शतरंज खेलने की कोशिश कर रहा हो लेकिन गलती से मोहरों को मेज से नीचे गिरा दे क्योंकि वह भूल गया कि एक मोहरा कैसे चलता है।
आमतौर पर, इसे ठीक करने के लिए, इंसानों को एक "नियम पुस्तिका" (जिसे harness कहा जाता है) लिखनी पड़ती है जो एक रेफरी के रूप में कार्य करती है। यह रेफरी जीनियस द्वारा चली गई हर चाल की जाँच करता है। यदि चाल अवैध है, तो रेफरी कहता है, "नहीं, फिर से कोशिश करो।" लेकिन इन नियम पुस्तिकाओं को हाथ से लिखना धीमा, उबाऊ है, और आपको हर नए खेल के लिए इसे शून्य से शुरू करना पड़ता है।
AutoHarness खेल बदल देता है। इंसान द्वारा नियम पुस्तिका लिखने के बजाय, वे जीनियस से ही अपनी नियम पुस्तिका लिखने को कहते हैं।
यह कैसे काम करता है: "कोड ही हार्नेस है" की अवधारणा
AI एजेंट को एक ड्राइवर (LLM) और एक कार (गेम एनवायरनमेंट) के रूप में सोचें।
- समस्या: ड्राइवर नेविगेट करने में बहुत अच्छा है, लेकिन वे दीवारों के माध्यम से या फुटपाथ पर गाड़ी चलाने की कोशिश करते रहते हैं क्योंकि उन्हें कार की भौतिक सीमाओं का पता नहीं है।
- पुराना समाधान: एक मानव मैकेनिक हर कार मॉडल के लिए एक कस्टम बंपर गार्ड बनाता है।
- AutoHarness समाधान: आप ड्राइवर को एक कागज और पेन देते हैं और कहते हैं, "निर्देशों का एक सेट लिखें जो आपको यह बताए कि कोई भी चाल चलने से पहले यह जांचने के लिए कि क्या वह सुरक्षित है, सटीक निर्देश क्या होने चाहिए। यदि आप गलती करते हैं, तो मैं आपको बताऊंगा, और आप अपने निर्देशों को फिर से लिखेंगे।"
प्रक्रिया: अनुमानों का एक वृक्ष (A Tree of Guesses)
शोधकर्ताओं ने केवल AI को "अधिक प्रयास करने" के लिए नहीं कहा। उन्होंने एक चतुर खोज विधि का उपयोग किया जिसे Tree Search कहा जाता है (इसे "चुनें अपना रोमांच" (Choose Your Own Adventure) वाली किताब की तरह समझें, लेकिन कोड के लिए)।
- पहला ड्राफ्ट: AI कोड का एक टुकड़ा (एक "हarness") लिखता है जो यह जाँचने की कोशिश करता है कि क्या चाल वैध है।
- टेस्ट ड्राइव: वे गेम चलाते हैं। AI एक चाल चलने की कोशिश करता है।
- आलोचक (The Critic): यदि AI अवैध रूप से मोहरा चलता है, तो वातावरण चिल्लाता है, "अवैध चाल!"
- संशोधन (The Revision): AI उस त्रुटि को देखता है, कहता है, "आह, मैं भूल गया कि रास्ता साफ है या नहीं," और उस विशिष्ट गलती को ठीक करने के लिए कोड को फिर से लिखता है।
- दोहराव: वे इसे बार-बार करते हैं, अलग-अलग विचारों की शाखाएं निकालते हैं (जैसे भूलभुलैया में अलग-अलग रास्तों की खोज करना) जब तक कि कोड एकदम सही न हो जाए।
अंततः, AI एक आदर्श "फिल्टर" या "हarness" तैयार करता है जो हर अवैध चाल को होने से पहले ही पकड़ लेता है।
परिणाम: छोटा दिमाग, बड़ी जीत
इस पेपर का सबसे आश्चर्यजनक हिस्सा परिणाम है।
- सेटअप: उन्होंने हार्नेस लिखने के लिए एक छोटे, सस्ते AI मॉडल (Gemini-2.5-Flash) का उपयोग किया।
- परिणाम: एक बार जब इस छोटे मॉडल ने अपना स्वयं का "नियम पुस्तिका" लिख लिया, तो यह एक बहुत बड़े, अधिक महंगे और "स्मार्ट" मॉडल (Gemini-2.5-Pro) से बेहतर प्रदर्शन करने लगा, जिसके पास कोई कस्टम हार्नेस नहीं था।
उपमा:
कल्पना कीजिए कि एक जूनियर मैकेनिक (छोटा मॉडल) एक रेस कार के लिए एक सटीक, कस्टम सुरक्षा हार्नेस बनाता है। एक बार जब कार इस हार्नेस से लैस हो जाती है, तो वह पूरी तरह से चलती है।
वहीं, एक विश्व प्रसिद्ध रेसिंग लीजेंड (बड़ा मॉडल) एक ऐसी कार चला रहा है जिसमें कोई सुरक्षा हार्नेस नहीं है। लीजेंड तेज़ और स्मार्ट है, लेकिन वे दीवारों से टकराते रहते हैं क्योंकि वे अपने शीशों (mirrors) की जाँच नहीं कर रहे हैं।
परिणाम: जूनियर मैकेनिक की कार दौड़ जीत जाती है क्योंकि वह कभी दुर्घटनाग्रस्त नहीं होती, जबकि लीजेंड दीवारों से टकराता रहता है।
"सुपर" संस्करण: स्वयं-चालित कार (The Self-Driving Car)
शोधकर्ताओं ने इस विचार को और आगे बढ़ाया। केवल चालों को जाँचने के लिए नियम पुस्तिका लिखने के बजाय, उन्होंने AI को कोड में पूरी रणनीति लिखने के लिए कहा।
- सामान्य एजेंट: AI बोर्ड को देखता है, सोचता है, "मुझे यहाँ चलना चाहिए," और फिर हार्नेस से पूछता है, "क्या यह वैध है?"
- AutoHarness एजेंट: AI एक पायथन स्क्रिप्ट लिखता है जो स्वयं रणनीति है। स्क्रिप्ट सबसे अच्छी चाल की गणना करती है और उसे तुरंत निष्पादित करती है।
- लाभ: एक बार कोड लिखे जाने के बाद, आपको अब महंगे AI मस्तिष्क की आवश्यकता नहीं है! आप बस कोड चलाते हैं। यह एक रोबोट को चलना सिखाने जैसा है, और फिर रोबोट को बिना किसी इंसान के हाथ पकड़े अपने आप चलने देने जैसा है।
परीक्षणों में, इस "कोड-ओनली" रणनीति ने एकल-खिलाड़ी खेलों में दुनिया के सबसे उन्नत AI मॉडल (GPT-5.2 सहित) को हरा दिया, और इसने ऐसा लगभग शून्य लागत पर किया क्योंकि वास्तविक खेल के दौरान महंगे AI की आवश्यकता नहीं थी।
यह क्यों महत्वपूर्ण है
- लागत दक्षता (Cost Efficiency): आप एक कस्टम टूल बनाने के लिए एक सस्ते, छोटे AI का उपयोग कर सकते हैं जो इसे सुपर-AI की तरह प्रदर्शन करने में सक्षम बनाता है।
- विश्वसनीयता (Reliability): यह "भ्रम" (hallucination) की समस्या को हल करता है जहाँ AI नियम बना लेता है। कोड एक सख्त, गणितीय द्वारपाल (gatekeeper) के रूप में कार्य करता है।
- स्केलेबिलिटी (Scalability): इंसानों को 1,000 अलग-अलग खेलों के लिए नियम लिखने के बजाय, AI स्वचालित रूप से उन सभी के लिए नियम लिखना सीख सकता है।
सारांश
AutoHarness एक प्रतिभाशाली लेकिन अनाड़ी कलाकार को आत्म-सुधार करने वाले उपकरणों का सेट देने जैसा है। कलाकार (AI) उन उपकरणों का उपयोग अपने लिए एक सुरक्षा जाल बनाने के लिए करता है। एक बार जाल बन जाने के बाद, कलाकार बिना किसी बुनियादी गलती के विश्व स्तरीय प्रदर्शन कर सकता है, जो यह साबित करता है कि कभी-कभी, AI को स्मार्ट बनाने का सबसे अच्छा तरीका उसे अपने स्वयं के सुरक्षा घेरे (guardrails) बनाने देना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।