CalibForge: Adversarial Solver Calibration for Scaling Learnable Terminal Tasks
यह शोध पत्र CalibForge को प्रस्तुत करता है, जो एक स्वायत्त प्रणाली है जो एडवरसेरियल सॉल्वर कैलिब्रेशन का उपयोग करके एक "लर्नेबल ज़ोन" (सीखने योग्य क्षेत्र) की पहचान करके प्रभावी टर्मिनल प्रशिक्षण कार्यों को संश्लेषित करती है जहाँ कार्य हल करने योग्य होते हुए भी चुनौतीपूर्ण होते हैं, जिसके परिणामस्वरूप पारंपरिक डेटा क्यूरेशन विधियों की तुलना में कई एजेंट बेंचमार्क में महत्वपूर्ण प्रदर्शन लाभ प्राप्त होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक डिजिटल वर्कशॉप में चीजें ठीक करना सिखाने की कोशिश कर रहे हैं। आप उसे एक टूलबॉक्स और कामों की एक सूची देते हैं, लेकिन इसमें एक पेंच है: यदि काम बहुत आसान है, तो रोबोट ऊब जाएगा और कुछ नहीं सीख पाएगा; यदि वह बहुत कठिन है, तो रोबोट तुरंत हार मान लेगा और कुछ भी नहीं सीख पाएगा। सीखने के लिए सही जगह एक "गोल्डिलॉक्स" (Goldilocks) चुनौती है—कुछ ऐसा जिसे रोबोट वास्तव में गहराई से सोचकर हल कर सके, लेकिन यदि वह असावधान या भ्रमित हो, तो वह उसमें विफल हो जाए। यह AI एजेंटों को प्रशिक्षित करने की मुख्य पहेली है: आप कार्यों की एक विशाल लाइब्रेरी कैसे बना सकते हैं जो पूरी तरह से इस सीखने के क्षेत्र (learning zone) के अनुकूल हो?
लंबे समय से, शोधकर्ता इन कार्यों की लाइब्रेरी बनाने की कोशिश कर रहे हैं ताकि यह सुनिश्चित किया जा सके कि कार्य केवल "निष्पादन योग्य" (executable) हों और उनके पास एक स्पष्ट सही या गलत उत्तर हो। लेकिन सिर्फ इसलिए कि किसी कार्य को किया जा सकता है, इसका मतलब यह नहीं है कि वह एक अच्छा शिक्षक है। एक कार्य इतना सरल हो सकता है कि कोई भी रोबोट उसे तुरंत हल कर ले, या इतना टूटा हुआ हो सकता है कि कोई भी रोबोट उसे कभी हल न कर सके। बड़ा सवाल यह है कि हम उन कार्यों को कैसे खोजें जो रोबोट को स्मार्ट बनाने के लिए पर्याप्त कठिन हों?
यहीं पर CalibForge नामक एक नई प्रणाली आती है। CalibForge को केवल एक टास्क जनरेटर के रूप में नहीं, बल्कि एक शरारती गेम मास्टर के रूप में देखें जो रोबोट के साथ "एडवर्सरियल" (adversarial) खेल खेलता है। केवल यह जाँचने के बजाय कि क्या कोई कार्य काम करता है, CalibForge अलग-अलग "सॉल्वर" (solver) रोबोटों की एक टीम को काम पर लगाता है (कुछ बहुत स्मार्ट, कुछ थोड़े कम बुद्धिमान)। यदि स्मार्ट रोबोट कार्य को हल करता है लेकिन कम बुद्धिमान वाला विफल हो जाता है, तो कार्य एकदम सही है—यह सीखने के क्षेत्र में है! यदि सभी इसे हल कर लेते हैं, तो कार्य बहुत आसान है, इसलिए CalibForge इसे कठिन बनाता है। यदि सभी विफल हो जाते हैं, तो कार्य टूटा हुआ है, इसलिए CalibForge इसे ठीक करता है। विभिन्न रोबोटों की प्रतिक्रिया के आधार पर कार्यों को लगातार ट्यून करके, CalibForge 5,431 पूरी तरह से कैलिब्रेटेड चुनौतियों की एक विशाल लाइब्रेरी बनाता है। जब नए रोबोटों को इस लाइब्रेरी पर प्रशिक्षित किया जाता है, तो वे वास्तविक दुनिया की कंप्यूटर समस्याओं को हल करने में काफी बेहतर हो जाते हैं, जो यह साबित करता है कि "गोल्डिलॉक्स" ज़ोन ही AI सिखाने का असली मंत्र है।
समस्या: बहुत आसान, बहुत कठिन, या बिल्कुल सही?
आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से "टर्मिनल एजेंटों" (वे रोबोट जो कोड को ठीक करने या सर्वर प्रबंधित करने के लिए कंप्यूटर टर्मिनल में कमांड टाइप करते हैं) के लिए, शोधकर्ता अभ्यास समस्याओं की विशाल लाइब्रेरी बना रहे हैं। लक्ष्य इन एजेंटों को जटिल, वास्तविक दुनिया के इंजीनियरिंग कार्यों को संभालने के लिए प्रशिक्षित करना है। हालाँकि, इन समस्याओं को बनाने के तरीके में एक खामी है।
अधिकांश सिस्टम केवल दो चीजें जाँचते हैं:
- क्या इसे किया जा सकता है? (क्या कंप्यूटर वातावरण सही ढंग से सेट किया गया है?)
- क्या कोई सही उत्तर है? (क्या कार्य का एक स्पष्ट पास/फेल टेस्ट है?)
लेकिन यह एक छात्र को गणित के टेस्ट देने जैसा है जहाँ हर सवाल या तो "2+2 क्या है?" (बहुत आसान) है या "इस समीकरण को हल करें जिसका अभी तक आविष्कार भी नहीं हुआ है" (असंभव) है। दोनों ही छात्र को सीखने में मदद नहीं करते। पेपर का तर्क है कि हमें ऐसे कार्यों की आवश्यकता है जो सॉल्वर-रिलेटिव लर्न करने योग्य (solver-relative learnable) हों। इसका अर्थ है कि एक कार्य सक्षम एजेंट द्वारा हल किया जाना चाहिए, लेकिन कमजोर एजेंट द्वारा नहीं। इसे एजेंट की क्षमता के बिल्कुल किनारे पर होना चाहिए, जो उसे सफल होने के लिए अपने दिमाग को खींचने (stretch) के लिए मजबूर करे।
समाधान: द एडवर्सरियल गेम मास्टर
लेखकों ने CalibForge बनाया है, जो एक स्वायत्त प्रणाली है जो एक निरंतर गेम मास्टर की तरह कार्य करती है। यह केवल कार्य नहीं लिखता; यह एडवर्सरियल सॉल्वर कैलिब्रेशन नामक प्रक्रिया का उपयोग करके उन्हें कैलिब्रेट करता है।
यहाँ जादू कैसे होता है, चरण-दर-चरण:
- सुराग (The Clue): CalibForge एक अस्पष्ट विचार से शुरू करता है, जैसे "टूटे हुए डेटाबेस को ठीक करना" या "खोए हुए डेटा को रिकवर करना।"
- ड्राफ्ट (The Draft): एक "ऑथर एजेंट" (एक स्मार्ट AI) निर्देशों, एक वर्चुअल कंप्यूटर वातावरण और एक टेस्ट के साथ एक पूर्ण कार्य लिखता है कि क्या काम पूरा हो गया है।
- तनाव परीक्षण (The Stress Test): कार्य को रखने से पहले, Calib-Forge इसे हल करने के लिए "सॉल्वर एजेंटों" के एक पैनल को भेजता है।
- कैलिब्रेशन लूप (The Calibration Loop): यही असली सफलता का सूत्र है। Calib-Forge यह तय करने के लिए कि क्या कोई कार्य पर्याप्त अच्छा है, दो विशिष्ट रणनीतियों का उपयोग करता है:
- मल्टी-सॉल्वर कैलिब्रेशन (Multi-Solver Calibration): यह कार्य को विभिन्न AI मॉडलों के समूह को भेजता है। यदि सभी इसे हल कर लेते हैं, तो कार्य बहुत आसान है, इसलिए Calib-Forge इसे कठिन बनाता है। यदि कोई भी इसे हल नहीं कर पाता, तो कार्य टूटा हुआ है, इसलिए Calib-Forge इसे ठीक करता है। कार्य तभी रखा जाता है जब वहां असहमति (disagreement) हो: कम से कम एक सॉल्वर सफल हो जबकि कम से कम एक विफल हो। यह साबित करता है कि कार्य "लर्निंग ज़ोन" में है।
- कॉन्ट्रास्टिव कैलिब्रेशन (Contrastive Calibration): यह एक "स्ट्रॉन्ग सॉल्वर" (एक बहुत स्मार्ट AI) और एक "वीक सॉल्वर" (एक कम सक्षम AI) को कार्य भेजता है। कार्य तभी रखा जाता है जब स्ट्रॉंग सॉल्वर पास हो जाता है और वीक सॉल्वर विफल हो जाता है। यह सुनिश्चित करता है कि कार्य स्मार्ट वाले को चुनौती देने के लिए पर्याप्त कठिन है, लेकिन इतना कठिन नहीं कि वह असंभव हो जाए।
यदि कोई कार्य इन सख्त मानदंडों को पूरा नहीं करता है, तो Calib-Forge उसे केवल फेंक नहीं देता। यह देखता है कि सॉल्वर क्यों विफल या सफल हुए, फिर वापस जाकर निर्देशों, वातावरण या परीक्षणों को फिर से लिखता है। यह लूप को तब तक 50 बार दोहराता है जब तक कि कार्य पूरी तरह से कैलिब्रेट न हो जाए।
परिणाम: परफेक्ट चुनौतियों की एक लाइब्रेरी
इस पद्धति का उपयोग करते हुए, Calib-Forge ने 5,431 अत्यधिक कैलिब्रेटेड टर्मिनल कार्यों का एक डेटासेट बनाया। शोधकर्ताओं ने फिर इस डेटा पर दो अलग-अलग AI मॉडल (एक 30-बिलियन पैरामीटर मॉडल और एक 35-बिलियन पैरामीटर मॉडल) को प्रशिक्षित किया।
परिणाम प्रभावशाली थे। Calib-Forge के कार्यों पर प्रशिक्षित मॉडल मौजूदा अन्य डेटासेट्स की तुलना में काफी बेहतर प्रदर्शन करते हैं:
- Terminal-Bench 2.0 (टर्मिनल एजेंटों के लिए एक मानक परीक्षण) पर, मॉडलों ने 32.58% और 47.57% स्कोर किया, जो पिछले सर्वश्रेष्ठ परिणामों से काफी आगे है।
- सुधार केवल प्रशिक्षण डेटा पर नहीं थे। जब पूरी तरह से अलग, वास्तविक दुनिया की सॉफ्टवेयर इंजीनियरिंग चुनौतियों (SWE-bench Pro और Doc2Repo) पर परीक्षण किया गया, तो मॉडलों ने भारी बढ़त दिखाई, जो उनके बेस वर्जन की तुलना में क्रमशः 27.68 और 30.04 प्रतिशत अंक सुधरे।
यह क्यों महत्वपूर्ण है
पेपर सुझाव देता है कि बेहतर AI एजेंट बनाने की कुंजी उन्हें अधिक डेटा देना नहीं है, बल्कि उन्हें सही प्रकार का डेटा देना है। विभिन्न सॉल्वरों के व्यवहार का उपयोग करके एक फीडबैक लूप के रूप में, Calib-Forge यह सुनिश्चित करता है कि लाइब्रेरी में प्रत्येक कार्य सीखने का एक वास्तविक अवसर हो।
लेखक स्पष्ट रूप से दिखाते हैं कि केवल अधिक सॉल्वर फीडबैक जोड़ना या कार्यों की जाँच करने के लिए एकल सॉल्वर का उपयोग करना पर्याप्त नहीं है। "गोल्डिलॉक्स" प्रभाव—जहाँ एक कार्य कुछ के लिए कठिन लेकिन दूसरों के लिए आसान है—ही सीखने को प्रेरित करता है। यह दृष्टिकोण कार्य निर्माण प्रक्रिया को एक स्थिर "लिखो और उम्मीद करो" पद्धति से बदलकर एक गतिशील, स्व-सुधार प्रणाली में बदल देता है जो सक्रिय रूप से कठिनाई के सही स्तर की तलाश करती है।
संक्षेप में, Calib-Forge साबित करता है कि यदि आप एक सुपर-स्मार्ट रोबोट को प्रशिक्षित करना चाहते हैं, तो आपको उसे केवल होमवर्क का ढेर नहीं देना चाहिए। आपको उसे होमवर्क का एक ऐसा ढेर देना चाहिए जो उसे सोचने, संघर्ष करने और अंततः सफल होने के लिए पूरी तरह से ट्यून किया गया हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।