Reward-Free Evolving Agents via Pairwise Validator
यह शोध पत्र एक लागत प्रभावी स्व-विकसित एजेंट फ्रेमवर्क प्रस्तावित करता है जो एजेंट सुधार के मार्गदर्शन के लिए महंगे स्केलर रिवॉर्ड सिग्नल्स के स्थान पर एक फ्रोजन LLM-आधारित पेयरवाइज वैलिडेटर का उपयोग करता है, जिससे बिना किसी लेबल किए गए डेटा या अतिरिक्त प्रशिक्षण के कई इंजनों और सबस्ट्रेट्स में प्रतिस्पर्धी प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल आदेशों का पालन नहीं करते, बल्कि वास्तव में अपने स्वयं के निर्देश लिखना भी सीख जाते हैं। यह AI एजेंट्स (AI Agents) का क्षेत्र है, जो स्मार्ट प्रोग्राम हैं जो चरणों में तोड़कर, उपकरणों का उपयोग करके और समस्याओं पर विचार करके जटिल पहेलियों को हल करते हैं। आमतौर पर, इन एजेंट्स को बेहतर बनाने के लिए, इंसानों को एक सख्त कोच की तरह काम करना पड़ता है। हर बार जब एजेंट सोचने का एक नया तरीका आजमाता है, तो कोच को उसे एक विशिष्ट स्कोर के साथ ग्रेड करना पड़ता है, जैसे एक शिक्षक परीक्षा का ग्रेड देता है। लेकिन यहाँ एक पेच है: उन सटीक परीक्षणों और ग्रेडिंग कुंजियों (grading keys) को बनाना अविश्वसनीय रूप से कठिन, महंगा और गहरे मानवीय विशेषज्ञता की मांग करता है। यह एक रोबोट को प्याज काटने का सटीक तरीका बताने के लिए 100 पन्नों का मैनुअल लिखने जैसा है, केवल यह महसूस करने के बाद कि आपको हर एक सब्जी के लिए एक नए मैनुअल की आवश्यकता है।
सेल्फ-इवॉल्विंग एजेंट्स (Self-Evolving Agents) की अवधारणा को देखें। एक मानव कोच द्वारा हर प्रयास को ग्रेड किए जाने का इंतज़ार करने के बजाय, ये एजेंट्स खुद को एक लूप में सुधारने का प्रयास करते हैं: वे एक छोटा सा बदलाव करते हैं, उसका परीक्षण करते हैं, और यदि वह बेहतर दिखता है, तो वे उसे बनाए रखते हैं। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं, वह यह है: क्या हम महंगे मानवीय ग्रेडिंग को पूरी तरह से छोड़ सकते हैं? क्या होगा यदि एजेंट बस अपने "पुराने स्वरूप" और अपने "नए स्वरूप" को देख सके और बिना किसी सटीक स्कोर की आवश्यकता के तय कर सके कि कौन बेहतर है? यह शोध पत्र ठीक इसी प्रश्न में गहराई से उतरता है, जो एक भारी, महंगी ग्रेडिंग प्रणाली को एक सरल, त्वरित तुलना से बदलने के लिए एक चतुर शॉर्टकट का प्रस्ताव देता है।
समस्या: महंगी "स्कोरकार्ड" (The Expensive "Scorecard")
एक सुपर-स्मार्ट AI एजेंट बनाना कुत्ते को करतब सिखाने जैसा है। पुराने तरीके में, हर बार जब कुत्ता एक नया मूव आजमाता है, तो एक मानव प्रशिक्षक को हस्तक्षेप करना पड़ता है, बारीकी से देखना पड़ता है, और उसे एक सटीक स्कोर देना पड़ता है: "वह 10 में से 7.5 था।" एक विश्वसनीय स्कोर प्राप्त करने के लिए, प्रशिक्षक को सटीक उदाहरणों के एक विशाल पुस्तकालय की आवश्यकता होती है जिसकी तुलना की जा सके। AI के लिए, इस "स्कोरकार्ड" को स्केलर रिवॉर्ड (scalar reward) कहा जाता है। यह एक एकल संख्या है जो एजेंट को बताती है कि उसने कैसा प्रदर्शन किया।
समस्या यह है कि इस स्कोरकार्ड को बनाना एक दुःस्वप्न है। इसके लिए विशेषज्ञों को काम पर रखने, हजारों उदाहरणों को लेबल करने और बहुत अधिक धन की आवश्यकता होती है। कभी-कभी, कार्य इतना अजीब या जटिल होता है कि इंसान इस पर भी सहमत नहीं हो पाते कि एक "अच्छा" स्कोर कैसा दिखता है। यह एक सपने की पेंटिंग को ग्रेड करने जैसा है: वहाँ कोई सही उत्तर नहीं है, इसलिए उसे एक संख्या देना असंभव है।
समाधान: "कौन बेहतर है?" का खेल (The "Who's Better?" Game)
इस शोध पत्र के लेखक, मिंगहाओ लियू और उनकी टीम ने एक सरल प्रश्न पूछा: क्या होगा यदि हम यह पूछना बंद कर दें कि "यह कितना अच्छा है?" और यह पूछना शुरू करें कि "कौन बेहतर है?"
एक मानव (या एक जटिल कंप्यूटर) द्वारा एक एकल प्रयास को एक कठिन संख्या देने के बजाय, उन्होंने एक पेयरवाइज वैलिडेटर (Pairwise Validator) पेश किया। दो मुक्केबाजों के रिंग में प्रतियोगियों की कल्पना करें: "पैरेंट" (एजेंट का वर्तमान संस्करण) और "चाइल्ड" (नया, संशोधित संस्करण)। एक फ्रीज किया हुआ, प्री-ट्रेन्ड लार्ज लैंग्वेज मॉडल (LLM) रेफरी की भूमिका निभाता है। उसे सटीक स्कोर जानने की आवश्यकता नहीं है; वह बस दोनों को देखता है और कहता है, "मुझे लगता है कि चाइल्ड बेहतर है," या "पैरेंट जीत गया।"
यह AI रेफरी के लिए बहुत आसान है। यह एक दोस्त से पूछने जैसा है, "क्या तुम्हें चॉकलेट पसंद है या वैनिला?" बजाय इसके कि उससे दोनों स्वादों को 1 से 100 के पैमाने पर पूर्ण सटीकता के साथ रेट करने के लिए कहा जाए। शोध पत्र दिखाता है कि यह "कौन बेहतर है?" का खेल अधिक स्थिर है और इसके लिए रेफरी के लिए शून्य अतिरिक्त प्रशिक्षण की आवश्यकता होती है।
दो नए प्लेबुक (The Two New Playbooks)
टीम ने इस विचार का दो अलग-अलग तरीकों से परीक्षण किया, जिससे एजेंटों के लिए दो नए "प्लेबुक" बने:
- एडेप्टिव फोकस (Adaptive Focus): यह "स्मार्ट कोच" दृष्टिकोण है। एजेंट अभी भी मानव-ग्रेड किए गए उदाहरणों के एक छोटे सेट का उपयोग करता है ताकि यह चुनने के लिए कि अगले दौर के लिए "पैरेंट" के रूप में किसे रखना है। हालाँकि, एक नया बदलाव स्वीकार करने का निर्णय लेते समय, यह महंगे स्कोरकार्ड को छोड़ देता है और बस "कौन बेहतर है?" वाले रेफरी का उपयोग करता है। यह एक हाइब्रिड है जो दीर्घकालिक योजना के लिए मानवीय सुरक्षा जाल को बनाए रखते हुए दैनिक निर्णयों पर पैसा बचाता है।
- सॉफ्ट एलो (Soft Elo): यह "शुद्ध टूर्नामेंट" दृष्टिकोण है। यहाँ, एजेंट मानव स्कोरकार्ड को पूरी तरह से त्याग देता है। यह रेटिंग सिस्टम चलाने के लिए (समान रूप से जैसे शतरंज के खिलाड़ियों को रैंक किया जाता है) रेफरी के "कौन बेहतर है?" के निर्णयों का उपयोग करता है। यदि चाइल्ड, पैरेंट को हरा देता है, तो चाइल्ड को रेटिंग में उछाल मिलता है। समय के साथ, एजेंट पूरी तरह से इन आमने-सामने की लड़ाइयों के आधार पर विकसित होता है, जिसे कभी भी किसी संख्या को असाइन करने के लिए मानव की आवश्यकता नहीं होती।
परिणाम: क्या यह काम करता है? (The Results: Does It Work?)
टीम ने विविध चुनौतियों में से इन विधियों का परीक्षण किया, जिसमें कठिन सामान्य ज्ञान के प्रश्नों के उत्तर देना, गणित की समस्याओं को हल करना और डेटा को व्यवस्थित करने के लिए कोड लिखना शामिल है। उन्होंने अपने नए "पेयरवाइज" तरीकों की तुलना पुराने "फुल-रिवॉर्ड" (महंगे, मानव-स्कोर वाले तरीके) से की।
निष्कर्ष आश्चर्यजनक रूप से मजबूत थे। अधिकांश परीक्षणों में, "कौन बेहतर है?" रेफरी का उपयोग करने वाले एजेंटों ने महंगे मानव स्कोरकार्ड का उपयोग करने वाले एजेंटों के समान या उनसे भी बेहतर प्रदर्शन किया।
- ट्रिविया और निर्देशों के लिए: दस्तावेजों के सेट से प्रश्नों के उत्तर देने जैसे कार्यों के लिए, "सॉफ्ट एलो" पद्धति ने एजेंट को बेहतर ढंग से सामान्यीकरण (generalize) करने में मदद की, जिसका अर्थ है कि इसने केवल अभ्यास प्रश्नों को रटा नहीं बल्कि वास्तविक तर्क सीखा।
- गणित के लिए: कठिन गणितीय समस्याओं पर भी, नई विधियों ने पुराने तरीकों के समान ही समस्याओं को हल करने में सफलता प्राप्त की, जिससे यह सिद्ध हुआ कि एक अच्छा समाधान खोजने के लिए आपको पूर्ण स्कोर की आवश्यकता नहीं है।
- कोड के लिए: कंप्यूटर प्रोग्राम विकसित करते समय, पेयरवाइज गेट ने फुल-रिवॉर्ड बेसलाइन के समान ही काम किया, जिससे कोड को अधिक कुशल बनाने में सफलतापूर्वक मार्गदर्शन मिला।
पेच और भविष्य (The Catch and the Future)
शोध पत्र सावधानीपूर्वक यह नोट करता है कि यह हर स्थिति के लिए जादू की छड़ी नहीं है। यह विधि तब सबसे अच्छा काम करती है जब एजेंट के पास सुधार की गुंजाइश हो। यदि एजेंट अपने खेल के शिखर पर है, या यदि रेफरी (LLM) कार्य को लेकर भ्रमित है, तो सिस्टम अटक सकता है। साथ भी, यदि "परीक्षण" बहुत छोटा है (जैसे केवल 15 प्रश्नों के साथ गणित की क्विज़), तो परिणाम थोड़े शोरभरे (noisy) लग सकते हैं, ठीक वैसे ही जैसे सिक्के को कुछ बार उछालने से यह पता नहीं चलता कि वह निष्पक्ष है या नहीं।
हालाँकि, मुख्य खोज एक गेम-चेंजर है: एक स्मार्ट AI विकसित करने के लिए आपको एक पूर्ण, महंगे स्कोरकार्ड की आवश्यकता नहीं है। केवल एक फ्रीज किए गए AI रेफरी से दो संस्करणों की तुलना करने और विजेता चुनने के लिए कहकर, हम ऐसे आत्म-सुधार करने वाले एजेंट बना सकते हैं जो मानव विशेषज्ञों द्वारा बनाए गए एजेंटों जितने ही सक्षम हैं, लेकिन डेटा को लेबल करने की भारी लागत और प्रयास के बिना। यह "हर पेपर को ग्रेड करने" से "बस सबसे अच्छे निबंध को चुनने" की ओर एक बदलाव है, और यह साबित होता है कि मशीन को सोचना सिखाने के लिए इतना ही पर्याप्त है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।