Multimodal Reinforcement Learning with Adaptive Verifier for AI Agents
यह शोध पत्र Argos को प्रस्तुत करता है, जो एक अनुकूलनशील एजेंटिक सत्यापनकर्ता (adaptive agentic verifier) है जो मल्टीमॉडल सुदृढीकरण शिक्षण (multimodal reinforcement learning) के लिए सूक्ष्म, बहुआयामी पुरस्कार प्रदान करने हेतु स्कोरिंग फंक्शनों का गतिशील रूप से चयन करता है, जिससे रिवॉर्ड हैकिंग को रोका जा सके और उन जटिल एजेंटिक कार्यों में अत्याधुनिक प्रदर्शन प्राप्त किया जा सके जहाँ मानक परिणाम-आधारित पुरस्कार और सुपरवाइज्ड फाइन-ट्यूनिंग विफल हो जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक सहायक बनने के लिए प्रशिक्षित कर रहे हैं। आप नहीं चाहते कि वह केवल सही शब्द बोले; आप चाहते हैं कि वह वास्तव में कमरे में जो हो रहा है उसे देखे, स्थान को समझे, और अपनी क्रियाओं की सावधानीपूर्वक योजना बनाए। यह मल्टीमॉडल रिइन्फोर्समेंट लर्निंग (Multimodal Reinforcement Learning) की दुनिया है। "मल्टीमॉडल" को ऐसे समझें जैसे रोबोट के पास दोनों आँखें (दृष्टि) और एक मस्तिष्क (भाषा) एक साथ काम कर रहे हों। "रिइन्फोर्समेंट लर्निंग" वैसा ही है जैसे किसी कुत्ते को प्रशिक्षित करना: यदि वह कोई करतब सही करता है, तो उसे इनाम (रिवॉर्ड) मिलता है; यदि वह गलती करता है, तो उसे कुछ नहीं मिलता। लंबे समय से, वैज्ञानिक इन AI एजेंटों को स्मार्ट बनाने की कोशिश कर रहे हैं, लेकिन वे एक दीवार से टकरा गए। पुराने तरीके से प्रशिक्षण देना एक छात्र के निबंध को केवल अंतिम उत्तर की जाँच करके ग्रेड देने जैसा था। यदि छात्र ने काल्पनिक तथ्य बनाकर भी सही उत्तर का अनुमान लगा लिया, तो भी उसे "A" ग्रेड मिल जाता था। यह रोबनों के लिए बुरा है, क्योंकि यदि कोई रोबोट कप उठाने की योजना बनाते समय भ्रम (हैलुसिनेशन/hallucinate) का शिकार होता है (यानी ऐसी चीजें कल्पना करता है जो वहां नहीं हैं), तो वह फूलदान को गिरा सकता है।
इस समस्या को हल करने के लिए, शोधकर्ताओं ने महसूस किया कि उन्हें केवल अंतिम परिणाम की ही नहीं, बल्कि तर्क प्रक्रिया (reasoning steps) की भी जाँच करने की आवश्यकता है। उन्हें एक ऐसा तरीका चाहिए था जो कह सके, "रुको, तुमने कहा कि कप मेज पर है, लेकिन मुझे चित्र में वह वहां दिखाई नहीं दे रहा है।" यह शोध पत्र ठीक इसी समस्या को हल करने के लिए आर्गोस (Argos) नामक एक नया, चतुर सिस्टम पेश करता है। यह थोड़ा एक बहुत ही सख्त, बहु-कौशल वाले शिक्षक को काम पर रखने जैसा है जो न केवल अंतिम टेस्ट स्कोर को ग्रेड देता है, बल्कि आपके होमवर्क, आपके तर्क और इस बात की भी जाँच करता है कि आपने वास्तव में उन चित्रों को देखा या नहीं जिन्हें आपको देखना चाहिए था।
समस्या: "सुंदर वक्ता झूठ बोलने वाला" (The "Fluent Liar")
कल्पना कीजिए कि आप एक AI के साथ "साइमन कहता है" (Simon Says) खेल खेल रहे हैं। AI बात करने में बहुत अच्छा है। वह एक तस्वीर में कुत्ते को देखने के बारे में लंबे, आत्मविश्वासी वाक्य लिख सकता है। लेकिन कभी-कभी, वह केवल स्मार्ट दिखने के लिए चीजें बना रहा होता है। पुराने प्रशिक्षण तरीकों में, यदि AI अंत में सही उत्तर का अनुमान लगा लेता था (जैसे, "वहाँ 4 कुत्ते हैं"), तो उसे इनाम मिलता था, भले ही उसने अपने तर्क के चरणों में कुत्तों के बारे में मनगढ़ंत बातें (hallucinate) की हों। शोध पत्र का तर्क है कि यह खतरनाक है। यदि कोई AI रोबोटिक हाथ को नियंत्रित करने वाला है या घर में घूम रहा है, तो वह "सुंदर वक्ता झूठ बोलने वाला" होने का जोखिम नहीं उठा सकता। उसे वास्तविकता में आधारित होना चाहिए।
समाधान: एडेप्टिव आर्गोस वेरीफायर (The Adaptive Argos Verifier)
लेखकों ने आर्गोस (Argos) नामक एक प्रणाली बनाई है (Adaptive Reward for Grounded & Objective Scoring)। आर्गोस को ग्रेडिंग के लिए एक स्विस आर्मी नाइफ (Swiss Army Knife) के रूप में समझें।
अतीत में, शिक्षक हर उत्तर को ग्रेड देने के लिए एक ही साधारण उपकरण का उपयोग करते थे। यदि उत्तर एक संख्या थी, तो वे गणित की जाँच करते थे। यदि यह हाँ/ना था, तो वे शब्द की जाँच करते थे। लेकिन आर्गोस स्मार्ट है। यह विशिष्ट प्रश्न और AI के उत्तर को देखता है, और फिर उसे ग्रेड देने के लिए टूलबॉक्स से सही उपकरण को गतिशील रूप से चुनता है।
यहाँ बताया गया है कि आर्गोस सरल अंग्रेजी में कैसे काम करता है:
- यह AI की "सोचने की प्रक्रिया" को पढ़ता है। AI केवल उत्तर नहीं देता; वह अपने तर्क लिखता है, अक्सर चित्र में विशिष्ट स्थानों की ओर इशारा करते हुए (जैसे, "x=50, y=100 निर्देशांकों पर लाल गेंद को देखें")।
- यह सही ग्रेडर चुनता है।
- यदि AI चित्र में किसी स्थान की ओर इशारा करता है, तो आर्गोस एक विजुअल ग्राउंडिंग टूल (जैसे आवर्धक लेंस) पकड़ता है ताकि यह जाँच सके कि क्या उस स्थान में वास्तव में वही वस्तु है जिसका AI ने वर्णन किया है।
- यदि AI एक वीडियो के बारे में बात कर रहा है और कहता है "व्यक्ति 5 सेकंड पर कूदता है," तो आर्गोस उस विशिष्ट क्लिप को देखने के लिए एक वीडियो चेकर का उपयोग करता है और देखता है कि क्या वह कूद वास्तव में हुई थी।
- यदि AI गणित कर रहा है, तो वह एक मैथ चेकर का उपयोग करता है।
- यदि AI केवल एक कहानी लिख रहा है, तो वह एक लॉजिक चेकर का उपयोग करता है।
- यह एक "सघन" (Dense) रिवॉर्ड देता है। केवल अंत में "अच्छा काम किया" या "बुरा काम किया" कहने के बजाय, आर्गोस हर कदम पर फीडबैक देता है। यदि AI ने गेंद को सही पहचाना लेकिन उसका रंग गलत बताया, तो उसे गेंद देखने के लिए आंशिक श्रेय मिलता है। यह AI को केवल अनुमान लगाना ही नहीं, बल्कि देखना कैसे है, यह सीखने में मदद करता है।
उन्होंने क्या पाया
शोधकर्ताओं ने इस नए आर्गोस सिस्टम का विभिन्न कार्यों पर परीक्षण किया, साधारण चित्र क्विज़ से लेकर जटिल रोबोटिक गतिविधियों तक।
- भ्रम (Hallucinations) को हराना: सबसे रोमांचक खोज यह है कि आर्गोस भ्रम को काफी कम कर देता है। जब AI को यह साबित करने के लिए मजबूर किया जाता है कि उसने उसके बारे में जो बात की वह वास्तव में देखा है, तो वह चीजें बनाना बंद कर देता है। उन परीक्षणों में जहाँ AI को नकली वस्तुओं या पेचीदा दृश्य भ्रमों को पहचानना था, आर्गोस-प्रशिक्षित मॉडल अनुमान लगाने के बजाय "मुझे वह नहीं दिख रहा है" कहने में बहुत बेहतर थे।
- योजना बनाने में बेहतर: जब कार्यों के क्रम की योजना बनाने के लिए पूछा गया (जैसे "कटोरे को मेज पर रखें"), तो आर्गोस मॉडल बहुत अधिक सफल रहे। उन्होंने केवल चरणों का अनुमान नहीं लगाया; उन्होंने वास्तव में कमरे के स्थानिक लेआउट (spatial layout) के माध्यम से तर्क किया।
- रोबोटिक्स सफलता: उन्होंने इसका परीक्षण सिम्युलेटेड रोबोटों पर भी किया। आर्गोट्स द्वारा प्रशिक्षित रोबोट पुराने तरीकों की तुलना में वस्तुओं को संचालित करने (जैसे किसी विशिष्ट वस्तु को उठाना या चीजों को इधर-उधर करना) में बेहतर थे।
उन्होंने किसे खारिज किया
यह शोध पत्र इन AI एजेंटों को प्रशिक्षित करने के तरीके के बारे में एक बहुत ही महत्वपूर्ण बिंदु बनाता है। वे स्पष्ट रूप से तर्क देते हैं कि केवल AI को अच्छे उदाहरण दिखाना (Supervised Fine-Tuning) पर्याप्त नहीं है। आप AI को तर्क देने के लाखों आदर्श उदाहरण दिखा सकते हैं, लेकिन यदि आप प्रशिक्षण प्रक्रिया (Reinforcement Learning चरण) के दौरान उसके काम की सक्रिय रूप से जाँच नहीं करते हैं, तो AI अंततः उन रणनीतियों को अपना लेगा जो इच्छित सीखने को दरकिनार करती हैं। वह सुंदर दिखने वाला निरर्थक लेखन विकसित कर लेगा जो भाग्य से सही उत्तर प्राप्त कर लेता है, न कि वास्तव में दुनिया को समझने के कारण। शोध पत्र का सुझाव है कि इस सक्रिय, अनुकूलन योग्य जाँच प्रणाली के बिना, AI वापस चीजें बनाने (making up facts) की स्थिति में गिर जाता है।
वे कितने आश्वस्त हैं?
लेखक अपने परिणामों को लेकर काफी आश्वस्त हैं क्योंकि उन्होंने कई अलग-अलग, वास्तविक दुनिया के बेंचमार्क (जैसे स्थानिक तर्क के लिए BLINK और रोबोटिक्स के लिए LIBERO) पर सिस्टम का परीक्षण किया है। उन्होंने केवल एक साधारण खेल का सिमुलेशन नहीं किया; उन्होंने दिखाया कि उनका मॉडल इन कठिन कार्यों पर अन्य अत्याधुनिक (state-of-the-art) मॉडलों से बेहतर प्रदर्शन करता है। हालाँकि, वे यह भी नोट करते हैं कि यह एक नया दृष्टिकोण है, और हालांकि यह उनके प्रयोगों में बहुत अच्छा काम करता है, लेकिन AI का क्षेत्र हमेशा विकसित होता रहता है। वे सुझाव देते हैं कि जैसे-जैसे "टीचर" मॉडल (वे उपकरण जिनका उपयोग आर्गोस उत्तरों की जाँच के लिए करता है) बेहतर होंगे, आर्गोस भी और बेहतर होगा।
संक्षेप में, आर्गोस एक स्मार्ट, अनुकूलन योग्य रेफरी है जो यह सुनिश्चित करता है कि AI एजेंट केवल बातें ही न करें, बल्कि वास्तव में काम भी करें, जिससे उनके पैर (और आँखें) जमीन पर मजबूती से टिके रहें। यह प्रशिक्षण प्रक्रिया को एक साधारण "उत्तर का अनुमान लगाने" वाले खेल से बदलकर एक कठोर "अपना काम दिखाओ" वाली परीक्षा में बदल देता है, जिसके परिणामस्वरूप अधिक विश्वसनीय, कम झूठ बोलने वाले और वास्तविक दुनिया के साथ बेहतर संवाद करने वाले AI प्राप्त होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।