← नवीनतम पेपर
🤖 machine learning

R2V Agent: Teaching SLMs When to Ask for Help

यह शोध पत्र R2V-Agent को पेश करता है, जो एक जोखिम-कैलिब्रेटेड फ्रेमवर्क है जो एक छोटे भाषा मॉडल (SLM) को सत्यापनकर्ता-निर्देशित अनुकूलन (verifier-guided optimization) और एक स्टेप-लेवल राउटर के साथ प्रशिक्षित करता है ताकि केवल उच्च-जोखिम वाले निर्णयों को ही एक महंगी बड़े भाषा मॉडल (LLM) तक गतिशील रूप से पहुँचाया जा सके, जिससे विविध बेंचमार्क पर महंगे LLM के उपयोग को कम करते हुए कार्य सफलता दर में महत्वपूर्ण सुधार होता है।

मूल लेखक: Raghu Vamshi Hemadri, Humaira Firdowse Mohammed, Rishabh Maheshwary, Srivatsava Daruru, Sagar Davasam, Vikas Yadav, Srinivas Sunkara, Sai Rajeswar

प्रकाशित 2026-05-19
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Raghu Vamshi Hemadri, Humaira Firdowse Mohammed, Rishabh Maheshwary, Srivatsava Daruru, Sagar Davasam, Vikas Yadav, Srinivas Sunkara, Sai Rajeswar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ R2V-Agent पेपर का विवरण दिया गया है, जिसे रोज़मर्रा की भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवादित किया गया है।

बड़ी समस्या: "सब कुछ या कुछ भी नहीं" वाली दुविधा (The "All-or-Nothing" Dilemma)

कल्पना कीजिए कि आप एक हाई-स्टेक्स किचन चला रहे हैं। आपके पास दो शेफ हैं:

  1. जूनियर शेफ (SLM): तेज़, सस्ता, और सब्जियां काटने या टोस्ट बनाने में माहिर। लेकिन अगर कोई जटिल रेसिपी आ जाए, या अगर ओवन खराब हो जाए, तो वे घबरा सकते हैं और खाना जला सकते हैं।
  2. मास्टर शेफ (LLM): हर चीज़ में अविश्वसनीय, सब कुछ ठीक कर सकता है, और कभी खाना नहीं जलाता। लेकिन उन्हें काम पर रखना महंगा है और उन्हें आने में समय लगता है।

पुराना तरीका:

  • विकल्प A: हर एक ऑर्डर के लिए मास्टर शेफ को बुलाएं, भले ही वह सिर्फ एक स्लाइस टोस्ट के लिए क्यों न हो। यह एक बेहतरीन भोजन की गारंटी देता है लेकिन इसमें बहुत पैसा खर्च होता है।
  • विकल्प B: जूनियर शेफ को सब कुछ संभालने दें। यह सस्ता है, लेकिन अगर जूनियर शेफ किसी कठिन रेसिपी में फंस जाता है या ओवन खराब हो जाता है, तो पूरा खाना बर्बाद हो जाता है।

पेपर की अंतर्दृष्टि (Insight):
मौजूदा सिस्टम अक्सर काम शुरू होने से पहले ही यह तय करने की कोशिश करते हैं: "क्या यह ऑर्डर कठिन है? यदि हाँ, तो मास्टर शेफ को बुलाएं।" लेकिन खाना बनाना अव्यवस्थित होता है। एक साधारण ऑर्डर भी आपदा में बदल सकता है यदि जूनियर शेफ ने अंडा गिरा दिया, ओवन में खराबी आ गई, या बीच में रेसिपी में कोई टाइपिंग मिस्टेक हो गई। काम शुरू करने से पहले कठिनाई का अनुमान लगाना, कार चलाने शुरू करने से पहले ही कार दुर्घटना की भविष्यवाणी करने जैसा है।

समाधान: R2V-Agent (एक स्मार्ट सुपरवाइजर)

लेखक R2V-Agent का प्रस्ताव रखते हैं, जो एक स्मार्ट फ्लोर सुपरवाइजर की तरह काम करता है जो जूनियर शेफ को कदम-दर-कदम देखता है।

पूरे भोजन का भाग्य शुरुआत में तय करने के बजाय, सुपरवाइजर हर एक एक्शन के बाद चेक-इन करता है:

  • "क्या जूनियर शेफ ने अभी प्याज सही से काटा?" -> जारी रखें।
  • "क्या जूनियर शेफ ने अभी हथौड़े से जार खोलने की कोशिश की?" -> रुकिए! तुरंत मास्टर शेफ को बुलाएं।

यह सिस्टम "रिस्क-कैलिब्रेटेड" (जोखिम-परिकलित) होने के लिए डिज़ाइन किया गया है। यह केवल अंदाज़ा नहीं लगाता; यह अगले कदम के विफल होने के विशिष्ट जोखिम की गणना करता है।

यह कैसे काम करता है (चार मुख्य सामग्रियाँ)

पेपर एक पाइपलाइन का वर्णन करता है जिसमें चार मुख्य भाग हैं, जिन्हें हम जूनियर शेफ के लिए एक ट्रेनिंग कैंप और सुपरवाइजर के लिए एक नए नियम पुस्तिका के रूप में देख सकते हैं।

1. जूनियर शेफ को प्रशिक्षित करना (The Distilled SLM)

सुपरवाइजर को काम पर रखने से पहले, जूनियर शेफ को अपने आप में जितना संभव हो सके उतना अच्छा बनने के लिए प्रशिक्षित किया जाता है।

  • विधि: वे मास्टर शेफ को खाना बनाते हुए देखते हैं (Behavioral Cloning)। फिर, वे एक "क्योस सिम्युलेटर" (chaos simulator) में अभ्यास करते हैं जहाँ ओवन टूट जाता है, सामग्री गायब होती है, या रेसिपी में टाइपिंग की गलतियाँ होती हैं (Perturbations)।
  • सुधार (Refinement): यदि सिम्युलेटर में जूनियर शेफ कोई गलती करता है, तो एक वेरिफायर (एक सख्त टेस्ट-टेस्टर) उसकी ओर इशारा करता है। जूनियर शेफ DPO (Direct Preference Optimization) नामक तकनीक का उपयोग करके इन विशिष्ट गलतियों को सुधारना सीखता है।
  • परिणाम: एक ऐसा जूनियर शेफ जो नियमित कार्यों में बहुत अच्छा है और छोटी गलतियों से उबरना जानता है।

2. वेरिफायर (The Taste-Tester)

यह एक हल्का टूल है जो जूनियर शेफ के काम की तुरंत जांच करता है।

  • कोडिंग कार्य में, यह एक त्वरित टेस्ट चलाता है कि क्या कोड काम करता है।
  • टेक्स्ट गेम में, यह जांचता है कि क्या चाल (move) समझ में आती है।
  • यह एक स्कोर देता है: "यह कदम अच्छा लग रहा है" या "यह कदम जोखिम भरा लग रहा है।"

3. सुपरवाइजर (The Router)

यह पेपर का मुख्य आविष्कार है। सुपरवाइजर यह तय करने से पहले कि मास्टर शेफ को कब बुलाना है, तीन चीजों को देखता है:

  • कॉन्फिडेंस (विश्वास): क्या जूनियर शेफ बिना सोचे-समझे अंदाज़े लगा रहा है?
  • वेरिफायर का स्कोर: क्या टेस्ट-टेस्टर ने कम स्कोर दिया है?
  • कॉन्टेक्स्ट (संदर्भ): क्या हम रेसिपी के किसी कठिन हिस्से के बीच में हैं?

सुपरवाइवर विशेष रूप से अतिरिक्त सावधानी बरतने के लिए एक विशेष गणितीय ट्रिक (CVaR) का उपयोग करता है। इसे केवल औसत लागत की चिंता नहीं है; इसे सबसे खराब स्थिति (worst-case scenario) की चिंता है। यह पूछता है: "यदि मैं जूनियर शेफ को एक बार और कोशिश करने दूँ, तो क्या इस बात की थोड़ी सी भी संभावना है कि वे पूरा व्यंजन पूरी तरह से खराब कर देंगे?" यदि उत्तर हाँ है, तो यह मास्टर शेफ को बुलाता है।

4. बजट (The Wallet)

सिस्टम जानता है कि वह हमेशा के लिए मास्टर शेफ को नहीं बुला सकता। इसके पास एक बजट है। सुपरवाइजर का काम उस बजट को केवल उन चरणों पर खर्च करना है जहाँ जूनियर शेफ के विफल होने की सबसे अधिक संभावना है।

परिणाम: खाना जलाए बिना पैसे बचाना

शोधकर्ताओं ने तीन अलग-अलग "किचन" पर इसका परीक्षण किया:

  1. कोडिंग (HumanEval+): कंप्यूटर कोड लिखना।
  2. टेक्स्ट गेम्स (TextWorld): वस्तुओं को खोजने के लिए एक आभासी घर में घूमना।
  3. टर्मिनल टास्क (TerminalBench): कंप्यूटर सिस्टम और सॉफ्टवेयर को ठीक करना।

निष्कर्ष:

  • आसान कार्यों पर (Coding): जूनियर शेफ इतना अच्छा था कि सुपरवाइजर ने लगभग कभी भी मास्टर शेफ को नहीं बुलाया (केवल 0.6% समय), फिर भी सफलता दर अविश्वसनीय रूप से उच्च (94.3%) थी।
  • जटिल कार्यों पर (Text Games): जूनियर शेफ अकेले संघर्ष कर रहा था (64.6% सफलता)। सुपरवाइजर के साथ, वे 98.2% सफलता तक पहुँच गए, लेकिन केवल 41.7% समय ही मास्टर शेफ को बुलाया।
  • जटिल कार्यों पर (TerminalBench): सुपरवाइजर ने पुराने तरीकों की तुलना में लगभग आधी लागत बचाई, जो मास्टर शेफ को बहुत अधिक बार बुलाते थे।

"ओरेकल" (Oracle) की उपमा

पेपर एक "ओरेकल" (एक जादुई सुपरवाइजर जो भविष्य जानता है) का उल्लेख करता है। ओरेकल को ठीक से पता होता है कि जूनियर शेफ कब विफल होगा, इससे पहले कि वह विफल हो।

  • R2V सुपरवाइजर जादुई नहीं है, लेकिन यह उसके बहुत करीब पहुँच जाता है।
  • टेक्स्ट गेम्स में, ओरेकल को परफेक्ट स्कोर पाने के लिए 35.4% समय मास्टर शेफ को बुलाने की आवश्यकता थी। R2V सुपरवाइजर को 41.7% समय की आवश्यकता थी। बिना किसी भविष्य बताने वाले यंत्र के एक सिस्टम के लिए यह बहुत छोटा अंतर है।

सारांश

R2V-Agent एक ऐसा सिस्टम है जो एक सस्ते, तेज़ AI को अधिकांश काम करने के लिए सिखाता है, लेकिन उसे एक स्मार्ट "सेफ्टी नेट" (सुरक्षा जाल) देता है। यह सुरक्षा जाल हर कदम पर नज़र रखता है, परेशानी के संकेतों की जाँच करता है, और केवल तभी महंगे, शक्तिशाली AI को बुलाता है जब वास्तव में आवश्यक हो। यह एक ऐसी सस्ती कार की तरह है जो खुद चलती है, लेकिन इसमें एक को-पायलट है जो स्टीयरिंग व्हील तभी लेता है जब सड़क बर्फीली हो जाती है या इंजन अजीब आवाज़ करने लगता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →