🤖 AI

LaGO: Latent Action Guidance for Online Reinforcement Learning

यह शोध पत्र LaGO का प्रस्ताव करता है, जो एक ऐसा फ्रेमवर्क है जो प्रीट्रेंड लार्ज लैंग्वेज मॉडल्स को लेटेंट एक्शन प्रायर्स (latent action priors) के रूप में उपयोग करके ऑनलाइन रिइन्फोर्समेंट लर्निंग को सॉफ्टली गाइड करता है, जो मानक PPO की तुलना में डिस्क्रीट और कंटीन्यूअस कंट्रोल बेंचमार्क्स दोनों पर सफलता दर और रिवार्ड्स में महत्वपूर्ण सुधार प्रदर्शित करता है।

मूल लेखक: Kuan-Yen Liu, Ren-Jyun Huang, Ti-Rong Wu

प्रकाशित 2026-06-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kuan-Yen Liu, Ren-Jyun Huang, Ti-Rong Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल भूलभुलैया (maze) में रास्ता खोजना या किसी विशिष्ट वस्तु को उठाना सिखाने की कोशिश कर रहे हैं। आपके पास दो मुख्य उपकरण हैं: एक प्रतिभावान लेकिन अनाड़ी विशेषज्ञ (एक लार्ज लैंग्वेज मॉडल, या LLM) और एक ज़िद्दी लेकिन तेज़ सीखने वाला (एक रीइन्फोर्समेंट लर्निंग एजेंट)।

लंबे समय तक, शोधकर्ताओं ने "अनाड़ी विशेषज्ञ" को सीधे रोबोट चलाने के लिए इस्तेमाल करने की कोशिश की। उन्होंने विशेषज्ञ से पूछा कि कौन सा बटन दबाना है या किस दिशा में मुड़ना है। समस्या यह थी कि विशेषज्ञ बातें करने और योजना बनाने में तो बहुत अच्छा है, लेकिन सटीक, पलक झपकते ही दिए जाने वाले निर्देशों में बहुत खराब है। यदि विशेषज्ञ एक छोटी सी गलती भी करता है, तो रोबोट टकरा जाता है और पूरा मिशन विफल हो जाता है।

LaGO (Latent Action Guidance) एक नया फ्रेमवर्क है जो इस तालमेल को बदल देता है। विशेषज्ञ को कार चलाने देने के बजाय, LaGO विशेषज्ञ को यात्री की सीट पर बैठने और ड्राइवर को दिशा निर्देश फुसफुसाने की अनुमति देता है।

यह कैसे काम करता है, इसे सरल चरणों में यहाँ दिया गया है:

1. सेटअप: दो चरण

पेपर एक प्रभावी ढंग से रोबोट को सिखाने के लिए दो-चरणीय प्रक्रिया का वर्णन करता है।

चरण 1: "अध्ययन सत्र" (ऑफलाइन)
सबसे पहले, सिस्टम एक "अनाड़ी विशेषज्ञ" (एक प्री-ट्रेंड AI जैसे Llama) लेता है और उसे मनुष्यों द्वारा सफलतापूर्वक कार्य करने के कई वीडियो (एक्सपर्ट डेमोंस्ट्रेशन) दिखाता है। यह विशेषज्ञ से अभी चलाने के लिए नहीं कहता। इसके बजाय, यह विशेषज्ञ को पैटर्न पहचानने के लिए प्रशिक्षित करता है। यह एक शतरंज ग्रैंडमास्टर को हज़ारों खेल दिखाने जैसा है और उनसे तुरंत एक आदर्श खेल खेलने के बजाय यह समझने के लिए कहने जैसा है कि एक अच्छे मूव का "वाइब" (vibe) क्या होता है। विशेषज्ञ एक "अंतर्ज्ञान" या लेटेंट प्रायर (latent prior) सीखता है कि कौन से एक्शन आमतौर पर काम करते हैं।
चरण 2: "ड्राइविंग लेसन" (ऑनलाइन)
अब, वास्तविक सीखना शुरू होता है। एक अलग, तेज़ सीखने वाला रोबोट (RL पॉलिसी) वास्तविक दुनिया के साथ बातचीत करना शुरू करता है। वह चीज़ें आज़माता है, असफल होता है, रिवॉर्ड प्राप्त करता है और सीखता है।
- ट्विस्ट: जैसे-जैसे रोबट सीख रहा होता है, "अनाड़ी विशेषज्ञ" अभी भी वहीं बैठा रहता है। लेकिन आदेश चिल्लाने के बजाय, वह ड्राइवर को धीरे से संकेत देता है। वह कहता है, "हे, मैंने जो देखा है उसके आधार पर, तुम शायद इस दिशा में जाना चाहोगे।"
- रोबोट इस संकेत को सुनता है लेकिन उसे मानने के लिए मजबूर नहीं किया जाता। यदि रोबोट एक नया मूव आज़माता है और उसे बड़ा रिवॉर्ड मिलता है, तो वह संकेत को अनदेखा कर देता है और अपने रास्ते पर चलता रहता है। यदि रोबोट भटक जाता है, तो संकेत उसे बेहतर रास्ता खोजने में मदद करता है।

2. उपमा: GPS बनाम को-पायलट

पुराने तरीके को (LLMs को सीधे कंट्रोलर के रूप में उपयोग करना) एक कार चलाने के लिए एक ऐसे GPS के रूप में सोचें जो आपको सटीक, कठोर निर्देश देता है जैसे "3.42 इंच में बाएं मुड़ें।" यदि GPS थोड़ा भी गलत है, तो आप पेड़ से टकरा जाएंगे।

LaGO एक जानकार को-पायलट रखने जैसा है। को-पायलट स्टीयरिंग व्हील नहीं छीनता। इसके बजाय, वे कहते हैं, "मुझे लगता है कि वहां एक शॉर्टकट है," या "वह रास्ता खतरनाक लग रहा है।"

यदि को-पायलट सही है, तो आप शॉर्टकट लेते हैं और वहां तेज़ी से पहुँच जाते हैं।
यदि को-पायलट गलत है, तो आप उन्हें अनदेखा करते हैं और अपने तरीके से गाड़ी चलाते रहते हैं।
परिणाम? आपको उनके अनुभव का लाभ मिलता है बिना नियंत्रण लेकर कार क्रैश करने के जोखिम के।

3. परिणाम: क्या यह काम करता है?

शोधकर्ताओं ने इसे दो अलग-अलग "भूलभुलैया" पर परखा:

CLEVR-Robot: एक गेम जहाँ एक रोबोट ग्रिड पर गेंदों को इधर-उधर घुमाता है (डिस्क्रीट स्टेप्स)।
Meta-World: एक जटिल सिमुलेशन जहाँ एक रोबोटिक हाथ को दरवाजे खोलने, बटन दबाने और वस्तुएं उठाने जैसे कार्य करने होते हैं (कंटीन्यूअस, स्मूथ मूवमेंट)।

परिणाम:
दोनों मामलों में, LaGO का उपयोग करने वाले रोबोटों ने अकेले सीखने वाले रोबोटों की तुलना में बहुत बेहतर सीखा।

बॉल-मूविंग गेम में, सफलता दर 15% से बढ़कर 27% हो गई।
जटिल रोबोटिक आर्म गेम में, सफलता दर आसमान छूकर 2.7% से 15.2% हो गई।

यह एक बड़ी बात है क्योंकि "अनाड़ी विशेषज्ञ" परफेक्ट नहीं था। वास्तव में, यदि आप विशेषज्ञ को सीधे रोबोट चलाने देते, तो वह बुरी तरह विफल हो जाता। लेकिन उसे एक सॉफ्ट गाइड के रूप में उपयोग करके, रोबोट ने अधिक बार सफल होने के लिए सीखना सीखा।

4. गुप्त सामग्री: एक स्मार्ट विशेषज्ञ

पेपर ने यह भी पाया कि "अनाड़ी विशेषज्ञ" की गुणवत्ता मायने रखती है।

जब उन्होंने गाइड के रूप में एक छोटे, कमजोर AI का उपयोग किया, तो रोबोट उतना अच्छा नहीं सीख पाया।
जब उन्होंने एक बड़े, स्मार्ट AI (Llama 2 7B बनाम TinyLlama) का उपयोग किया, तो मार्गदर्शन बहुत बेहतर था, और रोबोट ने और भी तेज़ी से सीखा।

यह सुझाव देता है कि भविष्य में जैसे-जैसे AI मॉडल स्मार्ट होंगे, वे रोबोटों के लिए बेहतर "को-पायलट" बन जाएंगे, भले ही वे खुद परफेक्ट ड्राइवर न हों।

सारांश

LaGO बड़े AI मॉडल्स के विशाल ज्ञान का उपयोग रोबोट को सीखने में मदद करने के लिए करने का एक चतुर तरीका है, बिना उन मॉडल्स को रोबोट को नियंत्रित करने का सटीक और कठिन काम सौंपे। यह एक "सब कुछ जानने वाले लेकिन अनाड़ी" AI को एक सहायक मार्गदर्शक में बदल देता है जो सीखने की गति बढ़ाता है और रोबोट को अधिक बार सफल होने में मदद करता है।

तकनीकी सारांश: LaGO – ऑनलाइन सुदृढीकरण लर्निंग (Reinforcement Learning) के लिए लेटेंट एक्शन गाइडेंस

समस्या विवरण
यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) ने योजना बनाने (planning) और क्रमिक निर्णय लेने (sequential decision-making) में महत्वपूर्ण क्षमता प्रदर्शित की है, मौजूदा दृष्टिकोण अक्सर उन्हें सीधे नियंत्रक (controllers), स्पष्ट उच्च-स्तरीय योजनाकार (planners), या वर्ल्ड मॉडल सिम्युलेटर के रूप में उपयोग करने पर निर्भर करते हैं। इन विधियों के लिए LLMs को सटीक क्रियाएं (actions), विस्तृत योजनाएं, या सटीक भविष्य के प्रक्षेप पथ (trajectories) उत्पन्न करने की आवश्यकता होती है। हालांकि, व्यवहार में यह आवश्यकता अत्यधिक कठिन है; LLM की क्षमताएं काफी भिन्न होती हैं, और यहाँ तक कि छोटी भविष्यवाणियां भी समय के साथ संचित होकर खराब प्रदर्शन का कारण बन सकती हैं, विशेष रूप से उन RL सेटिंग्स में जहाँ सटीक निष्पादन और दीर्घकालिक तर्क (long-horizon reasoning) की आवश्यकता होती है। फलस्वरूप, एक प्राथमिक नियंत्रक के रूप में सीधे LLM पर निर्भर रहना अविश्वसनीय बना हुआ है, विशेष रूप से वेक्टरकृत वातावरण (vectorized environments) में जहाँ अवलोकन (observations) और क्रियाएं स्वाभाविक रूप से भाषा या दृश्य रूप में प्रस्तुत नहीं होती हैं।

कार्यप्रणाली (Methodology)
इन चुनौतियोंों को संबोधित करने के लिए, लेखक LaGO (Latent Action Guidance for Online Reinforcement Learning) का प्रस्ताव करते हैं, जो एक दो-चरणीय ढांचा है जो प्रीट्रेंड LLM का उपयोग प्रत्यक्ष नियंत्रक के रूप में नहीं, बल्कि लेटेंट एक्शन प्रायर्स (latent action priors) के माध्यम से "सॉफ्ट" मार्गदर्शन के स्रोत के रूप में करता है।

चरण 1: ऑफलाइन प्रायर लर्निंग (Offline Prior Learning)
यह ढांचा एक ऑफलाइन विशेषज्ञ डेटासेट ( $D$ ) से एक लेटेंट पॉलिसी प्रायर को प्रशिक्षित करके शुरू होता है। एक प्रीट्रेंड LLM बैकबोन ( $F_\phi$ ) का उपयोग किया जाता है, जहाँ प्रदर्शनों (demonstrations) से गैर-पाठ्य अवस्था-क्रिया अनुक्रमों (non-textual state-action sequences) को सीखने योग्य प्रोजेक्शन मॉड्यूल ( $E_s$ और $E_a$ ) के माध्यम से लेटेंट रिप्रजेंटेशन में परिवर्तित किया जाता है। इन एम्बेडिंग्स को, टेक्स्टुअल टास्क डिस्क्रिप्शन ( $x$ ) के साथ मिलाकर, LLM में फीड किया जाता है। एक नया जोड़ा गया एक्शन हेड ( $G_\theta$ ) फिर ट्राजेक्टरी प्रीफिक्स ( $\tau_t$ ) और टास्क डिस्क्रिप्शन को देखते हुए अगली क्रिया ( $a_{t+1}$ ) की भविष्यवाणी करने के लिए सुपरवाइज्ड फाइन-ट्यूनिंग के माध्यम से प्रशिक्षित किया जाता है। उद्देश्य विशेषज्ञ डेटा के नेगेटिव लॉग-लाइक्लीहुड (negative log-likelihood) को कम करना है, जिससे एक लेटेंट पॉलिसी प्रायर $\pi_K(a_{t+1} | x, \tau_t)$ बनता है जो एक इष्टतम नियंत्रक के बजाय एक मोटे व्यवहारिक प्रायर (coarse behavioral prior) को कैप्चर करता है।
चरण 2: लेटेंट गाइडेंस के साथ ऑनलाइन RL (Online RL with Latent Guidance)
दूसरे चरण में, प्रशिक्षित लेटेंट प्रायर $\pi_K$ को फ्रीज कर दिया जाता है और एक ऑनलाइन RL पॉलिसी $\pi_\psi(a|s)$ (जैसे PPO या SAC) को निर्देशित करने के लिए उपयोग किया जाता है। RL एजेंट रोलआउट्स एकत्र करने के लिए वातावरण के साथ इंटरैक्ट करता है, लेकिन पॉलिसी ऑप्टिमाइजेशन को लेटेंट प्रायर की ओर रेगुलराइज (regularize) किया जाता है। कुल ट्रेनिंग लॉस को इस प्रकार परिभाषित किया गया है:
$L_{online} = L_{PG} + \beta L_{prior}$
जहाँ $L_{PG}$ मानक पॉलिसी ग्रेडिएंट ऑब्जेक्टिव है और $\beta$ प्रायर के प्रभाव को नियंत्रित करता है।
- डिस्क्रीट एक्शन स्पेस (Discrete action spaces) के लिए, प्रायर लॉस प्रायर द्वारा अनुमानित क्रिया का नेगेटिव लॉग-लाइक्लीहुड है।
- कंटीन्यूअस एक्शन स्पेस (Continuous action spaces) के लिए, प्रायर लॉस प्रायर डिस्ट्रीब्यूशन और वर्तमान पॉलिसी के बीच एक क्रॉस-एन्ट्रॉपी टर्म के रूप में लागू किया जाता है, जो फिक्स्ड प्रायर की एंट्रॉपी तक KL-डाइवर्जेंस रेगुलराइजेशन के समतुल्य ऑप्टिमाइजेशन सिग्नल के रूप में कार्य करता है।

यह डिज़ाइन RL पॉलिसी को LLM से प्राप्त संरचनात्मक ज्ञान का लाभ उठाने की अनुमति देता है, बिना LLM को इंटरेक्शन के दौरान सटीक निर्णय लेने की आवश्यकता के।

प्रमुख योगदान

नया ढांचा: LaGO एक ऐसा तरीका पेश करता है जिससे प्रीट्रेंड LLM ज्ञान को ऑनलाइन RL के लिए एक लेटेंट व्यवहारिक प्रायर के रूप में उपयोग किया जा सके, जो LLMs को प्रत्यक्ष नियंत्रकों के रूप में उपयोग करने की सख्त सटीकता आवश्यकताओं को कम करता है।
दो-चरणीय आर्किटेक्चर: ऑफलाइन प्रायर लर्निंग (सुपरवाइज्ड फाइन-ट्यूनिंग के माध्यम से) और ऑनलाइन पॉलिसी ऑप्टिमाइजेशन (रेगुलराइजेशन के माध्यम से) का पृथक्करण सिस्टम को LLM ज्ञान का उपयोग करने की अनुमति देता है, भले ही प्रायर स्टैंडअलोन एजेंट के रूप में कार्य करने के लिए पर्याप्त सटीक न हो।
सामान्यीकरण (Generalization): यह ढांचा विशिष्ट एक्शन स्पेस के अनुसार प्रायर रेगुलराइजेशन टर्म को अनुकूलित करके डिस्क्रीट और कंटीन्यूअस कंट्रोल डोमेन दोनों में काम करने के लिए डिज़ाइन किया गया है।

प्रायोगिक परिणाम
लेखकों ने दो बेंचमार्क पर LaGO का मूल्यांकन किया: CLEVR-Robot (डिस्क्रीट कंट्रोल) और Meta-World (कंटीन्यूअस कंट्रोल)। प्रयोगों में चार टास्क श्रेणियों: Real, Rephrase, Easy, और Hard में "Vanilla PPO" के विरुद्ध LaGO की तुलना की गई।

प्रदर्शन में वृद्धि: LaGO ने रिवॉर्ड और सक्सेस रेट दोनों में Vanilla PPO से लगातार बेहतर प्रदर्शन किया।
- CLEVR-Robot पर, औसत सफलता दर 15.1% से बढ़कर 27.2% हो गई।
- Meta-World पर, औसत सफलता दर 2.7% से बढ़कर 15.2% हो गई।
सामान्यीकरण: "Easy" और "Hard" अनसीन टास्क सहित सभी टास्क श्रेणियों में सुधार देखा गया, जो सुझाव देता है कि प्रायर केवल याद रखने (memorization) के बजाय सामान्यीकृत मार्गदर्शन प्रदान करता है।
LLM की गुणवत्ता का प्रभाव: Meta-World पर Llama-2-7B प्रायर की तुलना TinyLlama-1.1B प्रायर से करने वाले एब्लेशन अध्ययन ने दिखाया कि मजबूत प्रीट्रेंड मॉडल्स अधिक प्रभावी लेटेंट प्रायर देते हैं। Llama-2-7B के साथ LaGO ने लगातार उच्चतम प्रदर्शन प्राप्त किया, जबकि TinyLlama प्रायर कभी-कभी Vanilla PPO से भी खराब प्रदर्शन करता था, जो फाउंडेशन मॉडल की गुणवत्ता के महत्व को उजागर करता है।

महत्व और दावे
पेपर का दावा है कि LaGO ऑनलाइन रिइन्फोर्समेंट लर्निंग में प्रीट्रेंड LLM ज्ञान को एकीकृत करने के लिए एक सरल और व्यावहारिक ढांचा प्रदान करता है। प्राथमिक महत्व इस बात को प्रदर्शित करने में है कि LLMs को तब भी बेहतर निर्णय लेने और योजना बनाने के लिए उपयोग किया जा सकता है जब वे प्रत्यक्ष नियंत्रक के रूप में कार्य करने के लिए पर्याप्त सटीक न हों। LLM को एक स्पष्ट प्लानर के बजाय सॉफ्ट, लेटेंट गाइडेंस के स्रोत के रूप में मानकर, यह ढांचा त्रुटि संचय (error accumulation) के जोखिमों को कम करता है और प्री-ट्रेनिंग के दौरान प्राप्त समृद्ध इंडक्टिव बायस और वर्ल्ड नॉलेज का लाभ उठाता है।

लेखक निष्कर्ष निकालते हैं कि प्रीट्रेंड LLMs में एनकोडेड ज्ञान और सामान्यीकरण क्षमताएं प्लानिंग और RL के लिए मजबूत प्रायर के रूप में कार्य कर सकती हैं। वे आगे सुझाव देते हैं कि जैसे-जैसे फाउंडेशन मॉडल्स में सुधार होगा, इस गाइडेंस की प्रभावशीलता स्वाभाविक रूप से बढ़ेगी, जो जटिल निर्णय लेने वाले कार्यों में LLMs का लाभ उठाने के लिए एक स्केलेबल रास्ता प्रदान करती है, जिसमें इंटरेक्शन के दौरान सटीक एक्शन जनरेशन की आवश्यकता नहीं होती है।