Agentic-DPO: From Imitation to Agentic Policy Optimization on Expert Trajectories
एजेंटिक-डीपीओ (Agentic-DPO) एक हल्का, ऑफलाइन पॉलिसी ऑप्टिमाइज़ेशन तरीका है जो विशेषज्ञ प्रक्षेप पथों (expert trajectories) को अवस्था-सशर्त क्रिया वरीयताओं (state-conditioned action preferences) में परिवर्तित करता है ताकि एलएलएम (LLM) एजेंटों को सरल अनुकरण से परे इष्टतम निर्णय लेने में सक्षम बनाया जा सके, जिससे बिना किसी एनवायरनमेंट रोलआउट या रिवॉर्ड मॉडल की आवश्यकता के ऑनलाइन सुदृढीकरण लर्निंग (online reinforcement learning) के तुलनीय प्रदर्शन प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट बटलर को एक बिखरे हुए कमरे की सफाई करना सिखा रहे हैं। पुराना तरीका, जिसे सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) कहा जाता है, एक इंसान को सफाई करते हुए दिखाने जैसा है और यह कहना कि, "जो तुम देख रहे हो, ठीक वैसा ही कॉपी करो।" रोबोट मूव्स के अनुक्रम (sequence) को सीखना शुरू कर देता है: मोजा उठाओ, उसे टोकरी में डालो, डस्टपैन उठाओ। लेकिन यहाँ एक समस्या है: रोबट वास्तव में यह नहीं सीखता कि वे मूव्स क्यों चुने गए। यदि वह मोजा वास्तव में कचरे का एक टुकड़ा था, तो रोबोट अभी भी उसे उठा सकता है क्योंकि वह सिर्फ वीडियो को कॉपी कर रहा है, न कि उस गलती के बारे में सोच रहा है जो उसने की हो सकती है।
यह पेपर एक नया, हल्का तरीका पेश करता है जिसे एजेंटिक-DPO (Agentic-DPO) कहा जाता है ताकि इसे ठीक किया जा सके। केवल नकल करने के बजाय, यह ट्रेनिंग डेटा को एक "चुनिए अपना रोमांच" (Choose Your Own Adventure) गेम में बदल देता है जहाँ रोबोट अपनी खुद की संभावित गलतियों को पहचानना सीखता है।
मुख्य विचार: "सिर्फ कॉपी मत करो, तुलना करो"
लेखकों का सुझाव है कि एक्सपर्ट के रास्ते को केवल याद करने के लिए टेक्स्ट की एक एकल रेखा के रूप में देखने के बजाय, हमें हर एक कदम को एक निर्णय बिंदु (decision point) के रूपas देखना चाहिए। किसी भी क्षण पर, रोबोट एक्सपर्ट के सही मूव को चुन सकता है, या वह एक "तर्कसंगत गलती" (plausible mistake) चुन सकता है।
एजेंटिक-DPO इस तरह काम करता है:
- सेटअप: आप रोबोट को एक्सपर्ट के इतिहास का एक विशिष्ट क्षण (स्थिति/state) दिखाते हैं।
- टेस्ट: आप रोबोट से पूछते हैं, "इस समय मैं क्या करूँगा?"
- तुलना: यदि रोबोट एक्सपर्ट से अलग एक्शन का सुझाव देता है, तो आप एक जोड़ी बनाते हैं: "एक्सपर्ट मूव (अच्छा)" बनाम "रोबोट का अनुमान (बुरा)"।
- सबक: आप रोबोट को अपने स्वयं के संभावित गलत अनुमान की तुलना में एक्सपर्ट मूव को प्राथमिकता देने के लिए सिखाते हैं।
यह एक बहुत बड़ा बदलाव है। पेपर का तर्क है कि पिछले तरीकों ने या तो केवल नकल की (SFT) या वास्तव में वास्तविक वातावरण में बार-बार खेलकर सीखने की कोशिश की (Reinforcement Learning), जो धीमा, महंगा और जटिल स्कोरिंग सिस्टम की आवश्यकता वाला था। एजेंटिक-DPO सुझाव देता है कि आप खेल को वास्तव में खेले बिना या हर मूव को स्कोर करने के लिए मानव जज को नियुक्त किए बिना ही गलतियों से सीखने के लाभ प्राप्त कर सकते हैं।
"जादुई ट्रिक": नियमों को स्पष्ट रखना
रोबोटों को सिखाने में एक पेचीदा समस्या होती है: वे इस बात से भ्रमित हो सकते हैं कि कुछ कैसे लिखा गया है, बजाय इसके कि उसका अर्थ क्या है। उदाहरण के लिए, रोबोट को "टूल को कॉल करें" कहने के लिए call_tool() या {"tool": "call"} का उपयोग किया जा सकता है। यदि रोबोट केवल एक्सपर्ट के टेक्स्ट फॉर्मेट को पसंद करना सीख जाता है, तो वह विफल हो जाता है जब फॉर्मेट बदल जाता है।
इसे ठीक करने के लिए, लेखक एक चतुर तकनीक पेश करते हैं जिसे पॉलिसी-प्रिजर्विंग ऑग्मेंटेशन (PPA) कहा जाता है। कल्पना कीजिए कि आप एक छात्र को गणित का सवाल हल करना सिखा रहे हैं। आप उन्हें वही सवाल अंग्रेजी में, फिर स्पेनिश में, फिर कॉमिक बुक स्टाइल में दिखाते हैं, लेकिन समाधान (गणित) बिल्कुल वही रहता है। PPA रोबोट के लिए यही करता है: यह एक्सपर्ट के एक्शन को कई अलग-अलग "बोलियों" या फॉर्मेट में फिर से लिखता है जबकि मूल निर्णय को समान रखता है। यह रोबोट को चुने गए शब्दों के बजाय चुनाव के तर्क (logic) को सीखने के लिए मजबूर करता है।
आंकड़े क्या कहते हैं
लेखकों ने इस विचार का परीक्षण तीन अलग-अलग "प्लेग्राउंड्स" पर किया जहाँ रोबोट को टूल्स, यूजर्स और वेबसाइटों के साथ इंटरैक्ट करना होता है:
- StableToolBench: टूल उपयोग के परीक्षण के लिए एक जगह।
- τ-bench (टाउ-बेंच): एक रिटेल सिमुलेशन जहाँ रोबोट ग्राहक के साथ चैट करता है।
- Mind2Web: एक कार्य जहाँ रोबोट वास्तविक वेबसाइटों पर नेविगेट करता है।
परिणाम बताते हैं कि एजेंटिक-DPO विभिन्न आकार के रोबोटों में मानक "कॉपी करने" की विधि (SFT) को लगातार पछाड़ देता है:
- τ-bench रिटेल टास्क पर, एक 9-बिलियन-पैरामीटर वाला मॉडल मानक कॉपी करने के साथ 21.7% सफलता से उछलकर एजेंटिक-DPO के साथ 41.4% पर पहुँच गया।
- StableToolBench पर, एक छोटा 2-बिलियन-पैरामीटर वाला मॉडल 57.1% से 90.9% पर गया।
- Mind2Web पर, स्टेप्स की औसत सफलता दर 45.6% से बढ़कर 64.4% हो गई।
दिलचस्प बात यह है कि पेपर नोट करता है कि एजेंटिक-DPO ने एक बहुत अधिक महंगी विधि GRPO के बराबर प्रदर्शन किया (जिसके लिए रोबोट को सीखने के लिए हजारों बार गेम खेलना पड़ता है), लेकिन एजेंटिक-DPO ने यह बिना कभी भी ट्रेनिंग स्टेप्स के दौरान वास्तविक वातावरण के साथ इंटरैक्ट किए बिना किया।
यह विधि क्या नहीं करती
यह जानना महत्वपूर्ण है कि यह विधि क्या हल करने का दावा नहीं करती है। पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि यह विधि उन नई स्थितियों की खोज कर सकती है जिन्हें एक्सपर्ट ने कभी नहीं देखा। क्योंकि यह केवल एक्सपर्ट के मौजूदा वीडियो में मौजूद स्टेट्स से सीखता है, यह उस कमरे को एक्सप्लोर नहीं कर सकता जिसमें एक्सपर्ट कभी गया ही नहीं। यह बताता है कि यह एक ट्रेड-ऑफ है: आपको एक सस्ता, तेज़ प्रशिक्षण तरीका मिलता है जो ज्ञात निर्णय बिंदुओं पर बहुत अच्छा काम करता है, लेकिन आप उन नए समाधानों को खोजने की क्षमता खो देते हैं जिनमें रास्ते से भटकने की आवश्यकता होती है।
निचोड़
लेखकों का सुझाव है कि एक्सपर्ट प्रदर्शनों को हर एक स्टेप पर "सही बनाम गलत" विकल्पों में बदलकर, और रोबोट को तर्क पर ध्यान केंद्रित रखने के लिए "फॉर्मेट-शफलिंग" ट्रिक (PPA) का उपयोग करके, हम पहले की तुलना में बहुत सस्ते में स्मार्ट एजेंटों को प्रशिक्षित कर सकते हैं। यह एक अंधे होकर नकल करने वाले तोते से एक ऐसे छात्र में अपग्रेड करने जैसा है जो वास्तव में सोचता है कि वह क्यों गलत हो सकता है, और वह भी बिना लाखों डॉलर के कंप्यूटर पावर के निरंतर सिमुलेशन चलाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।