🤖 AI

What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents

यह शोध पत्र SERL को प्रस्तुत करता है, जो एक चयनात्मक वातावरण-पुनःभारित (selective environment-reweighted) शिक्षण ढांचा है जो दीर्घ-क्षितिज क्रेडिट असाइनमेंट चुनौतियों को संबोधित करने के लिए विशिष्ट, क्रिया-प्रासंगिक पर्यावरणीय फीडबैक को रणनीतिक रूप से आसवन (distill) करके मल्टी-टर्न LLM एजेंटों को उन्नत करता है, और ALFWorld एवं WebShop बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Xiaozhe Li, Tianyi Lyu, Yang Li, Yichuan Ma, Peiji Li, Linyang Li, Qipeng Guo, Dahua Lin, Kai Chen

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiaozhe Li, Tianyi Lyu, Yang Li, Yichuan Ma, Peiji Li, Linyang Li, Qipeng Guo, Dahua Lin, Kai Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट बटलर (नौकर) को एक बिखरे हुए घर की सफाई करना सिखा रहे हैं। रोबोट को कामों की एक लंबी सूची का पालन करना है: रसोई में जाना, एक कटोरा ढूँढना, उसे उठाना, धोना, सुखाना और उसे शेल्फ पर रखना।

समस्या: "एक बड़ा ग्रेड" वाली समस्या (The "One Big Grade" Issue)
पारंपरिक प्रशिक्षण (training) में, रोबot को दिन के अंत में एक ही ग्रेड मिलता है।

यदि कटोरा शेल्फ पर साफ मिल जाता है, तो रोबोट को A+ मिलता है।
यदि कटोरा टूट जाता है, तो उसे F मिलता है।
समस्या यह है कि रोबोट को यह पता नहीं चलता कि किस विशिष्ट क्रिया (action) ने वह ग्रेड दिलाया। क्या उसे A+ इसलिए मिला क्योंकि उसने कटोरे को सही ढंग से उठाया? या इसलिए क्योंकि वह सिंक तक गया? या शायद वह सिर्फ भाग्यशाली था?
20 चरणों की एक लंबी सूची में, शायद केवल 3 चरण वास्तव में महत्वपूर्ण थे (उठाना, धोना, रखना)। अन्य 17 चरण केवल इधर-उधर घूमने या फ्रिज चेक करने के थे। यदि आप रोबोट को पूरे दिन के लिए A+ देते हैं, तो वह सोच सकता है, "बहुत बढ़िया! मुझे ऐसे ही चक्कर काटते रहना चाहिए क्योंकि इसी से मुझे ग्रेड मिला!" इसे क्रेडिट असाइनमेंट समस्या (credit assignment problem) कहा जाता है।

पुराना समाधान: "अति-सतर्क" शिक्षक (The "Over-Attentive" Teacher)
कुछ शोधकर्ताओं ने एक बहुत बुद्धिमान शिक्षक को रोबोट की निगरानी करने के लिए नियुक्त करके इसे ठीक करने की कोशिश की। शिक्षक सब कुछ देखता है: रोबोट के कार्य, तत्काल परिणाम (जैसे, "कटोरा गीला है"), और यहाँ तक कि भविष्य भी (जैसे, "कटोरा अब शेल्फ पर है")।
शिक्षक फिर रोबोट को बताता है, "वही करो जो मैं देख रहा हूँ।"

दोष: शिक्षक उन चीजों को देखता है जिन्हें रोबोट निर्णय लेते समय नहीं देख सकता। उदाहरण के लिए, शिक्षक जानता है कि यदि आप कटोरा गिरा देंगे तो वह टूट जाएगा, लेकिन रोबोट को अभी तक यह नहीं पता है। यदि रोबोट अंधाधुंध शिक्षक की नकल करता है, तो वह "जादुई ज्ञान" (magic knowledge) पर निर्भर रहने लगता है जो उसके पास वास्तव में नहीं है। जब रोबोट बाद में अकेले काम करने की कोशिश करता है, तो वह विफल हो जाता है क्योंकि वह उत्तर कुंजी (answer key) देखकर नकल कर रहा था।

नया समाधान: SERL (सेलेक्टिव एनवायरनमेंट-रीवेटेड लर्निंग)
यह पेपर SERL पेश करता है, जो इस शिक्षक का उपयोग करने का एक स्मार्ट तरीका है। SERL को एक ऐसे कोच के रूप में सोचें जो नियमों का एक बहुत विशिष्ट सेट उपयोग करता है:

कोच दिशा निर्धारित करता है (The Reward):
अंतिम ग्रेड (A+ या F) ही यह तय करता है कि रोबोट को किस दिशा में आगे बढ़ना चाहिए। यदि कार्य सफल रहा, तो रोबोट जानता है कि उसे वही करना है जो उसने किया। यदि वह विफल रहा, तो वह जानता है कि रुकना है। यह सुनिश्चित करता है कि रोबोट वास्तव में समस्या को हल करने की कोशिश कर रहा है, न कि केवल शिक्षक की नकल कर रहा है।
शिक्षक वॉल्यूम को एडजस्ट करता है (The Distillation):
शिक्षक रोबोट को यह नहीं बताता कि क्या करना है। इसके बजाय, शिक्षक एक वॉल्यूम नॉब (volume knob) की तरह काम करता है।

यदि रोबोट एक ऐसा कदम उठाता है जिसे शिक्षक देखता है कि एक अच्छा परिणाम दे रहा है (जैसे तत्काल फीडबैक के आधार पर "कटोरा गीला है"), तो शिक्षक उस विशिष्ट क्रिया पर वॉल्यूम बढ़ा (UP) देता है। "हाँ! इसे फिर से करो!"
यदि रोबोट ऐसा कदम उठाता है जिससे गड़बड़ी होती है, तो शिक्षक वॉल्यूम कम (DOWN) कर देता है। "नहीं, ऐसा मत करो।"
महत्वपूर्ण रूप से, शिक्षक रोबोट के "सोचने" वाले चरणों (जैसे "हम्म, कटोरा कहाँ है?") को अनदेखा करता है और केवल क्रिया (action) वाले चरणों पर वॉल्यूम को एडजस्ट करता है (जैसे "कटोरा उठाना")।

"सेलेक्टिव" (चयनात्मक) भाग:
पेपर में पाया गया कि आपको शिक्षक को पूरा भविष्य देखने की आवश्यकता नहीं है। वास्तव में, बहुत अधिक भविष्य की जानकारी देखना रोबोट को भ्रमित करता है।

सर्वश्रेष्ठ फीडबैक: सबसे उपयोगी संकेत क्रिया का तत्काल परिणाम है (जैसे, "आपने कटोरा उठाया, और वह गिरा नहीं")।
प्लेसमेंट: आपको हर एक शब्द लिखने के बाद रोबोट को सुधारने की आवश्यकता नहीं है। आपको केवल तभी सुधारने की आवश्यकता है जब वह दुनिया में कोई सार्थक बदलाव करता है (जैसे लिविंग रूम से किचन में जाना)। इसे एंकर-लेवल (Anchor-Level) फीडबैक कहा जाता है।

वीडियो गेम का उदाहरण
कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ आपको केवल अंत में "गेम ओवर" या "लेवल कंप्लीट" स्क्रीन मिलती है।

स्टैंडर्ड RL: आप अनुमान लगाने की कोशिश करते हैं कि किस बटन दबाने से जीत मिली।
पुरानी डिस्टिलेशन (Old Distillation): एक दोस्त आपके पीछे खड़ा है, वह पूरा लेवल देखता है, और फुसफुसाता है, "अभी X दबाओ!" लेकिन आप वह नहीं देख सकते जो वह देख रहा है, इसलिए आप भ्रमित हो जाते हैं।
SERL: आपको अभी भी अंत में "लेवल कंप्लीट" स्क्रीन मिलती है जो बताती है कि आप जीते या हारे। लेकिन, एक कोच आपकी स्क्रीन को देखता है। जब आप एक बटन दबाते हैं और एक दरवाजा खुलता है, तो कोच चिल्लाता है, "बहुत बढ़िया!" (वॉल्यूम अप)। जब आप एक बटन दबाते हैं और आप गड्ढे में गिर जाते हैं, तो कोच कहता है, "गलत कदम" (वॉल्यूम डाउन)। कोच आपको यह नहीं बताता कि अगला कौन सा बटन दबाना है; वह बस यह बताता है कि आपने अभी जो बटन दबाया था वह कितना महत्वपूर्ण था।

परिणाम
शोधकर्ताओं ने दो जटिल कार्यों पर SERL का परीक्षण किया:

ALFWorld: एक वर्चुअल घर जहाँ रोबोट को वस्तुओं को ढूँढना और हिलाना होता है।
WebShop: एक वर्चुअल ऑनलाइन स्टोर जहाँ रोबोट को विशिष्ट वस्तुओं को खोजना और खरीदना होता है।

SERL ने सभी अन्य तरीकों को पछाड़ दिया। इसने तेजी से और अधिक सफलतापूर्वक सीखा क्योंकि यह शिक्षक के "जादुई ज्ञान" पर निर्भर नहीं था। इसने शिक्षक की तत्काल प्रतिक्रियाओं का उपयोग सबसे महत्वपूर्ण चालों को हाइलाइट करने के लिए किया, जबकि समग्र रणनीति के लिए अंतिम सफलता/विफलता के संकेत का उपयोग किया।

बड़ी सीख (The Big Takeaway)
AI एजेंट को लंबे, जटिल कार्य करने के लिए सिखाने के लिए, आपको ऐसा शिक्षक नहीं चाहिए जो भविष्य देख सके। आपको बस एक ऐसे शिक्षक की आवश्यकता है जो एजेंट को तुरंत बता सके, "जो चाल आपने अभी ली वह सही (या गलत) थी," और अंतिम परिणाम को समग्र लक्ष्य तय करने दें। कम "प्रिविलेज्ड" (विशेषाधिकार प्राप्त) जानकारी और अधिक "ग्राउंडेड" (आधारित) फीडबैक बेहतर काम करता है।

तकनीकी सारांश: क्या और कब डिस्टिल करें: मल्टी-टर्न एजेंटों के लिए चयनात्मक हिंडसाइट डिस्टिलेशन (Selective Hindsight Distillation)

1. समस्या विवरण (Problem Statement)

रीइन्फोर्समेंट लर्निंग (RL) लंबी अवधि के, इंटरैक्टिव वातावरण (जैसे वेब नेविगेशन, एम्बोडीड टास्क) में लार्ज लैंग्वेज मॉडल (LLM) एजेंटों को प्रशिक्षित करने के लिए एक प्राथमिक प्रतिमान (paradigm) है। हालाँकि, इसमें क्रेडिट असाइनमेंट (credit assignment) एक महत्वपूर्ण बाधा है: स्पार्स (sparse), ट्राजेक्टरी-लेवल सफलता संकेतों (जैसे, एक एकल "कार्य पूर्ण" रिवॉर्ड) को दर्जनों क्रियाओं (actions) में वितरित किया जाना चाहिए, जिनमें से कई रूटीन नेविगेशन या फॉर्मेटिंग स्टेप्स होती हैं जिनका परिणाम पर कोई कारण प्रभाव (causal impact) नहीं होता।

मौजूदा विधियाँ दो मुख्य सीमाओं का सामना करती हैं:

कोर्स क्रेडिट असाइनमेंट (Coarse Credit Assignment): GRPO जैसी ग्रुप-रिलेटिव विधियाँ एक एकल ट्राजेक्टरी-लेवल एडवांटेज को प्रत्येक टोकन पर प्रसारित करती हैं, जिससे निर्णायक निर्णयों और निष्क्रिय इंटरफ़ेस टोकन के बीच कोई अंतर नहीं रह जाता।
डिस्टिलेशन में विशेषाधिकार प्राप्त सूचना का रिसाव (Privileged Information Leakage in Distillation): जबकि ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (OPD) एनवायरनमेंट फीडबैक (हिंडसाइट) का उपयोग करके एक "टीचर" मॉडल के माध्यम से सघन (dense) टोकन-लेवल सुपरविजन प्रदान कर सकता है, अनियंत्रित नकल (indiscriminate imitation) उस जानकारी के रिसाव का जोखिम उठाती है जो निर्णय के समय छात्र (student) के पास उपलब्ध नहीं होती (जैसे, भविष्य के ऑब्जर्वेशन, एरर मैसेज)। यह कार्य की सफलता से असंबंधित शैलीगत प्राथमिकताओं (stylistic preferences) को बढ़ा सकता है और प्रशिक्षण को अस्थिर कर सकता है।

मुख्य चुनौती यह निर्धारित करना है कि कौन से फीडबैक स्रोत उपयोगी हैं, उन्हें कहाँ (किस स्तर की सूक्ष्मता/granularity पर) लागू किया जाना चाहिए, और उन्हें एजेंट के निर्णय और अंतिम रिवॉर्ड के बीच कारण संबंध (causal link) से समझौता किए बिना कैसे एकीकृत किया जाए।

2. कार्यप्रणाली: SERL

लेखक SERL (Selective Environment-Reweighted Learning) का प्रस्ताव करते हैं, जो अपडेट की दिशा (direction) को अपडेट के परिमाण और स्थान (magnitude and placement) से अलग करता है।

मुख्य सिद्धांत

टास्क रिवॉर्ड: पॉलिसी अपडेट की दिशा निर्धारित करता है (कि व्यवहार को सुदृढ़ करना है या दबाना है)।
एनवायरनमेंट फीडबैक: केवल अपडेट के स्थान (किन टोकन पर) और परिमाण (कितनी मजबूती से) को समायोजित करता है।

मुख्य घटक

A. हिंडसाइट प्लेसमेंट (स्रोत और सूक्ष्मता/Granularity)

SERL फीडबैक स्रोतों और इंसर्शन पॉइंट्स के डिज़ाइन स्पेस का व्यवस्थित रूप से अन्वेषण करता है:

फीडबैक स्रोत: तत्काल फीडबैक ( $r_t$ ), अगला ऑब्जर्वेशन ( $s_{t+1}$ ), भविष्य की ट्राजेक्टरी ( $\tau_{>t}$ ), सफल ट्राजेक्टरीज ( $\tau_+$ ), और उनके संयोजन।
सूक्ष्मता (Granularities):
- स्टेप-लेवल (Step-Level): प्रत्येक ट्रांजिशन पर फीडबैक लागू करता है।
- एंकर-लेवल (Anchor-Level): अर्थपूर्ण रूप से समान अवस्थाओं को "एंकर" में समूहित करता है और फीडबैक को केवल सार्थक स्टेट परिवर्तनों पर लागू करता है ताकि रेडंडेंसी और शोर को कम किया जा सके।

B. एसिमेट्रिक टीचर-स्टूडेंट मैकेनिज्म

SERL एक स्टॉप-ग्रेडिएंट टीचर पॉलिसी ( $\pi_T$ ) का उपयोग करता है जो रखे गए हिंडसाइट $\Phi(t)$ पर आधारित है, जबकि छात्र ( $\pi_\theta$ ) केवल निर्णय-समय के संदर्भ (context) को देखता है।

लॉग-प्रोबेबिलिटी गैप: सिस्टम एक टोकन के लिए टीचर और स्टूडेंट के लॉग-प्रोबेबिलिटी के बीच के अंतर की गणना करता है: $\Delta_{t,i} = \log \pi_T - \log \pi_\theta$ ।
साइन-अवेयर रीवेटिंग (Sign-Aware Reweighting): इस गैप को एक बाउंडेड वेट $w_{t,i}$ $w_{t, i}$ में बदल दिया जाता है जो GRPO एडवांटेज को संशोधित करता है। महत्वपूर्ण रूप से, मूल GRPO एडवांटेज ( $A_t$ $A_{t}$ ) का साइन यह निर्धारित करता है कि गैप की व्याख्या कैसे की जाए:
- यदि $A_t > 0$ (सफल ट्राजेक्टरी), तो टीचर द्वारा समर्थित टोकन को बड़े सकारात्मक अपडेट मिलते हैं।
- यदि $A_t < 0$ (विफल ट्राजेक्टरी), तो टीचर द्वारा नकारे गए टोकन को अधिक दंडित किया जाता है।
एक्शन-टोकन मास्किंग: रीवेटिंग को केवल एग्जीक्यूटेबल एक्शन टोकन तक सीमित रखा गया है। रीजनिंग और फॉर्मेटिंग टोकन अपने मूल GRPO वेट बनाए रखते हैं, जिससे टीचर को गैर-निर्णयात्मक भागों को प्रभावित करने से रोका जा सके।
डिके शेड्यूल (Decay Schedule): प्रशिक्षण के दौरान हिंडसाइट रीवेटिंग की शक्ति ( $\alpha_k$ ) को कम (decay) किया जाता है। शुरुआती चरणों में, अन्वेषण (exploration) के दौरान क्रेडिट असाइनमेंट के लिए सघन हिंडसाइट का लाभ उठाया जाता है; बाद के चरणों में, विशेषाधिकार प्राप्त पूर्वाग्रह (privileged bias) को रोकने के लिए नियंत्रण को रिवॉर्ड-संचालित उद्देश्य पर वापस लाया जाता है।

C. ऑब्जेक्टिव फंक्शन

अंतिम ऑब्जेक्टिव रीवेटेड RL लॉस ( $\mathcal{L}_{rw}$ ) को एक लाइटवेट, एक्शन-ओनली डिस्टिलेशन टर्म ( $\mathcal{L}_{act}$ ) के साथ जोड़ता है:
$\mathcal{L}_{SERL} = \mathcal{L}_{rw} + \lambda \mathcal{L}_{act}$
यह सुनिश्चित करता है कि विशेषाधिकार प्राप्त हिंडसाइट कभी भी पूरे-रिस्पॉन्स अपडेट की दिशा निर्धारित नहीं करती, बल्कि एक बाउंडेड, एक्शन-लेवल क्रेडिट एडजस्टमेंट के रूप में कार्य करती है।

3. मुख्य योगदान

फीडबैक डिज़ाइन का व्यवस्थित अध्ययन: ALFWorld और WebShop में पांच फीडबैक स्रोतों और दो इंसर्शन ग्रेनुलैरिटीज़ का मूल्यांकन करते हुए, लॉन्ग-होरिज़न LLM एजेंट RL के लिए एनवायरनमेंट फीडबैक का पहला व्यापक विश्लेषण।
SERL फ्रेमवर्क: एक GRPO-संगत ऑब्जेक्टिव जो विशेषाधिकार प्राप्त हिंडसाइट को पॉलिसी ग्रेडिएंट के बाउंडेड, एक्शन-लेवल रीवेटिंग में बदल देता है, जिससे टास्क रिवॉर्ड द्वारा एंकर की गई अपडेट दिशा बनी रहती है।
अनुभवजन्य अंतर्दृष्टि (Empirical Insights): यह प्रदर्शन करना कि प्रभावी फीडबैक केवल "सबसे समृद्ध" संदर्भ नहीं है। ग्राउंडेड, एक्शन-रेलेवेंट सिग्नल जो अर्थपूर्ण इंसर्शन पॉइंट्स (एंकर-लेवल) पर होते हैं, वे लंबे या अधिक विशेषाधिकार प्राप्त संदर्भ के अंधाधुंध उपयोग की तुलना में लगातार बेहतर प्रदर्शन करते हैं।

4. प्रयोगात्मक परिणाम

प्रयोग ALFWorld (एम्बोडीड निर्णय लेना) और WebShop (ऑनलाइन शॉपिंग नेविगेशन) पर Qwen2.5-7B-Instruct को बेस मॉडल के रूप में उपयोग करके किए गए।

प्रदर्शन: SERL ने ALFWorld पर 90.0% औसत सफलता और WebShop पर 80.1% सफलता हासिल की।
तुलना:
- मजबूत RL बेसलाइन्स (जैसे, GRPO, HGPO) को महत्वपूर्ण मार्जिन से पछाड़ा (जैसे, ALFWorld औसत सफलता पर GRPO से +14.7 अंक)।
- RL-डिस्टिलेशन हाइब्रिड्स (जैसे, SDPO, RLSD) से बेहतर प्रदर्शन किया, जो अक्सर लॉन्ग-होरिज़न कार्यों में असंगत लाभ या अस्थिरता से ग्रस्त होते हैं।
एब्लेशन निष्कर्ष (Ablation Findings):
- स्रोत (Source): सफल ट्राजेक्टरीज + तत्काल फीडबैक के संयोजन ने सबसे अच्छे परिणाम दिए, जो सुझाव देता है कि संदर्भ व्यवहार को वर्तमान रोलआउट के वास्तविक ट्रांजिशन पर आधारित होना चाहिए।
- सूक्ष्मता (Granularity): मल्टी-सोर्स फीडबैक के लिए एंकर-लेवल प्लेसमेंट ने आमतौर पर स्टेप-लेवल प्लेसमेंट की तुलना में बेहतर प्रदर्शन किया, क्योंकि इसने रेडंडेंट अपडेट को दबाते हुए कॉज़ल सिग्नल्स को सुरक्षित रखा।
- डिके (Decay): टीचर सिग्नल को कम करना (decay) महत्वपूर्ण था; प्रशिक्षण के दौरान पूरे समय हिंडसाइट का समान उपयोग करने से बाद के चरणों में विशेषाधिकार प्राप्त सूचना के रिसाव के कारण सब-ऑप्टिमल प्रदर्शन हुआ।

5. महत्व और दावे

पेपर का दावा है कि एजेंट RL में प्राथमिक बाधा केवल ग्रेडिएंट एस्टीमेशन में वेरिएंस कम करना नहीं है, बल्कि लंबी ट्राजेक्टरीज में क्रेडिट असाइनमेंट का मिसअलाइनमेंट है।

ग्राउंडेड बनाम रिच: यह अध्ययन इस धारणा को चुनौती देता है कि अधिक संदर्भ (जैसे, पूर्ण भविष्य की ट्राजेक्टरीज) हमेशा बेहतर होता है। इसके बजाय, यह तर्क देता है कि ग्राउंडेड, एक्शन-रेलेवेंट सिग्नल अर्थपूर्ण बिंदुओं पर बेहतर होते हैं क्योंकि वे एजेंट के विशिष्ट निर्णयों के साथ कॉज़ल एलाइनमेंट बनाए रखते हैं।
नियंत्रित डिस्टिलेशन: SERL प्रदर्शित करता है कि डिस्टिलेशन को RL में बिना अस्थिरता के एकीकृत किया जा सकता है यदि टीचर सिग्नल का उपयोग एसिमेट्रिक रूप से किया जाए—अर्थात, सीधे इमिटेशन टारगेट के बजाय परिमाण समायोजन के लिए एक गुणांक (coefficient) के रूप में।
डिज़ाइन सिद्धांत: यह कार्य स्थापित करता है कि प्रभावी एजेंट RL के लिए तीन डिज़ाइन विकल्पों का संरेखण आवश्यक है: फीडबैक का स्रोत, फीडबैक का प्लेसमेंट (सूक्ष्मता), और पॉलिसी अपडेट पर इसके प्रभाव की शक्ति।

डिस्टिलेशन के "क्या और कब" को संबोधित करके, SERL मल्टी-टर्न एजेंटों को प्रशिक्षित करने के लिए एक स्थिर मार्ग प्रदान करता है जो विशेषाधिकार प्राप्त सूचना के रिसाव के खतरों में फंसे बिना सघन एनवायरनमेंट फीडबैक का प्रभावी ढंग से उपयोग कर सकते हैं।