🤖 AI

StepOPSD: Step-Aware Online Preference Distillation for Agent Reinforcement Learning

StepOPSD एक स्टेप-अवेयर ऑनलाइन प्रेफरेंस डिस्टिलेशन फ्रेमवर्क है जो एक्शन-केंद्रित सेगमेंट में ट्रेजेक्टरीज को डीकंपोज करके हिंडसाइट-एनरिच्ड रीस्केलिंग और एडवांटेज शेपिंगिंग के माध्यम से मल्टी-टर्न एजेंट रिइन्फोर्समेंट लर्निंग में क्रेडिट-असाइनमेंट मिसमैच को संबोधित करता है, जिससे ALFWorld और Search-QA जैसे बेंचमार्क पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त होता है।

मूल लेखक: Yanfei Zhang, Xu Lin, Chenglin Wu

प्रकाशित 2026-05-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yanfei Zhang, Xu Lin, Chenglin Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल घर में किसी विशिष्ट वस्तु, जैसे कि "गर्म कॉफी का कप" को खोजने के लिए नेविगेट करना सिखा रहे हैं। रोबोट को दर्जनों मूव्स करने होंगे: रसोई तक जाना, फ्रिज खोलना, माइक्रोवेव चेक करना और अंत में कप उठाना।

समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) वाली गलती
पारंपरिक प्रशिक्षण (Reinforcement Learning) में, यदि रोबोट कॉफी खोजने में विफल रहता है, तो उसे पूरे सफर के लिए एक ही "खराब ग्रेड" मिलता है। उसे यह नहीं पता चलता कि वह क्यों विफल हुआ। क्या वह गलत कमरे में चला गया? क्या उसने गलत दरवाजा खोला? या उसने बस गलत कप उठा लिया?

यह एक क्रेडिट-असाइनमेंट मिसमैच (credit-assignment mismatch) कहलाता है। रोबोट को पूरे सफर के लिए दंडित किया जाता है, भले ही उसने बीच में केवल एक छोटी सी गलती की हो। यह वैसा ही है जैसे कोई छात्र गणित के टेस्ट में इसलिए फेल हो जाए क्योंकि उसने आखिरी लाइन में गलत नंबर लिख दिया था, और शिक्षक उसके पूरे निबंध के लिए अंक काट देते हैं। रोबोट भ्रमित हो जाता है और उसे समझ नहीं आता कि किस विशिष्ट कदम को ठीक करना है।

समाधान: StepOPSD (एक "कदम-दर-कदम" कोच)
लेखकों ने एक नई विधि बनाई जिसे StepOPSD कहा जाता है। रोबोट की यात्रा को एक लंबे, धुंधले टेक्स्ट स्ट्रिंग की तरह मानने के बजाय, यह विधि यात्रा को व्यक्तिगत कदमों (steps) में विभाजित करती है (जैसे "फ्रिज खोलना," "माइक्रोवेव चेक करना")।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

"दृष्टि-दोष" (Hindsight) कोच: कल्पना कीजिए कि रोबोट एक कार्य करने की कोशिश करता है और विफल हो जाता है। एक "शिक्षक" (रोबोट का एक स्मार्ट वर्जन) विफलता को देखता है और कहता है, "आह, मैं देख सकता हूँ कि क्या हुआ। आपने फ्रिज खोला, लेकिन आपको पहले माइक्रोवेव चेक करना चाहिए था।"
ज़ूम इन करना: रोबोट को यह बताने के बजाय कि "आप पूरा गेम हार गए," StepOPSD कोच केवल उस विशिष्ट क्षण पर ज़ूम करता है (वह कदम जहाँ रोबोट ने फ्रिज खोला था)।
"क्रेडिट" बजट: यह विधि प्रत्येक कदम को काम करने के लिए समान मात्रा में "क्रेडिट" देती है। यह एक लंबी, भटकाव भरी विचार प्रक्रिया को सारा ध्यान चुराने नहीं देती। यह सुनिश्चित करती है कि छोटी, महत्वपूर्ण गलती को सही मात्रा में ध्यान मिले।
सेफ्टी वाल्व (Safety Valve): यह विधि दो "नॉब्स" (knobs) का उपयोग करती है जो यह नियंत्रित करते हैं कि कोच कितना हस्तक्षेप करता है:
- ग्लोबल नॉब ( $\lambda_{mix}$ ): कोच की सलाह कुल मिलाकर कितनी महत्वपूर्ण है। इसे अलग-अलग कार्यों (जैसे शारीरिक कार्यों बनाम खोज कार्यों) के लिए अलग-अलग ट्यून करने की आवश्यकता होती है।
- लोकल नॉब ( $\alpha_{clip}$ ): यह सबसे महत्वपूर्ण खोज है। यह एक सुरक्षा बेल्ट (safety belt) की तरह कार्य करता है। यह कोच को किसी भी एक कदम पर बहुत ज़ोर से चिल्लाने या रोबोट के निर्णय को बहुत अधिक बदलने से रोकता है। शोध में पाया गया कि इस "सुरक्षा बेल्ट" को कसकर रखने (एक छोटी संख्या) से लगभग हमेशा रोबोट अधिक स्थिरता से सीखता है, चाहे कार्य कोई भी हो।

परिणाम: कमजोर कड़ियों को ठीक करना
शोधकर्ताओं ने दो प्रकार की चुनौतियों पर इसका परीक्षण किया:

शारीरिक कार्य (ALFWorld): घर में वस्तुओं को इधर-उधर ले जाना।
खोज कार्य (Search-QA): इंटरनेट पर खोज करके उत्तर ढूँढना।

उन्होंने पाया कि StepOPSD ने केवल हर चीज़ में रोबोट को थोड़ा बेहतर नहीं बनाया। इसके बजाय, इसने उन विशिष्ट चरणों को सर्जिकल रूप से ठीक किया जहाँ रोबोट आमतौर पर फंस जाता था।

शारीरिक कार्यों में, रोबोट अक्सर इसलिए विफल होता था क्योंकि वह एक सूक्ष्म अवस्था परिवर्तन (state change) को मिस कर देता था (जैसे यह महसूस करने में कि कप वास्तव में "गर्म" था)। StepOPSD ने रोबोट को उन विशिष्ट क्षणों पर ध्यान देने में मदद की।
खोज कार्यों में, रोबोट अक्सर इसलिए विफल होता था क्योंकि वह गलत प्रश्न पूछता था। StepOPSD ने उस विशिष्ट खोज क्वेरी (search query) को रिफाइन करने में मदद की।

"दो-नॉब नियम" (Two-Knob Law)
शोधकर्ताओं ने एक सुसंगत नियम की खोज की:

कठोर स्थानीय नियंत्रण (Tight Local Control) महत्वपूर्ण है: किसी भी कार्य के लिए, "सुरक्षा बेल्ट" (लोकल क्लिपिंग) को कसकर रखने से रोबोट को पागल होने या जो वह कर रहा था उसे भूल जाने से रोका जा सकता है।
ग्लोबल सलाह बदलती रहती है: कोच की समग्र राय कितनी महत्वपूर्ण है, यह इस पर निर्भर करता है कि कौन सा विशिष्ट खेल खेला जा रहा है।

सारांश
StepOPSD एक स्मार्ट कोच की तरह है जो एक लंबी यात्रा को एक एकल इकाई के रूप में मानना बंद कर देता है। इसके बजाय, यह रोबोट को कदम-दर-कदम देखता है, पहचानता है कि रोबोट कहाँ भ्रमित हुआ था, और केवल उस कदम को धीरे से सुधारता है। ऐसा करके, यह रोबोट को बहुत तेज़ी से और अधिक विश्वसनीय रूप से सीखने में मदद करता है, विशेष रूप से जटिल कार्यों में जहाँ एक छोटी सी गलती पूरे परिणाम को बिगाड़ सकती है।

तकनीकी सारांश: StepOPSD

1. समस्या विवरण (Problem Statement)

मल्टी-टर्न एजेंटों के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL) एक मौलिक क्रेडिट-असाइनमेंट मिसमैच (credit-assignment mismatch) का सामना करता है। लंबी अवधि के कार्यों (long-horizon tasks) में, पुरस्कार आमतौर पर विरल (sparse) और प्रक्षेपवक्र-स्तरीय (trajectory-level) होते हैं (जैसे कि रोलआउट के अंत में एक एकल सफलता/विफलता संकेत), फिर भी सफलता अक्सर एक या दो महत्वपूर्ण स्थानीय निर्णयों पर टिकी होती है। मानक RL एल्गोरिदम, जैसे कि ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO), इस विरल संकेत को एक प्रक्षेपवक्र के सभी टोकनों में प्रसारित करते हैं। यह दृष्टिकोण दो कारणों से संरचनात्मक रूप से त्रुटिपूर्ण है:

विफलता का स्थानीयकरण (Localization of Failure): एक गलत क्वेरी, अमान्य एक्शन, या समयपूर्व निष्कर्ष एक हजार-टोकन वाले रोलआउट को बर्बाद कर सकता है, फिर भी मानक RL पूरे अनुक्रम को बिना किसी भेदभाव के दंडित करता है, जिससे एजेंट को यह अनुमान लगाने के लिए मजबूर होना पड़ता है कि कौन सा चरण घातक था।
प्रक्षेपवक्रों की विषमता (Heterogeneity of Trajectories): एजेंट के प्रक्षेपवक्र अपरिवर्तनीय पर्यावरण अवलोकनों (environment observations) और मॉडल-जनित क्रियाओं (actions) को आपस में मिलाते हैं। पूरे प्रक्षेपवक्रम को एक समान स्ट्रिंग के रूप में मानना गैर-नियंत्रणीय टोकनों पर पर्यवेक्षण (supervision) को व्यर्थ करता है और उन कारण सीमाओं (causal boundaries) को धुंधला कर देता है जो प्रभावी हिंडसाइट फीडबैक (hindsight feedback) के लिए आवश्यक हैं।

मौजूदा ऑनलाइन पॉलिसी डिस्टिलेशन (OPD) विधियाँ सघन टोकन-स्तरीय पर्यवेक्षण प्रदान करती हैं, लेकिन वे अक्सर प्रक्षेपवक्रों को कारण-संबंधी इंटरैक्शन इकाइयों के बजाय मोनोलिथिक स्ट्रिंग्स (monolithic strings) के रूप में मानती हैं।

2. कार्यप्रणाली: StepOPSD

StepOPSD (Step-Aware Online Preference Distillation) एक पोस्ट-रोलआउट प्रेफरेंस सेल्फ-डिस्टिलेशन फ्रेमवर्क है जिसे प्रक्षेपवक्र स्तर के बजाय एजेंट स्टेप स्तर पर क्रेडिट को पुनर्वितरित करने के लिए डिज़ाइन किया गया है। यह मौजूदा GRPO पाइपलाइन के भीतर एक सर्जिकल हस्तक्षेप के रूप में कार्य करता है, बिना ऑनलाइन रोलआउट डायनेमिक्स को बदले।

मुख्य तंत्र (Core Mechanisms)

कारण-आधारित स्टेप निष्कर्षण (Causal Step Extraction): फ्रेमवर्क पूर्ण प्रक्षेपवक्रों को परमाणु, एक्शन-केंद्रित स्टेप सेगमेंट में विभाजित करता है।
- एम्बॉडीड टास्क (जैसे, ALFWorld) के लिए, यह केवल <action> स्पैन निकालता है।
- नॉलेज-इंटेंसिव टास्क (जैसे, Search-QA) के लिए, यह रिट्रीव्ड एक्सटर्नल नॉलेज को मास्क करते हुए रीजनिंग स्पैन निकालता है।
हिंडसाइट-प्रिविलेज्ड रीस्कोरिंग (Hindsight-Privileged Rescoring): प्रत्येक निकाले गए स्टेप $k$ $k$ के लिए, विधि एक "टीचर" कॉन्टेक्स्ट के विरुद्ध छात्र (student) की जनरेशन प्रोबेबिलिटी का मुकाबला करती है, जो हिंडसाइट जानकारी ( $h_k$ $h_{k}$ ) से समृद्ध है।
- टीचर निर्माण: बाहरी ओरेकलल्स (oracles) का उपयोग करने के बजाय, विफल प्रक्षेपवक्र के लिए टीचर कॉन्टेक्स्ट को उसी GRPO ग्रुप से पहले सफल पीयर प्रक्षेपवक्र (first successful peer trajectory) पर आधारित किया जाता है। यह वितरण बदलाव (distribution shift) या एनोटेशन लागत के बिना सघन, सूचनात्मक संकेत प्रदान करता है।
- स्थिर संदर्भ (Stable Reference): टीचर पॉलिसी ( $\pi_T$ ) को एक पुराने संदर्भ पॉलिसी (कुछ स्टेप्स पहले के पैरामीटर्स) के रूप में स्थापित किया जाता है ताकि मूविंग-टारगेट अस्थिरता को रोका जा सके।
एडवांटेज शेपिंग (Advantage Shaping): टीचर और स्टूडेंट के बीच लॉग-प्रोबेबिलिटी गैप ( $\Delta$ $Δ$ ) को GRPO एडवांटेज को मॉड्युलेट करने के लिए एक बाउंडेड लोकल प्रेफरेंस सिग्नल में बदल दिया जाता है।
- वेट कंस्ट्रक्शन (Weight Construction): एक रॉ मल्टीप्लिकेटिव वेट, साइन-प्रिजर्विंग एडवांटेज और लॉग-प्रोब गैप के सिग्मॉइड से प्राप्त किया जाता है।
- लोकल क्लिपिंग ( $\alpha_{clip}$ ): स्थिरता सुनिश्चित करने के लिए वेट्स को एक सिमेट्रिक ट्रस्ट रीजन $[1-\alpha_{clip}, 1+\alpha_{clip}]$ पर प्रोजेक्ट किया जाता है।
- ग्लोबल मिक्सिंग ( $\lambda_{mix}$ ): अंतिम शेप्ड एडवांटेज $\tilde{A}_\ell$ , बेस RL एडवांटेज और हिंडसाइट-वेटेड एडवांटेज का एक लीनियर कॉम्बिनेशन है।
स्टेप नॉर्मलाइजेशन (Step Normalization): यह रोकने के लिए कि लंबे, विस्तृत रीजनिंग स्टेप्स केवल अधिक टोकन जमा करके ऑप्टिमाइज़ेशन लैंडस्केप पर हावी न हो जाएं, एक बाधा ( $equal\_step\_mean\_abs$ ) लागू की जाती है। यह सुनिश्चित करता है कि क्रेडिट बजट सभी स्टेप्स में समान रहे, जिससे प्रत्येक स्टेप को एक समान महत्वपूर्ण कॉज़ल लिंक माना जाता है।

3. प्रमुख योगदान

स्टेप-अवेयर डिस्टिलेशन: मोनोलिथिक रिस्पॉन्स के बजाय एक्शन-केंद्रित स्टेप सेगमेंट में डिस्टिलेशन की इकाई को बदलता है, जहाँ टीचर रीस्कोरिंग को डायरेक्ट पॉलिसी इमिटेशन के बजाय पोस्ट-रोलआउट क्रेडिट पुनर्वितरण के रूप में पुन: उपयोग किया जाता है।
मॉड्यूलर, नॉन-इंट्रूसिव आर्किटेक्चर: एक ड्रॉप-इन इम्प्लीमेंटेशन जो Search-R1/GRPO के ऊपर काम करता है और ऑनलाइन रोलआउट डायनेमिक्स को बदले बिना विविध हिंडसाइट स्रोतों और स्पैन-सिलेक्शन रणनीतियों को एकीकृत करता है।
अनुभवजन्य सत्यापन और "दो-नॉब लॉ" (Two-Knob Law): यह प्रदर्शित करता है कि StepOPSD उन सबसेट्स पर सर्वश्रेष्ठ या दूसरा सर्वश्रेष्ठ परिणाम प्राप्त करता है जो स्थानीय कॉज़ल एरर्स के प्रति संवेदनशील हैं। परिणाम एक सुसंगत अनुभवजन्य नियम प्रकट करते हैं:
- $\alpha_{clip}$ (लोकल क्लिपिंग): छोटे मान एक व्यापक रूप से स्थिर करने वाले स्थानीय ट्रस्ट रीजन के रूप में कार्य करते हैं, जो अनबाउंडेड लोकल करेक्शन को रोकते हैं।
- $\lambda_{mix}$ (ग्लोबल मिक्सिंग): इष्टतम शक्ति कार्य-निर्भर रहती है (उदाहरण के लिए, कमजोर शेपिंग एम्बॉडीड कंट्रोल के पक्ष में होती है, जबकि मजबूत शेपिंग रिट्रीवल-सेंट्रिक QA के पक्ष में होती है)।

4. प्रयोगात्मक परिणाम

प्रयोग Qwen3-1.7B और Qwen2.5-3B-Instruct का उपयोग करके ALFWorld (एम्बॉडीड AI) और Search-QA (रिट्रीवल-ऑगमेंटेड QA) पर किए गए।

ALFWorld: StepOPSD ने 3B मॉडल के साथ Heat (79.1%) और PickTwo (95.0%) सबसेट्स पर प्रथम स्थान प्राप्त किया (उपयोग: $\lambda_{mix}=0.2, \alpha_{clip}=0.05$ )। इसने उन कार्यों में बेसलाइन्स को महत्वपूर्ण रूप से पछाड़ दिया जिनमें लेटेंट स्टेट ट्रांजिशन (Heat, Cool, Clean) शामिल थे, जहाँ प्रक्षेपवक्र-स्तरीय रिवार्ड्स स्थानीय क्रियाओं के साथ कमजोर रूप से संरेखित होते हैं।
Search-QA: विधि ने TriviaQA (61.6%) पर प्रथम स्थान प्राप्त किया और HotpotQA (40.4%) पर सर्वश्रेष्ठ के साथ बराबरी की। इसने उन कार्यों में विशेष मजबूती दिखाई जिनमें सटीक क्वेरी फॉर्मूलेशन और मल्टी-हॉप रीजनिंग की आवश्यकता होती है, जहाँ एक स्थानीय त्रुटि पूरे रोलआउट को विषाक्त (poison) कर सकती है।
ट्रेनिंग डायनेमिक्स: डायग्नोस्टिक्स ने स्टेप 50 के आसपास एक फेज ट्रांजिशन दिखाया। एम्बॉडीड टास्क में, टाइट क्लिपिंग के बिना भारी शेपिंग से टीचर-स्टूडेंट गैप में वेरिएंस विस्फोट हुआ, जबकि टाइट क्लिपिंग ( $\alpha_{clip}=0.05$ ) ने पॉलिसी को स्थिर किया और प्रक्षेपवक्र की लंबाई को कम किया।

5. महत्व और दावे

पेपर का दावा है कि StepOPSD तब सबसे प्रभावी होता है जब प्रक्षेपवक्र-स्तरीय रिवार्ड्स उस स्थानीय कॉज़ल एक्शन के साथ कमजोर रूप से संरेखित होते हैं जो डाउनस्ट्रीम सफलता को निर्धारित करता है।

यूनिफॉर्मिटी के बजाय प्रिसिजन: विधि का प्राथमिक मूल्य यूनिफॉर्म गेन नहीं है, बल्कि उन सबसेट्स के लिए सटीक सुधार है जहाँ स्थानीय निर्णय त्रुटियां बाधा (bottleneck) हैं।
कॉज़ल अलाइनमेंट: एक्शन-केंद्रित स्पैन को अलग करके और हिंडसाइट संकेतों को सीधे एडवांटेज फंक्शन में इंजेक्ट करके, StepOPSD एजेंट प्रक्षेपवक्रों की विषम संरचना का सम्मान करता है।
क्लिपिंग के माध्यम से स्थिरता: अध्ययन स्थापित करता है कि जबकि ग्लोबल मिक्सिंग स्ट्रेंथ टास्क-स्पेसिफिक है, टाइट लोकल क्लिपिंग स्टेप-अवेयर डिस्टिलेशन को स्थिर करने के लिए एक व्यापक रूप से लाभकारी तंत्र है, जो टोकन के एक छोटे समूह को पोस्ट-रोलआउट करेक्शन पर हावी होने से रोकता है।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें उल्लेख है कि इष्टतम मिक्सिंग स्ट्रेंथ के लिए प्रति एनवायरनमेंट ट्यूनिंग की आवश्यकता होती है और वर्तमान फ्रेमवर्क रियल-टाइम डिकोडिंग में हस्तक्षेप करने के बजाय पोस्ट-रोलआउट में कार्य करता है।