💬 NLP

StepPO: Step-Aligned Policy Optimization for Agentic Reinforcement Learning

यह शोध पत्र StepPO प्रस्तुत करता है, जो एक ऐसा ढांचा है जो अनुकूलन प्रतिमान (optimization paradigm) को टोकन-स्तर से स्टेप-स्तर के मार्कोव निर्णय प्रक्रियाओं (Markov Decision Processes) में स्थानांतरित करके एजेंटिक सुदृढीकरण लर्निंग (Agentic Reinforcement Learning) को उन्नत करता है, जिससे नीति अपडेट और क्रेडिट असाइनमेंट को एजेंट के निर्णयों की स्वाभाविक सूक्ष्मता (granularity) के साथ संरेखित किया जा सके ताकि मल्टी-टर्न इंटरैक्शन, स्पार्स रिवार्ड्स और जटिल टूल उपयोग को बेहतर ढंग से संभाला जा सके।

मूल लेखक: Daoyu Wang, Qingchuan Li, Mingyue Cheng, Jie Ouyang, Shuo Yu, Qi Liu, Enhong Chen

प्रकाशित 2026-04-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daoyu Wang, Qingchuan Li, Mingyue Cheng, Jie Ouyang, Shuo Yu, Qi Liu, Enhong Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक रोबोट को गेम खेलना सिखाना

कल्पना कीजिए कि आप एक रोबोट (एक लार्ज लैंग्वेज मॉडल) को द लीजेंड ऑफ ज़ेल्डा जैसा कोई जटिल वीडियो गेम खेलना सिखाने की कोशिश कर रहे हैं। रोबोट को जीतने के लिए एक कालकोठरी (dungeon) को खोजना, चाबियाँ ढूँढना, राक्षसों को हराना और पहेलियों को सुलझाना होगा।

अतीत में, जब हम AI को प्रशिक्षित करते थे, तो हम उन्हें ज्यादातर एक बार में वाक्य लिखना या उत्तर देना सिखाते थे। हम उनके आउटपुट को अक्षर दर अक्षर (या "टोकन दर टोकन") देखते थे।

समस्या:
जब रोबोट गेम खेल रहा होता है, तो उसे एक-एक अक्षर करके देखना वैसा ही है जैसे किसी को कार चलाना सिखाने के लिए उसके हाथ की उंगली की हर छोटी हरकत की आलोचना करना।

"तुम्हारी उंगली बहुत ज्यादा बाईं ओर मुड़ी।"
"तुम्हारी उंगली थोड़ी कम दाईं ओर मुड़ी।"
"तुमने गैस पेडल बहुत जोर से दबाया।"

यह टोकन-लेवल लर्निंग (Token-Level Learning) है। यह बहुत शोर भरा और बहुत सूक्ष्म (granular) है। रोबोट को यह समझ नहीं आता कि वह क्यों विफल हुआ। क्या वह इसलिए विफल हुआ क्योंकि उसने पहिया थोड़ा गलत घुमाया, या इसलिए क्योंकि उसने पहले से ही दीवार में गाड़ी चलाने का फैसला किया था?

समाधान: StepPO
इस पेपर के लेखक इन "एजेंटिक" (Agentic) AI सिस्टम को प्रशिक्षित करने का एक नया तरीका प्रस्तावित करते हैं। वे इसे StepPO (स्टेप-अलाइन्ड पॉलिसी ऑप्टिमाइज़ेशन) कहते हैं।

रोबोट की उंगलियों की हरकत देखने के बजाय, StepPO रोबोट के निर्णयों को देखता है।

चरण 1: रोबोट एक बंद दरवाजा देखता है।
चरण 2: रोबोट निर्णय लेता है कि "चाबी की तलाश करनी है।"
चरण 3: रोबोट चाबी ढूंढ लेता है और दरवाजा खोल देता है।
चरण 4: रोबोट को इनाम (पॉइंट्स) मिलता है।

StepPO कहता है: "रोबोट को 'चाबी की तलाश करें' कहने के लिए लिखे गए विशिष्ट अक्षरों के लिए दोष न दें। चाबी खोजने के निर्णय के लिए उसे जिम्मेदार ठहराएं।"

तीन प्रमुख बदलाव (कैसे करें - "How-To")

यह पेपर तर्क देता है कि इसे सफल बनाने के लिए, हमें AI को प्रशिक्षित करने के तरीके में तीन चीजें बदलने की आवश्यकता है, जिसे घर बनाने के सरल उदाहरण से समझा जा सकता है।

1. ब्लूप्रिंट (MDP फॉर्मूलेशन)

पुराना तरीका (टोकन-लेवल): ब्लूप्रिंट हर एक ईंट की सूची है जो रखी गई है। "ईंट 1, ईंट 2, ईंट 3..." यदि आप ईंट 42 में गलती करते हैं, तो पूरी योजना भ्रमित करने वाली हो जाती है।
नया तरीका (स्टेप-लेवल): ब्लूप्रिंट कार्यों (tasks) की एक सूची है। "नींव रखें," "दीवारें बनाएं," "छत डालें।"
उदाहरण: StepPO में, "एक्शन" केवल एक शब्द टाइप करना नहीं है; यह एक पूरा इंटरैक्शन राउंड पूरा करना है। क्या रोबोट ने सफलतापूर्वक एक टूल (tool) को कॉल किया? क्या उसने सफलतापूर्वक एक प्रश्न पूछा? वह पूरा हिस्सा एक "स्टेप" (चरण) है।

2. स्कोरकार्ड (क्रेडिट असाइनमेंट)

पुराना तरीका: यदि अंत में घर ढह जाता है, तो पुराना सिस्टम यह पता लगाने की कोशिश करता है कि किस एक अकेली ईंट के कारण ढह गया। यह दोष (या श्रेय) हजारों छोटी ईंटों में फैला देता है। यह अव्यवस्थित और अक्सर गलत होता है।
नया तरीका: यदि घर ढह जाता है, तो हम कार्यों को देखते हैं। "नींव कमजोर थी," या "छत बहुत जल्दी बना दी गई थी।"
उदाहरण: StepPO "इनाम" (पॉइंट्स) उस स्टेप को देता है जिसने अंतर पैदा किया। यदि रोबोट ने स्टेप 2 में चाबी ढूंढी, और उससे स्टेप 10 में गेम जीतने में मदद मिली, तो StepPO कहता है, "स्टेप 2 के लिए बहुत बढ़िया!" यह इनाम को उन यादृच्छिक शब्दों से जोड़ता है जो उस निर्णय के दौरान टाइप किए गए थे, बजाय इसके कि वह केवल शब्दों पर ध्यान दे।

3. निर्माण स्थल (ट्रेनिंग सिस्टम)

पुराना तरीका: निर्माण दल एक अराजक लाइन में काम करता है। वे कागज के एक लंबे स्क्रॉल पर सब कुछ लिखते हैं। यदि उन्हें कोई गलती सुधारनी पड़ती है, तो उन्हें पूरा स्क्रॉल फिर से लिखना पड़ता है।
नया तरीका: निर्माण दल डिजिटल ब्लॉक्स का उपयोग करता है। प्रत्येक "स्टेप" एक स्वतंत्र ब्लॉक (स्टेट + एक्शन + रिवॉर्ड) है। यदि कोई ब्लॉक खराब है, तो आप बाकी घर को खराब किए बिना बस उस ब्लॉक को बदल सकते हैं।
उदाहरण: पेपर में उल्लेख किया गया है कि वास्तविक दुनिया के AI प्रशिक्षण को इन ब्लॉक्स को स्टोर करने के लिए एक बेहतर "डेटाबेस" की आवश्यकता है। एक अव्यवस्थित टेक्स्ट फ़ाइल के बजाय, वे एक संरचित प्रणाली का उपयोग करते हैं जहाँ प्रत्येक "स्टेप" को पूरी तरह से सहेजा जाता है, ताकि AI अव्यवस्थित डेटा से भ्रमित हुए बिना अपनी गलतियों से सीख सके।

यह क्यों मायने रखता है? (परिणाम)

लेखकों ने इसका परीक्षण HotpotQA नामक एक कठिन प्रश्न-उत्तर खेल पर किया (जहाँ AI को उत्तर खोजने के लिए कई दस्तावेजों में खोज करनी पड़ती है)।

परिणाम: StepPO के साथ प्रशिक्षित AI ने पुराने "अक्षर-दर-अक्षर" तरीके से प्रशिक्षित AI की तुलना में बहुत तेजी से सीखा और बेहतर स्कोर प्राप्त किया।
क्यों? क्योंकि AI ने केवल अगले अक्षर का सही अनुमान लगाने के बजाय बेहतर निर्णय (जैसे "मुझे इस विशिष्ट तथ्य को खोजना चाहिए") लेना सीख लिया।

एक वाक्य में सारांश

StepPO प्रशिक्षण का एक नया तरीका है जो AI को शब्द टाइप करना सिखाना बंद करता है और उसे निर्णय लेना सिखाना शुरू करता है, क्योंकि यह हर इंटरैक्शन को अक्षरों की एक लंबी स्ट्रिंग के बजाय एक एकल, पूर्ण "स्टेप" के रूप में देखता है।

"टेकअवे" मेटाफर (सीखने योग्य बात)

कल्पना कीजिए कि आप एक बच्चे को साइकिल चलाना सिखा रहे हैं।

टोकन-लेवल ट्रेनिंग: आप उनके पास खड़े होते हैं और चिल्लाते हैं, "ज़ोर से पैडल मारो! बाईं ओर झुको! हैंडल को दाईं ओर घुमाओ! ज़ोर से पैडल मारो!" यह बहुत अधिक और भ्रमित करने वाला है।
StepPO ट्रेनिंग: आप उनके एक चक्कर पूरा करने तक प्रतीक्षा करते हैं। फिर आप कहते हैं, "कोने पर मुड़ने के लिए बहुत अच्छा! अगली बार, पहाड़ी से पहले थोड़ा तेज़ पैडल मारने की कोशिश करना।" आप मांसपेशियों की गतिविधियों (टोकन) के बजाय माइलस्टोन्स (स्टेप्स) पर ध्यान केंद्रित करते हैं।

यह पेपर तर्क देता है कि AI के एक वास्तविक "एजेंट" बनने के लिए, हमें सिखाने के StepPO तरीके पर स्विच करना होगा।

यहाँ शोध पत्र "StepPO: Step-Aligned Policy Optimization for Agentic Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र वर्तमान एजेंटिक सुदृढीकरण शिक्षण (Agentic Reinforcement Learning - RL) प्रणालियों में एक मौलिक ग्रैनुलैरिटी मिसमैच (granularity mismatch) को संबोधित करता है।

संदर्भ: लार्ज लैंग्वेज मॉडल (LLM) एजेंट एकल-टर्न रिस्पोंडर से विकसित होकर मल्टी-टर्न, लॉन्ग-होराइजन सिस्टम बन रहे हैं जो टूल उपयोग, प्लानिंग और एनवायरनमेंट इंटरैक्शन (जैसे OpenClaw, Claude Code) में सक्षम हैं।
मिसमैच: LLM के लिए पारंपरिक RL (जैसे RLHF, PPO) एक टोकन-लेवल मार्कोव डिसीजन प्रोसेस (MDP) पर निर्भर करता है जहाँ "एक्शन" एक सिंगल टोकन जेनरेट करना है। हालाँकि, एजेंटिक व्यवहार स्वाभाविक रूप से स्टेप-लेवल (step-level) होता है: एक एजेंट एक निर्णय लेता है (जैसे "टूल कॉल करना," "वेब सर्च करना"), उसे निष्पादित करता है, और एक ऑब्जर्वेशन प्राप्त करता है।
परिणाम:
- क्रेडिट असाइनमेंट नॉइज़ (Credit Assignment Noise): लॉन्ग-होराइजन कार्यों के लिए टोकन स्तर पर रिवॉर्ड प्रोपेगेट करना बहुत सूक्ष्म और शोर भरा (noisy) है, जबकि ट्राजेक्टरी-लेवल असाइनमेंट विशिष्ट मध्यवर्ती निर्णयों के बीच अंतर करने के लिए बहुत मोटा (coarse) है।
- रिटोकनाइजेशन ड्रिफ्ट (Retokenization Drift): एजेंट इंटरैक्शन को टेक्स्ट मैसेज के रूप में स्टोर करना और प्रशिक्षण के लिए उन्हें फिर से टोकनाइज करना रोलआउट (इन्फरेंस) और ट्रेनिंग डेटा के बीच विसंगतियां पैदा करता है, जो स्थिर पॉलिसी ऑप्टिमाइजेशन के लिए आवश्यक गणितीय समानता को तोड़ देता है।
- सिस्टम अक्षमता (System Inefficiency): वर्तमान प्रणालियाँ विषम (heterogeneous) एजेंटों, लंबे कॉन्टेक्स्ट और एसिंक्रोनस डेटा कलेक्शन को कुशलतापूर्वक प्रबंधित करने में संघर्ष करती हैं क्योंकि उनमें एक नेटिव "स्टेप" एब्स्ट्रैक्शन की कमी होती है।

2. कार्यप्रणाली: StepPO (Methodology: StepPO)

लेखक StepPO का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जो पूरे RL पाइपलाइन को—मॉडलिंग से लेकर सिस्टम डिज़ाइन तक—टोकन के बजाय इंटरेक्शन स्टेप (interaction step) के साथ संरेखित (align) करता है।

A. सैद्धांतिक बदलाव: स्टेप-लेवल MDP (Theoretical Shift: Step-Level MDP)

फॉर्मूलेशन: शोध पत्र MDP ट्रांजिशन यूनिट को पुनरपरिभाषित करता है।
- टोकन-लेवल: स्टेट $s_i$ , एक्शन $a_i$ (एक टोकन), ट्रांजिशन $s_{i+1}$ पर।
- स्टेप-लेवल: स्टेट $s_t$ (ऑब्जर्वेशन/कॉन्टेक्स्ट), एक्शन $a_t$ (पूर्ण इंटरेक्शन राउंड, जैसे एक टूल कॉल + रीजनिंग), रिवॉर्ड $r_t$ , ट्रांजिशन $s_{t+1}$ (नया एनवायरनमेंट स्टेट) पर।
एक्शन की परिभाषा: एक एक्शन $a_t$ एक विशिष्ट सब-टास्क को निष्पादित करने के लिए पॉलिसी द्वारा जेनरेट किया गया एक पूर्ण टोकन सीक्वेंस है, न कि केवल एक सिंगल टोकन।

B. ट्राजेक्टरी रिप्रेजेंटेशन (Trajectory Representation)

स्टेप-लेवल MDP का समर्थन करने के लिए, शोध पत्र टेक्स्ट-स्पेस या फ्लैट टोकन-स्पेस के बजाय स्ट्रक्चर्ड स्टेप-लेवल रिप्रेजेंटेशन की वकालत करता है:

संरचना: ट्राजेक्टरीज को डिस्क्रीट टुपल्स $(s_t, a_t, r_t)$ के अनुक्रम के रूप में स्टोर किया जाता है।
निरंतरता (Consistency): यह एक्शन को रॉ टोकन आईडी (या स्ट्रक्चर्ड ऑब्जेक्ट्स) के रूप में स्टोर करके "रिटोकनाइजेशन ड्रिफ्ट" से बचता है, जिससे उन्हें डिकोड किए गए टेक्स्ट के रूप में स्टोर करने की आवश्यकता नहीं होती जिसे फिर से टोकनाइज करना पड़े।
लचीलापन: यह अन्य स्टेप्स की टोकन-लेवल निरंतरता को तोड़े बिना विशिष्ट स्टेप्स के सर्जिकल कॉन्टेक्स्ट मैनेजमेंट (ट्रंकेटिंग/समराइजिंग) की अनुमति देता है।

C. ऑप्टिमाइजेशन: स्टेप-लेवल क्रेडिट असाइनमेंट (Optimization: Step-Level Credit Assignment)

StepPO एक नया ऑब्जेक्टिव फंक्शन पेश करता है जो रिवॉर्ड प्रोपेगेशन को स्टेप यूनिट के साथ संरेखित करता है:

स्टेप-लेवल एडवांटेज: टोकन-लेवल GAE या ट्राजेक्टरी-लेवल एडवांटेज के बजाय, एल्गोरिदम स्टेप लेवल पर जेनेलाइज्ड एडवांटेज एस्टीमेशन (GAE) की गणना करता है:
$\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$
$A_t = \sum_{l=0}^{T-t-1} (\gamma \lambda)^l \delta_{t+l}$
पॉलिसी ऑब्जेक्टिव: PPO सरोगेट लॉस की गणना व्यक्तिगत टोकन के बजाय पूरे स्टेप (एक्शन के पूरे टोकन सीक्वेंस) की संभावनाओं के अनुपात के आधार पर की जाती है:
$w_t(\theta) = \frac{\pi_\theta(a_t | s_t)}{\pi_{\theta_{old}}(a_t | s_t)}$
लाभ: यह सुनिश्चित करता है कि विलंबित रिवॉर्ड्स (delayed rewards) को उस विशिष्ट निर्णय (स्टेप) को दिया जाए जिसके कारण वे उत्पन्न हुए, न कि उन्हें हजारों अप्रासंगिक टोकन में फैला दिया जाए या एक ही ट्राजेक्टरी स्कोर में मिला दिया जाए।

D. सिस्टम डिज़ाइन (Systems Design)

शोध पत्र StepPO को सपोर्ट करने के लिए आवश्यक सिस्टम आर्किटेक्चर की रूपरेखा तैयार करता है:

स्टेप-नेटिव डेटा: डेटा पाइपलाइनों को प्रॉम्प्ट आईडी, रिस्पॉन्स आईडी और रिवॉर्ड्स को स्ट्रक्चर्ड स्टेप्स के रूप में स्टोर करना चाहिए।
गेटवे और डेटापूल (Gateway & DataPool): विषम एजेंटों (व्हाइट-बॉक्स और ब्लैक-बॉक्स) को इनजेस्ट करने और उन्हें स्टेप-नेटिव ट्रेसेस में मानकीकृत करने के लिए एक मिडलवेयर लेयर (जैसा कि Claw-R1 सिस्टम में देखा गया है)।
एसिंक्रोनस ट्रेनिंग: एजेंट इंटरैक्शन में वेरिएबल लेटेंसी को संभालने के लिए रोलआउट जनरेशन को ट्रेनिंग से अलग करना, जो साझा प्रीफिक्स के लिए कंप्यूट को ऑप्टिमाइज़ करने हेतु प्रीफिक्स-ट्री मर्जिंग का उपयोग करता है।

3. मुख्य योगदान (Key Contributions)

वैचारिक ढांचा (Conceptual Framework): टोकन-लेवल MDP से स्टेप-लेवल MDP की ओर बदलाव का प्रस्ताव करता है, यह तर्क देते हुए कि "स्टेप" एजेंट निर्णय लेने की वास्तविक परमाणु इकाई (atomic unit) है।
एल्गोरिद्मिक नवाचार: StepPO पेश करता है, जो एक PPO वेरिएंट है जो इंटरेक्शन-स्टेप ग्रैनुलैरिटी पर क्रेडिट असाइनमेंट और पॉलिसी अपडेट करता है, जिससे टोकन-आधारित जनरेशन और स्टेप-आधारित रिवॉर्ड के बीच मिसअलाइनमेंट की समस्या हल होती है।
डेटा रिप्रेजेंटेशन: एक स्ट्रक्चर्ड स्टेप-लेवल रिप्रेजेंटेशन को परिभाषित करता है जो रिटोकनाइजेशन ड्रिफ्ट को समाप्त करता है और सटीक कॉन्टेक्स्ट मैनेजमेंट को सक्षम बनाता है।
सिस्टम आर्किटेक्चर: स्टेप-अलाइन्ड लर्निंग को स्केल करने के लिए आवश्यक बुनियादी ढांचे (Gateway, DataPool, Asynchronous Training) का विवरण देता है, जिसे लेखकों के अपने प्रोजेक्ट्स (Agent-R1 और Claw-R1) के माध्यम से दर्शाया गया है।
प्रायोगिक सत्यापन: यह प्रायोगिक प्रमाण प्रदान करता है कि StepPO, टोकन-लेवल बेसलाइन्स की तुलना में श्रेष्ठ है।

4. प्रायोगिक परिणाम (Experimental Results)

सेटअप: लेखकों ने HotpotQA डेटासेट (एक मल्टी-हॉप रीजनिंग टास्क जिसमें कई सर्च स्टेप्स की आवश्यकता होती है) पर मानक टोकन-लेवल PPO बेसलाइन के मुकाबले StepPO का मूल्यांकन किया।
कॉन्फ़िगरेशन: दोनों विधियों ने एक ही बेस मॉडल (Qwen2.5-3B-Instruct), डेटा और रोलआउट पाइपलाइन का उपयोग किया, जो केवल ऑप्टिमाइजेशन एल्गोरिदम (स्टेप-लेवल बनाम टोकन-लेवल) में भिन्न थे।
निष्कर्ष:
- प्रदर्शन: StepPO ने पूरे प्रशिक्षण प्रक्रिया के दौरान टोकन-लेवल PPO को लगातार पछाड़ दिया।
- स्थिरता: StepPO कर्व ने उच्च पीक स्कोर प्राप्त किया और मिड-टू-लेट ट्रेनिंग चरणों में एक मजबूत प्लेटो बनाए रखा।
- निष्कर्ष: इंटरेक्शन स्टेप के साथ ऑप्टिमाइजेशन यूनिट को संरेखित करने से मल्टी-स्टेप एविडेंस कलेक्शन और रीजनिंग के लिए आवश्यक कार्यों के लिए अधिक प्रभावी लर्निंग सिग्नल मिलता है।

5. महत्व और प्रभाव (Significance and Impact)

पैराडाइम शिफ्ट: यह शोध पत्र तर्क देता है कि एजेंटिक RL केवल LLM RL का विस्तार नहीं है, बल्कि इसके लिए MDP, डेटा रिप्रेजेंटेशन और क्रेडिट असाइनमेंट तंत्र के मौलिक पुनर्गठन की आवश्यकता है।
स्केलेबिलिटी: सिस्टम-लेवल चुनौतियों (डेटा विषमता, लेटेंसी, कंप्यूट दक्षता) को संबोधित करके, StepPO मजबूत, सामान्य-उद्देश्य वाले एजेंटों को प्रशिक्षित करने के लिए एक व्यावहारिक मार्ग प्रदान करता है।
कम्युनिटी लेंस: यह समुदाय को एजेंट व्यवहार को समझने के लिए एक एकीकृत "लेंस" प्रदान करता है, यह सुझाव देते हुए कि एजेंट प्रशिक्षण में भविष्य की प्रगति को टोकन-केंद्रित दृश्यों से हटकर स्टेप-अलाइन्ड, इंटरेक्शन-अवेयर फ्रेमवर्क की ओर बढ़ना चाहिए।
ओपन सोर्स: लेखक अपने स्वयं के प्रोजेक्ट्स (Agent-R1, Claw-R1) का संदर्भ देते हैं जो इन सिद्धांतों को मूर्त रूप देते हैं, जिससे आगे के अनुसंधान और अपनाने की सुविधा मिलती है।