🤖 machine learning

Reflective Prompted Policy Optimization: Trajectory-Grounded Revision and Salience Bias

यह शोध पत्र रिफ्लेक्टिव प्रॉम्प्टेड पॉलिसी ऑप्टिमाइज़ेशन (R2PO) को प्रस्तुत करता है, जो एक दो-चरणीय LLM फ्रेमवर्क है जो विफलताओं का निदान करने और संशोधनों को निर्देशित करने के लिए स्केलर रिवॉर्ड्स के बजाय विस्तृत ट्राजेक्टरी-स्तरीय साक्ष्य का लाभ उठाकर पॉलिसी सर्च को बढ़ाता है, जबकि विशेष रूप से तेज़, अधिक स्थिर और विविध वातावरणों में निकट-इष्टतम प्रदर्शन प्राप्त करने के लिए "सेलिएंस बायस" विफलता मोड को संबोधित करता है।

मूल लेखक: Rahaf Abu Hara, Vaibbhav Murarri, Claudio Zito

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rahaf Abu Hara, Vaibbhav Murarri, Claudio Zito

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

द बिग प्रॉब्लम: "स्कोरकार्ड" बनाम "द स्टोरी"

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखा रहे हैं। पारंपरिक तरीकों में, आपको गेम के अंत में केवल एक स्कोरकार्ड मिलता है।

स्कोरकार्ड कहता है: "आपने 45 अंक प्राप्त किए।"
रोबोट सोचता है: "ठीक है, मुझे 46 अंक पाने के लिए कुछ अलग करने की जरूरत है।"

लेकिन स्कोरकार्ड आपको यह नहीं बताता कि आप क्यों हारे। क्या आप तीसरे स्टेप पर गड्ढे में गिर गए? क्या आप एक लूप में फंस गए? क्या आपने 19 राउंड तक बेहतरीन खेला लेकिन 20वें राउंड में बुरी तरह क्रैश हो गए? बिना "कहानी" (स्टोरी) के, रोबोट को अंदाज़ा लगाना पड़ता है, जिससे बहुत अधिक 'ट्रायल-एंड-एरर' (गलती और सुधार) करना पड़ता है।

हालिया AI तरीकों ने एक "स्मार्ट कोच" (एक लार्ज लैंग्वेज मॉडल) का उपयोग करके इस समस्या को ठीक करने की कोशिश की, जो स्कोर को देखता है और बदलावों का सुझाव देता है। लेकिन यह कोच भी केवल स्कोरकार्ड ही देख रहा था। वह जानता था कि स्कोर कम है, लेकिन उसे यह नहीं पता था कि रोबोट ने वास्तव में क्या गलत किया।

द सॉल्यूशन: R2PO (द टू-कोच सिस्टम)

लेखकों ने R2PO का प्रस्ताव दिया है, जो एक नया सिस्टम है जिसमें दो AI कोच मिलकर रोबोट को सिखाते हैं। वे रोबोट के वास्तविक गेमप्ले फुटेज (जिसे "ट्रैजेक्टरी" कहा जाता है) को केवल अंतिम स्कोर के बजाय सबसे महत्वपूर्ण प्रमाण मानते हैं।

कोच 1: द स्काउट (सर्च-LLM)

भूमिका: स्काउट पिछले प्रयासों के स्कोर के इतिहास को देखता है।
एक्शन: वह कहता है, "ठीक है, स्कोर के आधार पर, आइए रोबोट की सेटिंग्स को इस दिशा में थोड़ा बदलने की कोशिश करें।" वह रोबोट के लिए निर्देशों का एक नया सेट प्रस्तावित करता है।
एनालॉजी (उपमा): स्काउट को एक हाइकर (पगडंडी पर चलने वाला) समझें जो मानचित्र को देख रहा है। वे अनुमान लगाते हैं कि पिछले अनुभवों के आधार पर किस दिशा में जाने से शिखर तक पहुँचा जा सकता है।

द एनवायरनमेंट: द टेस्ट रन

रोबोट स्काउट के नए निर्देशों को आज़माता है। वह गेम को 20 बार खेलता है (जिसे "रोलआउट्स" कहा जाता है)। इससे बहुत सारा डेटा उत्पन्न होता है: वह कहाँ गया, उसने क्या किया, और वह कैसे विफल हुआ।

कोच 2: द क्रिटिक (क्रिटिक-LLM)

भूमिका: क्रिटिक एक जासूस है। वह केवल स्कोर नहीं देखता; वह रोबोट के 20 प्रयासों का वीडियो फुटेज देखता है।
एक्शन: वह विशिष्ट गलती को खोजने के लिए फुटेज का विश्लेषण करता है। "आह, मैं देख सकता हूँ! उन 20 रन में से 19 में रोबोट शानदार था। लेकिन एक रन में, वह इसलिए गड्ढे में गिर गया क्योंकि वह बहुत जल्दी बाईं ओर मुड़ गया।"
द फिक्स: अंदाज़ा लगाने के बजाय, क्रिटिक उस विशिष्ट समस्या को ठीक करने के लिए रोबोट के निर्देशों में एक छोटा, लक्षित बदलाव सुझाता है।

द सेफ्टी नेट: द सिलेक्शन स्टेप

क्रिटिक के नए निर्देशों को सेव करने से पहले, एक "रेफरी" उनकी जाँच करता है।

यदि नए निर्देश बेहतर काम करते हैं, तो उन्हें रख लिया जाता है।
यदि नए निर्देश चीजों को और खराब कर देते हैं (भले ही क्रिटिक को लगा हो कि वे अच्छे विचार थे), तो पुराने निर्देशों को ही रखा जाता है।
एनालॉजी: यह एक शेफ द्वारा नए सूप को चखने जैसा है। यदि नया मसाला स्वाद बिगाड़ देता है, तो वे नए मसाले को फेंक देते हैं और मूल रेसिपी पर ही टिके रहते हैं।

द हिडन ट्रैप: "सेलिएंस बायस" (Salience Bias)

शोधकर्ताओं ने क्रिटिक कोच में एक मजेदार लेकिन खतरनाक आदत देखी। वे इसे सेलिएंस बायस कहते हैं।

कल्पना कीजिए कि रोबोट 20 गेम खेलता है।

19 गेम: वह आसानी से जीत जाता है।
1 गेम: वह बहुत नाटकीय और अस्त-व्यस्त तरीके से दीवार से टकराकर क्रैश हो जाता है।

यदि आप क्रिटिक कोच को सभी 20 वीडियो दिखाते हैं, तो कोच उस एक नाटकीय क्रैश के प्रति जुनूनी हो जाता है। वह सोचता है, "ओह नहीं! रोबोट दीवारों से बचने में बहुत बुरा है!" और वह उस क्रैश को ठीक करने के लिए रोबोट के दिमाग को बदल देता है।

परिणाम: रोबोट वास्तव में अन्य 19 गेम बहुत अच्छे से खेल रहा था। उस एक अजीब क्रैश को ठीक करने की कोशिश में, क्रिटिक ने अनजाने में रोबोट की अन्य 19 गेम खेलने की क्षमता को बिगाड़ दिया। रोबोट पहले से भी बदतर हो गया।

R2PO इसे कैसे ठीक करता है:
R2PO सिस्टम इस बात के प्रति स्मार्ट है कि वह क्रिटिक को कौन सा वीडियो दिखाता है।

द मीडियन वीडियो: सबसे खराब क्रैश या सबसे अच्छी जीत दिखाने के बजाय, यह "बीच का" वीडियो दिखाता है—वह जो सामान्य रूप से दर्शाता है कि रोबोट क्या करता है।
द स्टैट्स शीट: यह क्रिटिक को एक सारांश शीट देता है: "95% समय, रोबोट जीतता है। क्रैश एक 5% का उतार-चढ़ाव था।"
द "डोंट टच" रूल: यदि रोबोट पहले से ही बहुत अच्छा कर रहा है (हाई स्कोर), तो क्रिटिक को बताया जाता है: "जब तक आपके पास कोई बहुत, बहुत ठोस कारण न हो, तब तक कुछ भी न बदलें।"

यह क्रिटिक को एक बुरे दिन के कारण घबराने और एक अच्छी रणनीति को बर्बाद करने से रोकता है।

द रिजल्ट्स: फ़ास्टर, स्मार्टर, एंड मोर स्टेबल

पेपर ने इस सिस्टम का परीक्षण 10 अलग-अलग वातावरणों (जैसे पोल को बैलेंस करना, पोंग खेलना, या भूलभुलैया में रास्ता खोजना) पर किया।

स्पीड: R2PO बहुत तेज़ी से सीखता है। उदाहरण के लिए, "कार्टपोल" गेम (एक डंडे को संतुलित करना) पर, इसने लगभग 500 प्रयासों में लगभग पूर्ण स्कोर प्राप्त कर लिया, जबकि अन्य तरीकों को 4,000 प्रयासों की आवश्यकता थी।
स्टेबिलिटी (स्थिरता): अन्य तरीके एक बेहतरीन समाधान ढूंढ लेते थे, और फिर अगले स्टेप में उसे गलती से बिगाड़ देते थे। R2PO ने समाधान खोजा और वहीं टिका रहा।
एफिशिएंसी (दक्षता): उन्होंने बहुत बड़े, महंगे या प्रोप्राइटरी मॉडल्स को मात देने के लिए एक अपेक्षाकृत छोटे, ओपन-सोर्स AI मॉडल (20 बिलियन पैरामीटर्स) का उपयोग किया।

समरी (सारांश)

यह पेपर तर्क देता है कि AI को प्रभावी ढंग से सिखाने के लिए, आपको केवल उसे एक स्कोर नहीं देना चाहिए। आपको उसे वह कहानी दिखानी चाहिए कि वास्तव में क्या हुआ। हालाँकि, आपको सावधान रहना होगा कि कहीं AI एक बार की विफलता के प्रति जुनूनी न हो जाए (सेलिएंस बायस)। उसे "औसत" कहानी दिखाकर और एक सेफ्टी नेट देकर, आप उसे तेज़ी से सीखने, विशिष्ट समस्याओं को ठीक करने और जो पहले से काम कर रहा है उसे बिगड़ने से बचने के लिए सिखा सकते हैं।

तकनीकी सारांश: रिफ्लेक्टिव प्रॉम्प्टेड पॉलिसी ऑप्टिमाइज़ेशन (R2PO)

समस्या विवरण

मौजूदा लार्ज लैंग्वेज मॉडल (LLM)-आधारित पॉलिसी ऑप्टिमाइज़र ब्लैक-बॉक्स सर्चर के रूप में कार्य करते हैं जो विशेष रूप से स्केलर रिवॉर्ड फीडबैक पर निर्भर करते हैं। जबकि ये विधियाँ ऐतिहासिक रिवॉर्ड स्कोर के आधार पर नए पॉलिसी पैरामीटर्स प्रस्तावित कर सकती हैं, उनमें इस बात की नैदानिक अंतर्दृष्टि (diagnostic insight) का अभाव होता है कि एक पॉलिसी क्यों विफल हुई। एक ऑप्टिमाइज़र 0.45 का स्कोर तो देख सकता है, लेकिन वह यह अंतर नहीं कर सकता कि एक पॉलिसी लगातार खराब प्रदर्शन कर रही है, एक लूप में फंस गई है, या वह 20 में से 19 बार सफल होती है लेकिन 20वीं बार विनाशकारी रूप से विफल हो जाती है। यह सीमा LLM-आधारित ऑप्टिमाइज़र्स को लक्षित सुधार के बजाय केवल 'ट्रायल-एंड-एरर' ट्यूनिंग पर निर्भर रहने के लिए मजबूर करती है, जिसके परिणामस्वरूप अक्सर अस्थिर प्रशिक्षण और अक्षम अभिसरण (inefficient convergence) होता है।

कार्यप्रणाली: R2PO फ्रेमवर्क

लेखक रिफ्लेक्टिव प्रॉम्प्टेड पॉलिसी ऑप्टिमाइज़ेशन (R2PO) का प्रस्ताव करते हैं, जो एक दो-चरणीय LLM फ्रेमवर्क है जिसे स्केलर रिवॉर्ड्स को ट्राजेक्टरी-स्तर के व्यवहार संबंधी साक्ष्य (behavioral evidence) के साथ बढ़ाने के लिए डिज़ाइन किया गया है। R2PO कॉम्पैक्ट पॉलिसी क्लासेस (कंटिन्यूअस कंट्रोल के लिए लीनियर पॉलिसी और डिस्क्रीट टास्क के लिए टैबुलर पॉलिसी) पर कार्य करता है और निम्नलिखित घटकों से मिलकर बना है:

सर्च-LLM (ग्लोबल ऑप्टिमाइज़र): यह चरण पूर्ववर्ती LLM ऑप्टिमाइज़र्स (जैसे, ProPS) के समान कार्य करता है। मूल्यांकित पॉलिसियों के इतिहास और उनके स्केलर मीन रिवॉर्ड्स को देखते हुए, सर्च-LLM एक प्रारंभिक कैंडिडेट पैरामीटर वेक्टर ( $\theta_{init}$ ) प्रस्तावित करता है।
एनवायरनमेंट इवैल्यूएशन: कैंडिडेट पॉलिसी को $K$ स्वतंत्र रोलआउट्स के लिए एनवायरनमेंट में निष्पादित किया जाता है, जो स्टेट्स, एक्शन्स और रिवॉर्ड्स से युक्त ट्राजेक्टरीज का एक सेट $T$ उत्पन्न करता है।
क्रिटिक-LLM (लोकल रिवाइज़र): यह चरण मुख्य नवाचार पेश करता है। केवल स्केलर मीन रिवॉर्ड प्राप्त करने के बजाय, क्रिटिक-LLM $K$ रोलआउट्स से प्राप्त "कैलिब्रेटेड ट्राजेक्टरी एविडेंस पैकेज" का निरीक्षण करता है। यह विश्लेषण करता है कि क्या गलत हुआ और एक लक्षित पैरामीटर रिवीज़न ( $\theta_{rev}$ ) प्रस्तावित करता है।
सिलेक्शन मैकेनिज्म: मूल कैंडिडेट ( $\theta_{init}$ ) और संशोधित कैंडिडेट ( $\theta_{rev}$ ) दोनों का पुनर्मूल्यांकन किया जाता है। सिस्टम उसी को रखता है जो उच्च माध्य (mean) रिवॉर्ड प्राप्त करता है, जिससे विनाशकारी संपादन या LLM मतिभ्रम (hallucinations) को फ़िल्टर किया जा सके।

कैलिब्रेटेड ट्राजेक्टरी एविडेंस

क्रिटिक-LLM को आउटलेयर्स (outliers) के प्रति ओवरफिट होने से बचाने के लिए, R2PO तीन विशिष्ट घटकों का उपयोग करके एविडेंस पैकेज का निर्माण करता है:

मीडियन ट्राजेक्टरी: एक एकल रोलआउट जिसका रिटर्न $K$ रिटर्न्स के मीडियन के सबसे करीब है, जो बेस्ट- या वर्स्ट-केस आउटलेयर्स के बजाय विशिष्ट व्यवहार का प्रतिनिधित्व करता है।
एग्रीगेट रोलआउट स्टैटिस्टिक्स: $K$ रोलआउट्स में मीन, मिन और मैक्स रिवॉर्ड्स, एपिसोड लेंथ, और सक्सेस/फेलियर रेट्स को सारांशित करने वाली एक स्ट्रक्चर्ड रिपोर्ट। यह किसी विशिष्ट विफल ट्रेस को प्रमुखता दिए बिना विफलता की आवृत्ति को संप्रेषित करता है।
रिवीजन रूल: क्रिटिक-LLM के लिए एक स्पष्ट निर्देश कि यदि प्रारंभिक मीन रिवॉर्ड थ्रेशोल्ड ( $\tau_c$ ) से अधिक है और सांख्यिकी निरंतर विफलता पैटर्न का संकेत नहीं देती है, तो वह बड़े बदलावों से बचकर रहे। यह पहले से ही मजबूत पॉलिसियों के "ओवर-करेक्शन" को रोकता है।

मुख्य निष्कर्ष और विश्लेषण

1. सैलिएंस बायस (Salience Bias)

पेपर एक प्रमुख विफलता मोड की पहचान करता है जिसे सैलिएंस बायस कहा जाता है। जब कई ट्राजेक्टरीज (जैसे, बेस्ट, वर्स्ट और मीडियन) प्रस्तुत की जाती हैं, तो क्रिटिक-LLM अधिकांश रोलआउट्स द्वारा सफल व्यवहार दर्शाने के बावजूद, वर्स्ट-केस ट्राजेक्टरी को प्रतिनिधि मानकर उस पर ध्यान केंद्रित करने लगता है। कार्टपोल (Cartpole) वातावरण पर एक थ्री-ट्राजेक्टरी वेरिएंट में, इस बायस ने 76.6% परफॉरमेंस रिग्रेशंस की जिम्मेदारी ली। LLM ने एक दुर्भाग्यपूर्ण विफलता के आधार पर समस्या का निदान किया और ऐसे संपादन प्रस्तावित किए जिन्होंने अन्य 19 सफल रोलआउट्स के प्रदर्शन को नष्ट कर दिया।

2. एब्लेशन स्टडीज (Ablation Studies)

दस वातावरणों में व्यवस्थित एब्लेशन दर्शाते हैं कि R2PO की सफलता तीन कारकों के संयोजन पर निर्भर करती है, जिनमें से कोई भी अकेले पर्याप्त नहीं है:

टू-स्टेज आर्किटेक्चर: ग्लोबल प्रपोजल को लोकल, व्यवहार-आधारित रिवीज़न से अलग करना आवश्यक है। एक सिंगल रिच प्रॉम्प्ट (CriticOnly) या एक अनुक्रमिक स्केलर-ओनली सर्च (ActorSecondPass) R2PO के प्रदर्शन से मेल खाने में विफल रहता है।
ट्राजेक्टरी-ग्राउंडेड रिवीज़न: वास्तविक रोलआउट साक्ष्य (मीडियन ट्राजेक्टरी + स्टैटिस्टिक्स) का उपयोग करना स्केलर-ओनली फीडबैक की तुलना में काफी बेहतर प्रदर्शन करता है।
सिलेक्शन मैकेनिज्म: एक "कीप-बेस्ट" सिलेक्शन स्टेप महत्वपूर्ण है। इसके बिना (AlwaysCritic), ट्राजेक्टरी-कंडीशंड एडिट्स की उच्च परिवर्तनशीलता के कारण बार-बार रिग्रेशन होता है।

3. एम्पिरिकल रिजल्ट्स (Empirical Results)

एक अपेक्षाकृत छोटे, ओपन-वेट 20B-पैरामीटर मॉडल (gpt-oss:20b) का उपयोग करते हुए, R2PO का मूल्यांकन दस वातावरणों (CartPole, InvertedPendulum, Pong, और कस्टम Maze/Nim कार्यों सहित) पर स्ट्रॉन्ग बेसलाइन्स (ProPS, ProPS+, और बेस्ट-परफॉर्मिंग Stable-Baselines3 एल्गोरिदम जैसे PPO, SAC, TRPO) के विरुद्ध किया गया।

परफॉरमेंस: R2PO ने 10 में से 9 वातावरणों में उच्चतम मीन रिवॉर्ड प्राप्त किया और 10वें (MountainCarContinuous) पर बराबरी की। इसने CartPole (500), InvertedPendulum (1000), Pong (3.0), और Nim (1.0) पर अधिकतम संभव रिवॉर्ड प्राप्त किया।
एफिशिएंसी: R2PO ने बेसलाइन्स (जैसे, ProPS+ और SB3 के लिए ~4,000 एपिसोड के मुकाबले ~500 एपिसोड के भीतर Near-Maximum CartPole रिवॉर्ड के साथ) की तुलना में काफी पहले ही Near-Optimal परफॉरमेंस हासिल कर ली।
स्टेबिलिटी: R2PO ने एक बार पॉलिसी मिलने के बाद उसे मजबूती से बनाए रखा, जो पूर्ववर्ती LLM विधियों की तुलना में बहुत कम अंतर प्रदर्शित करता है, जो अक्सर उच्च परिवर्तनशीलता और आइसोलेटेड स्पाइक्स दिखाते थे।
रिसोर्स एफिशिएंसी: यहाँ तक कि दोगुना इंटरैक्शन बजट (8,000 एपिसोड) और एक बड़े प्रोप्रायटरी मॉडल (GPT-4o) के साथ प्राप्त ProPS परिणामों की तुलना में, R2PO (4,000 एपिसोड पर प्रशिक्षित 20B ओपन मॉडल के साथ) ने 10 में से 9 वातावरणों में बेसलाइन्स की बराबरी की या उनसे बेहतर प्रदर्शन किया।

महत्व और दावे

पेपर का दावा है कि ट्राजेक्टरीज को केवल स्केलर रिटर्न्स में बदलने के बजाय उन्हें फर्स्ट-क्लास इन-कॉन्टेक्स्ट एविडेंस के रूप में मानना, LLM द्वारा पॉलिसी स्पेस को खोजने के तरीके को मौलिक रूप से बदल देता है। उनके मुख्य योगदान हैं:

डायग्नोस्टिक प्रिसिजन: R2PO व्यवहार संबंधी साक्ष्य का लाभ उठाकर LLM को तेजी से सीखने और विफलताओं का अधिक सटीक निदान करने में सक्षम बनाता है, जो ट्रायल-एंड-एरर ट्यूनिंग से आगे बढ़ता है।
LLM बायस का शमन: फ्रेमवर्क कई साक्ष्य स्रोतों पर LLM रीजनिंग से उत्पन्न होने वाले "सैलिएंस बायस" को एग्रीगेट स्टैटिस्टिक्स और मीडियन ट्राजेक्टरीज का उपयोग करके सफलतापूर्वक कम करता है, न कि रॉ वर्स्ट-केस ट्रेसेस का।
एक्सेसिबिलिटी: परिणाम दर्शाते हैं कि ये लाभ केवल बड़े, प्रोप्रायटरी मॉडल्स तक सीमित नहीं हैं; यदि आर्किटेक्चर सही ढंग से डिज़ाइन किया गया हो, तो एक 20B ओपन-वेट मॉडल, डीप RL बेसलाइन्स और पूर्ववर्ती LLM-आधारित विधियों को पछाड़ने के लिए पर्याप्त है।

लेखक सीमाओं को नोट करते हैं, विशेष रूप से यह कि वर्तमान में यह विधि कॉम्पैक्ट पॉलिसी क्लासेस (लीनियर और टैबुलर) पर केंद्रित है और इसके लिए रिवीज़न थ्रेशोल्ड $\tau_c$ के मोटे मैनुअल कैलिब्रेशन की आवश्यकता होती है। भविष्य के कार्य में R2PO को हाई-डायमेंशनल न्यूरल पॉलिसीज़ तक विस्तारित करने और एडेप्टिव कैलिब्रेशन मैकेनिज्म विकसित करने का प्रस्ताव दिया गया है।