Stabilizing Off-Policy Training for Long-Horizon LLM Agent via Turn-Level Importance Sampling and Clipping-Triggered Normalization
यह शोध पत्र SORL का प्रस्ताव करता है, जो एक ऐसा फ्रेमवर्क है जो लॉन्ग-होरिज़न (long-horizon) LLM एजेंटों के लिए ऑफ-पॉलिसी सुदृढीकरण शिक्षण (reinforcement learning) को स्थिर करने के लिए टर्न-लेवल इम्पॉर्टेंस सैंपलिंग और क्लिपिंग-ट्रिगर्ड नॉर्मलाइजेशन पेश करता है, जो अपने SO-PPO और SO-GRPO एल्गोरिदम के माध्यम से प्रशिक्षण पतन (training collapse) को प्रभावी ढंग से रोकता है और मल्टी-टर्न कार्यों पर प्रदर्शन में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन अनुभवहीन प्रशिक्षु (AI) को एक जासूस बनना सिखा रहे हैं। जासूस का काम सवाल पूछकर, सुरागों की खोज करके और जवाबों को जोड़कर जटिल रहस्यों को सुलझाना है। यह प्रक्रिया कई चरणों या "टर्न" (turns) में चलती है, जैसे कि एक बातचीत।
आपके द्वारा साझा किया गया पेपर एक बड़ी समस्या के बारे में है जो तब होती है जब हम इस तरह के जासूस को सिखाने के लिए "रीइन्फोर्समेंट लर्निंग" (RL) नामक विधि का उपयोग करते हैं।
यहाँ समस्या और समाधान की कहानी सरल शब्दों में दी गई है:
समस्या: "ओवर-करेक्शन" (Over-Correction) क्रैश
कल्पना कीजिए कि आप जासूस को कोचिंग दे रहे हैं। हर बार जब वे कोई कदम उठाते हैं, तो आप उन्हें फीडबैक देते हैं।
- पुराना तरीका (Standard PPO/GRPO): आप जासूस द्वारा बोले गए हर एक शब्द को देखते हैं। यदि वे ऐसा शब्द कहते हैं जो "अच्छा" लगता है, तो आप उन्हें शाबाशी देते हैं। यदि वह "बुरा" लगता है, तो आप उन्हें डांटते हैं।
- समस्या: क्योंकि जासूस पुराने नोट्स (उनके "पिछले स्वयं" द्वारा एकत्र किया गया डेटा) से सीख रहा है, इसलिए वे नोट्स जल्दी ही पुराने हो जाते हैं। जैसे-जैसे प्रशिक्षण आगे बढ़ता है, जासूस नए निर्णय लेने के लिए इन पुराने नोट्स का उपयोग करने लगता है।
- मेल नहीं खाना (The Mismatch): कोच हर एक शब्द (टोकन) को ग्रेड देने की कोशिश कर रहा है, लेकिन जासूस बातचीत के हिस्सों (टर्न्स) में सोचता है। यह एक बास्केटबॉल खिलाड़ी को पूरे शॉट के बजाय उसके हर एक उंगली के मूवमेंट के लिए ग्रेड देने जैसा है। इससे भ्रम पैदा होता है।
- क्रैश (The Crash): क्योंकि नोट्स पुराने हैं, कोच भ्रमित हो जाता है। कभी-कभी कोच एक बहुत ही खराब चाल को भी शानदार समझ लेता है (क्योंकि पुराने नोट्स ने ऐसा कहा था) और बहुत बड़ी शाबाशी दे देता है। इससे जासूस अनियंत्रित हो जाता है, बड़ी गलतियाँ करने लगता है, और अंततः मामले सुलझाना पूरी तरह से बंद कर देता है। इसे "ट्रेनिंग कोलैप्स" (training collapse) कहा जाता है।
समाधान: SORL (स्मार्ट कोच)
लेखक एक नया कोचिंग सिस्टम प्रस्तावित करते हैं जिसे SORL (Stabilizing Off-Policy Reinforcement Learning) कहा जाता है। इसे एक "स्मार्ट कोच" के रूप में सोचें जो जासूस को शांत और केंद्रित रखने के लिए दो विशेष ट्रिक्स का उपयोग करता है।
ट्रिक 1: "शब्दों" के बजाय "टर्न" के आधार पर ग्रेडिंग (Turn-Level Importance Sampling)
जासूस द्वारा बोले गए हर शब्द पर "अच्छा काम किया!" या "बुरा काम किया!" चिल्लाने के बजाय, स्मार्ट कोच तब तक इंतजार करता है जब तक जासूस एक पूरा विचार या क्रिया (एक "टर्न") पूरी नहीं कर लेता।
- उपमा (Analogy): कल्पना कीजिए कि आप एक छात्र के निबंध को ग्रेड दे रहे हैं। पुराना तरीका यह था कि वे हर एक अक्षर टाइप करने पर ग्रेड देना। यदि उन्होंने एक 'z' गलत टाइप किया, तो उन्हें बुरा ग्रेड मिला। नया तरीका पूरे पैराग्राफ को ग्रेड देना है। यदि पैराग्राफ समझ में आता है, तो पूरे हिस्से को अच्छा स्कोर मिलता है।
- यह कैसे मदद करता है: यह जासूस को व्यक्तिगत शब्दों की छोटी-छोटी गलतियों से विचलित होने से रोकता है। यह कोचिंग को इस तरह से संरेखित करता है जैसे जासूस वास्तव में सोचता है: पूर्ण चरणों में, न कि छोटे टुकड़ों में।
ट्रिक 2: "पैनिक बटन" नॉर्मलाइज़र (Clipping-Triggered Normalization)
कभी-कभी, जासूस पुराने नोट्स से इतना उत्साहित (या भ्रमित) हो जाता है कि वह बहुत अधिक चरम कदम उठाने लगता है। कोच इसे देखता है और महसूस करता है, "ओह, यह डेटा अभी बहुत अजीब है, इस पर भरोसा नहीं किया जा सकता।"
- उपमा (Analogy): कल्पना कीजिए कि जासूस ट्रेडमिल पर दौड़ रहा है। अचानक, बेल्ट फिसलने के कारण ट्रेडमिल जोर-जोर से हिलने लगता है (डेटा अविश्वसनीय है)।
- पुराना कोच: जासूस को और तेज़ दौड़ने के लिए प्रेरित करता रहता है, यह सोचकर कि कंपन वर्कआउट का हिस्सा है। जासूस गिर जाता है।
- स्मार्ट कोच (SORL): इसमें एक सेंसर है जो कंपन का पता लगाता है। जब कंपन बहुत अधिक हो जाता है, तो कोच "पैनिक बटन" दबा देता है। यह बटन प्रशिक्षण को रोकता नहीं है, बल्कि यह अपडेट की गति को धीमा कर देता है। यह कहता है, "ठीक है, हम एक छोटा, सुरक्षित कदम उठाएंगे क्योंकि ज़मीन डगमगा रही है।"
- यह कैसे मदद करता है: यह जासूस को खराब डेटा के आधार पर बहुत बड़े, लापरवाह कदम उठाने से रोकता है। यह सीखने की प्रक्रिया को स्थिर और सुरक्षित रखता है, भले ही डेटा अव्यवस्थित हो।
परिणाम: एक स्थिर जासूस
जब लेखकों ने कठिन कार्यों पर इस नए "स्मार्ट कोच" (SORL) का परीक्षण किया जैसे कि:
- जवाबों की खोज करना (जैसे सुराग ढूंढता हुआ जासूस)।
- चिकित्सा संबंधी प्रश्न हल करना (जैसे मरीज का निदान करता डॉक्टर)।
उन्होंने पाया कि:
- पुराने तरीके अक्सर शुरुआत में मजबूत होते हैं, फिर अचानक क्रैश हो जाते हैं और समस्या सुलझाना भूल जाते हैं।
- नई विधि (SORL) बिना क्रैश हुए लगातार बेहतर होती जाती है। इसे कोचों द्वारा प्रशिक्षण को बार-बार रोकने और फिर से शुरू करने की आवश्यकता नहीं पड़ी (जो पुराने तरीकों के लिए एक सामान्य समाधान है)।
संक्षेप में
पेपर कहता है: "AI एजेंटों को लंबी बातचीत में सोचना सिखाना कठिन है क्योंकि वे पुराने डेटा और छोटी बारीकियों से भ्रमित हो जाते हैं। हमने इसे उन्हें हिस्सों (टर्न) में सोचना सिखाकर और एक सेफ्टी ब्रेक जोड़कर ठीक किया है जो डेटा बहुत अजीब होने पर उनकी गति को धीमा कर देता है। यह AI को तेज़ी से, सुरक्षित रूप से और अधिक विश्वसनीयता के साथ सीखने में मदद करता है।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।