💻 computer science

Freshness-Aware Prioritized Experience Replay for LLM/VLM Reinforcement Learning

यह शोध पत्र फ्रेशनेस-अवेयर प्रायोरिटाइज्ड एक्सपीरियंस रिप्ले (Freshness-Aware Prioritized Experience Replay) को प्रस्तुत करता है, जो एक नवीन विधि है जो एक एक्सपोनेंशियल एज डिके फैक्टर (exponential age decay factor) को शामिल करके बड़े भाषा और विजन-लैंग्वेज मॉडलों में प्रायोरिटी स्टेलेनेस (priority staleness) को कम करती है, जिससे पारंपरिक ऑन-पॉलिसी दृष्टिकोणों की तुलना में जटिल एजेंटिक और रीजनिंग कार्यों पर सैंपल दक्षता और प्रदर्शन में उल्लेखनीय सुधार होता है।

मूल लेखक: Weiyu Ma, Yongcheng Zeng, Yan Song, Xinyu Cui, Jian Zhao, Xuhui Liu, Mohamed Elhoseiny

प्रकाशित 2026-04-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Weiyu Ma, Yongcheng Zeng, Yan Song, Xinyu Cui, Jian Zhao, Xuhui Liu, Mohamed Elhoseiny

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Freshness-Aware Prioritized Experience Replay for LLM/VLM Reinforcement Learning" (FreshPER) का सरल अवधारणाओं और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी तस्वीर: "लापरवाह छात्र" की समस्या (The "Wasteful Student" Problem)

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन बहुत महंगे छात्र (AI) को जटिल पहेलियाँ सुलझाने के लिए प्रशिक्षित कर रहे हैं, जैसे कि भूलभुलैया (maze) से निकलना या इंटरनेट पर उत्तर खोजना।

वर्तमान तरीका (On-Policy RL):
अभी, इन AI छात्रों को प्रशिक्षित करने का मानक तरीका एक बहुत ही सख्त और लापरवाह शिक्षक की तरह है।

शिक्षक छात्र को एक पहेली आज़माने के लिए भेजता है।
छात्र कोशिश करता है, असफल होता है, या सफल होता है।
शिक्षक परिणाम देखता है, एक त्वरित सबक देता है, और छात्र के मस्तिष्क (brain) को अपडेट करता है।
महत्वपूर्ण बात: शिक्षक फिर तुरंत उस पूरी पहेली और छात्र के प्रयास को कचरे में फेंक देता है।
छात्र एक नई पहेली आज़माने के लिए बाहर जाता है, और यह चक्र दोहराया जाता है।

यह बुरा क्यों है?
AI की दुनिया में, "कोशिश करना" महंगा है। प्रतिक्रिया उत्पन्न करने या वेब खोजने में बहुत अधिक कंप्यूटर शक्ति और समय लगता है। उस डेटा को केवल एक बार देखने के बाद फेंक देना एक मोमबत्ती जलाने के लिए $100 के नोट को जलाने जैसा है। यह अविश्वसनीय रूप से अक्षम है।

पुराना समाधान: "संग्रह करने वाला लाइब्रेरियन" (Standard Experience Replay)

क्लासिक वीडियो गेम AI में, हमने इस बर्बादी की समस्या को Experience Replay से हल किया था। कल्पना कीजिए कि एक लाइब्रेरियन (Librarian) है जो उन सभी पहेलियों का एक विशाल पुस्तकालय रखता है जिन्हें छात्र ने कभी आज़माया था।

अच्छा हिस्सा: डेटा को फेंकने के बजाय, लाइब्रेरियन उसे सुरक्षित रखता है। जब छात्र अध्ययन करने के लिए तैयार होता है, तो लाइब्रेरियन अतीत की सबसे कठिन या सबसे दिलचस्प पहेलियों में से कुछ निकालता है ताकि उनकी समीक्षा की जा सके। इसे Prioritized Experience Replay (PER) कहा जाता है।
AI के साथ समस्या: लार्ज लैंग्वेज मॉडल्स (LLMs) बहुत तेज़ी से अपना विचार बदलते हैं।
- कल्पना कीजिए कि छात्र मंगलवार को एक नई ट्रिक सीखता है। बुधवार तक, उनका मस्तिष्क इतना विकसित हो चुका है कि सोमवार को हल की गई पहेली अब बेकार या यहाँ तक कि भ्रमित करने वाली हो सकती है।
- "लाइब्रेरियन" को यह पता नहीं चलता। वे उस पुराने, "उच्च-प्राथमिकता" वाले पहेली को निकालते रहते हैं क्योंकि उस समय वह कठिन थी।
- छात्र भ्रमित हो जाता है, वह जो कुछ भी सीख चुका था उसे भूलने लगता है, और प्रदर्शन गिर जाता है। इसे "Priority Staleness" कहा जाता है। डेटा "बासी" (stale) हो जाता है (जैसे पुराना दूध)।

नया समाधान: FreshPER (The "Freshness Filter")

लेखकों ने FreshPER का प्रस्ताव दिया है। उन्होंने महसूस किया कि AI के लिए, समय उतना ही मायने रखता है जितना कि कठिनाई।

उन्होंने लाइब्रेरियन में एक सरल लेकिन शक्तिशाली नियम जोड़ा: "पहेली जितनी पुरानी होगी, वह उतनी ही कम मूल्यवान होगी, चाहे वह कितनी भी कठिन क्यों न रही हो।"

उपमा: रोटेटिंग मेनू (The Rotating Menu)

सोचिए कि AI का प्रशिक्षण डेटा एक रेस्टोरेंट के मेनू की तरह है।

Standard PER: शेफ अपने मेनू पर "महीने का सर्वश्रेष्ठ व्यंजन" हमेशा के लिए रखता है क्योंकि वह कभी लोकप्रिय था। भले ही अब सामग्री सड़ चुकी हो, शेफ उसे परोसना जारी रखता है क्योंकि साइन बोर्ड पर "सर्वश्रेष्ठ" लिखा है।
FreshPER: शेफ एक Freshness Clock (ताजगी घड़ी) जोड़ता है।
- एक व्यंजन जो 10 मिनट पहले शानदार था, वह अभी भी मेनू पर है।
- एक व्यंजन जो 10 दिन पहले शानदार था, उसे स्वचालित रूप से हटा दिया जाता है, भले ही वह अब तक का "सर्वश्रेष्ठ व्यंजन" रहा हो।
- सिस्टम एक "क्षय कारक" (decay factor) की गणना करता है। जैसे-जैसे समय बीतता है, एक पुराने अनुभव की "प्राथमिकता" तेजी से (exponentially) गिरती जाती है।

यह कैसे काम करता है (सरल अंग्रेजी में गणित)

शोध पत्र Effective Sample Size (ESS) की अवधारणा का उपयोग करता है।

कल्पना कीजिए कि आपके पास सलाह देने वाले 100 लोगों का समूह है।
यदि वे सभी आपसे सहमत हैं, तो उनकी सलाह 100% उपयोगी है।
यदि वे सभी आपसे असहमत हैं (क्योंकि आपने अपना विचार बदल लिया है), तो उनकी सलाह 0% उपयोगी है।
FreshPER यह गणना करता है कि डेटा एकत्र किए जाने के बाद से AI कितना बदल गया है। यदि AI बहुत अधिक बदल गया है, तो उस पुराने डेटा की "उपयोगिता" शून्य के करीब गिर जाती है।
सिस्टम किसी डेटा पॉइंट के "महत्व" को एक Freshness Score (ताजगी स्कोर) से गुणा करता है।
- नया डेटा: उच्च Freshness Score।
- पुराना डेटा: कम Freshness Score (भले ही वह मूल रूप से बहुत महत्वपूर्ण रहा हो)।

परिणाम: यह क्यों मायने रखता है

शोधकर्ताओं ने गणित की समस्याओं को हल करने से लेकर दृश्य भूलभुलैया (visual mazes) में नेविगेट करने तक, 8 अलग-अलग कार्यों पर इसका परीक्षण किया।

यह पैसे बचाता है: डेटा का प्रभावी ढंग से पुन: उपयोग करके, उन्हें समान परिणाम प्राप्त करने के लिए उतने नए, महंगे "प्रयासों" को उत्पन्न करने की आवश्यकता नहीं पड़ी।
यह बेहतर काम करता है:
- एक सर्च टास्क (इंटरनेट पर उत्तर खोजना) पर, नए तरीके ने प्रदर्शन में 46% का सुधार किया।
- एक पहेली खेल (Sokoban) पर, इसने 367% का भारी सुधार किया।
- एक विजुअल नेविगेशन कार्य पर, इसमें 133% का सुधार हुआ।
यह क्रैश को ठीक करता है: इस "ताजगी" नियम के बिना, AI समय के साथ खराब होता जा रहा था क्योंकि वह "सड़े हुए" डेटा का अध्ययन कर रहा था। FreshPER के साथ, यह बेहतर होता जाता है।

सारांश

समस्या: AI प्रशिक्षण महंगा है, इसलिए हम पुराने डेटा का पुन: उपयोग करना चाहते हैं। लेकिन AI इतनी तेज़ी से बदलता है कि पुराना डेटा "बासी" और भ्रमित करने वाला हो जाता है।
समाधान: FreshPER। यह एक ऐसी प्रणाली है जो याद रखती है कि डेटा कितना पुराना है और जैसे-जैसे वह पुराना होता जाता है, स्वचालित रूप से उसका महत्व कम कर देती है।
उपमा: यह एक स्मार्ट लाइब्रेरियन की तरह है जो जानता है कि पिछले साल की बेहतरीन किताब भी आज सुबह की ताज़ा किताब की तुलना में कम उपयोगी है।

यह AI को तेज़, सस्ता और अधिक प्रभावी ढंग से सीखने की अनुमति देता है, विशेष रूप से उन जटिल कार्यों के लिए जहाँ हर "प्रयास" में बहुत अधिक कंप्यूटिंग शक्ति खर्च होती है।

यहाँ पेपर "Freshness-Aware Prioritized Experience Replay for LLM/VLM Reinforcement Learning" (FreshPER) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रीइन्फोर्समेंट लर्निंग (RL), LLMs और VLMs के पोस्ट-ट्रेनिंग के लिए एक प्रमुख प्रतिमान (paradigm) बन गया है, विशेष रूप से जटिल एजेंटिक कार्यों (जैसे वेब सर्च, टूल उपयोग, रीजनिंग) के लिए। हालाँकि, वर्तमान अत्याधुनिक विधियाँ ऑन-पॉलिसी एल्गोरिदम (PPO, GRPO, REINFORCE++) पर निर्भर करती हैं, जो दो महत्वपूर्ण अक्षमताओं से ग्रस्त हैं:

खराब सैंपल एफिशिएंसी (Poor Sample Efficiency): ये विधियाँ एक एकल ग्रेडिएंट अपडेट के बाद सभी एकत्रित ट्राजेक्टरीज (trajectories) को त्याग देती हैं। उन एजेंटिक कार्यों में जहाँ एनवायरनमेंट इंटरैक्शन (जैसे API कॉल, सर्च क्वेरी) महंगे और मल्टी-टर्न होते हैं, यह भारी कम्प्यूटेशनल बर्बादी का कारण बनता है।
स्टैंडर्ड एक्सपीरियंस रिप्ले की विफलता (Failure of Standard Experience Replay): जबकि क्लासिकल RL में डेटा को पुन: उपयोग करने के लिए प्रायोरिटाइज्ड एक्सपीरियंस रिप्ले (PER) एक मानक है, LLMs पर इसे सीधे लागू करना प्रायोरिटी स्टेलेनेस (Priority Staleness) के कारण विफल हो जाता है।
- विफलता का तंत्र: अरबों पैरामीटर्स वाले मॉडल्स पर बड़े ग्रेडिएंट अपडेट के कारण LLM पॉलिसी तेजी से विकसित होती है। एक पुरानी पॉलिसी ( $\pi_\mu$ ) द्वारा एकत्र की गई ट्राजेक्टरी "स्टेल" (stale) हो जाती है क्योंकि वर्तमान पॉलिसी ( $\pi_\theta$ ) उससे अलग (diverge) हो जाती है।
- परिणाम: स्टैंडर्ड PER प्रारंभिक मेट्रिक्स (जैसे TD एरर या रिवॉर्ड) के आधार पर फिक्स्ड प्रायोरिटी असाइन करता है। जैसे-जैसे पॉलिसी अलग होती है, इन पुराने, उच्च-प्राथमिकता वाले ट्राजेक्टरीज का इफेक्टिव सैंपल साइज (ESS) तेजी से घटता है। इसके परिणामस्वरूप, मॉडल उस पुराने डेटा पर अपना प्रशिक्षण समय बर्बाद करता है जो अब सूचनात्मक नहीं है या हानिकारक भी हो सकता है, जिससे ऑन-पॉलिसी बेसलाइन्स की तुलना में प्रदर्शन में गिरावट आती है।

2. कार्यप्रणाली: FreshPER (Methodology: FreshPER)

लेखक FreshPER प्रस्तावित करते हैं, जो एक नया फ्रेमवर्क है जो इम्पॉर्टेंस सैंपलिंग थ्योरी पर आधारित फ्रेशनेस-अवेयर एज डिके (freshness-aware age decay) मैकेनिज्म के साथ स्टैंडर्ड PER को संवर्धित करता है।

मुख्य नवाचार: एक्सपोनेंशियल एज डिके (Exponential Age Decay)

मुख्य अंतर्दृष्टि यह है कि एक ट्राजेक्टरी की उपयोगिता उसके संग्रह के बाद बीते हुए ग्रेडिएंट स्टेप्स ( $\Delta$ ) की संख्या के साथ तेजी से (exponentially) घटती है, जो व्यवहार नीति (behavior policy) और वर्तमान नीति के बीच विचलन (divergence) द्वारा संचालित होती है।

सैद्धांतिक आधार:
- लेखक यह व्युत्पन्न करते हैं कि इफेक्टिव सैंपल साइज (ESS) पॉलिसियों के बीच KL डाइवर्जेंस द्वारा सीमित है: $ESS \leq n \cdot \exp(-D_{KL})$ ।
- वे ट्रेनिंग स्टेप्स ( $\Delta$ ) के संबंध में KL डाइवर्जेंस के विकास को लीनियर (linear) मानकर अनुमान लगाते हैं, जिससे सैंपल उपयोगिता में एक्सपोनेंशियल डिके आता है।
प्रायोरिटी फंक्शन:
एक ट्राजेक्टरी $i$ $i$ के लिए नई प्रायोरिटी $p_i$ $p_{i}$ इस प्रकार गणना की जाती है:
$p_i = p_i^{\text{base}} \times \exp\left(-\frac{\Delta_i}{\tau}\right)$
जहाँ:
- $p_i^{\text{base}}$ : स्टैंडर्ड बेस प्रायोरिटी (जैसे रिवॉर्ड मैग्नीट्यूड $|r_i|$ , एडवांटेज, या TD एरर)।
- $\Delta_i$ : ट्राजेक्टरी की आयु (वर्तमान स्टेप $t$ माइनस कलेक्शन स्टेप $t_i$ )।
- $\tau$ : एक ट्यूनेबल हाइपरपैरामीटर (एज डिके कांस्टेंट) जो प्रायोरिटी के "हाफ-लाइफ" को नियंत्रित करता है।

कार्यान्वयन विवरण (Implementation Details)

हाइब्रिड ट्रेनिंग पाइपलाइन: सिस्टम एक ऑन-पॉलिसी लूप (ताजा डेटा एकत्र करना) को एक ऑफ-पॉलिसी लूप (स्टोर किए गए डेटा को रिप्ले करना) के साथ एकीकृत करता है।
एसिंक प्रायरिटी रिफ्रेश (Async Priority Refresh): एक एसिंक्रोनस CPU थ्रेड निरंतर एज डिके फैक्टर को पुनर्गणना करके रिप्ले बफर के सभी एंट्रीज की प्रायोरिटीज को अपडेट करता है, यह सुनिश्चित करता है कि प्रायोरिटी क्यू (queue) बिना GPU ट्रेनिंग को बाधित किए वर्तमान पॉलिसी की स्थिति को दर्शाती है।
बेस प्रायोरिटी फ्लेक्सिबिलिटी: यह विधि मॉड्यूलर है। यह रिवॉर्ड मैग्नीट्यूड (REINFORCE++ जैसे क्रिटिक-फ्री तरीकों के लिए), एडवांटेज मैग्नीट्यूड, या TD एरर का उपयोग कर सकती है, बस उन्हें एज डिके टर्म से गुणा किया जाता है।
सिस्टम आर्किटेक्चर: इसे ROLL फ्रेमवर्क पर बनाया गया है, जो ट्रेनिंग के लिए DeepSpeed और इन्फरेंस के लिए vLLM का उपयोग करता है, जिसमें रिप्ले बफर को GPU ऑपरेशंस के साथ कुशलतापूर्वक पाइपलाइन करने के लिए एक CPU कंट्रोलर द्वारा प्रबंधित किया जाता है।

3. मुख्य योगदान (Key Contributions)

LLM/VLM RL के लिए PER का पहला सफल अनुप्रयोग: यह पेपर "प्रायोरिटी स्टेलेनेस" को LLMs में स्टैंडर्ड PER के प्राथमिक विफलता मोड के रूप में पहचानता है और इसका पहला कामकाजी समाधान प्रदान करता है।
एज ड dike के लिए सैद्धांतिक औचित्य: प्रभावी सैंपल साइज (ESS), इम्पॉर्टेंस वेट्स और पॉलिसी डाइवर्जेंस (KL/Chi-squared divergence) के बीच संबंध के आधार पर सैंपल उपयोगिता के एक्सपोनेंशियल डिके को व्युत्पन्न करता है।
मॉड्यूलर फ्रेमवर्क: एक ड्रॉप-इन मैकेनिज्म (FreshPER) पेश करता है जिसे किसी भी मौजूदा PER बेस प्रायोरिटी (रिवॉर्ड, एडवांटेज, TD एरर) और किसी भी ऑन-पॉलिसी एल्गोरिदम के साथ जोड़ा जा सकता है।
व्यापक मूल्यांकन: 0.5B से 7B पैरामीटर्स तक के मॉडल्स का उपयोग करके 8 विविध वातावरणों (केवल टेक्स्ट LLM और मल्टीमॉडल VLM) में इस दृष्टिकोण को मान्य करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने NQ Search, AIME, Sokoban, FrozenLake, और GeoQA सहित कार्यों में On-Policy बेसलाइन्स और Standard PER (बिना एज डिके के) के विरुद्ध FreshPER का मूल्यांकन किया।

प्रदर्शन लाभ (Performance Gains): FreshPER ने दोनों बेसलाइन्स को काफी पीछे छोड़ दिया।
- NQ Search (Agentic): ऑन-पॉलिसी से +46% सुधार।
- Sokoban (Planning): ऑन-पॉलिसी से +367% सुधार।
- VLM FrozenLake: +133% सुधार।
- AIME (Math): +18% सुधार।
Standard PER की विफलता: बिना एज ड dike के स्टैंडर्ड PER ने लगातार ऑन-पॉलिसी ट्रेनिंग की तुलना में प्रदर्शन को कम (degrade) किया, जो अक्सर विनाशकारी था (उदाहरण के लिए, Sokoban स्कोर 0.49 से गिरकर -0.90 हो गया), जो पुष्टि करता है कि स्टेल हाई-प्रायोरिटी डेटा सीखने में बाधा डालता है।
एब्लेशन स्टडीज (Ablation Studies):
- $\tau$ संवेदनशीलता: डिके कांस्टेंट $\tau$ टास्क-डिपेंडेंट है। तेजी से विकसित होने वाले कार्यों (Sokoban) के लिए आक्रामक डिके ( $\tau=500$ ) की आवश्यकता होती है, जबकि धीमे कार्यों (FrozenLake) को सौम्य डिके ( $\tau=1000$ ) से लाभ होता है।
- स्थिरता: हालांकि केवल इम्पॉर्टेंस सैंपलिंग (IS) सुधार अकेले पीक परफॉरमेंस को नहीं बढ़ा सका, लेकिन इसने ट्रेनिंग के अंतिम चरणों में स्थिरता में काफी सुधार किया, जिससे प्रदर्शन में गिरावट को रोका जा सका।
- कार्य की कठिनाई: FreshPER के लाभ कार्य की कठिनाई के साथ बढ़ते हैं। सरल कार्यों पर जहाँ ऑन-पॉलिसी ट्रेनिंग जल्दी कन्वर्ज हो जाती है (जैसे GSM8K, CliffWalking), वहाँ रिप्ले से बहुत कम लाभ मिला।

5. महत्व और निष्कर्ष (Significance and Conclusion)

क्लासिकल और मॉडर्न RL को जोड़ना: यह पेपर प्रदर्शित करता है कि क्लासिकल सैंपल-एफिशिएंसी तकनीकें (जैसे PER) LLMs के लिए अत्यधिक प्रभावी रहती हैं, बशर्ते उन्हें अरबों-पैरामीटर वाले मॉडल्स के अद्वितीय, तीव्र वितरण बदलावों (distribution shifts) को संभालने के लिए अनुकूलित किया जाए।
लागत में कमी: महंगी मल्टी-टर्न एजेंटिक ट्राजेक्टरीज के पुन: उपयोग को सक्षम करके, FreshPER LLM RL के लिए आवश्यक कम्प्यूटेशनल लागत और समय को नाटकीय रूप से कम करता है।
सामान्यीकरण (Generalizability): यह विधि टेक्स्ट-ओनली और मल्टीमॉडल (VLM) सेटिंग्स में निर्बाध रूप से काम करती है, जो यह सुझाव देती है कि "फ्रेशनेस" का सिद्धांत मोडैलिटी की परवाह किए बिना सीक्वेंस-आधारित RL के लिए मौलिक है।
भविष्य की दिशाएं: लेखक देखे गए पॉलिसी डाइवर्जेंस रेट के आधार पर $\tau$ के ऑटोमैटिक ट्यूनिंग और यहाँ तक कि 70B+ जैसे बड़े मॉडल्स तक स्केलिंग पर भविष्य के कार्य का सुझाव देते हैं।

संक्षेप में, FreshPER एक गणितीय रूप से सुदृढ़ "फ्रेशनेस" मैकेनिज्म पेश करके LLM RL में सैंपल इनएफिशिएंसी की महत्वपूर्ण बाधा को हल करता है, जो मॉडल को पुराने, उच्च-प्राथमिकता वाले डेटा द्वारा गुमराह होने से रोकता है।