EEPO: Exploration-Enhanced Policy Optimization via Sample-Then-Forget
यह शोध पत्र एक्सप्लोरेशन-एन्हांस्ड पॉलिसी ऑप्टिमाइज़ेशन (EEPO) को प्रस्तुत करता है, जो बड़े भाषा मॉडलों (LLMs) के लिए एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है, जो स्व-सुदृढ़ व्यवहार संबंधी लूपों को बाधित करने और अन्वेषण (exploration) को बढ़ाने के लिए एक "सैंपल-देन-फॉरगेट" तंत्र का उपयोग करके एंट्रॉपी पतन (entropy collapse) को कम करता है और तर्क प्रदर्शन में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र EEPO: Exploration-Enhanced Policy Optimization via Sample-Then-Forget का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
बड़ी समस्या: "इको चैंबर" (Echo Chamber) प्रभाव
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र (एक AI) को कठिन गणित के सवाल हल करने के लिए प्रशिक्षित कर रहे हैं। आप उसे एक सवाल देते हैं, वह उसे हल करने की कोशिश करता है, और यदि वह सही उत्तर देता है, तो आप उसे एक 'गोल्ड स्टार' देते हैं।
वर्तमान विधि (जिसे GRPO कहा जाता है) इस प्रकार काम करती है:
- छात्र सवाल को 8 बार हल करने की कोशिश करता है।
- यदि उन 8 प्रयासों में से एक भी प्रयास को गोल्ड स्टार मिलता है, तो छात्र सोचता है, "आहा! सोचने का यह विशिष्ट तरीका सबसे अच्छा है!"
- अगली बार, छात्र उस "जीतने वाले" तरीके की नकल और भी अधिक तीव्रता से करने लगता है।
जाल (The Trap):
अंततः, छात्र एक लूप (चक्र) में फंस जाता है। वह बार-बार उसी सफल ट्रिक का उपयोग करता रहता है। वह समस्या को हल करने के नए, अजीब या जोखिम भरे तरीके आज़माना बंद कर देता है।
- परिणाम: वह उन विशिष्ट अभ्यास प्रश्नों में बहुत अच्छा हो जाता है जिन्हें उसने देखा है (वह उत्तर रट लेता है), लेकिन यदि आप उसे किसी ऐसे नए प्रकार का सवाल देते हैं जिसे उसने पहले नहीं देखा है, तो वह बुरी तरह विफल हो जाता है। AI की शब्दावली में, इसे एंट्रॉपी कोलैप्स (Entropy Collapse) कहा जाता है। AI रचनात्मक होना बंद कर देता है और एक कठोर रोबोट बन जाता है।
पुराने समाधान (और वे क्यों विफल रहे)
वैज्ञानिकों ने इसे ठीक करने के लिए छात्र को यह कहकर कोशिश की: "बस अधिक रैंडम (यादृच्छिक) बनो! बेतरतीब ढंग से अनुमान लगाओ!"
- उपमा: कल्पना कीजिए कि एक शेफ जो एक बेहतरीन बर्गर बनाता है, उसे बस यह कहने की कि "पॉट में रैंडम सामग्रियां डाल दो।"
- समस्या: इससे खाना बहुत खराब हो जाता है। छात्र (AI) केवल अलग दिखने के लिए बेतुकी बातें करने लगता है। यह अराजक, अस्थिर है और वास्तव में उसे बेहतर समाधान खोजने में मदद नहीं करता, बल्कि केवल अलग समाधान खोजने में मदद करता है।
नया समाधान: EEPO (द "सैंपल-देन-फॉरगेट" ट्रिक)
लेखकों ने एक चतुर नई रणनीति निकाली है जिसे EEPO कहा जाता है। AI को केवल रैंडम होने के लिए कहने के बजाय, वे इस बात को बदलते हैं कि AI कैसे अभ्यास करता है।
इसे एक ट्विस्ट के साथ दो-राउंड वाले गेम शो की तरह समझें:
राउंड 1: "सब कुछ आज़माने वाला" चरण (The "Try Everything" Phase)
AI अपने उत्तरों का आधा हिस्सा जेनरेट करता है (मान लीजिए 8 में से 4)। वह समस्या को हल करने के लिए अपना सर्वश्रेष्ठ प्रयास करता है।
- महत्वपूर्ण चरण: जैसे ही ये 4 उत्तर जेनरेट होते हैं, AI एक "भूलने" (Forget) का चरण करता है।
- उपमा: कल्पना कीजिए कि AI कागज पर 4 समाधान लिखता है। फिर, वह तुरंत एक जादुвई इरेज़र (मिटाने वाला) लेता है और उन विशिष्ट समाधानों को अपनी अल्पकालिक स्मृति (short-term memory) से मिटा देता है। वह कहता है, "मुझे पता है कि मैंने अभी इन्हें लिखा है, लेकिन मैं यह मानकर चलूँगा कि मैंने इन्हें कभी देखा ही नहीं।"
राउंड 2: "नए रास्तों की खोज" चरण (The "Explore New Paths" Phase)
अब, AI को शेष 4 उत्तर जेनरेट करने होते हैं।
- क्योंकि उसने पहले 4 उत्तरों को "भूल" दिया है, वह उन्हें फिर से कॉपी नहीं कर सकता। उसे मजबूरन अपने दिमाग की गहराई में जाना पड़ता है और समस्या को हल करने के अलग तरीके खोजने पड़ते हैं।
- वह एक अजीब, जोखिम भरा या रचनात्मक दृष्टिकोण अपना सकता है जिसे वह पहले राउंड की नकल करते समय शायद नहीं अपनाता।
अंतिम परिणाम
दोनों राउंड के बाद, AI सभी 8 उत्तरों (जिनको उसने "भूल" दिया था और नए वाले) को देखता है। वह सीखने के लिए सबसे अच्छे उत्तरों को चुनता है।
- यह क्यों काम करता है: AI को उसके तत्काल सफलताओं को "भूलने" के लिए मजबूर करके, आप इको चैंबर को तोड़ देते हैं। आप उसे अपने ज्ञान के उन "अंधेरे कोनों" में खोजने के लिए मजबूर करते हैं जहाँ अगली बड़ी सफलता छिपी हो सकती है।
यह एक बड़ी बात क्यों है
- यह लक्षित है (Targeted): यह केवल रैंडम शोर (noise) नहीं जोड़ता (जैसे सूप में नमक छिड़कना)। यह विशेष रूप से उन "प्रमुख" आदतों को लक्षित करता है जो AI बना रहा है और उन्हें नए विचारों के लिए जगह बनाने के लिए धीरे से एक तरफ धकेलता है।
- यह अस्थायी है: AI वास्तव में अपनी दीर्घकालिक जानकारी नहीं खोता है। वह अभ्यास सत्र के दौरान केवल एक पल के लिए "भूलता" है। सत्र समाप्त होने के बाद, वह वापस बुद्धिमान हो जाता है।
- परिणाम: शोधकर्ताओं ने तीन अलग-अलग AI मॉडल (Qwen, Llama, आदि) पर कठिन गणित प्रतियोगिताओं का उपयोग करके इसका परीक्षण किया।
- पुरानी विधि (GRPO) स्थानीय लूप में फंस गई।
- नई विधि (EEPO) ने काफी अधिक समस्याओं को हल किया, विशेष रूप से वे कठिन प्रश्न जिनमें लीक से हटकर सोचने की आवश्यकता थी।
- लाभ: कुछ मॉडलों पर, इसने प्रदर्शन में 33% तक सुधार किया!
सारांश उपमा
- पुरानी विधि (GRPO): एक हाइकर (पर्वतारोही) जिसे शिखर तक जाने का एक रास्ता मिल जाता है, और फिर वह बार-बार उसी रास्ते पर चलता रहता है, इस बात को नज़रअंदाज़ करते हुए कि पास में कोई तेज़ या सुरक्षित रास्ता भी हो सकता है।
- खराब समाधान (Randomness): हाइकर को अपनी आँखें बंद करके गोल-गोल दौड़ने के लिए कहना।
- EEPO: हाइकर को एक रास्ता मिलता है, वह उसे मानचित्र (map) पर अंकित करता है, फिर वह उस निशान को मिटा देता है। अब, जब वह अगले रास्ते की तलाश करता है, तो उसे मानचित्र देखना पड़ता है और एक अलग मार्ग खोजना पड़ता है। वह एक छिपा हुआ शॉर्टकट खोज लेता है, और अब वह शिखर तक पहुँचने के दो तरीके जानता है।
संक्षेप में: EEPO AI को नकलची बनने के बजाय एक खोजकर्ता बनना सिखाता है, और यह सब कुछ केवल इसलिए संभव होता है क्योंकि वह अपनी हालिया सफलताओं को बस इतनी देर के लिए "भूल" जाता है कि वह कुछ नया आज़मा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।