📊 statistics

Proximal Policy Optimization for Amortized Discrete Sampling

यह शोध पत्र GFlowNets और एंट्रॉपी-रेगुलराइज्ड सुदृढीकरण शिक्षण (reinforcement learning) के बीच सैद्धांतिक संबंध स्थापित करता है ताकि विभिन्न बेंचमार्क पर संरचित असतत वितरणों (structured discrete distributions) से नमूने लेने के लिए स्टोकेस्टिक नीतियों को प्रशिक्षित करने हेतु प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) की बेहतर अभिसरण (convergence) और डेटा दक्षता को व्युत्पन्न और प्रदर्शित किया जा सके।

मूल लेखक: Anna Zykova-Myzina, Timofei Gritsaev, Daniil Tiapkin, Nikita Morozov

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anna Zykova-Myzina, Timofei Gritsaev, Daniil Tiapkin, Nikita Morozov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक विशिष्ट, जटिल रेसिपी को फिर से बनाने की कोशिश कर रहे हैं ताकि वह व्यंजन बिल्कुल उस प्रसिद्ध, पुरस्कार विजेता भोजन जैसा स्वाद दे सके। हालाँकि, आपके पास रेसिपी कार्ड नहीं है। आपके पास केवल सामग्रियों की एक सूची (इनाम/रिवॉर्ड) है जो आपको बताती है कि यदि आप इसे सही ढंग से बनाते हैं तो व्यंजन का स्वाद कितना अच्छा होगा, लेकिन आपको यह नहीं पता कि ब्रह्मांड में कुल कितने संभावित व्यंजन हो सकते हैं या पूर्णता प्राप्त करने के लिए आवश्यक सटीक अनुपात क्या है।

यह वह समस्या है जिसे यह पेपर हल करता है: कंप्यूटर को यादृच्छिक रूप से आइटम (जैसे अणु या डीएनए अनुक्रम) बनाने के लिए कैसे सिखाया जाए ताकि वे एक विशिष्ट, वांछित पैटर्न का पालन करें, न कि केवल एक "सर्वश्रेष्ठ" आइटम खोजने के लिए?

यहाँ उनके समाधान का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है।

1. समस्या: "सर्वश्रेष्ठ" का जाल बनाम "सही मिश्रण"

कई कंप्यूटर कार्यों में, एल्गोरिदम को एक एकल सबसे अच्छे समाधान को खोजने के लिए प्रशिक्षित किया जाता है (जैसे पहाड़ पर सबसे ऊँची चोटी खोजना)। लेकिन रसायन विज्ञान या जीव विज्ञान जैसे क्षेत्रों में, आपको अक्सर समाधानों की एक पूरी विविधता की आवश्यकता होती जो एक विशिष्ट वितरण (distribution) का पालन करती हो। आप केवल उच्चतम ऊर्जा वाला एक अणु नहीं चाहते; आप विविध अणुओं का एक समूह चाहते हैं जो एक विशिष्ट प्रायिकता वक्र (probability curve) से मेल खाता हो।

लेखक GFlowNets (जेनरेटिव फ्लो नेटवर्क्स) नामक एक ढांचे का उपयोग करते हैं। एक GFlowNet को एक फैक्ट्री असेंबली लाइन के रूप में सोचें। मशीन एक वस्तु को चरण-दर-चरण बनाती है (एक समय में एक लेगो ब्रिक जोड़ते हुए)। लक्ष्य मशीन को इस तरह ट्यून करना है कि यदि आप इसे दस लाख बार चलाते हैं, तो तैयार उत्पादों का अंतिम ढेर ठीक उसी लक्षित वितरण के समान दिखे जो आप चाहते हैं।

2. पुराना तरीका: "मैपमेकर" का संघर्ष

पहले, इन फैक्ट्रियों को प्रशिक्षित करने के लिए "वैल्यू-बेस्ड" (मूल्य-आधारित) तरीकों पर भरोसा किया जाता था।

उपमा: कल्पना करें कि आप हर एक पथ का सटीक मानचित्र बनाने और हर पाइप के माध्यम से पानी के सटीक "प्रवाह" की गणना करने के लिए एक भूलभुलैया (maze) में नेविगेट करने की कोशिश कर रहे हैं।
समस्या: इस मानचित्र को बनाने के लिए, आपको भूलभुलैया के कुल आकार (एक संख्या जिसे "नॉर्मलाइजिंग कांस्टेंट" या $Z$ कहा जाता है) को जानना आवश्यक है। जटिल समस्याओं में, इस संख्या की गणना करना अत्यंत कठिन है, जैसे रेत के वजन को जानने के लिए समुद्र तट पर रेत के प्रत्येक कण को गिनने की कोशिश करना। यदि आपका मानचित्र थोड़ा भी गलत है, तो पूरी प्रशिक्षण प्रक्रिया अटक जाएगी या बहुत अक्षम हो जाएगी।

3. नया तरीका: "ट्रायल-एंड-एरर" कोच (PPO)

लेखकों ने सुदृढीकरण शिक्षण (Reinforcement Learning - RL) में उपयोग किए जाने वाले एक अलग दृष्टिकोण को आज़माया, विशेष रूप से एक एल्गोरिदम जिसे PPO (प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है।

उपमा: एक मानचित्र बनाने के बजाय, कल्पना करें कि एक कोच फैक्ट्री मशीन के बगल में खड़ा है। कोच मशीन को कुछ आइटम बनाते हुए देखता है, देखता है कि वे कितने अच्छे हैं, और कहता है, "हे, जब आपने वह नीला ब्रिक जोड़ा, तो आप थोड़े अधिक आक्रामक थे। अगली बार, थोड़ा और कोमल रहें।"
लाभ: कोच को समुद्र तट के कुल आकार को जानने या एक आदर्श मानचित्र बनाने की आवश्यकता नहीं है। उन्हें बस तत्काल परिणामों को देखने और मशीन को सही दिशा में धकेलने की आवश्यकता है। यह बहुत अधिक डेटा-कुशल (data-efficient) है।

4. ट्विस्ट: मानक PPO क्यों विफल हुआ

लेखकों ने मानक PPO का उपयोग करने की कोशिश की, लेकिन वह विफल रहा।

विफलता: मानक PPO एक एकल सर्वश्रेष्ठ परिणाम (सबसे ऊँची चोटी) खोजने के लिए डिज़ाइन किया गया है। यदि आप केवल फैक्ट्री को "सबसे स्वादिष्ट व्यंजन बनाएं" कहते हैं, तो वह विविधता बनाना बंद कर देगी और केवल वही एक व्यंजन बनाती रहेगी जो सबसे अच्छा स्वाद देता है। यह एक ही मोड (mode) में सिमट जाता है।
लापता सामग्रियां: लेखकों ने महसूस किया कि विविधता के लिए (सैंपलिंग के लिए) PPO को काम करने के लिए दो विशिष्ट चीजों की कमी थी:
1. "बैकवर्ड" सुराग: आपको मशीन को न केवल अंत में मिलने वाले इनाम के बारे में बताना होगा, बल्कि इस बारे में भी कि वह वहां तक कैसे पहुंची (इतिहास)। यह शेफ को बताने जैसा है, "न केवल केक अच्छा है, बल्कि जिस तरह से आपने अंडे फेंटे थे वह भी महत्वपूर्ण था।"
2. "एन्ट्रॉपी" बोनस: आपको मशीन को स्पष्ट रूप से अनिश्चित होने या अन्वेषण (exploration) करने के लिए पुरस्कृत करना चाहिए। यदि मशीन बहुत अधिक आत्मविश्वासी है, तो आप उसे दंडित करते हैं। यह उसे विभिन्न पथों का पता लगाने के लिए मजबूर करता है बजाय इसके कि वह एक ही पथ पर टिक जाए।

5. समाधान: "Ent-PPO"

पेपर में Ent-PPO (एन्ट्रोपिक प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन) पेश किया गया है। यह कोच का एक कस्टम-ट्यून किया गया संस्करण है।

यह कैसे काम करता है: यह मानक PPO के "क्लिपिंग" तंत्र (जो कोच को बहुत अधिक उग्र और अस्थिर सलाह देने से रोकता है) को एक नए गणितीय "ट्रस्ट रीजन" के साथ जोड़ता है जो एन्ट्रॉपी बोनस से प्राप्त होता है।
परिणाम: यह नया कोच सफलतापूर्वक फैक्ट्री को उच्च-गुणवत्ता वाले विविध आइटमों का मिश्रण बनाने के लिए सिखाता है जो आपके लक्षित वितरण से पूरी तरह मेल खाता है।

6. परिणाम: तेज़ और बेहतर

लेखकों ने कई "प्लेग्राउंड्स" पर इसका परीक्षण किया:

सिंथेटिक ग्रिड्स: सरल डिजिटल भूलभुलैया।
डीएनए अनुक्रम: डीएनए के ऐसे स्ट्रिंग्स बनाना जो विशिष्ट प्रोटीनों से जुड़ते हैं।
अणु (Molecules): रासायनिक संरचनाएं उत्पन्न करना।

निष्कर्ष:

गति: Ent-PPO पुराने "मैपमेकर" तरीकों (जैसे Trajectory Balance या Detailed Balance) की तुलना में बहुत तेजी से सीखा।
दक्षता: इसे काम पूरा करने के लिए बहुत कम प्रयासों (samples) की आवश्यकता पड़ी।
स्थिरता: पुराने तरीके अक्सर अटक जाते थे या खराब परिणाम देते थे यदि गणित एकदम सटीक नहीं होता। Ent-PPO मजबूत और स्थिर था, भले ही समस्याएँ बहुत बड़ी और जटिल (जैसे पूर्ण आणविक ग्राफ उत्पन्न करना) हो गईं।

सारांश

यह पेपर अनिवार्य रूप से कह रहा है: "हमने बड़े भाषा मॉडल (LLMs) के लिए उपयोग किए जाने वाले एक शक्तिशाली प्रशिक्षण उपकरण (PPO) को लिया, दो विशिष्ट बग्स को ठीक किया जो इसे 'सैंपलिंग' कार्यों में विफल बना रहे थे, और यह साबित किया कि यह अब अणुओं और डीएनए जैसे विविध, जटिल संरचनाओं को उत्पन्न करने के लिए सबसे अच्छा तरीका है, जो पिछले अत्याधुनिक (state-of-the-art) तरीकों को भी पीछे छोड़ देता है।"

उन्होंने केवल इसे करने का एक नया तरीका नहीं खोजा; उन्होंने एक ऐसा तरीका खोजा जो तेज़ है, कम डेटा का उपयोग करता है, और अधिक स्थिर है, जिससे यह जटिल डिस्क्रीट डेटा उत्पन्न करने वाले किसी भी व्यक्ति के लिए एक महत्वपूर्ण अपग्रेड बन जाता है।

तकनीकी सारांश: एमोर्टाइज्ड डिस्क्रीट सैंपलिंग के लिए प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन

समस्या विवरण (Problem Statement)

यह शोध पत्र एक प्रायिकता वितरण $p(x) = R(x)/Z$ से नमूना लेने (sampling) के कार्य को संबोधित करता है, जहाँ $R(x)$ एक धनात्मक रिवॉर्ड फंक्शन है और $Z$ एक अज्ञात नॉर्मलाइजिंग कांस्टेंट है। यह समस्या सांख्यिकीय भौतिकी (statistical physics), बेयसियन सांख्यिकी और कम्प्यूटेशनल बायोलॉजी जैसे क्षेत्रों में उत्पन्न होती है। लेखक जेनरेटिव फ्लो नेटवर्क्स (GFlowNets) पर ध्यान केंद्रित करते हैं, जो एक निर्देशित अचक्रीय ग्राफ (Directed Acyclic Graph - DAG) पर एक अनुक्रमिक प्रक्रिया के रूप में वस्तुओं $x$ के निर्माण को मॉडल करते हैं। लक्ष्य एक स्टोकेस्टिक फॉरवर्ड पॉलिसी $P_F$ को इस DAG के माध्यम से नेविगेट करने के लिए प्रशिक्षित करना है ताकि टर्मिनल स्टेट्स का वितरण $p(x)$ से मेल खाए।

GFlowNet प्रशिक्षण मुख्य रूप से वैल्यू-आधारित उद्देश्यों (जैसे Trajectory Balance, Detailed Balance) द्वारा संचालित रहा है, लेकिन लेखक नोट करते हैं कि प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) जैसे पॉलिसी ग्रेडिएंट मेथड्स, बड़े पैमाने के सुदृढीकरण शिक्षण (Reinforcement Learning - RL) और डिफ्यूजन मॉडल पोस्ट-ट्रेनिंग में उनके प्रभुत्व के बावजूद, इस संदर्भ में कम खोजे गए हैं।

कार्यप्रणाली (Methodology)

सैद्धांतिक आधार: सॉफ्ट RL के रूप में GFlowNets

यह कार्य पूर्व साहित्य [42, 7] में स्थापित GFlowNets और एन्ट्रॉपी-रेगुलराइज्ड RL के बीच सैद्धांतिक संबंध पर आधारित है। डिस्काउंट फैक्टर $\gamma=1$ और एन्ट्रॉपी गुणांक $\alpha=1$ सेट करके, लेखक यह प्रदर्शित करते हैं कि GFlowNet सैंपलिंग समस्या एक RL सेटिंग में सॉफ्ट वैल्यू फंक्शन को अधिकतम करने के समकक्ष है।

रिवॉर्ड संरचना: महत्वपूर्ण रूप से, प्रति-चरण रिवॉर्ड को गैर-टर्मिनल ट्रांजिशन के लिए $r(s_t, s_{t+1}) = \log P_B(s_t | s_{t+1})$ के रूप में परिभाषित किया गया है, जहाँ $P_B$ एक बैकवर्ड पॉलिसी है, और टर्मिनल स्टेट्स पर $r(s_T) = \log R(s_T)$ है।
सॉफ्ट पॉलिसी इम्प्रूवमेंट: इस सॉफ्ट-RL उद्देश्य के लिए इष्टतम पॉलिसी, लक्ष्य सैंपलिंग वितरण $R(x)/Z$ के साथ मेल खाती है।

Ent-PPO: एक नवीन पॉलिसी ग्रेडिएंट एल्गोरिदम

यह शोध पत्र Ent-PPO (एन्ट्रोपिक प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन) को व्युत्पन्न करता है, जो GFlowNets के सॉफ्ट-RL फॉर्मूलेशन के अनुकूल रूपांतरित PPO का एक संस्करण है। इसका व्युत्पत्ति उन दो महत्वपूर्ण घटकों को उजागर करता है जो अक्सर GFlowNets के साधारण अनुप्रयोगों में अनुपस्थित होते हैं:

सही रिवॉर्ड फॉर्मूलेशन: मध्यवर्ती रिवॉर्ड्स $\log P_B$ होने चाहिए (जैसा कि ऊपर परिभाषित है) ताकि सॉफ्ट-RL ऑप्टिमम को सैंपलिंग टारगेट के साथ संरेखित किया जा सके। इसके बिना, उद्देश्य मानक RL में बदल जाता है जिसमें स्पार्स रिवॉर्ड्स होते हैं, जो पूर्ण वितरण के बजाय $\arg\max_x R(x)$ (मोड कोलैप्स) के लिए अनुकूलन करता है।
एनालिटिक KL ट्रस्ट रीजन: मानक PPO के विपरीत, जो एक ह्यूरिस्टिक एन्ट्रॉपी बोनस $c_2 H(\pi)$ $c_{2} H (π)$ जोड़ता है, Ent-PPO सीधे सॉफ्ट पॉलिसी इम्प्रूवमेंट थ्योरम से एक एनालिटिक KL पेनल्टी व्युत्पन्न करता है।
- सरोगेट ऑब्जेक्टिव को क्रॉस-एन्ट्रॉपी टर्म (सॉफ्ट एडवांटेज परिभाषा से) और एन्ट्रॉपी टर्म को जोड़कर व्युत्पन्न किया गया है।
- इसके परिणामस्वरूप प्रति-चरण लॉस होता है: $\ell_t(\theta) = \text{PPOClip}(\rho_t, \hat{A}_t) - \text{KL}(\pi_\theta(\cdot|s_t) \parallel \pi_{\text{old}}(\cdot|s_t))$ ।
- KL टर्म एक ट्रस्ट रीजन के रूप में कार्य करता है जो सॉफ्ट-RL फॉर्मूलेशन के भीतर अंतर्निहित है, जो एक अलग, ट्यून करने योग्य एन्ट्रॉपी गुणांक की आवश्यकता को समाप्त करता है।

वेरिएंस रिडक्शन (Variance Reduction)

लेखक इस ढांचे के भीतर वैनिला पॉलिसी ग्रेडिएंट (VPG) बेसलाइन के लिए वेरिएंस रिडक्शन तकनीकों का व्यवस्थित मूल्यांकन करते हैं:

एस्टिमेटर्स: वे सबसे सरल पॉलिसी ग्रेडिएंट, रिवॉर्ड-टू-गो, लर्नड वैल्यू बेसलाइन के साथ रिवॉर्ड-टू-गो, और GAE (Generalized Advantage Estimation), तथा Subtrajectory Evaluation Balance (SubEB-GAE) की तुलना करते हैं।
निष्कर्ष: GAE को एक लर्नड वैल्यू बेसलाइन के साथ सबसे प्रभावी रणनीति के रूप में पहचाना गया है, जो सरल एस्टिमेटर्स की तुलना में बेहतर बायस-वेरिएंस ट्रेड-ऑफ प्रदान करता है और कन्वर्जेंस स्पीड एवं स्थिरता में महत्वपूर्ण सुधार करता है।

मुख्य योगदान (Key Contributions)

GFlowNets के लिए मानक पॉलिसी ग्रेडिएंट्स का व्युत्पत्ति: लेखक एन्ट्रॉपी-रेगुलराइज्ड RL फ्रेमवर्क के तहत डिस्क्रीट सैंपलर्स के लिए मानक पॉलिसी ग्रेडिएंट उद्देश्यों को व्युत्पन्न करते हैं, और स्थिर प्रशिक्षण के लिए वेरिएंस रिडक्शन तकनीकों (बेसलाइन्स और एडवांटेज एस्टीमेशन) के महत्व को प्रयोगात्मक रूप से मान्य करते हैं।
Ent-PPO एल्गोरिदम: वे Ent-PPO का प्रस्ताव करते हैं, जो GFlowNets के लिए PPO का पहला सफल अनुप्रयोग है। इसका व्युत्पत्ति स्पष्ट रूप से आवश्यक मध्यवर्ती रिवॉर्ड्स ( $\log P_B$ ) और एनालिटिक KL ट्रस्ट रीजन की पहचान करता है।
प्रायोगिक सत्यापन: शोध पत्र सिंथेटिक ग्रिड से लेकर जटिल आणविक ग्राफ जनरेशन तक, विभिन्न बेंचमार्क पर अपने तरीकों का मूल्यांकन करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक अपने तरीकों का मूल्यांकन कई वातावरणों पर करते हैं:

सिंथेटिक/लघु-स्तरीय: Hypergrid, TFBind8 (DNA सीक्वेंस), और String QM9।
बड़े पैमाने पर: sEH (फ्रेगमेंट-आधारित आणविक ग्राफ) और QM9 (एटम-बाय-एटम आणविक ग्राफ)।

मुख्य निष्कर्ष:

बेसलाइन्स पर श्रेष्ठता: Ent-PPO छोटे समस्याओं पर कम टोटल वेरिएशन (TV) डिस्टेंस और बड़े आणविक समस्याओं पर बेहतर एविडेंस लोअर बाउंड (ELBO) / एविडेंस अपर बाउंड (EUBO) प्राप्त करता है, जो DB, TB, और SubTB की तुलना में बेहतर है।
सैंपल एफिशिएंसी: Ent-PPO प्रति बैच $K > 1$ अपडेट एपोच का लाभ उठाता है, जो बेहतर सैंपल एफिशिएंसी और कन्वर्जेंस स्पीड दिखाता है, जो बड़े पैमाने के RL में एक सामान्य लक्षण है लेकिन पहले GFlowNets में अनएक्सप्लोर्ड था।
सुधारों की आवश्यकता:
- KL पेनल्टी: KL टर्म को हटाने (नेइव PPO में वापस जाने) से प्रशिक्षण कोलैप्स हो जाता है या अस्थिर हो जाता है, विशेष रूप से मल्टीपल अपडेट एपोच के साथ। सही सॉफ्ट-RL उद्देश्य बनाए रखते हुए व्यवहार नीति (behavior policy) से बहुत दूर जाने से रोकने के लिए KL टर्म आवश्यक है।
- क्लिपिंग (Clipping): PPO क्लिपिंग मैकेनिज्म को हटाने से (KL टर्म को बनाए रखते हुए भी) विचलन (divergence) होता है, जो दर्शाता है कि केवल एनालिटिक KL ही इम्पोर्टेंस रेशियो के उतार-चढ़ाव को सीमित करने के लिए पर्याप्त नहीं है।
बैकवर्ड पॉलिसी लर्निंग: हालांकि Ent-PPO स्वाभाविक रूप से ऑफ-पॉलिसी ऑब्जेक्टिव्स की तरह जॉइंट फॉरवर्ड-बैकवर्ड लर्निंग का समर्थन नहीं करता है, लेखक दिखाते हैं कि बैकवर्ड पॉलिसी को अलग से सीखने के लिए Trajectory Likelihood Maximization (TLM) का उपयोग करने से कन्वर्जेंस काफी तेज हो जाता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि Ent-PPO आधुनिक, स्केलेबल पॉलिसी ग्रेडिएंट मेथड्स और डिस्क्रीट सैंपलिंग की विशिष्ट आवश्यकताओं के बीच के अंतर को पाटकर GFlowNet प्रशिक्षण में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

सैद्धांतिक कठोरता: यह कार्य प्रथम सिद्धांतों (first principles) के एंट्रॉपी-रेगुलराइज्ड RL से आवश्यक रिवॉर्ड स्ट्रक्चर और ट्रस्ट रीजन को कठोरता से व्युत्पन्न करके GFlowNets पर PPO के पिछले प्रयासों को सुधारता है।
व्यावहारिक प्रभाव: परिणाम बताते हैं कि यदि ठीक से अनुकूलित किया जाए, तो पॉलिसी ग्रेडिएंट मेथड्स प्रमुख वैल्यू-आधारित GFlowNet उद्देश्यों से बेहतर प्रदर्शन कर सकते हैं, विशेष रूप से कन्वर्जेंस स्पीड और डेटा एफिशिएंसी के मामले में।
स्केलेबिलिटी: Ent-PPO की मल्टीपल अपडेट एपोच का लाभ उठाने और जटिल आणविक जनरेशन कार्यों (QM9) तक स्केल करने की क्षमता, GFlowNets को बड़े और अधिक जटिल समस्याओं पर लागू करने की दिशा में एक मार्ग सुझाती है जहाँ पारंपरिक वैल्यू-आधारित मेथड्स क्रेडिट असाइनमेंट या पार्टिशन फंक्शन एस्टीमेशन में संघर्ष कर सकते हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि उनका तरीका वर्तमान में डिस्क्रीट डोमेन पर केंद्रित है, सॉफ्ट-RL फ्रेमवर्क भविष्य में निरंतर (continuous) सैंपलिंग डोमेन के लिए पॉलिसी ग्रेडिएंट मेथड्स को अनुकूलित करने हेतु एक आशाजनक दिशा प्रदान करता है।