🤖 machine learning

Value-Free Policy Optimization via Reward Partitioning

यह शोध पत्र रिवॉर्ड पार्टीशन ऑप्टिमाइज़ेशन (RPO) को प्रस्तुत करता है, जो एक सरल और स्केलेबल सिंगल-ट्रैजेक्टरी प्रेफरेंस लर्निंग विधि है जो प्रॉम्प्ट-लेवल डिस्ट्रीब्यूशन के माध्यम से रिवॉर्ड्स को नॉर्मलाइज़ करके वैल्यू फंक्शन एस्टीमेशन की आवश्यकता को समाप्त करती है, जिससे यह DRO और KTO जैसे मौजूदा बेसलाइन्स की तुलना में बेहतर एलाइनमेंट, डाइवर्सिटी और स्टेबिलिटी प्राप्त करती है।

मूल लेखक: Bilal Faye, Hanane Azzag, Mustapha Lebbah

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bilal Faye, Hanane Azzag, Mustapha Lebbah

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट शेफ को एक आदर्श भोजन बनाना सिखा रहे हैं। अतीत में, इसे करने के दो मुख्य तरीके थे, और दोनों में बड़ी समस्याएँ थीं।

पुराने तरीके: "स्वाद परीक्षण" (Taste Test) और "गॉरमेट जज" (Gourmet Judge)

"स्वाद परीक्षण" (Pairwise Preferences):
पारंपरिक रूप से, शेफ को सिखाने के लिए, आप उन्हें एक ही ऑर्डर के लिए दो अलग-अलग व्यंजन देते (जैसे, दो अलग-अलग लाज़ानिया) और एक इंसान से पूछते, "इनमें से कौन सा बेहतर है?" रोबोट तुलना करके सीखता है।

समस्या: जैसे-जैसे रोबोट बेहतर होता जाता है, इंसानों के लिए दो अच्छे लाज़ानिया के बीच अंतर बताना अविश्वसनीय रूप से कठिन हो जाता है। यह एक खाद्य आलोचक को दो 5-स्टार भोजन के बीच चुनाव करने के लिए कहने जैसा है; यह थकाऊ, महंगा और धीमा है।

"गॉरमेट जज" (Reward Models + Reinforcement Learning):
एक अन्य विधि में एक "गॉरमेट जज" (एक अलग AI) को काम पर रखना शामिल है जो भोजन का स्वाद लेता है और उसे 1 से 10 तक एक स्कोर देता है। रोबोट उन व्यंजनों को पकाने की कोशिश करता है जिन्हें उस जज से उच्चतम स्कोर मिलता है।

समस्या: जज गलत हो सकता है, या रोबोट जज को "गेम" करने की कोशिश कर सकता है—यानी अजीब, जहरीले या निरर्थक व्यंजन बनाकर उच्च स्कोर प्राप्त करने की कोशिश कर सकता है। यह बहुत अधिक कम्प्यूटेशनल रूप से महंगा और अस्थिर है, जैसे हवा के तूफान में ताश के पत्तों के घर को संतुलित करने की कोशिश करना।

नया तरीका: RPO (रिवॉर्ड पार्टीशनिंग ऑप्टिमाइजेशन)

लेखक इस नए, सरल तरीके को पेश करते हैं जिसे RPO कहा जाता है। दो व्यंजनों की तुलना करने या एक अलग "जज" AI को नियुक्त करने के बजाय, RPO एक ही ऑर्डर के लिए रोबोट द्वारा बनाए गए सभी व्यंजनों को देखता है और उस विशिष्ट ऑर्डर की "औसत गुणवत्ता" का पता लगाता है।

यहाँ बताया गया है कि RPO कैसे काम करता है, एक सरल उपमा का उपयोग करते हुए:

"कक्षा ग्रेड" की उपमा

कल्पना कीजिए कि एक शिक्षक (रोबोट) निबंधों को ग्रेड दे रहा है।

पुराना तरीका (DRO): शिक्षक हर उस निबंध के लिए "परफेक्ट स्कोर" का अनुमान लगाने की कोशिश करता है जो वह लिख रहा है, इससे पहले कि वह उसे पूरा भी कर ले। उसे निबंध लिखने के साथ-साथ इस "परफेक्ट स्कोर" का अनुमान भी लगाना पड़ता है। यह भ्रमित करने वाला है और इससे गलतियाँ होती हैं।
RPO का तरीका: शिक्षक एक विशिष्ट प्रॉम्प्ट (जैसे, "बिल्ली के बारे में एक कहानी लिखें") के लिए लिखे गए सभी निबंधों को देखता है।
- कुछ निबंध बहुत खराब हैं (स्कोर 2)।
- कुछ ठीक-ठाक हैं (स्कोर 5)।
- कुछ अद्भुत हैं (स्कोर 9)।
- RPO उन सभी कहानियों की औसत गुणवत्ता की गणना करता है।
- यदि रोबोट उस प्रॉम्प्ट के लिए औसत से बेहतर कहानी लिखता है, तो उसे "थम्स अप" मिलता है और वह इसे फिर से करना सीखता है।
- यदि वह लिखता है जो उस प्रॉम्प्ट के लिए औसत से खराब है, तो उसे "थम्स डाउन" मिलता है और वह बदलना सीखता है।

जादुई ट्रिक: RPO को यह जानने के लिए किसी अलग "जज" AI की आवश्यकता नहीं है कि औसत क्या है। यह बस उस डेटा को देखता है जो उसके पास पहले से है (प्रॉम्प्ट, रिस्पॉन्स और स्कोर) और उस औसत को खोजने के लिए एक त्वरित गणितीय गणना करता है। यह प्रशिक्षण प्रक्रिया को बहुत तेज़, स्थिर और कम पागलपन भरा बनाता है।

उन्होंने क्या पाया?

शोधकर्ताओं ने इस नए तरीके का परीक्षण कई अलग-अलग प्रकार के AI मॉडल (दोनों पढ़ने और लिखने वाले, और केवल लिखने वाले) पर किया। यहाँ हुआ:

बेहतर परिणाम: RPO-प्रशिक्षित रोबोटों ने पुराने तरीकों से प्रशिक्षित रोबोटों की तुलना में अधिक मददगार, अधिक विविध (कम दोहराव वाले) और सुरक्षित (कम जहरीले) प्रतिक्रियाएँ लिखीं।
स्थिरता: जहाँ पुराने तरीके कभी-कभी रोबोट के व्यवहार को बहुत अधिक उतार-चढ़ाव वाला बना देते थे (जैसे नियंत्रण खोते हुए कार), वहीं RPO ने रोबोट को एक सुचारू, स्थिर पथ पर रखा।
गति: RPO का उपयोग करके रोबोट को प्रशिक्षित करने में कम समय लगा।
मजबूती (Robustness): भले ही निबंधों को दिए गए स्कोर थोड़े "नॉइजी" या अपूर्ण थे (जैसे किसी इंसान का बुरा दिन होना), RPO फिर भी अच्छी तरह से काम करता रहा। यह टूटा नहीं।

कमी (सीमाएँ)

पेपर ईमानदारी से बताता है कि RPO कहाँ संघर्ष कर सकता है:

आपको भीड़ चाहिए: उस "औसत" की गणना करने के लिए, आपको एक ही प्रॉम्प्ट के लिए कई अलग-अलग प्रतिक्रियाएं देखनी होंगी। यदि आपके पास एक प्रॉम्प्ट के लिए केवल एक प्रतिक्रिया है, तो RPO अपना जादुई गणित नहीं कर सकता।
कचरा अंदर, कचरा बाहर (Garbage In, Garbage Out): यदि स्कोर (रिवॉर्ड्स) पूरी तरह से गलत या दूषित हैं, तो यह विधि संघर्ष करेगी, हालांकि यह पुराने तरीकों की तुलना में छोटी गलतियों को बेहतर ढंग से संभालती है।

निष्कर्ष

यह पेपर प्रस्तावित करता है कि RPO AI को मददगार बनाने के लिए सिखाने का एक स्मार्ट और सरल तरीका है। दो विकल्पों की तुलना करने के लिए इंसानों से पूछने या "परफेक्ट स्कोर" का अनुमान लगाने के लिए एक जटिल प्रणाली बनाने के बजाय, RPO बस एक प्रश्न के उत्तरों के पूरे समूह को देखता है, औसत निकालता है, और AI को उस औसत से ऊपर उठने के लिए सिखाता है। यह मानव प्राथमिकताओं के साथ AI को संरेखित करने का एक अधिक स्थिर, कुशल और प्रभावी तरीका है।

तकनीकी सारांश: रिवॉर्ड पार्टिशनिंग के माध्यम से वैल्यू-फ्री पॉलिसी ऑप्टिमाइज़ेशन

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) को मानवीय प्राथमिकताओं के साथ संरेखित (align) करने के लिए आमतौर पर 'रिनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक' (RLHF) या 'डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन' (DPO) पर निर्भर किया जाता है। हालाँकि, ये प्रतिमान महत्वपूर्ण स्केलेबिलिटी और स्थिरता संबंधी चुनौतियों का सामना करते हैं:

RLHF के लिए युग्मवार प्राथमिकताओं (pairwise preferences) के महंगे मानव एनोटेशन, एक अलग रिवॉर्ड मॉडल (RM) के प्रशिक्षण, और अस्थिर रिनफोर्समेंट लर्निंग लूप्स (जैसे PPO) की आवश्यकता होती है जो सैंपल-अक्षम (sample-inefficient) और हाइपरपैरामीटर के प्रति संवेदनशील होते हैं।
Direct Preference Optimization (DPO-शैली) विधियाँ स्पष्ट RM और RL लूप को समाप्त कर देती हैं, लेकिन उन्हें क्यूरेटेड युग्मवार प्राथमिकता डेटा की आवश्यकता होती है। जैसे-जैसे मॉडल बेहतर होते हैं, उच्च गुणवत्ता वाली प्रतिक्रियाओं के बीच अंतर करना कठिन होता जाता है, जिससे एनोटेशन लागत बढ़ जाती है।
सिंगल-ट्रैजेक्टरी लर्निंग एक व्यावहारिक विकल्प प्रदान करती है, जो $(prompt, response, scalar\_reward)$ टुपल्स का उपयोग करती है (जैसे थम्स अप/डाउन)। हालाँकि, इस सेटिंग के लिए मौजूदा विधियाँ, जैसे कि Direct Reward Optimization (DRO), एक पॉलिसी और एक वैल्यू फंक्शन को संयुक्त रूप से सीखने पर निर्भर करती हैं। यह संयुक्त अनुकूलन (joint optimization) वेरिएंस, अस्थिरता और ऑफ-पॉलिसी डेटा के प्रति संवेदनशीलता पेश करता है, क्योंकि वैल्यू एस्टीमेशन में त्रुटियाँ पॉलिसी ट्रेनिंग को पक्षपाती बना सकती हैं।

मूल समस्या एक ऐसे स्थिर, स्केलेबल और सरल तरीके की आवश्यकता है जो किसी सहायक वैल्यू फंक्शन को सीखने की जटिलता या अस्थिरता के बिना सीधे स्केलर रिवॉर्ड डेटा से पॉलिसी को ऑप्टिमाइज़ कर सके।

कार्यप्रणाली: रिवॉर्ड पार्टिशनिंग ऑप्टिमाइज़ेशन (RPO)

लेखक Reward Partitioning Optimization (RPO) का प्रस्ताव करते हैं, जो एक वैल्यू-फ्री ऑब्जेक्टिव है। यह KL रेगुलराइजेशन के तहत इष्टतम पॉलिसी के विश्लेणात्मक रूप का लाभ उठाकर एक सीखे गए वैल्यू फंक्शन की आवश्यकता को समाप्त करता है।

सैद्धांतिक आधार

KL-रेगुलराइज्ड रिवॉर्ड मैक्सिमाइजेशन के तहत इष्टतम पॉलिसी फॉर्मुलेशन से शुरू करते हुए:
$\pi^*(y|x) = \pi_{ref}(y|x) \exp\left(\frac{1}{\tau} (r(x, y) - V^*(x))\right)$
जहाँ $V^*(x)$ एक सॉफ्ट वैल्यू फंक्शन है जो रिवॉर्ड्स को नॉर्मलाइज़ करने के लिए पार्टीशन फंक्शन के रूप में कार्य करता है। पारंपरिक विधियाँ $V^*(x)$ को एक अलग न्यूरल नेटवर्क का उपयोग करके DRO करती हैं, जिससे पॉलिसी ( $\pi_\theta$ ) और वैल्यू ( $V_\phi$ ) का युग्मित अनुकूलन होता है।

RPO इसे बायपास करता है और डेटा से सीधे पार्टीशन फंक्शन का अनुभवजन्य अनुमान (empirically estimating) लगाता है। एक दिए गए प्रॉम्प्ट $x$ के लिए, यह पार्टीशन फंक्शन $\hat{Z}(x)$ की गणना करने के लिए डेटासेट में उपलब्ध सभी प्रतिक्रियाओं $y_j$ को एकत्रित करता है:
$\hat{Z}(x) = \sum_{j \in I_x} \pi_{ref}(y_j|x) \exp\left(\frac{1}{\tau} r(x, y_j)\right)$
जहाँ $I_x$ प्रॉम्प्ट $x$ वाले सैंपल्स का सेट है। इसके बाद अनुभवजन्य वैल्यू $\hat{V}(x) = \tau \log \hat{Z}(x)$ होती है।

ऑप्टिमाइज़ेशन ऑब्जेक्टिव

RPO लर्निंग टास्क को सीखे गए पॉलिसी और रेफरेंस पॉलिसी के लॉग-रेशियो पर सीधे रिग्रेशन के रूप में स्वरूपित करता है। लॉस फंक्शन प्रेडिक्टेड लॉग-रेशियो और सेंटर्ड, स्केल्ड रिवॉर्ड के बीच स्क्वेर्ड एरर को कम करता है:
$\mathcal{L}_{RPO}(\theta) = \frac{1}{2} \mathbb{E}_{(x,y,r) \sim D} \left[ \left( \log \frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)} - \frac{1}{\tau}(r(x, y) - \hat{V}(x)) \right)^2 \right]$

इस पद्धति की मुख्य विशेषताएं शामिल हैं:

वैल्यू-फ्री: कोई सहायक वैल्यू नेटवर्क प्रशिक्षित नहीं किया जाता है; $\hat{V}(x)$ की गणना रेफरेंस पॉलिसी और देखे गए रिवॉर्ड्स से ऑन-द-फ्लाई की जाती है।
स्थिर ग्रेडिएंट्स: ग्रेडिएंट अपडेट केवल पॉलिसी पैरामीटर्स पर निर्भर करता है, जिससे सीखे गए वैल्यू एस्टीमेटर के माध्यम से बैकप्रोपैगेशन से बचा जा सकता है।
ऑफलाइन अनुकूलता: यह पद्धति पूरी तरह से ऑफलाइन है और बिना किसी ऑनलाइन RL लूप के बड़े डेटासेट्स तक स्केल हो सकती है।

मुख्य योगदान

RPO का प्रस्ताव: एक नया सिंगल-ट्रैजेक्टरी पॉलिसी ऑप्टिमाइज़ेशन मेथड जो वैल्यू एस्टीमेशन को अनुभवजन्य रिवॉर्ड नॉर्मलाइजेशन से बदल देता है।
DRO का विश्लेषण: Direct Reward Optimization की आलोचना, जो जॉइंट पॉलिसी-वैल्यू ऑप्टिमाइज़ेशन के कारण होने वाली अस्थिरता को उजागर करती है।
औपचारिक व्युत्पत्ति (Formal Derivation): एक प्रमाण जो दिखाता है कि RPO पार्टीशन फंक्शन फॉर्मुलेशन का लाभ उठाकर इष्टतम पॉलिसी संरचना का अनुमान लगाता है।
व्यापक मूल्यांकन: एन्कोडर-डिकोडर (Flan-T5) और डिकोडर-ओनली (Mistral, LLaMA, Qwen) आर्किटेक्चर पर व्यापक प्रयोग, जो SFT, KTO और DRO की तुलना में निरंतर श्रेष्ठता प्रदर्शित करते हैं।

प्रयोगात्मक परिणाम

लेखकों ने UltraFeedback डेटासेट और कई बेंचमार्क्स (AlpacaEval, MT-Bench, IFEval, GSM8K) पर RPO का मूल्यांकन किया।

इन-डोमेन प्रदर्शन (UltraFeedback)

मेट्रिक्स: RPO ने ऑटोमैटिक मेट्रिक्स (BERTScore, ROUGE-L, Distinct-2) और सुरक्षा (Toxicity) पर लगातार SFT, KTO और DRO को पछाड़ दिया।
LLM-as-a-Judge: GPT-4o और Claude-3.5 द्वारा मूल्यांकन किए जाने पर RPO ने बेसलाइन्स के मुकाबले उच्च विन रेट (win rates) प्राप्त किए।
स्थिरता: KL डाइवर्जेंस विश्लेषण ने दिखाया कि RPO सुचारू, नियंत्रित प्रक्षेपवक्र (trajectories) बनाए रखता है, जबकि DRO में तीव्र डाइवर्जेंस वृद्धि देखी गई (विशेष रूप से डिकोडर-ओनली मॉडल्स में) और KTO में दोलन (oscillations) देखे गए।
दक्षता: RPO ने सभी मॉडल स्केल्स पर DRO और KTO की तुलना में तेज़ अभिसरण (convergence) और कम प्रशिक्षण समय प्रदर्शित किया।

आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सामान्यीकरण

RPO ने मजबूत लेकिन कार्य-निर्भर सुधार दिखाए। लाभ मुख्य रूप से इंस्ट्रक्शन-फॉलोइंग बेंचमार्क्स (AlpacaEval, IFEval) में स्पष्ट थे।
रीजनिंग टास्क (GSM8K) और मल्टी-टर्न कन्वर्सेशन (MT-Bench) पर प्रदर्शन निरंतर लेकिन अधिक मध्यम सुधार दिखाता है, जो मॉडल फैमिली के अनुसार भिन्न होता है।

एब्लेशन स्टडीज (Ablation Studies)

तापमान ( $\tau$ ): यह विधि मध्यम स्मूथिंग ( $\tau=5.0$ ) के लिए मजबूत है लेकिन बहुत शार्प स्केलिंग ( $\tau=0.1$ ) के साथ प्रदर्शन में भारी गिरावट आती है, जिससे अस्थिर अनुकूलन होता है।
अनुभवजन्य नॉर्मलाइजेशन ( $\hat{V}(x)$ ): प्रॉम्प्ट-लेवल रिवॉर्ड नॉर्मलाइजेशन को हटाने से सिमेंटिक समानता, विविधता और सुरक्षा में निरंतर गिरावट आई, जो रिवॉर्ड स्केल्स को स्थिर करने में इसकी महत्वपूर्ण भूमिका की पुष्टि करता है।
डेटा घनत्व (Dataset Density): प्रति प्रॉम्प्ट उपलब्ध कंप्लीशन्स की संख्या कम होने पर प्रदर्शन गिर जाता है, जहाँ 25% डेंसिटी सेटिंग में गुणवत्ता में बड़ी गिरावट देखी गई। यह सटीक पार्टीशन एस्टीमेशन के लिए प्रति प्रॉम्प्ट विविध रिवॉर्ड डिस्ट्रीब्यूशन पर इसकी निर्भरता को रेखांकित करता है।
शोर के प्रति मजबूती (Noise Robustness): RPO मध्यम रिवॉर्ड शोर ( $\sigma=0.1, 0.5$ ) के तहत स्थिर रहता है, लेकिन शोर की तीव्रता बढ़ने पर प्रदर्शन घटता है, हालांकि यह अत्यधिक भ्रष्टाचार ( $\sigma=1.0$ ) के तहत भी पूरी तरह विफल नहीं होता है।

महत्व और सीमाएं

पेपर का दावा है कि RPO मौजूदा एलाइनमेंट विधियों के लिए एक सरल, स्केलेबल और स्थिर विकल्प प्रदान करता है। वैल्यू फंक्शन लर्निंग को समाप्त करके, यह अनुकूलन जटिलता और वेरिएंस को कम करता है और पूर्ण रिवॉर्ड सुपरविजन प्रदान करता है। लेखक RPO को स्केलेबल प्रेफरेंस ऑप्टिमाइज़ेशन के लिए एक आशाजनक दिशा के रूप में देखते हैं, विशेष रूप से उन परिदृश्यों में जहाँ युग्मवार डेटा दुर्लभ है लेकिन स्केलर फीडबैक उपलब्ध है।

लेखकों द्वारा स्वीकार की गई सीमाएं:

डेटा आवश्यकताएं: RPO प्रभावी ढंग से पार्टीशन फंक्शन का अनुमान लगाने के लिए ग्रुप किए गए डेटा पर निर्भर करता है जहाँ एक ही प्रॉम्प्ट के लिए कई कंप्लीशन्स मौजूद हों। यदि प्रॉम्प्ट-लेवल विविधता अपर्याप्त है, तो प्रदर्शन गिर जाता है।
रिवॉर्ड की गुणवत्ता: मध्यम शोर के प्रति मजबूत होने के बावजूद, यह विधि रिवॉर्ड एनोटेशन की गुणवत्ता पर निर्भर है; गंभीर भ्रष्टाचार एलाइनमेंट को नकारात्मक रूप से प्रभावित करता है।
मूल्यांकन का दायरा: वर्तमान मूल्यांकन मुख्य रूप से इंस्ट्रक्शन-फॉलोइंग और एलाइनमेंट बेंचमार्क्स पर केंद्रित है। लेखक नोट करते हैं कि पूर्ण आकलन के लिए व्यापक डोमेन, बहुभाषी सेटिंग्स और लॉन्ग-होरिजन रीजनिंग कार्यों के लिए आगे के अध्ययन की आवश्यकता है।