💬 NLP

When Are Two RLHF Objectives the Same?

यह शोध पत्र ओपल (Opal) को प्रस्तुत करता है, जो एक कैनोनिकलाइजेशन एल्गोरिदम है जो RLHF प्राथमिकता उद्देश्यों की बीजगणितीय समानता (algebraic equivalence) को निर्धारित करता है, जिससे यह प्रकट होता है कि कई व्यापक रूप से उपयोग की जाने वाली विधियाँ वास्तव में एक ही अंतर्निहित लक्ष्य के पुनर्रूपण (reparameterizations) हैं, और साथ ही उन विशिष्ट संरचनात्मक तंत्रों की पहचान करता है जो वास्तव में भिन्न उद्देश्यों का निर्माण करते हैं।

मूल लेखक: Madhava Gaikwad

प्रकाशित 2026-02-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Madhava Gaikwad

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक नए व्यंजन के लिए रेसिपी को बेहतर बनाने की कोशिश कर रहे हैं। पिछले कुछ वर्षों में, सैकड़ों अन्य शेफों ने इस रेसिपी के अपने स्वयं के "बेहतर" संस्करण प्रकाशित किए हैं। कुछ कहते हैं कि उन्होंने मसाले बदल दिए, कुछ कहते हैं कि उन्होंने खाना पकाने का तापमान थोड़ा बदल दिया, और कुछ दावा करते हैं कि उन्होंने सामग्री को मिलाने का एक बिल्कुल नया तरीका खोज लिया है।

बड़ा सवाल यह है: क्या ये वास्तव में अलग रेसिपी हैं, या ये सिर्फ अलग नामों वाले एक ही व्यंजन हैं?

यह पेपर Opal नामक एक टूल पेश करता है (इसे एक "रेसिपी ट्रांसलेटर" या "फ्लेवर फिंगरप्रिंट स्कैनर" के रूप में सोचें) जो ठीक इसी सवाल का जवाब देने के लिए बनाया गया है, जो RLHF (मानवीय फीडबैक से सुदृढीकरण सीखना) नामक AI प्रशिक्षण विधियों पर लागू होता है।

यहाँ इस पेपर के निष्कर्षों का विवरण दिया गया, सरल उपमाओं का उपयोग करते हुए:

1. समस्या: बहुत सारे नाम, एक जैसा स्वाद

AI की दुनिया में, शोधकर्ताओं ने AI मॉडल को मानवीय प्राथमिकताओं का पालन करना सिखाने के तरीके के दर्जनों अलग-अलग प्रस्ताव दिए हैं। वे उन्हें DPO, SPPO, SimPO और GRPO जैसे फैंसी नाम देते हैं। प्रत्येक पेपर दावा करता है कि उनकी विधि एक "ब्रेकथ्रू" या "स्पष्ट रूप से बेहतर" है।

लेखकों ने सोचा: क्या ये वास्तव में अलग गणितीय लक्ष्य हैं, या ये केवल अलग भाषाओं में लिखा गया एक ही लक्ष्य है?

2. समाधान: Opal (द ट्रांसलेटर)

लेखकों ने Opal नामक एक एल्गोरिदम बनाया है। आप Opal को एक ऐसी मशीन के रूप में सोच सकते हैं जो दो अलग-अलग रेसिपी (गणितीय सूत्रों) को लेती है और उन्हें एक एकल, मानक "कैनोनिकल" भाषा में अनुवाद करने की कोशिश करती है।

यदि रेसिपी एक ही मानक भाषा में अनुवादित होती हैं: तो Opal कहता है, "ये एक ही हैं।" यह उन्हें एक ही "फिंगरप्रिंट" (एक हैश कोड) देता है।
यदि वे एक ही भाषा में अनुवादित नहीं हो सकतीं: तो Opal एक "विटनेस" (गवाह) प्रदान करता है। यह एक ठोस उदाहरण की तरह है जो दिखाता है कि वे क्यों अलग हैं। उदाहरण के लिए, "रेसिपी A में, यदि आप नमक डालते हैं, तो यह नमकीन लगता है। रेसिपी B में, नमक डालने से यह इस पर निर्भर करता है कि बर्तन में और क्या है, मीठा हो जाता है।"

3. बड़ी खोज: कई "नए" तरीके वास्तव में पुराने तरीकों का भेष बदलकर आए हैं

जब लेखकों ने 33 अलग-अलग विधियों पर Opal चलाया, तो उन्हें कुछ आश्चर्यजनक पता चला:

"DPO" परिवार: दस अलग-अलग विधियाँ (SPPO और Nash-MD सहित) प्रसिद्ध DPO विधि के बीजगणितीय रूप से समान (algebraically identical) निकलीं।
- उपमा: यह ऐसा है जैसे कोई "थर्मल फेज ट्रांजिशन" कहकर पानी उबालने का एक नया तरीका होने का दावा करे। यह वही उबलता हुआ पानी है, बस एक फैंसी नाम के साथ।
- परिणाम: DPO से SPPO पर स्विच करने से वास्तव में उस लक्ष्य में कोई बदलाव नहीं आता जिसे AI प्राप्त करने की कोशिश कर रहा है; यह केवल यह बदल देता है कि गणित कैसे लिखा जाता है।
"असली" नवाचार: केवल कुछ ही विधियाँ वास्तव में अलग थीं।
- GRPO (द बैच इफेक्ट): इस विधि का उपयोग प्रसिद्ध DeepSeek-R1 मॉडल द्वारा किया जाता है। Opal ने सिद्ध किया कि यह DPO से मौलिक रूप से भिन्न है।
  - उपमा: कल्पना कीजिए कि आप छात्रों को ग्रेड दे रहे हैं। मानक विधि (DPO) में, आप छात्र A को केवल उनके अपने टेस्ट स्कोर के आधार पर ग्रेड देते हैं। GRPO में, आप छात्र A को इस आधार पर ग्रेड देते हैं कि उन्होंने उस दिन कमरे में मौजूद अन्य छात्रों की तुलना में कैसा प्रदर्शन किया। यदि आप कमरे में एक जीनियस रखते हैं, तो छात्र A खराब दिखता है। यदि आप कमरे में एक संघर्ष कर रहे छात्र को रखते हैं, तो छात्र A बेहतर दिखता है। "बैच" के छात्रों के बदलने से ग्रेड बदल जाता है। Opal ने सिद्ध किया कि यह "बैच डिपेंडेंस" GRPO को एक पूरी तरह से अलग चीज़ बनाता है।
- KTO और अन्य: ये विधियाँ "जीत" और "हार" के साथ अलग तरह से व्यवहार करती हैं (जैसे एक जुआरी जो जीतने के आनंद से अधिक हारने के डर से ग्रस्त होता है)। यह विषमता उन्हें संरचनात्मक रूप से अद्वितीय बनाती है।

4. असली अंतर के लिए चार "गुप्त सामग्रियां"

पेपर पहचान करता है कि किसी विधि को वास्तव में नया (और केवल एक पुनरावृत्ति नहीं) होने के लिए, उसे चार नियमों में से एक को तोड़ना चाहिए। यदि यह एक नियम को नहीं तोड़ता है, तो यह संभवतः पुराने तरीके का ही एक रूप है।

ग्रुप नॉर्मलाइजेशन (Group Normalization): समूह में दूसरों के आधार पर स्कोर बदलना (जैसे GRPO)।
पेयर-डिपेंडेंट वेटिंग (Pair-Dependent Weighting): विशिष्ट उत्तरों के साथ उनके अद्वितीय गुणों के आधार पर अलग व्यवहार करना (जैसे KTO)।
टोकन-लेवल स्ट्रक्चर (Token-Level Structure): पूरे वाक्य के बजाय AI के उत्तर को शब्द-दर-शब्द देखना।
ट्रैजेक्टरी-लेवल (Trajectory-Level): AI द्वारा लिए गए निर्णयों के पूरे पथ को देखना, न कि केवल अंतिम उत्तर को।

5. अभ्यासकर्ताओं (Practitioners) के लिए इसका क्या अर्थ है

यदि आप एक इंजीनियर के रूप में कोई विधि चुनने की कोशिश कर रहे हैं:

नामों से धोखा न खाएं। यदि आप एक नई विधि देखते हैं जो DPO जैसी दिखती है लेकिन उसका विवरण फैंसी है, तो वह केवल टक्सीडो पहने हुए DPO हो सकती है।
"बैच" की जांच करें। यदि कोई विधि अपना व्यवहार इस आधार पर बदलती है कि प्रशिक्षण बैच में अन्य उदाहरण कौन से हैं, तो वह कुछ अनूठा कर रही है (जैसे GRPO)।
लक्ष्य वही है। भले ही गणित अलग दिखता हो, यदि Opal कहता है कि वे समान हैं, तो वे एक ही "परफेक्ट" AI व्यवहार को लक्षित करेंगे। हालांकि, वे अलग गति या अलग स्थिरता के साथ वहां तक पहुँच सकते हैं।

सारांश

यह पेपर AI क्षेत्र के लिए एक "रियलिटी चेक" है। यह फैंसी शब्दावली को हटाने के लिए एक गणितीय उपकरण (Opal) का उपयोग करता है और दिखाता है कि हाल के अधिकांश "नए" तरीके वास्तव में एक ही पुराने उद्देश्यों के अलग-अलग रूप हैं। वास्तविक नवाचार तभी होता है जब आप मौलिक रूप से बदलते हैं कि AI उत्तरों की तुलना कैसे करता है (जैसे पूरे समूह या पूरे पथ को देखना), न कि केवल तब जब आप बीजगणित को फिर से व्यवस्थित करते हैं।

तकनीकी सारांश: "दो RLHF उद्देश्य समान कब होते हैं?"

समस्या विवरण (Problem Statement)

मानवीय प्राथमिकताओं के साथ भाषा मॉडलों को संरेखित करने के लिए सुदृढीकरण शिक्षण से मानवीय फीडबैक (Reinforcement Learning from Human Feedback - RLHF) एक मानक प्रतिमान बन गया है। जबकि मूल पाइपलाइन में एक रिवॉर्ड मॉडल को प्रशिक्षित करने के बाद प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) का उपयोग किया जाता था, हालिया विकासों ने कई डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) वेरिएंट और गेम-थ्योरेटिक फॉर्मुलेशन (जैसे, SPPO, Nash-MD, GRPO, KTO) पेश किए हैं। अलग-अलग सुधारों की रिपोर्ट करने के बावजूद, एक मौलिक प्रश्न अनसुलझा बना हुआ है: दो प्राथमिकता अनुकूलन विधियों को वास्तव में भिन्न कब माना जाना चाहिए?

यह स्पष्ट नहीं है कि विभिन्न सैद्धांतिक दृष्टिकोणों (जैसे, रिवॉर्ड मॉडलिंग बनाम गेम थ्योरी) से प्राप्त विधियाँ क्या विशिष्ट उद्देश्यों को अनुकूलित करती हैं या केवल एक ही लॉस फंक्शन (loss function) के बीजगणितीय पुनर्गठन (algebraic rearrangements) का प्रतिनिधित्व करती हैं। यह अस्पष्टता एल्गोरिद्मिक नवीनता के मूल्यांकन और विधि चयन के संबंध में व्यावहारिक निर्णय लेने की प्रक्रिया को जटिल बनाती है।

कार्यप्रणाली: ओपल फ्रेमवर्क (The Opal Framework)

इसे संबोधित करने के लिए, लेखक Opal नामक एक कैनोनिकलाइजेशन एल्गोरिदम पेश करते हैं, जिसे यह निर्धारित करने के लिए डिज़ाइन किया गया है कि क्या दो प्राथमिकता उद्देश्य बीजगणितीय रूप से समान हैं। फ्रेमवर्क इस धारणा पर कार्य करता है कि युग्मवार (pairwise) प्राथमिकता विधियों को एक सामान्य अंतर्निहित मार्जिन, $\Delta = s(y^+) - s(y^-)$ के रूपांतरण के रूप में व्यक्त किया जा सकता है, जहाँ $s$ एक स्कोरिंग फंक्शन है।

Opal किसी भी प्राथमिकता लॉस (preference loss) को तीन मौलिक ऑपरेशनों के संयोजन में विघटित करता है:

Add[ $\phi$ ]: व्यक्तिगत प्रतिक्रियाओं पर निर्भर दंड (penalty) जोड़ता है (जैसे, KL रेगुलराइजेशन, लेंथ नॉर्मलाइजेशन)।
- $\Delta(y, z) \mapsto \Delta(y, z) + \phi(y) - \phi(z)$
Reweight[ $\omega$ ]: मार्जिन को एक भार (weight) से गुणा करता है (जैसे, टेम्परेचर, इम्पोर्टेंस वेट्स)।
- $\Delta(y, z) \mapsto \omega \cdot \Delta(y, z)$
Link[ $g$ ]: मार्जिन पर एक मोनोटोन फंक्शन लागू करता है (जैसे, लॉजिस्टिक, हिंज, या स्क्वेयर्ड लॉस)।
- $\Delta(y, z) \mapsto g(\Delta(y, z))$

रिड्यूसिबिलिटी स्थितियाँ (Reducibility Conditions)

एक विधि को रिड्यूसिबल (और इस प्रकार एक अद्वितीय कैनोनिकल रूप में मैप करने में सक्षम) माना जाता है यदि वह तीन शर्तों को पूरा करती है:

(R1) ट्रांजिटिविटी (Transitivity): मार्जिन को स्कोर के अंतर $\phi(y) - \phi(z)$ के रूप में व्यक्त किया जाना चाहिए। उल्लंघन होने पर 'इंट्रांजिटिव' प्राथमिकताएं होती हैं जहाँ $a$ और $c$ के बीच का मार्जिन केवल उनके व्यक्तिगत स्कोर पर निर्भर नहीं होता है।
(R2) पेयर-इंडिपेंडेंस (Pair-Independence): भार (weights) केवल प्रॉम्प्ट $x$ पर निर्भर होने चाहिए, न कि विशिष्ट जोड़े $(y, z)$ या बैच संरचना पर।
(R3) मोनोटोनिसिटी (Monotonicity): प्राथमिकता क्रम को बनाए रखने के लिए रूपांतरण फंक्शन $g$ को स्ट्रिक्टली मोनोटोन होना चाहिए।

कैनोनिकलाइजेशन और विटनेस (Canonicalization and Witnesses)

कैनोनिकल फॉर्म: यदि कोई विधि (R1)–(R3) को संतुष्ट करती है, तो Opal उसे एक अद्वितीय सामान्य रूप में कम करता है: $NF(L) = \text{Add}[\Phi] \circ \text{Reweight}[s(x)] \circ \text{Link}[g]$ , जहाँ $\Phi$ सेंटर्ड है ( $\sum \Phi(y) = 0$ )। दो विधियाँ तभी समान हैं जब उनके कैनोनिकल रूप (और परिणामी हैश) मेल खाते हों।
विटनेस (Witnesses): यदि कोई विधि किसी भी शर्त को विफल करती है, तो Opal गैर-समानता प्रमाणित करने वाला एक ठोस विटनेस उत्पन्न करता है। उदाहरणों में शामिल हैं:
- साइकिल विटनेस (Cycle Witness): एक ट्रिपल $(a, b, c)$ जिसमें गैर-शून्य साइकिल सम (cycle sum) हो, जो ट्रांजिटिविटी का उल्लंघन करता है।
- पेयर-डिपेंडेंट वेट (Pair-Dependent Weight): एक ही प्रॉम्प्ट पर दो जोड़े जिन्हें अलग-अलग भार प्राप्त होते हैं।
- ग्रुप-डिपेंडेंट वेट (Group-Dependent Weight): एक ही जोड़ा जो बैच संरचना के आधार पर अलग-अलग प्रभावी भार प्राप्त करता है।

फ्रेमवर्क स्पष्ट रूप से टोकन-लेवल विधियों (जैसे, RTO) और ट्रैजेक्टरी-लेवल विधियों (जैसे, PPO-RLHF) को बाहर रखता है क्योंकि वे पूर्ण प्रतिक्रिया जोड़ों के बीच स्केलर मार्जिन पर कार्य नहीं करते हैं, जो युग्मवार मार्जिन विश्लेषण के दायरे से बाहर है।

मुख्य योगदान (Key Contributions)

ओपल एल्गोरिदम: एक व्यवस्थित उपकरण जो एक कैनोनिकल रूप में उद्देश्यों को कम करके या गैर-समानता का एक सत्यापन योग्य विटनेस बनाकर बीजगणितीय समानता का निर्णय लेता है।
33 विधियों का विश्लेषण: लेखकों ने युग्मवार, लिस्टवाइज, ग्रुप-आधारित, टोकन-लेवल और ट्रैजेक्टरी-लेवल सेटिंग्स में 33 प्राथमिकता अनुकूलन विधियों का विश्लेषण किया।
- परिणाम: 25 विधियाँ रिड्यूसिबल हैं, जो 14 अलग-अलग कैनोनिकल रूपों में सिमट जाती हैं।
- समानता: दस विधियाँ (DPO, SPPO, Nash-MD, INPO, DNO, APO, RSO, XPO, cDPO, rDPO सहित) DPO के समान ही एक कैनोनिकल रूप में कम हो जाती हैं।
- इररिड्यूसिबिलिटी (Irreducibility): आठ विधियाँ प्रमाणित रूप से इररिड्यूसिबल हैं, जिनमें GRPO, RLOO, KTO, WPO, BCO, RTO, PPO-RLHF और ReMax शामिल हैं।
GRPO इररिड्यूसिबिलिटी प्रमाण: पेपर एक स्पष्ट विटनेस प्रदान करता है जो सिद्ध करता है कि GRPO, DPO से मौलिक रूप से भिन्न है। यह दर्शाता है कि GRPO का ग्रुप-नॉर्मलाइजेशन यह सुनिश्चित करता है कि एक प्रतिक्रिया जोड़े का ग्रेडिएंट योगदान विशिष्ट बैच संरचना पर निर्भर करता है (R2 का उल्लंघन), जो अन्य उपस्थित प्रतिक्रियाओं के आधार पर मार्जिन के सापेक्ष पैमाने को बदल देता है।
ऑर्थोगोनल डिज़ाइन एक्सिस (Orthogonal Design Axes): लेखक चार संरचनात्मक तंत्रों की पहचान करते हैं जो वास्तव में अलग उद्देश्यों को उत्पन्न करते हैं, जो कैनोनिकल समानता के ऑर्थोगोनल हैं:
- ग्रुप नॉर्मलाइजेशन (जैसे, GRPO)।
- पेयर-डिपेंडेंट वेटिंग (जैसे, KTO)।
- टोकन-लेवल स्ट्रक्चर (जैसे, RTO)।
- ट्रैजेक्टरी-लेवल ऑप्टिमाइज़ेशन (जैसे, PPO-RLHF)।

परिणाम (Results)

बीजगणितीय समानता: कई व्यापक रूप से उद्धृत विधियाँ बीजगणितीय रूप से एक समान हैं। उदाहरण के लिए, गेम-थ्योरेटिक मिनिमैक्स उद्देश्यों से प्राप्त SPPO और Nash-MD, DPO के समान ही एक सटीक कैनोनिकल रूप में कम हो जाते हैं। उनके बीच स्विच करना अनुकूलन लक्ष्य को नहीं बदलता है, केवल उसके व्युत्पन्न (derivation) को बदलता है।
संरचनात्मक अंतर: विधियाँ जो रिड्यूसिबिलिटी शर्तों (विशेष रूप से R2) का उल्लंघन करती हैं, वे मौलिक रूप से भिन्न अनुकूलन परिदृश्य प्रदर्शित करती हैं। GRPO का बैच-डिपेंडेंट नॉर्मलाइजेशन यह दर्शाता है कि एक ही प्रतिक्रिया जोड़ा बैच के आधार पर अलग-अलग ग्रेडिएंट प्राप्त कर सकता है, जो किसी भी रिड्यूसिबल विधि के लिए असंभव गुण है।
हैश सत्यापन: लेखक प्रत्येक रिड्यूसिबल विधि के कैनोनिकल रूप के लिए एक SHA-256 हैश प्रदान करते हैं, जिससे अभ्यासकर्ताओं को प्रोग्रामेटिक रूप से समानता को सत्यापित करने की अनुमति मिलती है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि Opal प्रतिनिधित्व के परिवर्तनों (changes of representation) को तत्व के परिवर्तनों (changes of substance) से अलग करता है।

नवीनता को स्पष्ट करना: फ्रेमवर्क सुझाव देता है कि प्राथमिकता अनुकूलन साहित्य में दिखने वाली बहुत सी विविधता वास्तव में सेट के कम संख्या में मौजूद अंतर्निहित उद्देश्यों के पुनर्रूपण (reparameterizations) से उत्पन्न होती है। वास्तविक एल्गोरिद्मिक नवीनता के लिए कम से कम एक रिड्यूसिबिलिटी धारणा (R1–R3) का उल्लंघन आवश्यक है।
व्यावहारिक मार्गदर्शन: अभ्यासकर्ताओं के लिए, समान विधियों (जैसे, DPO बनाम SPPO) के बीच चयन का मार्गदर्शन कार्यान्वयन के विवरण, संख्यात्मक स्थिरता या निहित पूर्वाग्रह (implicit bias) द्वारा किया जाना चाहिए, न कि मौलिक रूप से भिन्न एल्गोरिद्मिक व्यवहार की अपेक्षाओं द्वारा।
निर्णय-सैद्धांतिक समानता: समान विधियाँ एक ही बेयस-इष्टतम प्राथमिकता क्रम (Bayes-optimal preference ordering) को प्रेरित करती हैं और प्रत्येक मार्जिन के चिह्न (sign) पर सहमत होती हैं, हालांकि वे ग्रेडिएंट परिमाण और अभिसरण दरों (convergence rates) में भिन्न हो सकती हैं।

लेखक इस कार्य को पहले एल्गोरिद्मिक फ्रेमवर्क के रूप में प्रस्तुत करते हैं जो "क्या ये दो विधियाँ एक ही हैं?" का उत्तर देने में सक्षम है, जो अनुमानित वर्गीकरण से आगे बढ़कर कठोर बीजगणितीय सत्यापन के साथ एक औपचारिक प्रमाण प्रदान करता है।