Beyond RLHF: A Unified Theoretical Framework of Alignment

तकनीकी सारांश: RLHF से परे: संरेखण (Alignment) का एक एकीकृत सैद्धांतिक ढांचा

समस्या विवरण

मानवीय प्राथमिकताओं के साथ लार्ज लैंग्वेज मॉडल्स (LLMs) को संरेखित करने के लिए 'रिनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक' (RLHF) एक प्रमुख प्रतिमान (paradigm) बन गया है। हालाँकि, यह शोध पत्र RLHF और संबंधित संरेखण विधियों की वर्तमान समझ में महत्वपूर्ण सैद्धांतिक कमियों की पहचान करता है:

1. तर्कसंगतता का अभाव: मौजूदा सिद्धांत अक्सर RLHF उद्देश्य को एक स्वयंसिद्ध (tautology) के रूप में देखते हैं (जो स्वयं के उद्देश्य के जनसंख्या संस्करण की ओर अभिसरित होता है), बजाय इसके कि यह प्रदान करे कि यह लक्ष्य भाषा मॉडल (target language model) की ओर क्यों अभिसरित होता है, इसके लिए कोई लर्निंग-थ्योरेटिक औचित्य दे।
2. असंगत ढांचे: विभिन्न विधियों (जैसे, DPO, RLHF, REBEL) का विश्लेषण अलग-अलग सैद्धांतिक ढांचों के तहत किया जाता है, जो उनके अभिसरण (convergence) गारंटियों की सीधी तुलना करने में बाधा डालता है।
3. RLHF दुविधा: मानक RLHF उद्देश्य $\beta$ की रेगुलराइजेशन स्ट्रेंथ (regularization strength) के संबंध में एक एसिम्प्टोटिक दुविधा (asymptotic dilemma) का सामना करता है। यदि $\beta$ को स्थिर रखा जाता है, तो मॉडल अंडरफिट (संदर्भ नीति के बहुत करीब रहना) हो जाता है; यदि $\beta$ को डेटा बढ़ने के साथ शून्य की ओर कम किया जाता है, तो समाधान विकृत (degenerate) हो सकता है।
4. अनुभवजन्य बनाम सैद्धांतिक अंतर: अनुभवजन्य रूप से, ऑन-पॉलिसी उद्देश्य (जैसे RLHF) लाइखीहुड-आधारित विधियों (जैसे DPO) की तुलना में बेहतर प्रदर्शन करते हैं, फिर भी मौजूदा सिद्धांत इस श्रेष्ठता की व्याख्या नहीं कर सकते क्योंकि वे प्रत्येक विधि के लिए व्यक्तिगत रूप से केवल 'एड-हॉक' गारंटी प्रदान करते हैं।

लेखक संरेखण को रिवॉर्ड मैक्सिमाइजेशन के रूप में नहीं, बल्कि पेयरवाइज प्राथमिकताओं (pairwise preferences) से वितरण सीखने (distribution learning) के रूप में पुनर्गठित करने का प्रस्ताव करते हैं। मूल प्रश्न यह है: किन धारणाओं के तहत हम ऐसे प्रशिक्षण उद्देश्यों को प्राप्त कर सकते हैं जो प्रमाणिक रूप से एक लक्ष्य भाषा मॉडल ($\pi^*$) की ओर अभिसरित होते हैं?

कार्यप्रणाली (Methodology)

यह शोध पत्र एक लक्ष्य (ओरेकल) भाषा मॉडल $\pi^*$ के अस्तित्व को मानता है और स्पष्ट रूप से मॉडल करता है कि प्राथमिकता फीडबैक $\pi^*$ के बारे में जानकारी कैसे प्रकट करता है।

1. प्राथमिकता मॉडल (The Preference Model)

लेखक एक ब्रैडली-टेरी (BT) मॉडल मानते हैं जहाँ प्रॉम्प्ट $x$ दिए जाने पर प्रतिक्रिया $a$ को $b$ के ऊपर प्राथमिकता देने की संभावना सीधे लक्ष्य मॉडल की संभावनाओं द्वारा निर्धारित होती है, न कि किसी बाहरी रिवॉर्ड फंक्शन द्वारा:
$$P(a \succ b | x) = \frac{\pi^*(a | x)^\gamma}{\pi^*(a | x)^\gamma + \pi^*(b | x)^\gamma}$$
यहाँ, $\gamma > 0$ एक हाइपरपैरामीटर है। यह धारणा निहित करती है कि प्राथमिकता मॉडल स्पष्ट रूप से एक भाषा मॉडल है, जो DPO के विपरीत है जो रिवॉर्ड और LM के बीच संबंध स्थापित करने के लिए "ऑल-पॉलिसी" धारणा पर निर्भर करता है।

2. प्रस्तावित उद्देश्य (Proposed Objectives)

इस वितरण सीखने के दृष्टिकोण के आधार पर, लेखक तीन सिद्धांतवादी संरेखण उद्देश्य प्राप्त करते हैं:

• प्रेफरेंस मैक्सिमम लाइकलीहुड एस्टीमेशन (PMLE):
  यह उद्देश्य BT धारणा के तहत देखे गए पेयरवाइज प्रेफरेंस के लाइकलीहुड को अधिकतम करता है, जिसे संदर्भ नीति $\pi_0$ के KL डाइवर्जेंस द्वारा रेगुलराइज किया जाता है।
  $$L_{PMLE, \beta}(\pi) = \frac{1}{n} \sum -\ln \sigma\left(\gamma \ln \frac{\pi(a^+|x)}{\pi(a^-|x)}\right) + \beta KL(\pi \| \pi_0)$$
  DPO के विपरीत, जो बिना किसी स्पष्ट रेगुलराइज़र के लाइकलीहुड रेशियो को कम करता है (जो संभावित रूप से विकृत वितरणों की ओर ले जाता है), PMLE स्थिरता सुनिश्चित करने के लिए एक स्पष्ट KL टर्म शामिल करता है।

• प्रेफरेंस डिस्टिलेशन (Preference Distillation):
  यह दृष्टिकोण पहले एक रिवॉर्ड मॉडल $\hat{R}$ सीखता है (जो एक प्राथमिकता सिम्युलेटर सीखने के समान है) और फिर इस प्राथमिकता वितरण को भाषा मॉडल में डिस्टिल करता है। स्क्वेयर्ड लॉस (जैसा कि REBEL में है) के बजाय, यह सीखे गए सिम्युलेटर और लक्ष्य नीति के बीच बाइनरी प्राथमिकता वितरणों के KL डाइवर्जेंस को कम करता है:
  $$L_{Distill}(\pi) = \frac{1}{n} \sum KL(\text{Bern}(P_{\hat{\pi}}(a^+ \succ a^-|x)) \| \text{Bern}(P_{\pi}(a^+ \succ a^-|x))) + \beta KL(\pi \| \pi_0)$$
  यह फॉर्मूलेशन स्पष्ट रूप से BT मॉडल से प्राप्त हुआ है और स्क्वेयर्ड लॉस के सांख्यिकीय औचित्य संबंधी मुद्दों से बचता है।

• रिवर्स KL (RKL) मिनिमाइजेशन:
  वितरण सीखने के लक्ष्य को पहचानते हुए, लेखक रिवर्स KL डाइवर्जेंस $E_x[KL(\hat{\pi}(x) \| \pi^*(x))]$ को कम करने का प्रस्ताव करते हैं। चूंकि $\pi^*$ अज्ञात है, वे रिवॉर्ड मॉडल से प्राप्त अनुमानक $\hat{\pi}$ का उपयोग करते हैं।
  $$L_{RKL, \beta}(\pi) = \frac{1}{n} \sum \left( -E_{a \sim \pi(x)}[\hat{R}(x, a)] - \gamma H(\pi(x)) + \beta KL(\pi(x) \| \pi_0(x)) \right)$$
  यह उद्देश्य RLHF के समान है लेकिन इसमें एक अतिरिक्त एंट्रॉपी टर्म ($-\gamma H(\pi(x))$) शामिल है। लेखक तर्क देते हैं कि यह RLHF के लिए एक सुधार के रूप में कार्य करता है, जो उस एसिम्प्टोटिक दुविधा को हल करता है जहाँ मानक RLHF $n \to \infty$ होने पर $\pi^*$ तक अभिसरित होने में विफल रहता है।

3. सैद्धांतिक गारंटियाँ (Theoretical Guarantees)

शोध पत्र सभी तीन विधियों के लिए नॉन-एसिम्प्टोटिक $O(1/n)$ अभिसरण गारंटी प्रदान करता है। विशेष रूप रूप से, वे सिद्ध करते हैं कि फॉरवर्ड KL एरर $E_x[KL(\pi^*(x) \| \hat{\pi}(x))]$ $O(1/n)$ की दर से शून्य की ओर अभिसरित होता है, जहाँ $n$ डेटासेट का आकार है।

• PMLE और प्रेफरेंस डिस्टिलेशन: पॉलिसी क्लास $\Pi$ के कवरेज कोएफिशिएंट (coverage coefficient) पर निर्भर बाउंड्स प्राप्त करते हैं।
• रिवर्स KL: एक अधिक सटीक (tighter) बाउंड प्राप्त करता है जो रिवॉर्ड-प्रेरित मॉडल क्लास $\mathcal{P}_\gamma(\mathcal{R})$ के कवरेज कोएफिशिएंट पर निर्भर करता है, जो अक्सर $\Pi$ की तुलना में छोटा होता है। यह सैद्धांतिक रूप से समझाता है कि क्यों ऑन-पॉलिसी विधियाँ (जैसे RKL/RLHF) अक्सर लाइकलीहुड-आधारित विधियों (जैसे PMLE/DPO) की तुलना में बेहतर प्रदर्शन करती हैं।

मुख्य परिणाम

सैद्धांतिक निष्कर्ष

• RLHF के लिए औचित्य: RKL उद्देश्य RLHF उद्देश्य के लिए एक मजबूत सैद्धांतिक औचित्य प्रदान करता है, यह दिखाते हुए कि यह एक एंट्रॉपी सुधार के साथ एक सुसंगत वितरण सीखने वाले उद्देश्य (जिसमें $\gamma \to 0$ है) का एक विशेष मामला है।
• दुविधा का समाधान: सैद्धांतिक विश्लेषण और खिलौना प्रयोग (चित्र 1) प्रदर्शित करते हैं कि जबकि मानक RLHF $n \to \infty$ होने पर नॉन-जीरो एरर पर संतृप्त होने के कारण विसंगति (inconsistency) से ग्रस्त होता है, प्रस्तावित RKL विधि वास्तविक लक्ष्य मॉडल की ओर अभिसरित होती है।
• ऑन-पॉलिसी विधियों की श्रेष्ठता: सिद्धांत पुष्टि करता है कि रिवर्स KL (RLHF के समान) PMLE (DPO के समान) की तुलना में बेहतर अभिसरण गारंटी का आनंद लेता है क्योंकि यह पूर्ण पॉलिसी क्लास के बजाय रिवॉर्ड मॉडल क्लास की छोटी जटिलता का लाभ उठाता है।

अनुभवजन्य निष्कर्ष

दो कार्यों पर प्रयोग किए गए:

1. TL;DR समराइजेशन: Pythia-2.8B और Pythia-6.9B मॉडल्स का उपयोग करके।
   • विन-रेट (Win-Rates): प्रस्तावित विधियों (PMLE, Preference Distillation, Reverse KL) ने अपने बेसलाइन (DPO, REBEL, RLHF) की तुलना में लगातार उच्च GPT-4 विन-रेट प्राप्त किया।
   • KL डाइवर्जेंस: PMLE ने DPO की तुलना में संदर्भ मॉडल के प्रति काफी कम KL डाइवर्जेंस प्राप्त किया, जो स्पष्ट रेगुलराइज़र के लाभ की पुष्टि करता है।
2. जनरल चैट (UltraFeedback): LLaMA-3-8B-Instruct का उपयोग करके।
   • MT-Bench, AlpacaEval 2.0, और Arena Hard पर मूल्यांकन किया गया।
   • PMLE और Preference Distillation ने अधिकांश बेंचमार्क पर DPO और REBEL को पछाड़ दिया, विशेष रूप से AlpacaEval 2.0 और Arena Hard में मजबूत बढ़त दिखाई।

महत्व और दावे

शोध पत्र दावा करता है कि यह संरेखण के लिए पहला एकीकृत सैद्धांतिक ढांचा प्रदान करता है जो समस्या को पेयरवाइज प्राथमिकताओं से वितरण सीखने के रूप में देखता है। इसके प्राथमिक योगदान हैं:

1. एकीकृत परिप्रेक्ष्य: यह मौजूदा विधियों (DPO, RLHF, REBEL) को एक एकल संभाव्यता धारणा के तहत एकीकृत करता है, जिससे उनकी छिपी हुई धारणाएं स्पष्ट हो जाती हैं।
2. सैद्धांतिक आधार: यह पेयरवाइज फीडबैक से एक लक्ष्य वितरण सीखने के लिए कठोर, नॉन-एसिम्प्टोटिक $O(1/n)$ अभिसरण गारंटी प्रदान करता है, जो इस सेटिंग में पहले उपलब्ध नहीं था।
3. अनुभवजन्य रुझानों की व्याख्या: यह ऑन-पॉलिसी उद्देश्यों (RLHF) के बेहतर प्रदर्शन के अनुभवजन्य अवलोकन की पहली सैद्धांतिक पुष्टि प्रदान करता है, जिसका श्रेय पॉलिसी क्लास के बजाय रिवॉर्ड मॉडल क्लास के कवरेज गुणों को दिया गया है।
4. RLHF में सुधार: यह मानक RLHF उद्देश्य की एक विशिष्ट कमी (एंट्रॉपी टर्म की कमी जो विसंगति की ओर ले जाती है) की पहचान करता है और एक सुधारात्मक उद्देश्य (RKL) प्रस्तावित करता है जो RLHF के व्यावहारिक लाभों को बनाए रखते हुए सैद्धांतिक निरंतरता सुनिश्चित करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि उनकी विधियाँ मजबूत बेसलाइन के साथ प्रतिस्पर्धी हैं, उनका प्राथमिक मूल्य उस सैद्धांतिक ढांचे में निहित है जो यह समझाता है कि ये विधियाँ क्यों काम करती हैं और उन्हें कैसे सुधारा जा सकता है। भविष्य के कार्य में मोड-सीकिंग बनाम मोड-कवरिंग उद्देश्यों की खोज करना और ढांचे को वैकल्पिक डाइवर्जेंस तक विस्तारित करना शामिल है।