💬 NLP

RLHF in an SFT Way: From Optimal Solution to Reward-Weighted Alignment

यह शोध पत्र वेरिएशनल अलाइनमेंट विद री-वेटिंग (VAR) का प्रस्ताव करता है, जो एक नवीन ऑफलाइन विधि है जो बेहतर अलाइनमेंट प्रदर्शन और स्थिरता प्राप्त करने के लिए मानव फीडबैक से सुदृढीकरण लर्निंग (RLHF) को एक रिवॉर्ड-वेटेड सुपरवाइज्ड फाइन-ट्यूनिंग कार्य के रूप में पुनर्गठित करती है, जबकि पारंपरिक ऑनलाइन विधियों और DPO जैसे मौजूदा ऑफलाइन दृष्टिकोणों की तुलना में कम्प्यूटेशनल लागत को काफी कम करती है।

मूल लेखक: Yuhao Du, Zhuo Li, Pengyu Cheng, Zhihong Chen, Yuejiao Xie, Xiang Wan, Anningzhe Gao

प्रकाशित 2026-03-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuhao Du, Zhuo Li, Pengyu Cheng, Zhihong Chen, Yuejiao Xie, Xiang Wan, Anningzhe Gao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

🎓 बड़ी तस्वीर: AI को "अच्छा" बनना सिखाना

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन अराजक छात्र (AI मॉडल) है। उसे बहुत सारी बातें पता हैं, लेकिन वह हमेशा यह नहीं जानता कि विनम्रता से व्यवहार कैसे करना है, मददगार कैसे बनना है, या बुरी बातें कहने से कैसे बचना है।

इसे ठीक करने के लिए, हमें उसे "मानवीय मूल्य" (Human Values) सिखाने की आवश्यकता है। AI की दुनिया में, इस प्रक्रिया को RLHF (Reinforcement Learning from Human Feedback) कहा जाता है।

पुराना तरीका (The "PPO" Method):
इस छात्र को सिखाने के पुराने तरीके को एक हाई-स्टेक्स, लाइव-एक्शन रोल-प्लेइंग गेम की तरह समझें।

आप छात्र को एक प्रॉम्प्ट देते हैं।
वे एक उत्तर का अनुमान लगाते हैं।
एक शिक्षक (Reward Model) उसे ग्रेड देता है।
छात्र फिर से प्रयास करता है, ग्रेड के आधार पर अपने व्यवहार को समायोजित करता है।
समस्या: यह किसी को ट्रेडमिल पर दौड़ते समय जग्लिंग (juggle) करना सिखाने जैसा है। इसके लिए एक बड़ी टीम (एक क्रिटिक, एक रिवॉर्ड मॉडल, एक रेफरेंस मॉडल) की आवश्यकता होती है, इसमें बहुत समय लगता है, और छात्र अक्सर भ्रमित हो जाता है या क्रैश हो जाता है (अस्थिरता)। यह महंगा और धीमा है।

"DPO" वाला तरीका (वर्तमान शॉर्टकट):
समय बचाने के लिए, शोधकर्ताओं ने DPO (Direct Preference Optimization) का आविष्कार किया। लाइव गेम खेलने के बजाय, वे बस छात्र को "अच्छे उत्तरों" बनाम "बुरे उत्तरों" की एक सूची दिखाते हैं और कहते हैं, "अच्छे वाले ज़्यादा करो, बुरे वाले कम करो।"

समस्या: कभी-कभी, छात्र को यह कहना कि "बुरी चीज़ मत करो," एक अजीब गणितीय गड़बड़ी (glitch) पैदा कर देता है। यदि "बुरा" उत्तर बहुत मजबूती से खारिज किया जाता है, तो गणित टूट जाता है, और छात्र अजीब व्यवहार करने लगता है या उत्तर देने से मना कर देता है। यह एक बच्चे को यह कहने जैसा है कि "गुलाबी हाथी के बारे में मत सोचो," और अचानक वह उसके बारे में सोचना बंद नहीं कर पाता।

🚀 नया समाधान: VAR (Variational Alignment with Re-weighting)

इस पेपर के लेखक कहते हैं: "हम इसे इतना जटिल क्यों बना रहे हैं? चलिए इसे एक साधारण गणित की समस्या की तरह लेते हैं।"

उन्होंने VAR नामक एक नई विधि प्रस्तावित की है। यह कैसे काम करती है, यहाँ एक सरल उपमा दी गई है:

उपमा: "सर्वश्रेष्ठ छात्र" बनाम "कक्षा का औसत"

कल्पना कीजिए कि एक कक्षा है जहाँ:

Reference Model "औसत छात्र" है (जो बुनियादी बातें जानता है लेकिन पूर्ण नहीं है)।
Optimal Solution "परफेक्ट छात्र" है (जो हमेशा सबसे अच्छा, सबसे मददगार और हानिरहित उत्तर देता है)।
आपका लक्ष्य "औसत छात्र" को "परफेक्ट छात्र" में बदलना है।

VAR कैसे काम करता है:
जटिल गेम खेलने या नकारात्मक संख्याओं से लड़ने के बजाय, VAR परफेक्ट छात्र के उत्तरों को देखता है और पूछता है: "यह उत्तर औसत छात्र के उत्तर से कितना बेहतर है?"

स्कोरकार्ड: यह प्रत्येक उत्तर के लिए एक "रिवॉर्ड स्कोर" की गणना करता है।
जादुई वेट (Magic Weight): यह उस स्कोर को एक सकारात्मक वेट (एक मल्टीप्लायर) में बदल देता है।
- यदि उत्तर शानदार है, तो वेट बहुत बड़ा होता है (जैसे 100x)।
- यदि उत्तर ठीक-ठाक है, तो वेट छोटा होता है (जैसे 1x)।
- महत्वपूर्ण: यह कभी भी नकारात्मक वेट का उपयोग नहीं करता है। यह केवल यह कहता है, "इसे अधिक करो," कभी यह नहीं कहता "इसे कम करो।" यह उन गणितीय गड़बड़ियों से बचता है जो अन्य विधियों को तोड़ देती हैं।
सरल पाठ: इसके बाद यह AI को बताता है: "औसत छात्र के उत्तरों को देखो, लेकिन उन पर विशेष ध्यान दो जिन्हें उच्च स्कोर मिले। उनसे सीखो।"

यह जटिल Reinforcement Learning की समस्या को एक सरल Supervised Fine-Tuning (SFT) समस्या में बदल देता है। यह एक मानक होमवर्क असाइनमेंट लेने जैसा है लेकिन सही उत्तरों के लिए अतिरिक्त क्रेडिट अंक देने जैसा है।

⚡ VAR एक गेम-चेंजर क्यों है?

1. यह तेज़ है (The "Express Lane")

पुराना तरीका (PPO): एक ऐसी रेस कार चलाने जैसा है जिसे हर 5 मिनट में ईंधन भरने की आवश्यकता होती है। इसे प्रशिक्षित करने में 5 घंटे लगते हैं।
VAR: एक हाई-स्पीड ट्रेन लेने जैसा है। यह पुराने तरीकों की तुलना में 5 गुना तेज़ है। पेपर कहता है कि यह अगले सबसे अच्छे विकल्प (2 घंटे 54 मिनट) की तुलना में लगभग 42 मिनट में प्रशिक्षित हो जाता है।

2. यह स्थिर है (The "Steady Hand")

अन्य विधियाँ अक्सर "दोलन" (oscillate) करती हैं। AI बेहतर होता है, फिर अचानक बुरा हो जाता है, फिर बेहतर हो जाता है। यह एक नशे में धुत व्यक्ति के टेढ़े-मेढ़े चलने जैसा है।
VAR एक लेजर-गाइडेड मिसाइल की तरह है। यह लगातार ऊपर चढ़ता है। क्योंकि यह केवल सकारात्मक वेट का उपयोग करता है, गणित कभी नहीं टूटता और प्रशिक्षण क्रैश नहीं होता।

3. यह स्मार्ट है (The "Better Grades")

जब मानक बेंचमार्क (जैसे गणित, कोडिंग और मददगार होना) पर परीक्षण किया गया, तो VAR ने वर्तमान लोकप्रिय विधि (DPO) को काफी अंतर से पीछे छोड़ दिया (लग लगभग 7% बेहतर)।
यह AI को अधिक मददगार बनाता है और हानिकारक बातें बोलने की संभावना को कम करता है, भले ही वह एक ऐसे "बेस" मॉडल से शुरू हुआ हो जिसे बहुत कम सिखाया गया हो।

🛠️ उन्होंने यह कैसे किया (The "Batch" Trick)

आप पूछ सकते हैं: "रुको, आप बिना वास्तव में एक परफेक्ट छात्र के पास मौजूद हुए, यह कैसे जानते हैं कि 'परफेक्ट छात्र' कैसा दिखता है?"

लेखकों ने In-Batch Estimation नामक एक चतुर ट्रिक का उपयोग किया।

कल्पना कीजिए कि आप एक टेस्ट को ग्रेड कर रहे हैं। पूरे स्कूल के खत्म होने का इंतज़ार करने के बजाय, आप छात्रों के एक छोटे समूह (एक "बैच") को लेते हैं (जैसे 8 छात्र)।
आप उन सभी 8 उत्तरों को एक साथ देखते हैं। आप समूह की औसत "अच्छाई" की गणना करते हैं।
आप उस समूह के औसत का उपयोग यह पता लगाने के लिए करते हैं कि प्रत्येक व्यक्तिगत छात्र को कितना पुरस्कृत किया जाना चाहिए।
यह इतना कुशल है कि आपको जटिल सिमुलेशन चलाने की आवश्यकता नहीं है। आप इसे सीधे वहीं, आपके पास मौजूद डेटा के साथ करते हैं।

🏆 निचोड़ (The Bottom Line)

समस्या: AI को मददगार बनाना वर्तमान में बहुत महंगा, बहुत धीमा और बहुत अस्थिर है।
समाधान: VAR।
परिणाम: एक ऐसी विधि जो सरल है (एक मानक होमवर्क असाइनमेंट की तरह), तेज़ है (प्रतिस्पर्धियों से 5 गुना तेज़), और स्थिर है (कोई क्रैश नहीं)।

VAR को AI प्रशिक्षण की जटिल, महंगी मशीनरी को एक चिकनी, कुशल इंजन में बदलने के रूप में देखें जो बिना धुएं और शोर के समान या बेहतर परिणाम प्राप्त करता है। यह "सही करने" और "तेजी से करने" के बीच के अंतर को पाटता है।

यहाँ शोध पत्र "RLHF in an SFT Way: From Optimal Solution to Reward-Weighted Alignment" (जो VAR का प्रस्ताव करता है) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को मानवीय मूल्यों (उपयोगिता और हानिरहितता) के साथ संरेखित करने के लिए 'रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक' (RLHF) एक मानक है। हालाँकि, मौजूदा दृष्टिकोणों को महत्वपूर्ण चुनौतियों का सामना करना पड़ता है:

ऑनलाइन विधियाँ (जैसे P की, GRPO): इनके लिए कई मॉडल्स (पॉलिसी, रेफरेंस, क्रिटिक, रिवॉर्ड) वाले जटिल पाइपलाइन, विशाल कंप्यूटेशनल संसाधनों और ऑनलाइन सैंपलिंग की आवश्यकता होती है। ये प्रशिक्षण अस्थिरता (training instability), उच्च विलंबता (latency) और मॉडल कोलैप्स के उच्च जोखिम से ग्रस्त हैं।
ऑफलाइन विधियाँ (जैसे DPO, KTO, A-LoL): हालांकि ये सरल हैं, लेकिन ये अक्सर कंट्रास्टिव लॉस (contrastive losses) या इम्पॉर्टेंस सैंपलिंग पर निर्भर करती हैं जो निम्नलिखित कारणों से समस्या उत्पन्न कर सकती हैं:
- प्रशिक्षण अस्थिरता: यह लॉस लैंडस्केप में नकारात्मक भार (negative weights) के कारण होती है (उदाहरण के लिए, अस्वीकृत प्रतिक्रियाओं को दंडित करते समय), जिससे अनबाउंडेड ऑप्टिमाइज़ेशन होता है।
- उप-इष्टतम प्रदर्शन (Suboptimal Performance): PPO और A-LoL जैसी विधियाँ प्रशिक्षण को स्थिर करने के लिए "क्लिपिंग" (clipping) तंत्र का उपयोग करती हैं, जो समान मूल्यों वाली प्रतिक्रियाओं के बीच रिवॉर्ड के अंतर को कम कर देती है, जिससे मॉडल वास्तविक इष्टतम पॉलिसी तक पहुँचने से रुक जाता है।
- डेटा आवश्यकताएँ: कुछ विधियों के लिए उच्च-गुणवत्ता वाले प्रेफरेंस पेयर्स (चुनी गई/अस्वीकृत) की आवश्यकता होती है, जिससे डेटा संग्रह की लागत बढ़ जाती है।

मूल समस्या एक ऐसा संरेखण (alignment) तरीका खोजने की है जो ऑनलाइन RLHF के प्रदर्शन से मेल खाता हो, लेकिन जिसमें SFT की दक्षता और स्थिरता बनी रहे, और बिना नेगेटिव वेट या क्लिपिंग की समस्याओं के।

2. कार्यप्रणाली: वेरिएशनल अलाइनमेंट विद री-वेटिंग (VAR)

लेखक VAR प्रस्तावित करते हैं, जो एक नया ढांचा है जो RLHF को पॉजिटिव मेजर्स (positive measures) पर एक वेरिएशनल इन्फरेंस समस्या के रूप में पुनर्गठित करता है।

सैद्धांतिक आधार (Theoretical Foundation)

मानक RLHF ऑब्जेक्टिव (अपेक्षित रिवॉर्ड को KL डाइवर्जेंस से अधिकतम करना) के माध्यम से पॉलिसी $\pi_\theta$ को अनुकूलित करने के बजाय, VAR इष्टतम पॉलिसी $\pi^*$ और लर्निंग पॉलिसी $\pi_\theta$ के बीच फॉरवर्ड KL डाइवर्जेंस को कम करता है:
$\min_\theta KL[\pi^* \parallel \pi_\theta] = \max_\theta \mathbb{E}_{\pi^*}[\log \pi_\theta(y|x)]$

ब्रैडली-टेरी मॉडल (Bradley-Terry model) से प्राप्त इष्टतम RLHF पॉलिसी के क्लोज्ड-फॉर्म समाधान का उपयोग करते हुए:
$\pi^*(y|x) = \frac{1}{Z(x)} \pi_{ref}(y|x) \exp\left(\frac{1}{\beta} r(x, y)\right)$

लेखक ऑब्जेक्टिव को $\pi_{ref}$ के संदर्भ में लिखने के लिए इम्पॉर्टेंस सैंपलिंग लागू करते हैं:
$\mathbb{E}_{\pi^*}[\log \pi_\theta] = \mathbb{E}_{\pi_{ref}} \left[ \underbrace{\frac{\exp(r(x,y)/\beta)}{Z(x)}}_{\text{Reward-driven Weight}} \cdot \log \pi_\theta(y|x) \right]$

यह संरेखण कार्य को एक रिवॉर्ड-वेटेड सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) समस्या में बदल देता है।

मुख्य तकनीकी नवाचार (Key Technical Innovations)

पॉजिटिव मेजर ऑप्टिमाइज़ेशन: DPO या A-LoL के विपरीत, जो अस्वीकृत प्रतिक्रियाओं को नकारात्मक भार दे सकते हैं (जिससे अनबाउंडेड लॉस होता है), VAR रिवॉर्ड के एक्सपोनेंशियल ट्रांसफॉर्मेशन का उपयोग करता है। यह सुनिश्चित करता है कि सभी भार पूरी तरह से गैर-नकारात्मक (non-negative) हैं, जो एक सुपरिभाषित और स्थिर ऑप्टिमाइज़ेशन लैंडस्केप की गारंटी देता है।
इन-बैच पार्टीशन एस्टीमेशन: पूरे आउटपुट स्पेस पर $Z(x)$ (पार्टीशन फंक्शन) की गणना करना कम्प्यूटेशनल रूप से महंगा है। VAR वर्तमान माइक्रो-बैच के भीतर मोंटे कार्लो एस्टीमेशन का उपयोग करके $Z(x)$ का अनुमान लगाता है:
$\hat{Z}(x_i) \approx \frac{1}{B} \sum_{j=1}^B \exp\left(\frac{1}{\beta} r(x_i, y_j)\right) \pi_{ref}(y_j|x_i)$
जहाँ $y_j$ वर्तमान बैच के भीतर रेफरेंस मॉडल के नमूने हैं। यह ऑनलाइन सैंपलिंग या बड़े डेटासेट के प्री-सैंपलिंग की आवश्यकता को समाप्त करता है।
कोई क्लिपिंग नहीं (No Clipping): इस विधि में PPO की तरह क्लिपिंग रेश्यो या नकारात्मक भार की आवश्यकता नहीं होती है, जिससे मॉडल स्वाभाविक रूप से सूक्ष्म (fine-grained) प्राथमिकताओं को सीख सकता है।

3. मुख्य योगदान (Key Contributions)

नया फॉर्मूलेशन: वेरिएशनल इन्फरेंस के माध्यम से सीधे इष्टतम समाधान से RLHF अलाइनमेंट को निकालने वाला पहला दृष्टिकोण, जिसके परिणामस्वरूप एक सरल, रिवॉर्ड-वेटेड SFT लॉस प्राप्त होता है।
पॉजिटिव मेजर्स के माध्यम से स्थिरता: नकारात्मक भार और क्लिपिंग को हटाकर, VAR उन समस्याओं को हल करता है जो DPO और A-LoL में प्रचलित हैं।
दक्षता: यह ऑनलाइन सैंपलिंग, क्रिटिक मॉडल्स और जटिल RL पाइपलाइनों की आवश्यकता को हटा देता है, जिससे यह GRPO की तुलना में 5 गुना तेज़ अभिसरण (convergence) प्राप्त करता है।
स्केलेबिलिटी: इन-बैच नॉर्मलाइजेशन तकनीक इस विधि को बिना किसी महत्वपूर्ण कम्प्यूटेशनल ओवरहेड के विभिन्न मॉडल आकारों (0.5B से 32B पैरामीटर्स तक) में कुशलतापूर्वक स्केल करने की अनुमति देती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Helpful and Harmless Assistant (HHA) बेंचमार्क और विभिन्न जेनेरेटिव कार्यों (MMLU, GSM8k, HumanEval, BBH) पर VAR का मूल्यांकन किया।

DPO के मुकाबले प्रदर्शन:
- VAR अधिकांश मॉडल आकारों (Llama और Qwen सीरीज़) में DPO से बेहतर प्रदर्शन करता है।
- HHA बेंचमार्क पर, VAR ने DPO की तुलना में हेल्पफुलनेस और हार्मलेसनेस मेट्रिक्स में औसतन 7.16% सुधार हासिल किया।
- VAR बेस मॉडल्स (केवल प्री-ट्रेंड) से शुरू होने पर बेहतर मजबूती दिखाता है, जबकि DPO अक्सर प्रारंभिक SFT चरण के बिना संघर्ष करता है।
ऑनलाइन विधियों (GRPO) के मुकाबले प्रदर्शन:
- VAR ऑनलाइन GRPO विधियों के बराबर या बेहतर प्रदर्शन प्राप्त करता है।
- गति: VAR प्रति एपोक GRPO की तुलना में >5 गुना तेज़ है (उदाहरण के लिए, Qwen2.5-3B के लिए 37 मिनट बनाम 2 घंटे 54 मिनट)।
प्रशिक्षण स्थिरता:
- वैलिडेशन रिवॉर्ड कर्व्स दिखाते हैं कि VAR लगातार बढ़ता है, जबकि DPO अस्थिरता और शुरुआती गिरावट प्रदर्शित करता है।
- VAR स्थिर आउटपुट सीक्वेंस लेंथ बनाए रखता है, जबकि DPO रिवॉर्ड स्कोर को बढ़ाने के लिए अत्यधिक लंबे अनुक्रम (sequences) बनाने की ओर झुकता है।
जेनेरेटिव बेंचमार्क्स:
- MMLU, GSM8k और HumanEval पर, VAR लगातार DPO और A-LoL से बेहतर प्रदर्शन करता है, और उच्चतम औसत स्कोर प्राप्त करता है।
- Arena-Hard 0.1 पर, VAR, DPO से काफी बेहतर प्रदर्शन करता है (10.8% जीत दर बनाम 8.6%), जो चुनौतीपूर्ण, उच्च-गुणवत्ता वाले प्रॉम्प्ट्स पर बेहतर प्रदर्शन का संकेत देता है।

5. महत्व (Significance)

यह शोध पत्र SFT की दक्षता और RLHF के प्रदर्शन के बीच के अंतर को पाटता है।

व्यावहारिक प्रभाव: यह जटिल RLHF पाइपलाइनों के लिए एक "प्लग-एंड-प्ले" विकल्प प्रदान करता है। अभ्यासकर्ता मानक SFT इंफ्रास्ट्रक्चर के साथ अत्याधुनिक संरेखण परिणाम प्राप्त कर सकते हैं, जिससे कंप्यूटेशनल लागत और इंजीनियरिंग जटिलता काफी कम हो जाती है।
सैद्धांतिक अंतर्दृष्टि: यह प्रेफरेंस अलाइनमेंट में नकारात्मक भार और क्लिपिंग की आवश्यकता को चुनौती देता है, यह प्रदर्शित करते हुए कि एक शुद्ध सकारात्मक, रिवॉर्ड-वेटेड ऑब्जेक्टिव स्थिरता के लिए पर्याप्त और श्रेष्ठ है।
भविवी दिशा: यह कार्य सुझाव देता है कि RLHF के "इष्टतम समाधान" को सीधे वेरिएशनल इन्फरेंस के माध्यम से अनुमानित किया जा सकता है, जो संभावित रूप से कई अलाइनमेंट कार्यों के लिए जटिल ऑनलाइन RL लूप्स को अप्रचलित बना सकता है।

संक्षेप में, VAR LLMs को संरेखित करने के लिए एक गणितीय रूप से आधारित, कम्प्यूटेशनल रूप से कुशल और अत्यधिक स्थिर विधि प्रदान करता है, जो प्रभावी रूप से उस "दक्षता बनाम प्रदर्शन" के ट्रेड-ऑफ को हल करता है जिसने इस क्षेत्र को लंबे समय से परेशान किया है।