💬 NLP

Distributionally Robust Reinforcement Learning with Human Feedback

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स को फाइन-ट्यून करने के लिए रिवॉर्ड-आधारित RLHF और रिवॉर्ड-फ्री DPO के डिस्ट्रीब्यूशनली रोबस्ट वेरिएंट्स पेश करता है, जो कन्वर्जेंस गारंटी के साथ मिनीबैच ग्रेडिएंट डिसेंट एल्गोरिदम का प्रस्ताव देते हैं जो मानक तरीकों की तुलना में आउट-ऑफ-डिस्ट्रीब्यूशन कार्यों पर प्रदर्शन में महत्वपूर्ण सुधार करते हैं।

मूल लेखक: Debmalya Mandal, Paulius Sasnauskas, Goran Radanovic

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Debmalya Mandal, Paulius Sasnauskas, Goran Radanovic

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट सहायक को ईमेल लिखना, गणित की समस्याओं को हल करना या लोगों के साथ बातचीत करना सिखा रहे हैं। आप इसे हजारों "अच्छे" उत्तरों बनाम "बुरे" उत्तरों के उदाहरण दिखाकर करते हैं। इस प्रक्रिया को रिनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) कहा जाता है।

हालाँकि, एक समस्या है। यदि आप अपने रोबोट को केवल मैत्रीपूर्ण ईमेल लिखने के उदाहरणों पर प्रशिक्षित करते हैं, और फिर अचानक उससे कोई कानूनी अनुबंध या वैज्ञानिक रिपोर्ट लिखने के लिए कहते हैं, तो वह भ्रमित हो सकता है और खराब प्रदर्शन कर सकता है। उसने प्रशिक्षण डेटा के प्रति "अति-विशेषज्ञता" (over-specialized) हासिल कर ली है और वह नई, अलग स्थितियों को नहीं संभाल सकता। यह उस छात्र की तरह है जो एक विशिष्ट अभ्यास परीक्षा के उत्तर रट लेता है लेकिन वास्तविक परीक्षा में विफल हो जाता है क्योंकि प्रश्न अलग तरीके से पूछे गए होते हैं।

यह शोध पत्र इन रोबोट्स को प्रशिक्षित करने का एक नया तरीका प्रस्तावित करता है ताकि वे रोबस्ट (robust) बन सकें—यानी वे स्मार्ट और सहायक बने रहें, भले ही प्रश्न बदल जाएं या वातावरण उनके प्रशिक्षण के दौरान देखे गए वातावरण से थोड़ा अलग हो।

उन्होंने इसे कैसे किया, यहाँ सरल उपमाओं का उपयोग करके बताया गया है:

1. समस्या: "गूँज का कमरा" (The Echo Chamber)

वर्तमान प्रशिक्षण विधियाँ एक छात्र को गूँज के कमरे (echo chamber) में रखने की तरह हैं। वे केवल एक ही प्रकार की आवाज़ सुनते हैं (प्रशिक्षण डेटा)। यदि वास्तविक दुनिया में अलग लहजा या टोन है, तो छात्र खो जाता है। लेखक इसे आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) रोबस्टनेस की कमी कहते हैं।

2. समाधान: "सबसे खराब स्थिति वाला" कोच (The "Worst-Case" Coach)

लेखक एक अवधारणा पेश करते हैं जिसे डिस्ट्रीब्यूशनली रोबस्ट ऑप्टिमाइज़ेशन (DRO) कहा जाता है।

कल्पना कीजिए कि आप एक मैराथन धावक को प्रशिक्षित कर रहे हैं।

मानक प्रशिक्षण (Standard Training): आप केवल एक सपाट, धूप वाले ट्रैक पर दौड़ते हैं।
रोबस्ट प्रशिक्षण (Robust Training): आप धावक से कहते हैं, "मैं चाहता हूँ कि तुम किसी भी स्थिति के लिए तैयार रहो जो इस ट्रैक से थोड़ी अलग हो। शायद थोड़ी हवा चल रही हो, शायद ज़मीन थोड़ी कीचड़ भरी हो, शायद तापमान थोड़ा अधिक हो।"

रोबोट केवल "परफेक्ट" डेटा पर अच्छा होने के लिए नहीं सीखता है। इसके बजाय, वह यह सीखने के लिए सीखता है कि यदि डेटा एक उचित सीमा के भीतर "सबसे खराब स्थिति" (worst-case scenario) की ओर थोड़ा बदल जाता है, तब भी उसे कैसा प्रदर्शन करना है। वह अप्रत्याशित चीजों के लिए तैयारी करता है।

3. उन्होंने यह कैसे किया (दो-चरणीय प्रक्रिया)

यह शोध पत्र रोबोट को सिखाने के दो मुख्य चरणों पर ध्यान केंद्रित करता है:

चरण अ: "जज" को सीखना (रिवॉर्ड एस्टीमेशन)
सबसे पहले, रोबोट को एक "जज" (रिवॉर्ड मॉडल) की आवश्यकता होती है जो उसे बता सके कि उत्तर अच्छा है या बुरा।

चाल (The Trick): केवल प्रशिक्षण डेटा के स्कोर का औसत निकालने के बजाय, लेखक जज को संदेही होना सिखाते हैं। वे पूछते हैं: "क्या होगा यदि हम जिस डेटा को देख रहे हैं वह थोड़ा पक्षपाती या बदला हुआ है? हमें एक थोड़े अलग संस्करण वाले डेटा से सबसे खराब संभव स्कोर क्या मिल सकता है?"
परिणाम: जज अधिक सख्त और विश्वसनीय हो जाता है। वह प्रशिक्षण डेटा की खामियों से मूर्ख नहीं बनता। शोध पत्र दिखाता है कि यह जज को नए डेटा पर परीक्षण किए जाने पर तर्क (reasoning) कार्यों (जैसे गणित या तर्क) में बहुत बेहतर बनाता है।

चरण ब: "एक्टर" को सीखना (पॉलिसी ऑप्टिमाइज़ेशन)
एक बार जब जज तैयार हो जाता है, तो रोबोट ( "एक्टर") जज को खुश करने के लिए उत्तर लिखने की कोशिश करता है।

चाल (The Trick): लेखकों ने इसके लिए दो लोकप्रिय विधियों को अपडेट किया है:
1. PPO (प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन): एक विधि जहाँ रोबोट अपने मूल व्यक्तित्व के करीब रहते हुए जज के स्कोर को अधिकतम करने की कोशिश करता है।
2. DPO (डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन): एक शॉर्टकट विधि जो "जज" को छोड़ देती है और सीधे "अच्छे बनाम बुरे" उदाहरणों से सीखती है।
नवाचार: उन्होंने इन चरणों में भी उसी "सबसे खराब स्थिति" वाली सोच को लागू किया। रोबोट यह सीखने के लिए प्रदर्शन करता है कि यदि प्रॉम्प्ट्स (प्रश्नों) का वितरण थोड़ा बदल जाता है, तो भी वह अच्छा प्रदर्शन कर सके।

4. परिणाम: "सुपर-रीजनिंग"

टीम ने अपने नए "रोबस्ट" रोबोट्स का मानक रोबोट्स के विरुद्ध दो अलग-अलग मॉडल्स (एक छोटा 2-बिलियन पैरामीटर मॉडल और एक बड़ा 7-बिलियन पैरामीटर मॉडल) का उपयोग करके परीक्षण किया।

परीक्षण: उन्होंने रोबोट्स को "यूनिफाइड-फीडबैक" नामक एक विशाल डेटासेट पर प्रशिक्षित किया, लेकिन फिर उन्हें पूरी तरह से अलग डेटासेट्स (जैसे "HHH-Alignment" या "MT-Bench") पर परखा, जिन्हें रोबोट्स ने पहले कभी नहीं देखा था।
परिणाम:
- रोबस्ट रोबोट्स ने मानक रोबोट्स की तुलना में इन नए, अनदेखे कार्यों पर बेहतर प्रदर्शन किया।
- सबसे बड़ा सुधार रीजनिंग (तर्क) में हुआ। ठीक वैसे ही जैसे एक छात्र जो केवल उत्तर रटने के बजाय गणित के सिद्धांतों को सीखता है, रोबोट ने तर्क और रीजनिंग कार्यों में काफी बेहतर प्रदर्शन किया जब प्रश्न बदले गए।
- उन्होंने पाया कि "सबसे खराब स्थिति" की कितनी चिंता करनी है (एक पैरामीटर जिसे $\rho$ कहा जाता है) इसके लिए एक "स्वीट स्पॉट" (सही संतुलन) मौजूद है। यदि वे रोबोट को बहुत अधिक "सबसे खराब स्थिति" के बारे में सोचने के लिए मजबूर करते, तो वह भ्रमित हो जाता। लेकिन सही मात्रा के साथ, वह नई स्थितियों को संभालने में चैंपियन बन गया।

सारांश

संक्षेप में, यह शोध पत्र AI मॉडल्स को प्रशिक्षण डेटा को रटने के बजाय अंतर्निहित नियमों को समझने के लिए सिखाता है। उन्हें डेटा में मामूली बदलावों की अपेक्षा करने और उन्हें संभालने के लिए प्रशिक्षित करके (एक "सबसे खराब स्थिति" रणनीति का उपयोग करके), मॉडल वास्तविक दुनिया के कार्यों में बहुत अधिक विश्वसनीय और स्मार्ट हो जाते हैं जो उनके प्रशिक्षण से अलग होते हैं।

मुख्य निष्कर्ष: आप केवल एक ऐसा रोबोट नहीं चाहते जो अभ्यास परीक्षा के उत्तर जानता हो; आप एक ऐसा रोबोट चाहते जो वास्तविक परीक्षा पास कर सके, भले ही प्रश्न अलग शैली में लिखे गए हों। यह शोध पत्र दिखाता है कि इस तरह का रोबोट कैसे बनाया जाता है।

तकनीकी सारांश: मानव फीडबैक के साथ वितरण रूप से सुदृढ़ सुदृढीकरण शिक्षण (Distributionally Robust Reinforcement Learning with Human Feedback)

समस्या विवरण

मानव फीडबैक से सुदृढीकरण शिक्षण (RLHF), लार्ज लैंग्वेज मॉडल्स (LLMs) को मानवीय इरादों के साथ संरेखित करने के लिए एक मानक तकनीक बन गया है। हालाँकि, मौजूदा RLHF पाइपलाइनों में मजबूती (robustness) की कमी होती है। जब अनुमान (inference/downstream tasks) के दौरान सामना किए जाने वाले प्रॉम्प्ट्स का वितरण, फाइन-ट्यूनिंग के लिए उपयोग किए गए प्राथमिकता डेटासेट के वितरण से काफी भिन्न होता है, तो मॉडल का प्रदर्शन अक्सर बिगड़ जाता है। यह समस्या ओवर-ऑप्टिमाइज़ेशन जैसी घटनाओं के कारण और बढ़ जाती है, जहाँ नीतियां (policies) वास्तविक रिवॉर्ड फंक्शन की कीमत पर प्रॉक्सी रिवॉर्ड्स में सुधार करती हैं, और बदलते वातावरण या बदलते मानवीय प्राथमिकताओं के कारण होने वाले वितरण बदलाव (distribution shifts) के कारण भी। मजबूती के पिछले दृष्टिकोण विशिष्ट प्रतिकूल भ्रष्टाचार मॉडल (adversarial corruption models), प्राथमिकता मॉडल बदलाव, या मॉडल मर्जिंग जैसे ह्यूरिस्टिक तरीकों पर केंद्रित रहे हैं, जो हल्के वितरण बदलावों के तहत भी विफल हो जाते हैं।

कार्यप्रणाली

लेखक RLHF के लिए एक डिस्ट्रीबनेलिटी रस्ट ऑप्टिमाइज़ेशन (DRO) फ्रेमवर्क प्रस्तावित करते हैं। मुख्य उद्देश्य यह सुनिश्चित करना है कि फाइन-ट्यून किए गए मॉडल (दोनों रिवॉर्ड मॉडल और पॉलिसी) तब भी प्रदर्शन बनाए रखें जब प्रॉम्प्ट वितरण प्रशिक्षण वितरण के $\phi$ -डाइवर्जेंस बॉल (विशेष रूप से टोटल वेरिएशन डिस्टेंस) के भीतर एक सीमित दूरी के भीतर बदल जाए। लेखक इसे एक मिनिमैक्स ऑप्टिमाइज़ेशन समस्या के रूप में प्रस्तुत करते हैं जहाँ शिक्षार्थी अनुभवजन्य प्रशिक्षण वितरण के आसपास $\phi$ -डाइवर्जेंस बॉल के भीतर सबसे खराब स्थिति वाले वितरण के विरुद्ध नुकसान (loss) को कम करता है।

लेखक दो प्राथमिक RLHF पाइपलाइनों के लिए सुदृढ़ (robust) वेरिएंट विकसित करते हैं:

सुदृढ़ रिवॉर्ड अनुमान (Robust Reward Estimation):
- प्रारूप (Formulation): रिवॉर्ड मॉडल $r$ को उन वितरणों $D$ पर सबसे खराब अपेक्षित नुकसान को कम करने के लिए प्रशिक्षित किया जाता है जहाँ $d_{TV}(D, D_{src}) \leq \rho$ है।
- एल्गोरिदम: एक मिनीबैच ग्रेडिएंट डिसेंट एल्गोरिदम (एल्गोरिदम 1) प्रस्तावित है। प्रत्येक पुनरावृत्ति (iteration) में, एल्गोरिदम एक मिनीबैच सैंपल करता है और अनुकूलतम वेट्स $q^*_t$ की गणना करता है जो $\rho$ की दूरी के भीतर सबसे खराब स्थिति वाले वितरण बदलाव के अनुरूप होते हैं। इसके बाद रिवॉर्ड पैरामीटर्स को अपडेट करने से पहले इन अनुकूलतम वेट्स द्वारा ग्रेडिएंट को पुन: भारित (reweighted) किया जाता है।
- अभिसरण (Convergence): एक लीनियर रिवॉर्ड क्लास की धारणा के तहत, लेखक सिद्ध करते हैं कि एल्गोरिदम $T = O(1/\epsilon^2)$ पुनरावृत्तियों और प्रति पुनरावृत्ति $n = \tilde{O}(1/\epsilon^2)$ नमूनों के साथ एक $\epsilon$ -इष्टतम समाधान की ओर अभिसरित होता है।
सुदृढ़ पॉलिसी ऑप्टिमाइज़ेशन (Robust Policy Optimization):
- प्रारूप: पॉलिसी $\pi$ को सबसे खराब स्थिति वाले KL-रेगुलराइज्ड वैल्यू फंक्शन को अधिकतम करने के लिए अनुकूलित किया जाता है।
- एल्गोरिदम: लेखक एक सुदृढ़ नेचुरल पॉलिसी ग्रेडिएंट (NPG) विधि (एल्गोरिदम 2) प्रस्तावित करते हैं। रिवॉर्ड अनुमान के समान, यह सबसे खराब स्थिति वाले वेट्स के लिए मिनीबैच की गणना करता है। महत्वपूर्ण बात यह है कि यह पॉलिसी को इन सबसे खराब स्थिति वाले वेट्स से प्राप्त भारित फिशर इंफॉर्मेशन मैट्रिक्स का उपयोग करके अपडेट करता है, न कि मानक अनुभवजन्य फिशर मैट्रिक्स का।
- अभिसरण: एक लॉग-लीनियर पॉलिसी क्लास और मानक कंसेंट्रैबिलिटी स्थितियों को मानते हुए, यह विधि एक लीनियर कन्वर्जेंस रेट ( $T = O(\log(1/\epsilon))$ ) प्राप्त करती है, लेकिन लास्ट-इटरेट कन्वर्जेंस सुनिश्चित करने के लिए प्रति पुनरावृत्ति $n = \tilde{O}(1/\epsilon^4)$ की उच्च सैंपल कॉम्प्लेक्सिटी की आवश्यकता होती है।
सुदृढ़ डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (Robust Direct Preference Optimization - DPO):
- प्रारूप: एक वितरण रूप से सुदृढ़ DPO को सीधे एक स्पष्ट रिवॉर्ड मॉडल के बिना पॉलिसी को अनुकूलित करने के लिए तैयार किया गया है।
- एल्गोरिदम: एल्गोरिदम 3 सबसे खराब स्थिति वाले वितरण बदलाव के आधार पर पुन: भारित ग्रेडिएंट्स के साथ मिनीबैच स्टोकेस्टिक ग्रेडिएंट डिसेंट लागू करता है।
- अभिसरण: विश्लेषण से पता चलता है कि इसकी इटरेशन कॉम्प्लेक्सिटी $T = O(1/\epsilon^2)$ और सैंपल कॉम्प्लेक्सिटी $n = \tilde{O}(1/\epsilon^2)$ है, जो सुदृढ़ रिवॉर्ड अनुमान चरण के समान है।

प्रमुख योगदान

सैद्धांतिक ढांचा: यह पेपर रिवॉर्ड अनुमान और पॉलिसी ऑप्टिमाइज़ेशन दोनों चरणों के साथ-साथ DPO के लिए पहले वितरण रूप से सुदृढ़ (distributionally robust) फॉर्मुलेशन स्थापित करता है।
एल्गोरिदम: यह सुदृढ़ रिवॉर्ड अनुमान, सुदृढ़ NPG और सुदृढ़ DPO के लिए व्यावहारिक, मिनीबैच-आधारित एल्गोरिदम पेश करता है। ये एल्गोरिदम मौजूदा पाइपलाइनों में न्यूनतम हस्तक्षेप के लिए डिज़ाइन किए गए हैं, जिनमें केवल रीवेटिंग फैक्टर्स की गणना (जो कॉनवेक्स ऑप्टिमाइज़ेशन द्वारा हल किया जाता है) और ग्रेडिएंट रीवेटिंग की आवश्यकता होती है।
अभिसरण गारंटी: लेखक इन एल्गोरिदम के अभिसरण के लिए सैद्धांतिक प्रमाण प्रदान करते हैं। वे लीनियर रिवॉर्ड मॉडल और लॉग-लीनियर पॉलिसी के लिए सैंपल और इटरेशन कॉम्प्लेक्सिटी पर सीमाएं स्थापित करते हैं, जिससे यह सिद्ध होता है कि सैद्धांतिक गारंटियों के साथ मजबूती प्राप्त की जा सकती है।
अनुभवजन्य सत्यापन (Empirical Validation): विधियों का मूल्यांकन Unified-Feedback डेटासेट पर प्रशिक्षण के लिए और RewardBench, HHH-Alignment, और MT-Bench पर मूल्यांकन के लिए उपयोग किए गए आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) कार्यों पर किया गया है।

प्रयोगात्मक परिणाम

लेखकों ने अपने तरीकों का मूल्यांकन बेस मॉडल्स Gemma-2B-it और Mistral-7B-Instruct-v0.2 का उपयोग करके किया।

रिवॉर्ड मॉडल्स: RewardBench बेंचमार्क पर, वितरण रूप से सुदृढ़ रिवॉर्ड मॉडल्स (DR RM) ने मानक ब्रैडली-टेरी (BTL) मॉडल्स की तुलना में बेहतर औसत सटीकता दिखाई, विशेष रूप से जब मजबूती पैरामीटर $\rho$ को 0.1 या 0.2 पर सेट किया गया था। उल्लेखनीय रूप से, रीजनिंग (Reasoning) सबसेट पर प्रदर्शन में महत्वपूर्ण सुधार हुआ (उदाहरण के लिए, $\rho=0.1$ के साथ एक सबसेट पर +23.4%)। हालाँकि, जब $\rho$ को बहुत अधिक (जैसे $\rho \geq 0.6$ ) सेट किया गया, तो प्रदर्शन गिर गया, जो मजबूती और प्रशिक्षण वितरण को फिट करने के बीच एक ट्रेड-ऑफ को दर्शाता है।
पॉलिसी ऑप्टिमाइज़ेशन (PPO): PPO के माध्यम से पॉलिसियों को प्रशिक्षित करने के लिए इन सुदृढ़ रिवॉर्ड मॉडल्स का उपयोग करते समय, सुदृढ़ वेरिएंट (DR PPO) ने इन-डिस्ट्रीब्यूशन (Unified-Feedback) और OOD (HHH-Alignment, MT-Bench) दोनों डेटासेट्स पर मानक PPO के प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन किया। रीजनिंग कार्यों में उल्लेखनीय सुधार देखा गया, जिसमें $\rho=0.1$ के लिए सटीकता में +10.0% की वृद्धि हुई।
डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO): DR DPO ने मानक DPO की तुलना में OOD डेटासेट्स पर लगातार बेहतर प्रदर्शन किया। HHH-Alignment के लिए, सर्वश्रेष्ठ प्रदर्शन $\rho=0.8$ पर प्राप्त हुआ, और MT-Bench के लिए $\rho=0.5$ पर। DR DPO ने OOD कार्यों पर आम तौर पर DR PPO से बेहतर प्रदर्शन किया।

महत्व और दावे

यह पेपर दावा करता है कि डिस्ट्रीब्यूशनली रस्ट ऑप्टिमाइज़ेशन (DRO) अनसीन टास्क और वितरण बदलावों के प्रति LLMs के सामान्यीकरण (generalization) को सुधारने के लिए एक सिद्धांत आधारित दृष्टिकोण प्रदान करता है। लेखक इस बात पर जोर देते हैं कि उनके तरीकों के लिए मौजूदा कुशल RLHF पाइपलाइनों (जैसे कि Hugging Face लाइब्रेरी का उपयोग करने वाले) में न्यूनतम परिवर्तन की आवश्यकता होती है, जबकि वे सैद्धांतिक अभिसरण गारंटी भी प्रदान करते हैं।

लेखकों द्वारा रेखांकित एक प्रमुख निष्कर्ष रीजनिंग क्षमताओं में अप्रत्याशित सुधार है जो OOD डेटासेट्स पर वितरण संबंधी मजबूती लागू करने पर होता है। लेखक नोट करते हैं कि यह तुरंत स्पष्ट नहीं है कि DRO रीजनिंग को सकारात्मक रूप से क्यों प्रभावित करता है, जो यह सुझाव देता है कि रीजनिंग और डिस्ट्रीबशनल रस्ट के बीच संबंधों की आगे जांच की जानी चाहिए।

यह कार्य गतिशील वास्तविक दुनिया के वातावरण में मानवीय इरादों के साथ LLMs को वास्तव में संरेखित करने की दिशा में एक कदम के रूप में खुद को स्थापित करता है, जहाँ डेटा वितरण स्थिर नहीं है, और यह मानक RLHF की सीमाओं से आगे बढ़ता है जो अक्सर प्रशिक्षण के दौरान देखे गए विशिष्ट प्राथमिकता उदाहरणों से परे सामान्यीकरण करने में विफल रहता है।