Bias Fitting to Mitigate Length Bias of Reward Model in RLHF

तकनीकी सारांश: FiMi-RM (RLHF में रिवॉर्ड मॉडल के लेंथ बायस को कम करने के लिए बायस फिटिंग)

समस्या विवरण

रिएनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) लार्ज लैंग्वेज मॉडल्स (LLMs) को मानवीय प्राथमिकताओं के साथ संरेखित करने के लिए एक मानक ढांचा है। हालाँकि, यह प्रक्रिया रिवॉर्ड हैकिंग (reward hacking) के प्रति संवेदनशील है, जहाँ पॉलिसी वास्तविक मानवीय इरादे का पालन करने के बजाय स्कोर को अधिकतम करने के लिए प्रशिक्षित रिवॉर्ड मॉडल की खामियों का फायदा उठाती है। लेंथ बायस (length bias) एक प्रचलित रूप है, जहाँ रिवॉर्ड मॉडल वास्तविक गुणवत्ता की परवाह किए बिना व्यवस्थित रूप से लंबे उत्तरों को अधिक अंक देते हैं। इससे डाउनस्ट्रीम मॉडल्स में अत्यधिक विस्तृत (verbose) जनरेशन होने लगता है।

मौजूदा शमन रणनीतियाँ (mitigation strategies) महत्वपूर्ण सीमाओं से ग्रस्त हैं:

1. चरित्र चित्रण का अभाव (Lack of Characterization): कुछ दृष्टिकोण (जैसे, RRM) डेटा वितरण को संतुलित करने का प्रयास करते हैं या कॉज़ल फ्रेमवर्क का उपयोग करते हैं, लेकिन वे बायस के स्वरूप को स्पष्ट रूप से मॉडल नहीं करते हैं।
2. रैखिक धारणाएँ (Linear Assumptions): कई विधियाँ (जैसे, Length Penalty, ODIN, Huang et al.) रिस्पॉन्स लेंथ और रिवॉर्ड के बीच एक रैखिक संबंध मानती हैं। वे या तो लेंथ के आधार पर एक निश्चित गुणांक घटाते हैं या गुणवत्ता से लेंथ को अलग करने के लिए लीनियर रिग्रेशन का उपयोग करते हैं।
3. अपर्याप्तता (Inadequacy): ये रैखिक धारणाएँ लेंथ और रिवॉर्ड स्कोर के बीच जटिल, गैर-रैखिक (non-linear) अंतःक्रिया को पकड़ने में विफल रहती हैं, विशेष रूप से विभिन्न लेंथ रीजीम में देखे गए जटिल पैटर्न।

कार्यप्रणाली: FiMi-RM

लेखक FiMi-RM (बायस फिटिंग टू मिटिगेट लेंथ बायस ऑफ रिवॉर्ड मॉडल) प्रस्तावित करते हैं, जो अंतर्निहित गैर-रैखिक बायस पैटर्न को स्वायत्त रूप से सीखने और सुधारने के लिए डिज़ाइन किया गया एक ढांचा है। यह दृष्टिकोण तीन अलग-अलग चरणों में कार्य करता है:

1. वॉर्म-अप चरण (Warm-Up Stage):

   • एक मानक रिवॉर्ड मॉडल ($model_r$) को प्रेफरेंस डेटा पर ब्रैडली-टेरी (Bradley-Terry) लॉस का उपयोग करके प्रशिक्षित किया जाता है।
   • महत्वपूर्ण रूप से, यह चरण रिवॉर्ड मॉडल के अंतर्निहित लेंथ बायस को तुरंत सुधारने के बजाय उसे संरक्षित (preserve) करता है। यह सुनिश्चित करता है कि मॉडल के पास लंबे उत्तरों को उच्च स्कोर देने की एक मजबूत, व्यवस्थित प्रवृत्ति हो, जो अगले फिटिंग चरण के लिए एक स्पष्ट लक्ष्य प्रदान करती है।

2. लेंथ बायस फिटिंग चरण (Length Bias Fitting Stage):

   • एक हल्का फिटिंग मॉडल ($model_f$) पेश किया जाता है जो रिस्पॉन्स लेंथ ($len(y)$) और बायस्ड रिवॉर्ड आउटपुट ($r$) के बीच के संबंध को स्पष्ट रूप से चित्रित करता है।
   • आर्किटेक्चर: स्केलर लेंथ को एक $d$-डायमेंशनल फीचर स्पेस में प्रोजेक्ट किया जाता है (पोजीशनल एनकोडिंग से प्रेरित लेंथ एनकोडिंग का उपयोग करके), जिसे एक ResNet आर्किटेक्चर के माध्यम से प्रोसेस किया जाता है, और फिर रिवॉर्ड ($\hat{r}$) की भविष्यवाणी करने के लिए एक लीनियर प्रोजेक्शन हेड के माध्यम से भेजा जाता है।
   • उद्देश्य: फिटिंग मॉडल अनुमानित रिवॉर्ड ($\hat{r}$) और वास्तविक रिवॉर्ड मॉडल आउटपुट ($r$) के बीच के अंतर को कम करने के लिए प्रशिक्षित किया जाता है। अनुकूलन (optimization) के लिए पियर्सन कोरिलेशन लॉस ($L_{pearson}$) का उपयोग किया जाता है ताकि अनुमानित और वास्तविक रिवॉर्ड के बीच सहसंबंध को अधिकतम किया जा सके।
   • मुख्य अंतर्दृष्टि: पियर्सन लॉस का उपयोग सहसंबंध पैटर्न को संरेखित करता है, बिना फिटिंग मॉडल पर स्वयं कोई रैखिकता (linearity) की बाधा डाले। ResNet-आधारित $model_f$ जटिल, गैर-रैखिक निर्भरताओं को सीखने के लिए स्वतंत्र है।

3. लेंथ डिबायसिंग चरण (Length Debiasing Stage):

   • मूल रिवॉर्ड मॉडल को रिस्पॉन्स लेंथ से अपने आउटपुट को अलग करने (decouple) के लिए फाइन-ट्यून किया जाता है, जबकि मानवीय प्राथमिकताओं को मॉडल करने की इसकी क्षमता को सुरक्षित रखा जाता है।
   • प्रशिक्षण तंत्र: यह ढांचा रिवॉर्ड मॉडल और फिटिंग मॉडल के बीच एक अल्टरनेटिंग ट्रेनिंग रणनीति का उपयोग करता है।
   • लॉस फंक्शन: रिवॉर्ड मॉडल को एक कंपोजिट लॉस का उपयोग करके ऑप्टिमाइज़ किया जाता है:
     $$L_{debiased} = L'_{pearson} + L_{BT}$$
     • $L'_{pearson}$: रिवॉर्ड मॉडल के आउटपुट को फिटिंग मॉडल के अनुमान के साथ असंबद्ध (uncorrelated) होने के लिए मजबूर करता है (प्रभावी रूप से सीखा गया बायस हटा देता है)।
     • $L_{BT}$: मानक ब्रैडली-टेरी लॉस, जो यह सुनिश्चित करता है कि मॉडल मानवीय प्राथमिकताओं के लिए अपनी विभेदक क्षमता बनाए रखे।
   • इंडिकेटर फंक्शन $I(step)$ बायस को फिट करने और रिवॉर्ड मॉडल को डिबायस करने के बीच ट्रेनिंग स्टेप्स को बदलता है।

प्रमुख योगदान

1. गैर-रैखिक बायस मॉडलिंग: यह पेपर एक मल्टी-स्टेज फ्रेमवर्क पेश करता है जो स्वायत्त रूप से "हैक किए गए" रिवॉर्ड और रिस्पॉन्स लेंथ के बीच के गैर-रैखिक संबंध को सीखता है, जो पिछले कार्यों के सरल रैखिक धारणाओं से आगे बढ़ता है।
2. गैर-रैखिकता का अनुभवजन्य सत्यापन: फिटिंग प्रक्रिया के माध्यम से, लेखक एक मल्टी-स्टेज बायस पैटर्न की पहचान करते हैं:
   • छोटे रिस्पॉन्स (<100 टोकन): यहाँ एक मजबूत रैखिक सहसंबंध दिखता है जहाँ लेंथ के साथ रिवॉर्ड बढ़ता है।
   • लंबे रिस्पॉन्स: संबंध सपाट (flatten) हो जाता है, और कुछ मामलों में, इसमें गिरावट की हल्की प्रवृत्ति भी दिखती है, जो यह दर्शाता है कि लंबे आउटपुट के लिए लेंथ का सकारात्मक प्रभाव कम हो जाता है या उल्टा हो जाता है।
3. व्यापक मूल्यांकन: विधि का मूल्यांकन लेंथ-रिवॉर्ड डिस्ट्रीब्यूशन विश्लेषण, लेंथ-कंट्रोल्ड विन रेट्स, और कई एलाइनमेंट एल्गोरिदम (DPO और Best-of-N) में रिस्पॉन्स लेंथ डिस्ट्रीब्यूशन के माध्यम से किया गया है।

प्रायोगिक परिणाम

लेखकों ने Qwen2.5-7B और Gemma2-9B मॉडल्स का Anthropic HH डेटासेट पर FiMi-RM का मूल्यांकन किया, और वैनिला रिवॉर्ड मॉडल्स, लेंथ पेनल्टी, और ODIN के साथ तुलना की।

• प्रेफरेंस एक्यूरेसी: FiMi-RM ने उन सबसेट्स में अधिक संतुलित सटीकता प्राप्त की जहाँ चुना गया रिस्पॉन्स लंबा था (C-longer) बनाम छोटा था (R-longer)। हालांकि C-longer सबसेट पर समग्र सटीकता थोड़ी कम हुई, लेखक तर्क देते हैं कि यह "लेंथ शॉर्टकट" के सफल निष्कासन को दर्शाता है न कि सिमेंटिक समझ की हानि को।
• लेंथ-रिवॉर्ड डिस्ट्रीब्यूशन: स्कैटर प्लॉट्स ने खुलासा किया कि FiMi-RM बेसलाइन्स की तुलना में लेंथ बिन्स केAcross अधिक सममित (symmetric) और सपाट रिवॉर्ड डिस्ट्रीब्यूशन उत्पन्न करता है, जो प्रभावी डिबायसिंग की पुष्टि करता है।
• डाउनस्ट्रीम प्रदर्शन (BoN & DPO):
  • विन रेट्स: FiMi-RM ने Best-of-N (BoN) और Direct Preference Optimization (DPO) दोनों सेटिंग्स में उच्चतम लेंथ-कंट्रोल्ड विन रेट (LC-WR) और स्टैंडर्ड विन रेट (WR) प्राप्त किया।
  • वर्बोसिटी (Verbosity): इस विधि ने MT-Bench और IFEval जैसे बेंचमार्क पर प्रदर्शन को बनाए रखते हुए या बेहतर करते हुए, वैनिला RM और लेंथ पेनल्टी की तुलना में जनरेटेड रिस्पॉन्स की औसत टोकन लेंथ को काफी कम कर दिया।
  • सिलेक्शन बायस: BoN सिलेक्शन में, FiMi-RM ने ODIN की तुलना में संक्षिप्त आउटपुट के लिए अधिक मजबूत प्राथमिकता दिखाई, जो कि ODIN मध्यम-लंबाई के रिस्पॉन्स की ओर झुकाव रखता है।

महत्व और दावे

पेपर का दावा है कि FiMi-RM समस्या की गैर-रैखिक प्रकृति को स्पष्ट रूप से मॉडल करके लेंथ बायस को कम करने के लिए एक अधिक सटीक और प्रभावी दृष्टिकोण प्रदान करता है। रिवॉर्ड मॉडलिंग की मुख्य क्षमताओं से समझौता किए बिना लेंथ को रिवॉर्ड से अलग करके, यह विधि RLHF पाइपलाइन्स को ऐसे रिस्पॉन्स जनरेट करने में सक्षम बनाती है जो उच्च गुणवत्ता वाले और उचित रूप से संक्षिप्त दोनों हों।

लेखक नोट करते हैं कि हालांकि उनकी विधि स्प्यूरियस कोरिलेशन (spurious correlations) को प्रभावी ढंग से कम करती है, लेकिन यह प्रश्न कि क्या मानवीय प्राथमिकताएं लेंथ से पूरी तरह स्वतंत्र हैं, अभी भी खुला है। वे स्वीकार करते हैं कि कुछ संदर्भों में (जैसे, विस्तृत स्पष्टीकरण की आवश्यकता वाले कार्यों में), लेंथ और गुणवत्ता के बीच एक सकारात्मक सहसंबंध वास्तविक हो सकता है। हालाँकि, उनका ढांचा सफलतापूर्वक व्याख्या योग्य बायस (exploitable bias) और वास्तविक प्राथमिकता (genuine preference) के बीच अंतर करता है, जिससे सुरक्षित और अधिक प्रभावी मॉडल एलाइनमेंट होता है।