🤖 AI

Unbiased Alignment for Large Language Models with Noisy Preferences

यह शोध पत्र एक सैद्धांतिक ढांचे को प्रस्तुत करता जिसमें अनबायस्ड रिवॉर्ड मॉडल (URM) और अनबायस्ड डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (UDPO) लॉस शामिल हैं, ताकि लार्ज लैंग्वेज मॉडल्स को बिना किसी स्वच्छ ग्राउंड-ट्रुथ सुपरविजन की आवश्यकता के, सीधे शोर वाले (noisy) प्रेफरेंस डेटासेट्स से सुदृढ़ और शोर-सहिष्णु संरेखण (alignment) प्राप्त करने में सक्षम बनाया जा सके।

मूल लेखक: Jialiang Wang, Xianming Liu, Xiong Zhou, Hui Liu, Haoliang Li

प्रकाशित 2026-07-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jialiang Wang, Xianming Liu, Xiong Zhou, Hui Liu, Haoliang Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन छात्र (एक लार्ज लैंग्वेज मॉडल) को अच्छी कहानियाँ लिखना या प्रश्नों के उत्तर देना सिखाने की कोशिश कर रहे हैं। आपके पास फीडबैक कार्डों का एक ढेर है, जो लोगों के एक समूह द्वारा बताया गया है कि कौन से उत्तर "अच्छे" हैं और कौन से "बुरे"।

समस्या क्या है? फीडबैक देने वाले लोग पूर्ण नहीं हैं। कुछ थके हुए हैं, कुछ भ्रमित हैं, और कुछ के अपने व्यक्तिगत पूर्वाग्रह भी हो सकते हैं। वास्तविक दुनिया में, इन फीडबैक कार्डों में से लगभग 20% से 40% गलत हो सकते हैं। यदि आप आँख मूंदकर कार्डों का अनुसरण करते हैं, तो छात्र गलत सबक सीख जाता है और गलतियाँ करना शुरू कर देता है।

यह पेपर छात्र को सिखाने का एक नया तरीका पेश करता है जो फीडबैक कार्डों के "शोर" (गलतियों) को अनदेखा करता है और उसके नीचे छिपे सत्य पर ध्यान केंद्रित करता है।

मुख्य विचार: "नॉइज़-कैंसलिंग" हेडफ़ोन

शोर भरे फीडबैक को एक ऐसे गाने की तरह समझें जो बहुत अधिक स्टैटिक इंटरफेरेंस (स्थिर शोर) के साथ बज रहा है। मानक शिक्षण विधियाँ पूरे शोर को सुनकर गाना सीखने की कोशिश करती हैं, जिसके परिणामस्वरूप एक विकृत धुन निकलती है।

लेखकों ने एक गणितीय "नॉइज़-कैंसलिंग" प्रणाली बनाई है। उन्होंने महसूस किया कि यदि आप जानते हैं कि शोर कैसे होता है (उदाहरण के लिए, "20% बार, लोग अपने उत्तर बदल देते हैं"), तो आप गणितीय रूप से उस प्रक्रिया को उलट सकते हैं। यह एक रेसिपी की तरह है जो कहती है, "यदि केक बहुत नमकीन है, तो सही स्वाद वापस पाने के लिए ठीक इतना नमक घटा दें।"

उन्होंने दो विशिष्ट उपकरण बनाए हैं:

URM (अनबायस्ड रिवॉर्ड मॉडल): यह शिक्षण के पहले चरण के लिए है। आमतौर पर, मॉडल उत्तरों को एक "स्कोर" देना सीखता है। यदि फीडबैक शोर भरा है, तो स्कोरिंग सिस्टम भ्रमित हो जाता है। URM एक फिल्टर की तरह काम करता है जो मॉडल के देखने से पहले ही स्कोर को साफ करता है, यह सुनिश्चित करता है कि मॉडल सही "अच्छे बनाम बुरे" के अंतर को सीखे।
UDPO (अनबायस्ड डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन): यह दूसरे चरण के लिए है, जहाँ मॉडल वास्तव में लिखना सीखता है। केवल शोर भरे फीडबैक का सीधे पालन करने के बजाय, UDPO भ्रम को "उल्टा" करने के लिए एक विशेष गणितीय सूत्र का उपयोग करता है। यह मॉडल को सही व्यवहार सीखने की अनुमति देता है, भले ही शिक्षक कभी-कभी गलत हो।

यह कैसे काम करता है: "जादुई सूत्र"

पेपर का दावा है कि आपको यह जानने की आवश्यकता नहीं है कि कौन से विशिष्ट फीडबैक कार्ड गलत हैं। आपको बस सामान्य "शोर दर" (फीडबैक कितना अस्त-व्यस्त है) जानने की आवश्यकता है।

वे एक चर (variable) का उपयोग करते हैं जिसे $a$ कहा जाता है (जो शोर दर पर आधारित है)।

डाउनवर्ड कम्पैटिबिलिटी ट्रिक: कल्पना करें कि आप अनुमान लगा रहे हैं कि फीडबैक कितना अस्त-व्यट है। यदि आप अनुमान लगाते हैं कि यह बहुत अस्त-व्यस्त है (उच्च शोर दर), लेकिन वास्तव में यह केवल थोड़ा अस्त-व्यस्त है, तो आपकी विधि फिर भी पूरी तरह से काम करेगी। यह भारी-भरत रेन बूट पहनने जैसा है—भले ही केवल हल्की बूंदाबांदी हो, आप सूखे रहेंगे। हालाँकि, यदि आप अनुमान लगाते हैं कि मौसम धूप वाला है लेकिन वास्तव में भारी बारिश हो रही है, तो आप भीग जाएंगे। लेखकों ने सिद्ध किया है कि यदि आप शोर का अधिक अनुमान लगाते हैं, तो भी उनकी विधि सुरक्षित है।

परिणाम: खेल जीतना

शोधकर्ताओं ने वास्तविक दुनिया के डेटासेट (जैसे चैट बातचीत और सारांश कार्यों) पर परीक्षण किया और अधिक शोर जोड़ने के लिए कृत्रिम रूप से शोर पैदा किया ताकि देखा जा सके कि यह कैसा प्रदर्शन करता है।

बेसलाइन: मानक विधियाँ (जैसे DPO) बुरी तरह विफल होने लगती हैं जब शोर बढ़ जाता है। वे भ्रमित हो जाती हैं और खराब प्रदर्शन करती हैं।
नई विधि: उनके URM और UDPO तरीके मजबूत बने रहते हैं। यहाँ तक कि जब 40% फीडबैक गलत (उल्टा) था, तब भी उनके मॉडल ने सही व्यवहार करना सीखा।
प्रमाण: उन्होंने गणितीय रूप से दिखाया कि उनकी विधि केवल "किस्मत से जीत" नहीं गई है। यह एक शोर भरे क्लासरूम से भी "सर्वश्रेष्ठ संभव" शिक्षक (बेयस ऑप्टिमल क्लासिफायर) को रिकवर करने के लिए सिद्ध है।

संक्षेप में

यह पेपर कहता है: "अपने शोर भरे फीडबैक डेटा को फेंकिए मत। इसके बजाय, सीखते समय इसे साफ करने के लिए हमारे नए गणितीय उपकरणों का उपयोग करें।"

वे एक "नॉइज़-कैंसलिंग" लॉस फंक्शन (सीखने का एक गणितीय नियम) प्रदान करते हैं जो AI मॉडलों को मानवीय फीडबैक से सही ढंग से सीखने में मदद करता है, जिससे वे भ्रमित न हों। यह मानव मूल्यों के साथ AI को संरेखित करने का एक अधिक मजबूत और सुरक्षित तरीका है, यह सुनिश्चित करता है कि भले ही फीडबैक देने वाले इंसान थके हुए या पक्षपाती हों, AI सही सबक सीखे।

तकनीकी सारांश: शोर वाले प्रेफरेंस के साथ बड़े भाषा मॉडलों (LLMs) के लिए निष्पक्ष संरेखण (Unbiased Alignment)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का मानव प्राथमिकताओं (human preferences) के साथ संरेखण (alignment) प्रशिक्षण पाइपलाइन का एक महत्वपूर्ण चरण है, जिसे आमतौर पर 'रिनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक' (RLHF) या 'डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन' (DPO) के माध्यम से प्राप्त किया जाता है। हालांकि, वास्तविक दुनिया के प्रेफरेंस डेटासेट स्वाभाविक रूप से शोर (noise) युक्त होते हैं, जिनमें एनोटेशन त्रुटियां, पेशेवर ज्ञान की कमी और सामाजिक पूर्वाग्रह जैसे कारक महत्वपूर्ण शोर (अक्सर 20% से 40% तक) उत्पन्न करते हैं।

मानक संरेखण विधियां, जिनमें RLHF और DPO शामिल हैं, इस शोर के प्रति संवेदनशील हैं। वे त्रुटिपूर्ण प्रेफरेंस पेयर्स (preference pairs) पर ओवरफिट होने की प्रवृत्ति रखती हैं, जिससे विकृत रिवॉर्ड सिग्नल या पक्षपाती पॉलिसी मॉडल उत्पन्न होते हैं। इस समस्या को कम करने वाले मौजूदा दृष्टिकोणों की अपनी सीमाएं हैं: कुछ शोर सहने में पूरी तरह सक्षम नहीं हैं, जबकि अन्य (जैसे, rDPO) शोर दर (noise rate) के सटीक अनुमान की आवश्यकता रखते हैं, जो उन व्यावहारिक परिदृश्यों में अव्यवहारिक है जहाँ ग्राउंड-ट्रुथ शोर स्तर अज्ञात होता है।

कार्यप्रणाली (Methodology)

लेखक अनबायस्ड एलाइनमेंट (Unbiased Alignment) के लिए एक एकीकृत सैद्धांतिक ढांचे का प्रस्ताव करते हैं जो बिना किसी स्वच्छ ग्राउंड-ट्रुथ सुपरविजन के, प्रेफरेंस शोर द्वारा उत्पन्न विरूपण (distortion) को गणितीय रूप से ठीक करता है। मुख्य अंतर्दृष्टि यह है कि प्रेफरेंस शोर एक सांख्यिकीय रूप से मॉडल किए गए ट्रांजिशन प्रोसेस का अनुसरण करता है। इस प्रक्रिया को उलटने (inverting) के माध्यम से, लेखक ऐसे लॉस फंक्शन्स (loss functions) व्युत्पन्न करते हैं जो शोर वाले डेटा से सीधे निष्पक्ष मॉडलों के प्रशिक्षण की अनुमति देते हैं।

यह ढांचा दो प्रमुख प्रतिमानों (paradigms) को संबोधित करता है:

1. RLHF के लिए अनबायस्ड रिवॉर्ड मॉडल (URM)

RLHF प्रतिमान में, शोर रिवॉर्ड मॉडल प्रशिक्षण चरण को दूषित करता है। लेखक इष्टतम शोर वाले रिवॉर्ड मॉडल ( $r^\eta$ ) और इष्टतम निष्पक्ष रिवॉर्ड मॉडल ( $r^*$ ) के बीच के संबंध को स्पष्ट करते हैं।

सैद्धांतिक व्युत्पत्ति: वे एक रूपांतरण संबंध स्थापित करते हैं जहाँ एक स्थिरांक $a = \frac{\eta}{1-\eta}$ का उपयोग करके निष्पक्ष रिवॉर्ड सिग्नल को शोर वाले समकक्ष से पुनः प्राप्त किया जा सकता है, जहाँ $\eta$ शोर दर है।
URM लॉस: शोर वाले रिवॉर्ड प्रतिनिधित्व को निष्पक्ष वाले से बदलकर, वे अनबायस्ड रिवॉर्ड मॉडल (URM) लॉस व्युत्पन्न करते हैं:
$L_{URM} = -\log \frac{\exp(\Delta) + a}{\exp(\Delta) + 1}$
जहाँ $\Delta = r_\phi(x, y_w) - r_\phi(x, y_l)$ है। यह लॉस शोर वाले प्रेफरेंस पेयर्स से सीधे एक निष्पक्ष रिवॉर्ड मॉडल को प्रशिक्षित करने में सक्षम बनाता है।

2. DPO के लिए अनबायस्ड डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (UDPO)

DPO प्रतिमान के लिए, जो स्पष्ट रिवॉर्ड मॉडल के बिना सीधे पॉलिसी को अनुकूलित करता है, शोर इसी तरह सीखी गई पॉलिसी को पक्षपाती बनाता है।

सैद्धांतिक व्युत्पत्ति: लेखक प्रदर्शित करते हैं कि शोर वाली और निष्पक्ष पॉलिसियों के बीच का संबंध रिवॉर्ड मॉडलों के समान है। वे शोर वाली पॉलिसी रेशियो और निष्पक्ष पॉलिसी रेशियो के बीच रूपांतरण व्युत्पन्न करते हैं।
UDPO लॉस: इससे अनबायस्ड डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (UDPO) लॉस प्राप्त होता है:
$L_{UDPO} = -\log \frac{\left(\frac{\pi_\theta(y_w|x)\pi_{ref}(y_l|x)}{\pi_\theta(y_l|x)\pi_{ref}(y_w|x)}\right)^\beta + a}{\left(\frac{\pi_\theta(y_w|x)\pi_{ref}(y_l|x)}{\pi_\theta(y_l|x)\pi_{ref}(y_w|x)}\right)^\beta + 1}$
यह DPO फ्रेमवर्क की सरलता बनाए रखते हुए सीधे एक निष्पक्ष पॉलिसी मॉडल के अनुकूलन की अनुमति देता है।

एकीकृत ढांचा और सैद्धांतिक गुण

लेखक दिखाते हैं कि URM और UDPO दोनों एक समान मार्जिन-आधारित रूप साझा करते हैं, जो RLHF और DPO के बीच मौलिक समानता को बनाए रखता है। स्थापित प्रमुख सैद्धांतिक गुण निम्नलिखित हैं:

शोर सहिष्णुता (Noise Tolerance): ये विधियाँ डिज़ाइन के आधार पर शोर वाले डेटा के प्रति मजबूत (robust) हैं।
पैरामीटर डाउनवर्ड कम्पैटिबिलिटी (Parameter Downward Compatibility): यदि वास्तविक शोर दर $\eta^*$ अनुमानित पैरामीटर $\hat{\eta}$ (जो $a$ सेट करने के लिए उपयोग किया जाता है) के बराबर या उससे कम है, तो लॉस फंक्शन अभी भी एक निष्पक्ष इष्टतम समाधान प्रदान करेगा। यह महत्वपूर्ण है क्योंकि सटीक शोर दर अज्ञात होती है; शोर पैरामीटर का अति-अनुमान (overestimation) मजबूती सुनिश्चित करता है।
वर्गीकरण अंशांकन (Classification Calibration): प्रस्तावित लॉस फंक्शन्स को वर्गीकरण-कलिब्रेटेड (classification-calibrated) सिद्ध किया गया है, जो यह सुनिश्चित करता है कि सरोगेट लॉस को कम करने से बेयस-इष्टतम क्लासिफायर (Bayes-optimal classifier) प्राप्त होता है।
एक्सेस रिस्क बाउंड (Excess Risk Bound): पेपर 0-1 लॉस के साथ अनबायस्ड लॉस के एक्सेस रिस्क से संबंधित एक बाउंड स्थापित करता है, जो यह दर्शाता है कि विधि बेयस-इष्टतम क्लासिफायर को पुनः प्राप्त कर सकती है।

मुख्य योगदान

सैद्धांतिक ढांचा: अनबायस्ड एलाइनमेंट के लिए एक एकीकृत सैद्धांतिक ढांचा जो RLHF और DPO दोनों के लिए प्रेफरेंस शोर विरूपण को गणितीय रूप से उलट देता है।
नवीन लॉस फंक्शन्स: रिवॉर्ड मॉडलिंग के लिए URM लॉस और प्रत्यक्ष पॉलिसी अनुकूलन के लिए UDPO लॉस की व्युत्पत्ति, जो दोनों शोर वाले डेटासेट से निष्पक्ष मॉडल को प्रशिक्षित करने में सक्षम हैं।
सैद्धांतिक गारंटी: शोर सहिष्णुता, पैरामीटर डाउनवर्ड कम्पैटिबिलिटी, वर्गीकरण अंशांकन और एक्सेस रिस्क बाउंड्स को प्रदर्शित करने वाले कठोर प्रमाण।
प्रायोगिक सत्यापन: विविध डेटासेट्स (Anthropic-HH, Reddit TL;DR, UltraFeedback Binarized) और मॉडल परिवारों (Llama-3, Qwen) में व्यापक प्रयोग, जो स्टेट-ऑफ-द-आर्ट बेसलाइन्स पर निरंतर श्रेष्ठता दिखाते हैं।

प्रायोगिक परिणाम

लेखकों ने विभिन्न स्तरों के मैन्युअल रूप से इंजेक्ट किए गए शोर (0%, 20%, 40%) और वास्तविक दुनिया के शोर वाले डेटासेट के तहत मानक RM/DPO, लेबल स्मूथिंग वेरिएंट्स और अन्य रोबस्ट विधियों (rDPO, Dr.DPO) सहित बेसलाइन्स के विरुद्ध अपने तरीकों का मूल्यांकन किया।

रिवॉर्ड मॉडल प्रशिक्षण: URM और इसके नॉर्मलाइज्ड वेरिएंट ( $\alpha$ -URM) ने लगातार सभी बेसलाइन्स को पछाड़ दिया। 40% शोर वाले TL;DR डेटासेट पर, URM ने मानक बेसलाइन्स की तुलना में विन रेट (win rates) में लगभग 8% का सुधार किया।
सुपरवाइज्ड प्रेफरेंस ट्रेनिंग: UDPO और $\alpha$ -UDPO ने सभी डेटासेट्स में उच्चतम औसत विन रेट प्राप्त किया। UDPO का औसत विन रेट सामान्य DPO की तुलना में लगभग 15% अधिक था, जो पुष्टि करता है कि मानक DPO शोर पर ओवरफिट होता है जबकि निष्पक्ष ढांचा वास्तविक पॉलिसी को पुनः प्राप्त करता है।
स्केलेबिलिटी (Scalability): इन विधियों ने बड़े मॉडलों (Llama-3.1-8B, Qwen-3-8B, Qwen-3-14B) और जटिल डेटासेट्स (UFB) पर प्रभावशीलता प्रदर्शित की, और GRPO का उपयोग करके क्लोज्ड-लूप RLHF सेटिंग्स में मजबूती बनाए रखी।
एब्लेशन (Ablation): प्रयोगों ने पुष्टि की कि नॉर्मलाइज्ड वेरिएंट ( $\alpha$ -URM/ $\alpha$ -UDPO) हाइपरपैरामीटर चयन के प्रति कम संवेदनशील हैं और लगातार इष्टतम प्रदर्शन प्राप्त करते हैं जब $a$ को संभावित शोर स्तरों को कवर करने के लिए सेट किया जाता है।

महत्व और दावे

यह पेपर एक "संक्षिप्त, व्याख्या योग्य और प्रभावी मार्ग" प्रदान करने का दावा करता है। प्रेफरेंस शोर को एक गणितीय ट्रांजिशन प्रोसेस मानकर और इसे विश्लेषणात्मक रूप से उलटने के माध्यम से, लेखक एक ऐसा समाधान प्रदान करते हैं जो सटीक शोर दर जानने की अव्यावहारिक आवश्यकता पर निर्भर नहीं है।

इसका महत्व यहाँ निहित है:

व्यावहारिक उपयोगिता: "पैरामीटर डाउनवर्ड कम्पैटिबिलिटी" गुण अभ्यासकर्ताओं को सटीक शोर अनुमान की आवश्यकता के बिना मजबूती सुनिश्चित करने के लिए एक रूढ़िवादी (conservative) शोर पैरामीटर सेट करने की अनुमति देता है।
सैद्धांतिक कठोरता: यह कार्य शोर वाले लर्निंग थ्योरी और LLM एलाइनमेंट के बीच के अंतर को पाटता है, जो गारंटी (कैलिब्रेशन, रिस्क बाउंड्स) प्रदान करता है जो पहले रोबस्ट एलाइनमेंट विधियों में अनुपस्थित थी।
एकीकृत दृष्टिकोण: यह रिवॉर्ड मॉडलिंग (RLHF) और डायरेक्ट ऑप्टिमाइज़ेशन (DPO) दोनों अनुमापन (paradigms) में शोर के उपचार को एकीकृत करता है, यह प्रदर्शित करते हुए कि प्रस्तावित निष्पक्ष उद्देश्यों के तहत भी मौलिक RLHF-DPO समानता बनी रहती है।

लेखक निष्कर्ष निकालते हैं कि उनके तरीके LLMs को प्रशिक्षित करने में सक्षम बनाते हैं जो वास्तविक दुनिया के प्रेफरेंस डेटा में प्रचलित महत्वपूर्ण शोर के प्रति लचीले हैं, जिससे संरेखित AI सिस्टम की सुरक्षा और विश्वसनीयता में सुधार होता है।