🤖 AI

Mitigating Cognitive Bias in RLHF by Altering Rationality

यह शोध पत्र रिवॉर्ड लर्निंग के दौरान तर्कसंगतता पैरामीटर (rationality parameter) को गतिशील रूप से समायोजित करके, एक 'LLM-as-judge' का उपयोग करके पक्षपाती मानवीय तुलनाओं की पहचान करने और उन्हें कम महत्व देने के माध्यम से, मानव फीडबैक से सुदृढीकरण शिक्षण (RLHF) में संज्ञानात्मक पूर्वाग्रह को कम करने की एक विधि प्रस्तावित करता है, जिससे त्रुटिपूर्ण डेटासेट पर भी अधिक सुदृढ़ मॉडल प्रशिक्षित किए जा सकें।

मूल लेखक: Tiffany Horter, Andrew Markham, Niki Trigoni, Serena Booth

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tiffany Horter, Andrew Markham, Niki Trigoni, Serena Booth

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि अच्छे निर्णय कैसे लिए जाते हैं। इसे करने का मानक तरीका RLHF (मानवीय फीडबैक से सुदृढीकरण सीखना) कहलाता है। आप रोबोट को एक प्रश्न के दो अलग-अलग उत्तर दिखाते हैं, एक इंसान से पूछते हैं कि कौन सा बेहतर है, और रोबोट उस चुनाव की नकल करना सीख जाता है।

इस शोध पत्र के अनुसार समस्या यह है कि इंसान आदर्श शिक्षक नहीं होते। कभी-कभी, हम अपने मस्तिष्क के अंतर्निहित शॉर्टकट, जिन्हें संज्ञानात्मक पूर्वाग्रह (cognitive biases) कहा जाता है, के कारण गलतियाँ करते हैं।

संज्ञानात्मक पूर्वाग्रहों को विकृत चश्मे की तरह समझें। जब आप इन्हें पहनते हैं, तो आप दुनिया को स्पष्ट रूप से देख सकते हैं, लेकिन कभी-कभी आपको ऐसी चीजें भी दिखाई देती हैं जो वास्तव में वहां नहीं हैं, या आप महत्वपूर्ण विवरणों को मिस कर देते हैं। एक प्रसिद्ध उदाहरण "लिंडा समस्या" है: यदि आप किसी को बताते हैं कि लिंडा एक नारीवादी दर्शन प्रमुख (feminist philosophy major) है, तो वे तर्कहीन रूप से यह सोच सकते हैं कि उसके एक "नारीवादी बैंक क्लर्क" होने की संभावना केवल एक "बैंक क्लर्क" होने की तुलना में अधिक है, भले ही गणितीय रूप से दूसरा विकल्प अधिक संभावित होना चाहिए। यदि कोई इंसान सिखाते समय ये "विकृत चश्मे" पहनता है, तो रोबोट भी उन्हें पहनने के लिए सीख जाता है।

पुराना तरीका बनाम नया तरीका

पुराना तरीका (फिक्स्ड चश्मे):
पारंपरिक प्रशिक्षण में, रोबोट यह मान लेता है कि मानव शिक्षक हर एक प्रश्न के लिए समान रूप से विश्वसनीय है। यह हर "मुझे यह उत्तर पसंद है" वाले वोट को समान महत्व देता है, जैसे एक शिक्षक हर छात्र को ध्यान देने के बावजूद या ख्यालों में खोए रहने के बावजूद एक जैसा ग्रेड देता है। शोधकर्ता इसे एक स्थिर "तार्किकता पैरामीटर" (जिसे हम बीटा कह सकते हैं) कहते हैं। यह यह मानने जैसा है कि मानव शिक्षक हमेशा 100% होश में और केंद्रित रहता है।

नया तरीका (डायनेमिक चश्मे):
लेखक, टिफ़नी हॉर्टर और उनकी टीम, एक स्मार्ट दृष्टिकोण का प्रस्ताव देते हैं। वे सुझाव देते हैं कि रोबोट को पूछना चाहिए: "क्या यह मानव शिक्षक अभी पक्षपाती होने की संभावना रखता है?"

उन्होंने एक ऐसा सिस्टम बनाया है जो एक स्पॉट-चेक सुपरवाइजर की तरह काम करता है। रोबोट के मानव के चुनाव से सीखने से पहले, एक दूसरा AI ("LLM-as-judge") प्रश्न और मानव के चुनाव को देखता है कि क्या इसमें किसी संज्ञानात्मक पूर्वाग्रह की गंध आ रही है।

यदि सुपरवाइजर को लगता है, "आह, यह एक क्लासिक बायस ट्रैप (पूर्वाग्रह का जाल) लग रहा है," तो वह रोबोट को उस मानव के फीडबैक पर आवाज कम करने (volume turn down) के लिए कहता है। यह "बीटा" मान को कम कर देता है, जिससे वह विशिष्ट पाठ कम महत्वपूर्ण हो जाता है।
यदि सुपरवाइजर को लगता है, "यह एक ठोस, तर्कसंगत विकल्प लग रहा है," तो वह वॉल्यूम बढ़ा देता है, जिससे रोबोट उससे भारी मात्रा में सीख पाता है।

उपमा: शोर भरा क्लासरूम
कल्पना कीजिए कि एक क्लासरूम में एक शिक्षक छात्रों (AI) को गणित सिखाने की कोशिश कर रहा है।

समस्या: कभी-कभी शिक्षक थका हुआ, विचलित या किसी चाल वाले सवाल (trick question) का शिकार हो जाता है। यदि छात्र शिक्षक की गलतियों की नकल करते हैं, तो वे परीक्षा में फेल हो जाते हैं।
पुराना तरीका: छात्र जो कुछ भी शिक्षक बोर्ड पर लिखता है, उसकी नकल करते हैं, यह मानते हुए कि शिक्षक हमेशा सही होता है।
नया तरीका: छात्रों के पास एक स्मार्ट सहायक बैठा है। जब शिक्षक एक उत्तर लिखता है, तो सहायक फुसफुसाता है, "हे, मुझे लगता है कि शिक्षक यहाँ गलती कर रहा है क्योंकि यह एक चाल वाला सवाल है।" छात्र फिर उस विशिष्ट उत्तर को अनदेखा कर देते हैं और उन उत्तरों पर ध्यान केंद्रित करते हैं जहाँ शिक्षक सटीक दिखता है।

जब उन्होंने इसे आज़माया तो क्या हुआ?

शोधकर्ताओं ने इसका परीक्षण मानव तर्क को उलझाने के लिए डिज़ाइन किए गए दो कठिन प्रश्नों (जैसे "लिंडा" समस्या और चिकित्सा निदान परिदृश्य) पर किया।

इसने रोबोट को गलतियाँ कॉपी करने से रोका: भले ही रोबोट को ऐसे डेटा पर प्रशिक्षित किया गया था जहाँ इंसान ज्यादातर गलत (पक्षपाती) थे, नए तरीके ने रोबोट को सही उत्तर खोजने में मदद की। इसने "विकृत चश्मे" को अनदेखा करना और सत्य को खोजना सीख लिया।
इसने रोबोट को खराब नहीं किया: रोबोट भ्रमित नहीं हुआ या अन्य चीजें करना नहीं भूला। वह सामान्य कार्यों के लिए स्मार्ट बना रहा और साथ ही पूर्वाग्रहों को अनदेखा करने में भी बेहतर हो गया।
यह एक "दोषपूर्ण" सुपरवाइजर के साथ भी काम कर गया: सिस्टम को हर एक पूर्वाग्रह को पहचानने के लिए एक आदर्श सुपरवाइजर की आवश्यकता नहीं थी। भले ही सुपरवाइजर 80% बार ही सही था, फिर भी रोबोट बिना किसी सुपरवाइजर के मुकाबले बेहतर सीख पाया।

मुख्य निष्कर्ष

यह शोध पत्र तर्क देता है कि हमें मानवीय फीडबैक को एक पूर्ण, अपरिवर्तनीय संकेत के रूप में नहीं देखना चाहिए। इसके बजाय, हमें इसे एक शोर भरे संकेत (noisy signal) के रूप में देखना चाहिए जो संदर्भ के आधार पर बदलता रहता है। मानवीय फीडबैक को कितना महत्व दिया जाए, इसे इस आधार पर गतिशील रूप से समायोजित करके कि इसके पक्षपाती होने की कितनी संभावना है, हम ऐसा AI बना सकते हैं जो अधिक तर्कसंगत हो और हमारे मानवीय दोषों को विरासत में लेने की कम संभावना रखता हो।

संक्षेप में: केवल यह न सुनें कि मनुष्य क्या कहते हैं; यह भी सुनें कि वे इसे कैसे कहते हैं, और उसके अनुसार अपने सीखने को समायोजित करें।

तकनीकी सारांश: तर्कसंगतता को बदलकर RLHF में संज्ञानात्मक पूर्वाग्रह (Cognitive Bias) को कम करना

समस्या विवरण

रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) इस धारणा पर आधारित है कि मानव एनोटेटर ऐसी प्राथमिकताएं व्यक्त करते हैं जो उनके अंतर्निहित इरादों को निष्ठापूर्वक दर्शाती हैं। हालांकि, यह धारणा त्रुटिपूर्ण है क्योंकि मानवीय निर्णय अक्सर संज्ञानात्मक पूर्वाग्रहों (जैसे, संयोजन भ्रम/conjunction fallacy, एंकरिंग बायस, सनक कॉस्ट फैलेसी) के अधीन होते हैं। मानक RLHF पाइपलाइनों में, इन व्यवस्थित विचलन को एक समान स्टोकेस्टिक शोर (stochastic noise) माना जाता है। सीखने की प्रक्रिया आमतौर पर बोल्ट्ज़मैन-रेशनल (Boltzmann-rational) फॉर्मूलेशन का उपयोग करके मानव प्राथमिकताओं को मॉडल करती है, जहाँ एक निश्चित तर्कसंगतता पैरामीटर, $\beta$ , देखे गए युग्म-वरीयता (pairwise preferences) और लेटेंट रिवॉर्ड अंतर के बीच निरंतरता को नियंत्रित करता है।

$\beta$ को एक वैश्विक स्थिरांक (global constant) के रूप में मानने का अर्थ यह निहित है कि सभी संदर्भों में एनोटेटर की विश्वसनीयता समान है। फलस्वरूप, जब प्रशिक्षण डेटा में व्यवस्थित संज्ञानात्मक पूर्वाग्रह होते हैं, तो सीखा गया रिवॉर्ड मॉडल इन पूर्वाग्रहों को आत्मसात कर लेता है, जिससे डाउनस्ट्रीम लार्ज लैंग्वेज मॉडल्स (LLMs) इन अतार्किक व्यवहारों को दोहराते हैं या उन्हें और भी बढ़ा देते हैं। मुख्य समस्या यह है कि RLHF को ऐसे अपूर्ण मानव फीडबैक के प्रति कैसे मजबूत बनाया जाए जहाँ तर्कसंगतता से विचलन यादृच्छिक (random) नहीं बल्कि संदर्भ-निर्भर और व्यवस्थित है।

कार्यप्रणाली (Methodology)

लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो तर्कसंगतता को एक निश्चित मान के बजाय संदर्भ- और एनोटेशन-निर्भर मानता है। एक वैश्विक $\beta$ के बजाय, वे एक गतिशील, इंस्टेंस-डिपेंडेंट तर्कसंगतता पैरामीटर, $\beta_{new}$ पेश करते हैं, जो रिवॉर्ड लर्निंग के दौरान प्रत्येक वरीयता युग्म के भार को अनुमानित संज्ञानात्मक पूर्वाग्रह की संभावना के आधार पर नियंत्रित करता है।

1. गतिशील तर्कसंगतता पैरामीटर ( $\beta_{new}$ )

यह विधि निश्चित $\beta$ को एक विशिष्ट तुलना के लिए अनुमानित पूर्वाग्रह संभावना ( $D_f$ ) के फलन (function) से बदल देती है:
$\beta_{new} = \text{logistic}(k \cdot (\theta - D_f))$
जहाँ:

$D_f \in [0, 1]$ उस संभावना का अनुमान है कि देखा गया फीडबैक संज्ञानात्मक पूर्वाग्रह से प्रभावित है।
$\theta$ एक थ्रेशोल्ड पैरामीटर है जो यह निर्धारित करता है कि फीडबैक को कब कम महत्व (downweight) दिया जाना शुरू किया जाए।
$k$ संक्रमण की तीव्रता (steepness) को नियंत्रित करता है।

जब $D_f$ कम होता है (पूर्वाग्रह की कम संभावना), तो $\beta_{new}$ 1 के करीब होता है, जो वरीयता पर उच्च भार डालता है। जैसे-जैसे $D_f$ बढ़ता है, $\beta_{new}$ घटकर 0 की ओर जाता है, जो संभावित रूप से पक्षपाती निर्णयों के रिवॉर्ड मॉडल पर प्रभाव को प्रभावी रूप से कम कर देता है।

2. पूर्वाग्रह पहचान ( $D_f$ का अनुमान)

$D_f$ का अनुमान लगाने के लिए, लेखक "LLM-as-judge" दृष्टिकोण का उपयोग करते हैं। एक आउट-ऑफ-द-बॉक्स LLM (जैसे, ChatGPT 5.2 Thinking या Mistral-7B-Instruct) प्रत्येक प्रशिक्षण उदाहरण (प्रॉम्प्ट, उम्मीदवार प्रतिक्रियाएं, और चुनी गई वरीयता) का मूल्यांकन करके पूर्वाग्रह की संभावना का अनुमान लगाता है।

युग्म मूल्यांकन (Pairwise Evaluation): जज यह पहचानता है कि दो उम्मीदवार प्रतिक्रियाओं में से कौन सी अधिक पक्षपाती है।
कैलिब्रेशन (Calibration): एक हल्का कैलिब्रेशन स्टेप विभिन्न पूर्वाग्रह प्रकारों के माध्यम से व्यवस्थित दिशात्मक त्रुटियों को ठीक करने के लिए एक न्यूनतम होल्ड-आउट वैलिडेशन सेट का उपयोग करता है।
सूक्ष्मता (Granularity): महत्वपूर्ण रूप से, $D_f$ को एक विशिष्ट परिदृश्य के भीतर चुनी गई प्रतिक्रिया के संबंध में परिभाषित किया गया है, न कि पूरे परिदृश्य के संबंध में। यह सिस्टम को उन पूर्वाग्रह-प्रेरित परिदृश्यों से सूचनात्मक संकेत बनाए रखने की अनुमति देता है जहाँ एनोटेटर सफलतापूर्वक पूर्वाग्रह से बचता है (उदाहरण के लिए, एक सांख्यिकीय रूप से प्रशिक्षित एनोटेटर जो संयोजन भ्रम को सही ढंग से खारिज करता है)।

3. प्रशिक्षण पाइपलाइन

रिवॉर्ड मॉडल: एक रिवॉर्ड मॉडल (Mistral-7B से प्रारंभिक) को एक लॉस फंक्शन का उपयोग करके प्रशिक्षित किया जाता है जहाँ प्रत्येक युग्म का भार $\beta_{new}$ पर आधारित होता है।
पॉलिसी ऑप्टिमाइजेशन: डाउनस्ट्रीम पॉलिसी को फ्रोजन, बायस-अवेयर रिवॉर्ड मॉडल का उपयोग करके ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) के साथ फाइनट्यून किया जाता है।
डेटासेट्स: विधि को दो डेटासेट्स पर मान्य किया गया है जो संज्ञानात्मक पूर्वाग्रह उत्पन्न करने के लिए डिज़ाइन किए गए हैं: BRU डेटासेट (205 प्रश्न, 8 पूर्वाग्रह प्रकार) और CogBias डेटासेट (30,000 मामले, 30 पूर्वाग्रह प्रकार)। वास्तविक RLHF विफलता मोड को सिम्युलेट करने के लिए, प्रशिक्षण डेटा इस तरह से बनाया गया है कि पक्षपाती प्रतिक्रियाएं ग्राउंड-ट्रुथ प्रतिक्रियाओं की तुलना में एक ट्यूनेबल अनुपात (जैसे, 3:1 अनुपात) में चुनी जाती हैं।

मुख्य योगदान

संदर्भ-निर्भर तर्कसंगतता: यह शोध पत्र RLHF में एक निश्चित तर्कसंगतता पैरामीटर की मानक धारणा को चुनौती देता है, और यह प्रस्तावित करता है कि $\beta$ विशिष्ट फीडबैक इंस्टेंस की विश्वसनीयता के आधार पर भिन्न होना चाहिए।
गतिशील डाउनवेटिंग तंत्र: लेखक एक LLM-आधारित बायस डिटेक्टर का उपयोग करके $\beta$ को गतिशील रूप से समायोजित करने के लिए एक तंत्र पेश करते हैं, जिससे सिस्टम पक्षपाती तुलनाओं को कम महत्व दे सकता है जबकि उसी संदर्भ के भीतर निष्पक्ष निर्णयों से सूचनात्मक संकेतों को सुरक्षित रख सकता है।
पक्षपाती पहचान के प्रति मजबूती: विधि यह प्रदर्शित करती है कि यह तब भी प्रभावी है जब बायस डिटेक्टर (LLM-as-judge) अपूर्ण या शोर युक्त (noisy) हो, बशर्ते डिटेक्टर की सटीकता एक निश्चित सीमा (लगभग 57-60%) से ऊपर बनी रहे।

प्रयोगात्मक परिणाम

लेखकों ने अपने दृष्टिकोण का BRU और CogBias डेटासेट्स पर मूल्यांकन किया, जिसमें फिक्स्ड $\beta$ मानों (0.1, 0.5, 0.9, 1.0) और रैंडम $\beta$ असाइनमेंट के विरुद्ध डायनामिक $\beta$ विधि की तुलना की गई।

पूर्वाग्रह प्रसार में कमी: CogBias डेटासेट पर, डिबायस्ड मॉडल ने 67.6% की ग्राउंड-ट्रुथ सटीकता प्राप्त की, जो अन-फाइनट्यूनड बेस मॉडल (42.4%) और उसी पक्षपाती डेटा पर प्रशिक्षित बेसलाइन्स (जो ~1.7% सटीकता तक गिर गए) की तुलना में एक महत्वपूर्ण सुधार है। BRU डेटासेट पर, डिबायस्ड मॉडल ने 3:1 पक्षपाती डेटा के बावजूद बेस मॉडल की तुलना में 8.3% अधिक सटीकता हासिल की।
पक्षपाती फीडबैक के प्रति मजबूती: विधि ने बेसलाइन्स में देखे गए "पक्षपाती प्राथमिकताओं की ओर पतन" (collapse toward biased preferences) को सफलतापूर्वक रोका। यहाँ तक कि जब प्रशिक्षण डेटा में पक्षपाती-से-ग्राउंड-ट्रुथ वरीयता का अनुपात 5:1 था, तब भी डायनामिक $\beta$ मॉडल ने फिक्स्ड- $\beta$ बेसलाइन्स की तुलना में काफी उच्च सटीकता बनाए रखी।
सामान्य प्रदर्शन का संरक्षण: TruthfulQA डेटासेट पर मूल्यांकन ने सामान्य प्रदर्शन में कोई महत्वपूर्ण गिरावट नहीं दिखाई ( $-0.5\%$ का गैर-महत्वपूर्ण परिवर्तन), जो यह दर्शाता है कि हस्तक्षेप चुनिंदा रूप से पूर्वाग्रह को कम करता है बिना समग्र क्षमता का त्याग किए।
क्रॉस-आर्किटेक्चर और ट्रांसफर क्षमता: दृष्टिकोण ने विभिन्न मॉडल आर्किटेक्चर (Mistral-7B और Qwen3-8B) में सांख्यिकीय रूप से महत्वपूर्ण सुधार दिए। इसके अलावा, छोटे BRU डेटासेट पर फाइनट्यून किया गया मॉडल अपने एंकरिंग बायस को कम करने की क्षमता को बड़े CogBias डेटासेट पर सफलतापूर्वक स्थानांतरित करने में सक्षम रहा, जिससे ग्राउंड-ट्रुथ सटीकता 37.7% से बढ़कर 44.3% हो गई।

महत्व और दावे

यह शोध पत्र तर्क देता है कि RLHF में प्रभावी अलाइनमेंट इस बात पर कम निर्भर करता है कि हमें आदर्श, पूर्णतः तर्कसंगत मानव फीडबैक प्राप्त हो, बल्कि इस पर कि हम उस फीडबैक में निहित विकृतियों को कैसे मॉडल करते हैं। फीडबैक को संदर्भ-निर्भर और व्यवस्थित रूप से पक्षपाती मानकर, लेखक प्रदर्शित करते हैं कि रिवॉर्ड मॉडल पक्षपाती डेटा के बावजूद अपनी क्षमता बनाए रखते हुए भी प्रभावी हो सकते हैं।

लेखक दावा करते हैं कि उनका कार्य अलाइनमेंट अनुसंधान की एक बढ़ती दिशा में योगदान देता है: एक समान तर्कसंगतता की धारणा से हटकर ऐसे तरीकों की ओर बढ़ना जो संज्ञानात्मक पूर्वाग्रहों का पता लगाते हैं, मॉडल करते हैं और अनुकूलित होते हैं। वे तर्क देते हैं कि $\beta$ को फीडबैक की शुद्धता के संकेत के रूप में देखने से, LLMs मानवीय ह्यूरिस्टिक्स (heuristics) को विरासत में लेने के बजाय विचारशील तर्क (deliberative reasoning) के करीब पहुँच सकते हैं। निष्कर्षतः, हालांकि विधि की सफलता बायस डिटेक्टर की सटीकता पर आंशिक रूप से निर्भर है, फिर भी यह हस्तक्षेप अपूर्ण जजों के साथ भी मजबूत बना रहता है, जो यह सुझाव देता है कि मानवीय असंगतता के प्रति मजबूती के लिए संज्ञानात्मक मॉडल के पूर्ण होने की आवश्यकता नहीं है।