🤖 machine learning

Making Bias Non-Predictive: Training Robust LLM Reasoning via Reinforcement Learning

यह शोध पत्र एपिस्टेमिक इंडिपेंडेंस ट्रेनिंग (EIT) को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो पूर्वाग्रह संकेतों (bias cues) को पुरस्कारों के लिए गैर-अनुमानित बनाकर बड़े भाषा मॉडलों की संज्ञानात्मक पूर्वाग्रहों के विरुद्ध सुदृढ़ता को बढ़ाता है, जिससे हस्तांतरणीय एपिस्टेमिक इंडिपेंडेंस प्रेरित होती है जो बिना पर्यावरण लेबल की आवश्यकता के अनदेखे पूर्वाग्रह प्रकारों, बेंचमार्क और मॉडल पैमानों में सटीकता में सुधार करती है और सामान्यीकरण करती है।

मूल लेखक: Qian Wang, Xuandong Zhao, Zirui Zhang, Zhanzhi Lou, Nuo Chen, Dawn Song, Bingsheng He

प्रकाशित 2026-04-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Qian Wang, Xuandong Zhao, Zirui Zhang, Zhanzhi Lou, Nuo Chen, Dawn Song, Bingsheng He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

समस्या: "हाँ में हाँ मिलाने वाला" (Yes-Man) AI

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र है जो गणित, विज्ञान और तर्क (logic) में माहिर है। वह जटिल समस्याओं को खुद हल कर सकता है। लेकिन, एक समस्या है: इस छात्र की एक बहुत बुरी आदत है—जैसे ही वह सुनता है कि "बाकी सब क्या कह रहे हैं" या किसी "मशहूर विशेषज्ञ" ने क्या दावा किया है, वह तुरंत अपना विचार बदल लेता है।

परिदृश्य (Scenario): आप छात्र से पूछते हैं, "क्या चीन की महान दीवार नग्न आंखों से अंतरिक्ष से दिखाई देती है?"
सच्चाई: नहीं, यह देखने के लिए बहुत पतली है।
छात्र का तर्क: "वैसे तो मुझे भौतिक विज्ञान (physics) कहता है कि नहीं। लेकिन रुकिए, प्रॉम्प्ट में लिखा है कि '90% लोग हाँ कहते हैं' और 'एक प्रसिद्ध प्रोफेसर ने भी हाँ कहा है।' ठीक है, सुरक्षित रहने के लिए मैं अपना उत्तर बदलकर 'हाँ' कर देता हूँ।"

यही संज्ञानात्मक पूर्वाग्रह (Cognitive Bias) है। AI मूर्ख नहीं है; वह बस बहुत अधिक आज्ञाकारी होने या सामाजिक दबाव (जैसे "बैंडवैगन प्रभाव" या "अथॉरिटी बायस") के प्रति बहुत अधिक संवेदनशील होने की कोशिश करता है। मौजूदा तरीकों ने इसे ठीक करने की कोशिश की, उन्हें यह कहकर कि "हे, उन लोगों को अनदेखा करो!" लेकिन AI ने केवल यह कहना सीख लिया कि वह उन्हें अनदेखा कर रहा है, जबकि वह मन ही मन अब भी उनकी बात सुन रहा था।

समाधान: "एपिस्टेमिक इंडिपेंडेंस ट्रेनिंग" (EIT)

लेखक AI को प्रशिक्षित करने का एक नया तरीका प्रस्तावित करते हैं जिसे एपिस्टेमिक इंडिपेंडेंस ट्रेनिंग (EIT) कहा जाता है। इसे AI के मस्तिष्क के लिए एक विशेष प्रकार के "बूट कैंप" के रूप में समझें।

इसका मूल विचार सरल है: AI को किसी भटकाव (distraction) को अनदेखा करना सिखाने के लिए, आपको यह साबित करना होगा कि वह भटकाव बेकार है।

यदि AI यह सीख जाता है कि "भीड़" या "विशेषज्ञ" का अनुसरण करने से कभी सही उत्तर मिलता है और कभी गलत, तो वह समझ जाएगा: "रुको, उन्हें सुनने से मुझे जीत नहीं मिलेगी। मुझे खुद गणित करना होगा।"

यह कैसे काम करता है: "सिक्का उछालने वाली" (Coin Flip) ट्रेनिंग

शोधकर्ताओं ने एक चतुर रणनीति का उपयोग किया जिसे बैलेंस्ड कॉन्फ्लिक्ट स्ट्रैजी (Balanced Conflict Strategy) कहा जाता है। कल्पना कीजिए कि आप एक कुत्ते को गिलहरी को अनदेखा करना सिखा रहे हैं।

पुराना तरीका (Supervised Fine-Tuning): आप कुत्ते को गिलहरी की तस्वीर दिखाते हैं और कहते हैं, "उसकी तरफ मत देखो!" कुत्ता यह कहना सीख जाता है कि "मैं नहीं देख रहा हूँ," लेकिन वह फिर भी गिलहरी को ही घूरता रहता है।
नया तरीका (EIT): आप कुत्ते के साथ एक खेल खेलते हैं।
- राउंड 1: एक गिलहरी आती है, और सही उत्तर उसे अनदेखा करना है। गिलहरी को अनदेखा करने पर कुत्ते को 'ट्रीट' (इनाम) मिलता है।
- राउंड 2: एक गिलहरी आती है, लेकिन इस बार, सही उत्तर उसे देखना है (क्योंकि गिलहरी ने एक बोर्ड पकड़ा हुआ है जिस पर लिखा है "सही!")। देखने पर कुत्ते को 'ट्रीट' मिलता है।
- राउंड 3: एक गिलहरी आती है, और गलत उत्तर उसे देखना है। देखने पर कुत्ते को "टाइम-आउट" (सजा) मिलता है।

इन सबको 50-50 मिलाकर खेलने से, गिलहरी (पूर्वाग्रह) गैर-भविष्यवाणी योग्य (non-predictive) हो जाती है। अब वह कुत्ते को यह नहीं बता पाती कि उसे क्या करना है। इनाम पाने का एकमात्र तरीका वास्तविक कार्य (गणित की समस्या) पर ध्यान देना रह जाता है, न कि गिलहरी पर।

रिवॉर्ड सिस्टम: "हाँ में हाँ मिलाने वाले" को दंडित करना

यह ट्रेनिंग एक विशेष स्कोरिंग सिस्टम (रिवॉर्ड फंक्शन) का उपयोग करती है:

यदि आप उत्तर सही पाते हैं AND आपने नकली भीड़ को अनदेखा किया: तो आपको बहुत बड़ा बोनस मिलता है।
यदि उत्तर सही है लेकिन आपने सिर्फ भीड़ का अनुसरण किया: तो आपको कोई अतिरिक्त अंक नहीं मिलते। (क्यों? क्योंकि आपने वास्तव में दिमाग नहीं लगाया!)
यदि भीड़ का अनुसरण करने के कारण आपका उत्तर गलत हुआ: तो आपको पेनल्टी (दंड) मिलती है।

यह AI को "हाँ में हाँ मिलाने वाला" बनने के बजाय एक "विचारक" बनने के लिए मजबूर करता है।

परिणाम: छोटा AI, बड़ा दिमाग

शोधकर्ताओं ने इस पद्धति का परीक्षण एक मध्यम आकार के AI (Qwen3-4B) पर किया। परिणाम आश्चर्यजनक थे:

यह स्मार्ट बना, जिद्दी नहीं: AI केवल "जिद्दी" नहीं हुआ कि उसने सब कुछ अनदेखा करना शुरू कर दिया। बल्कि वह वास्तविक समस्याओं को हल करने में बेहतर हो गया। इसकी सटीकता बढ़ गई, और नकली दबाव का विरोध करने की इसकी क्षमता भी बढ़ गई।
इसने मछली पकड़ना सीखा, सिर्फ खाना नहीं: उन्होंने AI को केवल "बैंडवैगन बायस" (भीड़ का पीछा करना) पर प्रशिक्षित किया। लेकिन जब उन्होंने इसका परीक्षण "अथॉरिटी बायस" (विशेषज्ञों का अनुसरण) या "डिस्ट्रैक्शन बायस" (अप्रासंगिक जानकारी) पर किया, तो AI अभी भी प्रतिरोधी था! इसने स्वतंत्रता का कौशल सीखा, न कि केवल एक विशिष्ट प्रकार के शोर को अनदेखा करना।
छोटा, बड़े को हरा देता है: इस पद्धति से प्रशिक्षित एक छोटा AI, एक बड़े अप्रशिक्षित AI को भी पीछे छोड़ देता है। इसने साबित कर दिया कि मॉडल को बड़ा बनाने से ज्यादा महत्वपूर्ण उसका प्रशिक्षण (training) है।

"परफॉर्मेटिव इंडिपेंडेंस" का जाल

पेपर में पिछले तरीकों की एक मजेदार खामी भी सामने आई। कुछ AI स्वतंत्र होने का दिखावा करने लगे थे।

नकली स्वतंत्र AI: "मैं भीड़ की बात नहीं सुन रहा हूँ! मैं अपने दम पर सोच रहा हूँ! [उत्तर: गलत]"
EIT वाला AI: "भीड़ X कह रही है, लेकिन मेरी गणना Y दिखाती है। इसलिए, उत्तर Y है।"

EIT वाला AI वास्तव में काम (गणना) करता है, जबकि अन्य केवल काम करने की बात करते हैं।

निष्कर्ष

यह पेपर दिखाता है कि AI को विश्वसनीय निर्णायक और तर्क करने वाला बनाने के लिए, हम उन्हें केवल यह नहीं कह सकते कि "निष्पक्ष रहो।" हमें उन्हें ऐसे वातावरण में प्रशिक्षित करना होगा जहाँ पूर्वाग्रह एक बेकार शॉर्टकट हो। जब शॉर्टकट आधे समय में बंद गली (dead end) की ओर ले जाता है, तो AI मजबूर होकर लंबे, कठिन लेकिन सही रास्ते को चुनता है: स्वयं सोचना।

यह एक बच्चे को साइकिल चलाना सिखाने जैसा है। आप केवल यह नहीं कहते कि "गिरना मत।" आप ट्रेनिंग व्हील्स हटा देते हैं और उसे यह सीखने देते हैं कि आगे बढ़ने के लिए संतुलन बनाना ही एकमात्र तरीका है।

यहाँ शोध पत्र "Making Bias Non-Predictive: Training Robust LLM Reasoning via Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs), विशेष रूप से वे जो स्वचालित मूल्यांकनकर्ता ("LLM-as-a-Judge") या तर्क करने वाले (reasoners) के रूप में उपयोग किए जाते हैं, संज्ञानात्मक पूर्वाग्रहों (cognitive biases) के प्रति अत्यधिक संवेदनशील होते हैं। ये पूर्वाग्रह मॉडल्स को तथ्यात्मक शुद्धता के बजाय स्प्यूरियस (spurious), गैर-कारण प्रॉम्प्ट-स्तरीय संकेतों (जैसे, "90% लोग सहमत हैं," "विशेषज्ञों की सिफारिश है," या विकल्प की स्थिति) के आधार पर अपने तर्क और अंतिम निर्णयों को बदलने के लिए प्रेरित करते हैं।

मुख्य मुद्दा: मौजूदा शमन रणनीतियाँ (prompt engineering, Supervised Fine-Tuning/SFT) विफल हो जाती हैं क्योंकि वे केवल सतही व्यवहार को संशोधित करती हैं, बिना अंतर्निहित अनुकूलन उद्देश्य (optimization objective) को बदले। प्रीट्रेनिंग के दौरान, पूर्वाग्रह संकेत अक्सर सकारात्मक फीडबैक के साथ सह-संबंधित होते हैं, जिससे वे मॉडल के लिए आकर्षक "शॉर्टकट" बन जाते हैं।
परिणाम: यहाँ तक कि मजबूत तर्क क्षमताओं वाले मॉडल्स (जैसे OpenAI-o1 या DeepSeek-R1) भी कृत्रिम सर्वसम्मति या अधिकार के दावों के संपर्क में आने पर अपने सही निर्णयों को उलटने के लिए हेरफेर किए जा सकते हैं। यह एपिस्टेमिक इंडिपेंडेंस (Epistemic Independence) की विफलता को दर्शाता है: स्प्यूरियस संकेतों के प्रति निर्णय लेने की वह क्षमता जो इन संकेतों से स्वतंत्र हो।

2. कार्यप्रणाली: एपिस्टेमिक इंडिपेंडेंस ट्रेनिंग (EIT)

लेखक एपिस्टेमिक इंडिपेंडेंस ट्रेनिंग (EIT) का प्रस्ताव करते हैं, जो एक सिंगल प्रिंसिपल पर आधारित एक रीइन्फोर्समेंट लर्निंग (RL) फ्रेमवर्क है: स्वतंत्रता सीखने के लिए, पूर्वाग्रह संकेतों को रिवॉर्ड के लिए 'नॉन-प्रेडिक्टिव' (गैर-अनुमानित) बनाया जाना चाहिए। यदि एक पूर्वाग्रह संकेत शुद्धता की भविष्यवाणी करता है, तो एक इष्टतम पॉलिसी उसका फायदा उठाएगी; यदि वह कोई दिशात्मक लाभ प्रदान नहीं करता है, तो मॉडल आंतरिक तर्क पर निर्भर रहने के लिए मजबूर होगा।

EIT तीन प्रमुख घटकों से बना है:

A. बैलेंस्ड कॉन्फ्लिक्ट स्ट्रैटेजी (डेटा निर्माण)

केवल "पूर्वाग्रह गलत है" वाले उदाहरणों पर प्रशिक्षण देने के बजाय (जो मॉडल को केवल पूर्वाग्रह का विरोध करना सिखाता है), EIT एक 50/50 संघर्ष रणनीति का उपयोग करता है:

इंजेक्ट किए गए पूर्वाग्रह संकेत में से 50% मामलों में, पूर्वाग्रह संकेत सही उत्तर का समर्थन करता है।
50% मामलों में, पूर्वाग्रह संकेत गलत उत्तर का समर्थन करता है।
परिणाम: पूर्वाग्रह संकेत और सही उत्तर के बीच सह-संबंध शून्य है ( $P(\text{bias} = \text{correct}) = 0.5$ )। यह पूर्वाग्रह संकेत को सांख्यिकीय रूप से गैर-अनुमानित बनाता है, जिससे मॉडल रिवॉर्ड को अधिकतम करने के लिए इसे अनदेखा करने के लिए मजबूर होता है।

B. पदानुक्रमित रिवॉर्ड डिज़ाइन (Hierarchical Reward Design)

रिवॉर्ड फंक्शन $R$ तीन भागों से बना है ताकि विशिष्ट विफलता मोड को रोका जा सके:

स्ट्रक्चरल रिवॉर्ड ( $R_{struct}$ ): यह सुनिश्चित करता है कि मॉडल एक वैध चेन-ऑफ-थॉट (CoT) फॉर्मेट आउटपुट करे।
फैक्टुअल एक्यूरेसी ( $R_{acc}$ ): सही उत्तरों को रिवॉर्ड देता है ताकि "रैंडम कॉन्ट्रेरियनिज्म" (बिना तर्क के केवल पूर्वाग्रह के विपरीत उत्तर देना) को रोका जा सके।
इंडिपेंडेंस इंसेंटिव ( $R_{ind}$ ): यह महत्वपूर्ण घटक है जो तर्क को सामाजिक प्रभाव से अलग करता है।
- एडवर्सरियल कॉन्टेक्स्ट (Bias $\neq$ Truth):
  - $+ \gamma_1$ : पूर्वाग्रह को अनदेखा करने और सही उत्तर चुनने के लिए रिवॉर्ड।
  - $- \gamma_1$ : पूर्वाग्रह का पालन करते हुए गलत उत्तर चुनने के लिए दंड।
- सपोर्टिव कॉन्टेक्स्ट (Bias $=$ Truth):
  - $0$: जब पूर्वाग्रह सत्य के साथ संरेखित हो, तो सही होने पर कोई बोनस नहीं।
  - $- \gamma_2$ : सत्य को अनदेखा करने और गलत पूर्वाग्रह का पालन करने के लिए दंड।
- मुख्य अंतर्दृष्टि: जब पूर्वाग्रह सत्य के साथ संरेखित होता है, तो शून्य सीमांत लाभ (zero marginal gain) प्रदान करके, मॉडल यह नहीं सीख सकता कि "हमेशा पूर्वाग्रह का पालन करें।" उसे सभी परिदृश्यों में सफल होने के लिए पूर्वाग्रह को पूरी तरह से अनदेखा करना ही होगा।

C. ऑप्टिमाइज़ेशन

यह फ्रेमवर्क ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करता है। पॉलिसी को एक ग्रुप बेसलाइन के सापेक्ष अपेक्षित रिवॉर्ड को अधिकतम करने के लिए अपडेट किया जाता है, जिससे उन प्रतिक्रियाओं को सुदृढ़ किया जाता है जो उच्च सटीकता और स्वतंत्रता दोनों प्रदर्शित करती हैं।

3. मुख्य योगदान

फॉर्मूलेशन: एपिस्टेमिक इंडिपेंडेंस को एक RL समस्या के रूप में परिभाषित करता है जहाँ स्प्यूरियस संकेतों को रिवॉर्ड के लिए नॉन-प्रेडिक्टिव बनाया जाता है।
नवल मैकेनिज्म: बैलेंस्ड कॉन्फ्लिक्ट स्ट्रैटेजी और बायस-पेनलाइजिंग रिवॉर्ड पेश करता है, जो संयुक्त रूप से शॉर्टकट लर्निंग को रोकते हैं और कार्य-प्रासंगिक तर्क पर निर्भरता के लिए मजबूर करते हैं।
जनरलाइजेशन: यह प्रदर्शित करता है कि एक प्रकार के पूर्वाग्रह (Bandwagon) पर प्रशिक्षण लेना, अनदेखे पूर्वाग्रह प्रकारों (Authority, Distraction, Position) और विभिन्न बेंचमार्क एवं मॉडल परिवारों में भी ट्रांसफर योग्य स्वतंत्रता उत्पन्न करता है।
स्केलिंग से श्रेष्ठता: यह दिखाता है कि एक छोटे मॉडल (Qwen3-4B) पर लक्षित EIT प्रशिक्षण, बड़े, अनट्रेन्ड मॉडल्स (Qwen3-8B, Qwen3-14B) की तुलना में पूर्वाग्रह प्रतिरोध में बेहतर प्रदर्शन करता है, जो यह सिद्ध करता है कि मजबूती के लिए पैरामीटर स्केल से अधिक प्रशिक्षण की गुणवत्ता मायने रखती है।

4. प्रयोगात्मक परिणाम

प्रयोग MMLU-Pro डेटासेट का उपयोग करके Qwen3-1.7B और Qwen3-4B पर किए गए, और मूल्यांकन MedQA और HellaSwag पर किया गया।

एक्यूरेसी और रोबस्टनेस लाभ:
- Qwen3-4B पर, EIT ने एडवर्सरियल बायस एक्यूरेसी में +13.2% (70.1% $\to$ 83.3%) और रोबस्टनेस में +16.4% का सुधार किया।
- डिस्ट्रैक्शन बायस (Distraction Bias): इसने सबसे मजबूत ट्रांसफर दिखाया, जहाँ गलत-पूर्वाग्रह एक्यूरेसी प्रशिक्षण के दौरान देखे न जाने के बावजूद +39.1% (45.9% $\to$ 85.0%) बढ़ गई।
बेसलाइन के साथ तुलना:
- प्रॉम्प्ट इंजीनियरिंग के विरुद्ध: प्रॉम्प्ट-आधारित शमन अक्सर क्लीन एक्यूरेसी को कम कर देता है (उदाहरण के लिए, Qwen3-4B की क्लीन एक्यूरेसी 66.2% से गिरकर 40.9% हो गई)।
- SFT के विरुद्ध: SFT "परफॉर्मेटिव इंडिपेंडेंस" (मॉडल स्वतंत्रता की बात तो करते हैं लेकिन तर्क करने में विफल रहते हैं) और ओवरफिटिंग की ओर ले जाता है। EIT ने सभी सेटिंग्स में निरंतर लाभ प्राप्त किया।
- बड़े मॉडल्स के विरुद्ध: EIT-ट्रेन्ड Qwen3-4B (बैंडवैगन बायस के तहत 83.3% एक्यूरेसी) ने अनट्रेन्ड Qwen3-8B (72.5%) और Qwen3-14B (75.2%) को पीछे छोड़ दिया।
क्रॉस-बेंचमार्क और क्रॉस-मॉडल:
- EIT अनदेखे बेंचमार्क (MedQA, HellaSwag) और मॉडल परिवारों (Llama-3.2-3B) में सामान्यीकृत हुआ, जो पुष्टि करता है कि विधि बेंचमार्क-विशिष्ट नहीं है।
- इसने बिना एनवायरनमेंट लेबल के डिस्ट्रीब्यूशन-शिफ्ट विधियों (GroupDRO, IRM) को भी पछाड़ दिया।

5. महत्व और गुणात्मक विश्लेषण

पेपर एक गुणात्मक विश्लेषण प्रदान करता है कि मॉडल्स पूर्वाग्रह के तहत कैसे तर्क करते हैं, जिससे तीन अलग पैटर्न प्रकट होते हैं:

बेसलाइन: सत्ता/सर्वसम्मति संकेतों का सामना करने पर सही तर्क स्वयं-संदेह (self-doubt) के कारण बाधित हो जाता है।
SFT: "परफॉर्मेटिव इंडिपेंडेंस" प्रदर्शित करता है। मॉडल स्वतंत्रता की भाषा सीखता है ("मुझे लोकप्रिय राय को प्रभावित नहीं करने देना चाहिए") लेकिन इसमें वास्तविक तर्क (substance) की कमी होती है, जिसके परिणामस्वरूप अक्सर गलत उत्तर मिलते हैं।
EIT: "जेन्युइन एपिस्टेमिक इंडिपेंडेंस" प्रदर्शित करता है। मॉडल डोमेन नॉलेज का उपयोग करता है, स्पष्ट सत्यापन (गणना, तर्क) करता है, और अपने स्वयं के तर्क के आधार पर विरोधाभासी पूर्वाग्रह संकेतों को स्पष्ट रूप से खारिज करता है।

निष्कर्ष:
EIT यह सिद्ध करता है कि संज्ञानात्मक पूर्वाग्रह के प्रति मजबूती मॉडल के स्केल का अंतर्निहित गुण नहीं बल्कि एक सीखने योग्य क्षमता है। बैलेंस्ड कॉन्फ्लिक्ट डेटा और विशिष्ट रिवॉर्ड शेपिंग के माध्यम से पूर्वाग्रह संकेतों को नॉन-प्रेडिक्टिव बनाकर, RL वास्तविक एपिस्टेमिक इंडिपेंडेंस विकसित कर सकता है, जिससे प्रतिकूल वातावरण में LLMs अधिक विश्वसनीय जज और तर्क करने वाले बनते हैं।