← नवीनतम पेपर
💬 NLP

RBCorr: Response Bias Correction in Language Models

यह शोध पत्र RBCorr का परिचय देता है, जो एक सरल और प्रभावी रणनीति है जो विभिन्न कार्यों और प्रारूपों में भाषा मॉडलों में प्रचलित प्रतिक्रिया पूर्वाग्रहों (response biases) को ठीक करती है, जिससे उनके प्रदर्शन में सुधार होता है और यह सुनिश्चित होता है कि मूल्यांकन उनकी वास्तविक क्षमताओं को अधिक सटीक रूप से दर्शाते हैं।

मूल लेखक: Om Bhatt, Anna A. Ivanova

प्रकाशित 2026-02-16
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Om Bhatt, Anna A. Ivanova

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुविकल्पीय (multiple-choice) परीक्षा दे रहे हैं, लेकिन आपका दिमाग सवालों के बारे में सोचने के बजाय बस हर बार "C" चुनने की एक अजीब आदत विकसित कर लेता है, या शायद वह बहुत थक गया है और हर चीज़ के लिए "नहीं" कह रहा है। हो सकता है कि आपको जवाब पता हों, लेकिन आपकी गलत अंदाज़ा लगाने की आदत आपके स्कोर को खराब कर रही है।

यह बिल्कुल वही होता है जो लैंग्वेज मॉडल्स (AI) के साथ होता है जब वे सवालों के जवाब देते हैं। अक्सर उनमें एक "रिस्पॉन्स बायस" (response bias) होता है—यानी कुछ खास जवाबों (जैसे "हाँ" या "विकल्प A") को चुनने का एक झुकाव, जो कि उनके प्रशिक्षण के कारण होता है, न कि इसलिए कि वे जवाब वास्तव में सही हैं।

यह शोध पत्र, जिसका शीर्षक "RBCorr" है, इस समस्या के लिए एक सरल, कम लागत वाला समाधान पेश करता है। यहाँ इसका आसान भाषा में विवरण दिया गया है:

1. समस्या: "आलसी" AI

लेखकों ने पाया कि AI मॉडल उन छात्रों की तरह हैं जिन्होंने परीक्षा देने की बुरी आदतें विकसित कर ली हैं।

  • लक्षण: यदि आप AI से हाँ/ना वाला सवाल पूछते हैं, तो हो सकता है कि वह "हाँ" होने के बावजूद 70% बार "नहीं" कहे।
  • परिणाम: यह AI को उसकी वास्तविक क्षमता से कम बुद्धिमान दिखाता है। यदि आप यह मूल्यांकन करने की कोशिश कर रहे हैं कि एक AI कितना स्मार्ट है, लेकिन वह केवल एक आदत के आधार पर अंदाज़ा लगा रहा है, तो आपके परीक्षण के परिणाम अनुचित होंगे।

2. समाधान: RBCorr (द "फेयरनेस फ़िल्टर")

लेखकों ने RBCorr (रिस्पॉन्स बायस करेक्शन) नामक एक विधि बनाई है। इसे एक तराजू के कैलिब्रेशन टूल की तरह समझें।

  • उपमा: कल्पना कीजिए कि एक बाथरूम स्केल (वजन मापने की मशीन) खराब है और वह हमेशा आपका वास्तविक वजन बताने के बजाय 5 पाउंड अधिक बताती है। यदि आप अपना वास्तविक वजन जानना चाहते हैं, तो आप उस स्केल को फेंकते नहीं हैं; आप बस हर रीडिंग से 5 पाउंड घटा देते हैं।
  • RBCorr कैसे काम करता है:
    1. "टेस्ट रन": AI अभ्यास के लिए सवालों के एक छोटे, संतुलित सेट (लगभग 100 सवाल) का उत्तर देता है।
    2. "बायस चेक": सिस्टम इन अभ्यास प्रश्नों के लिए AI के आंतरिक आत्मविश्वास स्कोर (जिसे LogProbs कहा जाता है) की जांच करता है। यह पूछता है: "क्या AI अक्षर 'A' को बहुत ज्यादा पसंद कर रहा है? क्या उसे 'नहीं' से नफरत है?"
    3. समायोजन (Adjustment): यह इस छोटे टेस्ट रन के आधार पर एक "करेक्शन फैक्टर" (जैसे कि वह -5 पाउंड) की गणना करता है।
    4. सुधार: जब AI बाद में वास्तविक सवालों के जवाब देता है, तो सिस्टम वास्तविक उत्तर चुनने से पहले AI के आंतरिक आत्मविश्वास स्कोर पर स्वचालित रूप से इस करेक्शन फैक्टर को लागू करता है।

3. उन्होंने क्या खोजा

शोधकर्ताओं ने 12 अलग-अलग AI मॉडल्स और कई प्रकार के सवालों (हाँ/ना, सत्य/असत्य, और 4-विकल्प वाले) पर इसका परीक्षण किया।

  • यह काम करता है: RBCorr लागू करने के बाद, AI की "बुरी आदतें" गायब हो गईं। बायस (झुकाव) काफी कम हो गया, और कई मामलों में, AI की वास्तविक सटीकता बढ़ गई क्योंकि वह अंततः अपनी वास्तविक जानकारी दिखा सका।
  • छोटे मॉडल्स को सबसे अधिक लाभ: "छोटे" AI मॉडल्स (जो सस्ते और तेज़ चलते हैं) को सबसे अधिक सुधार मिला। यह एक पुरानी, जंग लगी कार को ट्यून-अप देने जैसा है; यह एक नए स्पोर्ट्स कार की तुलना में बहुत बेहतर चलता है जो पहले से ही ठीक चल रही थी।
  • "वन-साइज़-फिट्स-ऑल" का मिथक: सबसे दिलचस्प खोज यह है कि आप इस सुधार (fix) को दोबारा उपयोग नहीं कर सकते।
    • उपमा: यदि आप सेब तौलने के लिए एक स्केल को कैलिब्रेट करते हैं, तो आप उसी कैलिब्रेशन का उपयोग तरबूज या पंखों की बोरी तौलने के लिए नहीं कर सकते।
    • यदि आप AI मॉडल, डेटासेट, या यहाँ तक कि सवाल पूछने का तरीका (प्रॉम्प्ट) बदलते हैं, तो बायस भी बदल जाता है। हर बार सेटिंग्स बदलने पर आपको एक नया "टेस्ट रन" करना होगा। कोई सार्वभौमिक "बायस फिक्स" बटन नहीं है।

4. यह क्यों महत्वपूर्ण है

  • बेहतर मूल्यांकन: यह शोधकर्ताओं को यह देखने में मदद करता है कि AI मॉडल्स वास्तव में क्या कर सकते हैं, न कि केवल यह कि वे अंदाज़ा लगाने में कितने अच्छे हैं।
  • लागत की बचत: चूंकि यह तरीका छोटे, सस्ते AI मॉडल्स पर बहुत अच्छी तरह काम करता है, इसलिए कंपनियाँ साधारण कार्यों के लिए विशाल, महंगे सुपर-कंप्यूटर AI खरीदने के बजाय इनका उपयोग कर सकती हैं। वे बस "RBCorr फ़िल्टर" लागू करके एक छोटा AI इस्तेमाल कर सकती हैं।
  • पारदर्शिता: यह एक डायग्नोस्टिक टूल के रूप में कार्य करता है। यदि बायस हटाने के बाद भी AI का प्रदर्शन नहीं सुधरता है, तो हमें पता चल जाता है कि समस्या केवल अंदाज़ा लगाने की आदत नहीं है—बल्कि यह ज्ञान की गहरी कमी है।

सारांश

RBCorr एक सरल, सस्ता तरीका है जिससे AI मॉडल्स को "पसंदीदा जवाब" चुनने से रोका जा सकता है। पहले एक छोटा अभ्यास परीक्षण चलाकर, सिस्टम मॉडल की बुरी आदतों को सीख लेता है और उन्हें हटा देता है, जिससे AI अपनी वास्तविक बुद्धिमत्ता दिखा पाता है। यह रंगीन चश्मे उतारने जैसा है ताकि आप दुनिया (और जवाबों) को स्पष्ट रूप से देख सकें।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →