Failing to Falsify: Evaluating and Mitigating Confirmation Bias in Language Models
यह शोध पत्र प्रदर्शित करता है कि बड़े भाषा मॉडल नियम-खोज कार्यों के दौरान पुष्टिकरण पूर्वाग्रह (confirmation bias) प्रदर्शित करते हैं, जिससे अक्षम परिकल्पना परीक्षण होता है, लेकिन यह भी दिखाता है कि इस सीमा को लक्षित प्रॉम्प्टिंग और व्यवहार संबंधी आसवन (behavioral distillation) के माध्यम से प्रभावी ढंग से कम किया जा सकता है, जिससे उनके तर्क प्रदर्शन में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र "Failing to Falsify: Evaluating and Mitigating Confirmation Bias in Language Models" का सरल भाषा और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।
मुख्य विचार: "हाँ में हाँ मिलाने वाला" (Yes-Man) की समस्या
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस हैं। आपके मन में एक संदेह है कि अपराधी कौन हो सकता है।
- एक स्मार्ट जासूस पूछता है: "अगर मैं सही हूँ, तो ऐसी क्या चीज़ होगी जो मुझे गलत साबित कर सके?" वे अपनी ही थ्योरी को तोड़ने की कोशिश करते हैं ताकि देख सकें कि क्या वह टिक पाती है।
- एक पक्षपाती जासूस (जो 'कन्फर्मेशन बायस' या पुष्टिकरण पूर्वाग्रह से ग्रस्त है) केवल ऐसे सवाल पूछता है जो उसे सही साबित करें। वे उन सुरागों को अनदेखा कर देते हैं जो उन्हें गलत साबित कर सकते हैं। वे यह पूछने के बजाय कि "क्या यह सुराग मेरी थ्योरी को नष्ट कर देगा?", यह पूछते रहते हैं, "क्या यह सुराग मेरी थ्योरी से मेल खाता है?"
यह शोध पत्र पूछता है: क्या AI भाषा मॉडल (LLMs) उस पक्षपाती जासूस की तरह व्यवहार करते हैं?
जवाब है हाँ। जब ये AI किसी छिपे हुए नियम को समझने की कोशिश करते हैं, तो वे "हाँ में हाँ मिलाने वाले" बन जाते हैं। वे अपने वर्तमान अनुमान का समर्थन करने वाले विचारों का परीक्षण करते रहते हैं, बजाय इसके कि वे उसे तोड़ने की कोशिश करें। यह उन्हें समस्याओं को हल करने में धीमा और कम सटीक बनाता है।
प्रयोग: "नंबर गेसिंग गेम" (संख्या अनुमान लगाने का खेल)
इसकी जांच करने के लिए, शोधकर्ताओं ने मनोविज्ञान के एक क्लासिक खेल Wason 2-4-6 Task को अपनाया।
सेटअप:
- AI को तीन संख्याएँ दिखाई जाती हैं, जैसे
[2, 4, 6]। - AI को बताया जाता है: "ये संख्याएँ एक गुप्त नियम का पालन करती हैं।"
- AI का काम नियम का अनुमान लगाना है।
- AI नए सेट प्रस्तावित कर सकता है (जैसे
[8, 10, 12]) और कंप्यूटर कहता है "हाँ" (यह नियम में फिट बैठता है) या "नहीं" (यह नहीं बैठता)।
जाल:
छिपा हुआ नियम सरल हो सकता है, जैसे "बढ़ती हुई संख्याएँ"। लेकिन AI अनुमान लगा सकता है कि "ये सभी सम संख्याएँ (even numbers) हैं।"
- पक्षपाती AI:
[2, 4, 6](हाँ),[8, 10, 12](हाँ),[20, 22, 24](हाँ) का परीक्षण करता है। उसे बार-बार "हाँ" मिलता है और वह आश्वस्त महसूस करता है। वह कभी भी[1, 2, 3]जैसा सेट टेस्ट नहीं करता (जो बढ़ती हुई संख्याएँ हैं लेकिन सम नहीं हैं) यह देखने के लिए कि क्या उसका "सम संख्या" वाला सिद्धांत गलत है। - स्मार्ट AI:
[1, 2, 3]का परीक्षण करता है। कंप्यूटर कहता "हाँ।" AI को एहसास होता है, "ओह! यह सिर्फ सम संख्याएँ नहीं हैं; यह सिर्फ बढ़ती हुई संख्याएँ हैं!" उसने अपनी थ्योरी को तोड़ने की कोशिश करके सच खोज लिया।
परिणाम:
शोधकर्ताओं ने 11 अलग-अलग AI मॉडल का परीक्षण किया। उन्होंने पाया कि अधिकांश AI इस मामले में बहुत खराब थे। वे बार-बार "सम संख्याओं" का परीक्षण करते रहे, अपने गलत अनुमानों की पुष्टि करने के चक्र में फंस गए। उन्होंने पहेली को केवल 42% बार ही सुलझाया।
समाधान: AI को "विपरीत सोचने" के लिए सिखाना
चूंकि इंसान भी इस पूर्वाग्रह में फंस जाते हैं, इसलिए मनोवैज्ञानिकों ने हमें बेहतर सोचने में मदद करने के लिए कुछ तरीके विकसित किए हैं। शोधकर्ताओं ने इन तरीकों को AI पर आज़माया:
- विपरीत सोचें (Think-in-Opposites): AI को कहा जाता है: "अपने पिछले अनुमान को देखें। अब, जानबूझकर एक ऐसा टेस्ट बनाएँ जो आपके विचार का विपरीत हो।"
- उपमा: यदि आप सोचते हैं "सभी पक्षी उड़ सकते हैं," तो स्पैरो (गौरैया) का परीक्षण न करें। पेंगुइन का परीक्षण करें। यदि पेंगुइन उड़ता है, तो आपका नियम गलत है। यदि नहीं, तो आप कुछ नया सीखते हैं।
- दोहरा लक्ष्य (Dual-Goal): AI को एक साथ दो नियम अनुमान लगाने के लिए कहा जाता है: "हाँ" का नियम (DAX) और "नहीं" का नियम (MED)।
- उपमा: केवल उस चाबी को खोजने के बजाय जो दरवाज़ा खोलती है, आप उस चाबी को भी खोजते हैं जो उसे लॉक करती है। यह आपको सिक्के के दोनों पहलुओं को देखने के लिए मजबूर करता है।
परिणाम:
जब शोधकर्ताओं ने AI को ये निर्देश (प्रॉम्प्ट्स) दिए, तो AI बहुत स्मार्ट हो गया।
- उन्होंने "विपरीत" विचारों का परीक्षण करना शुरू कर दिया।
- उनकी सफलता दर 42% से बढ़कर 56% हो गई।
- उन्होंने पहेलियों को तेज़ी से सुलझाया।
"जादुई अमृत": डिस्टिलेशन (Distillation)
एक पेच था। AI केवल तभी स्मार्ट होता था जब शोधकर्ता उसे हर बार "विपरीत सोचने" के लिए याद दिलाते थे। यदि आप निर्देश हटा लेते, तो AI वापस "हाँ में हाँ मिलाने वाला" बन जाता।
शोधकर्ता चाहते थे कि AI इस कौशल को आंतरिक (internalize) बना ले, ताकि वह बिना किसी रिमाइंडर के भी स्मार्ट रहे। इसके लिए उन्होंने नॉलेज डिस्टिलेशन (Knowledge Distillation) तकनीक का उपयोग किया।
- उपमा: कल्पना कीजिए कि एक मास्टर शेफ ("शिक्षक" AI) जानता है कि खाना कैसे बनाया जाता है क्योंकि वे एक सख्त रेसिपी बुक ("विपरीत सोचें" प्रॉम्प्ट) का पालन करते हैं। शोधकर्ताओं ने उस मास्टर शेफ द्वारा की गई हर गतिविधि को रिकॉर्ड किया। फिर, उन्होंने उन रिकॉर्डिंग्स को एक जूनियर शेफ ("छात्र" AI) को खिलाया और उन्हें मास्टर की हर हरकत की नकल करने के लिए प्रशिक्षित किया।
- परिणाम: जूनियर शेफ ने "विपरीत चीजों की जाँच करने की आदत" को सीख लिया। बिना रेसिपी बुक के भी, जूनियर शेफ बेहतर खाना बनाने लगा।
- बोनस: यह नया कौशल केवल नंबर गेम्स तक सीमित नहीं था। जब शोधकर्ताओं ने इन प्रशिक्षित AI का एक पूरी तरह से अलग गेम ("ब्लिकेट टेस्ट", जिसमें यह पता लगाया जाता है कि कौन से खिलौने ब्लॉक मशीन को चालू करते हैं) पर परीक्षण किया, तो वे अभी भी बेहतर प्रदर्शन कर रहे थे! उन्होंने केवल एक विशेष ट्रिक नहीं, बल्कि सोचने का एक सामान्य तरीका सीखा था।
यह क्यों मायने रखता है
यह शोध पत्र दिखाता है कि AI केवल "स्मार्ट" या "बेवकूफ" नहीं है; इसमें इंसानों जैसे दोष भी हैं। इंसानों की तरह, AI भी आलसी हो सकता है और केवल उन सबूतों को देख सकता है जो उसे सही महसूस कराते हैं।
लेकिन अच्छी खबर यह है कि हम इसे ठीक कर सकते हैं। AI को अपने विचारों को चुनौती देने (falsification) के लिए प्रशिक्षित करके और उस आदत को बनाए रखने के लिए प्रशिक्षित करके, हम उन्हें विज्ञान, तर्क और खोज में बेहतर बना सकते हैं। हम अनिवार्य रूप से उन्हें बेहतर जासूस बनने की शिक्षा दे रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।