Authority, Truth, and Citation Bias: A Large-Scale Multi-Domain Benchmark for Studying Epistemic Susceptibility in Large Language Models
यह शोध पत्र AuthorityBench प्रस्तुत करता है, जो एक बड़े पैमाने का बहु-डोमेन बेंचमार्क है, जो यह प्रदर्शित करता है कि केवल उद्धरणों की उपस्थिति—चाहे वे तथ्यात्मक रूप से सटीक हों या नहीं—लार्ज लैंग्वेज मॉडल्स में मतिभ्रम (hallucination) की दर को महत्वपूर्ण रूप से बढ़ा देती है, जिसका सबसे स्पष्ट प्रभाव तब देखा जाता है जब निर्मित (fabricated) उद्धरण सत्य दावों के साथ आते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ट्रिविया क्विज़ (trivia quiz) दे रहे हैं। आप जानते हैं कि उत्तर "पेरिस" है क्योंकि आप वहां जा चुके हैं। लेकिन तभी, एक शिक्षक कमरे में आता है, शेल्फ पर रखी एक शानदार दिखने वाली किताब की ओर इशारा करता है, और कहता है, "दरअसल, राजधानी लंदन है। मैंने इसे इस प्रतिष्ठित जर्नल में पढ़ा है।"
क्या आप अपना उत्तर बदल देंगे? अधिकांश मनुष्य रुककर सोचेंगे, "रुको, वह किताब महत्वपूर्ण लग रही है। शायद मैं गलत हूँ।"
यह शोध पत्र, AuthorityBench, आर्टिफिशियल इंटेलिजेंस (AI) के बारे में एक समान प्रश्न पूछता है। यह जानना चाहता है कि: यदि एक AI सत्य को जानता है, लेकिन कोई उसे एक "साइटेशन" (एक स्रोत का संदर्भ) देता है जो इसके विपरीत कहता है, तो क्या AI अंधाधुंध उस साइटेशन पर भरोसा करेगा और सत्य को भूल जाएगा?
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है।
प्रयोग: AI के लिए एक "फेक न्यूज" टेस्ट
शोधकर्ताओं ने AuthorityBench नामक एक विशाल परीक्षण बनाया। इसे एक विशाल, 2,20,000 प्रश्नों वाले क्विज़ के रूप में समझें जिसे AI मॉडल्स को चकमा देने के लिए डिज़ाइन किया गया है।
उन्होंने एक "2x2" गेम तैयार किया जिसमें चार परिदृश्य (scenarios) थे:
- सत्य दावा + वास्तविक साइटेशन: AI सही है, और स्रोत भी वास्तविक है। (आसान मोड)।
- असत्य दावा + फर्जी साइटेशन: AI गलत है, और स्रोत भी फर्जी है। (स्पष्ट जाल)।
- असत्य दावा + वास्तविक साइटेशन: AI गलत है, लेकिन स्रोत वास्तविक है। (चतुर जाल)।
- सत्य दावा + फर्जी साइटेशन: यही बड़ी खोज है। AI सही है, लेकिन उन्हें एक फर्जी स्रोत दिया जाता है जो कहता है कि वह गलत है।
उन्होंने इसे सामान्य ज्ञान, विज्ञान, कानून और चिकित्सा के चार क्षेत्रों में परखा। उन्होंने फर्जी स्रोतों के "स्वरूप" को भी बदला: कुछ ऐसे दिखे जैसे वे नोबेल पुरस्कार विजेताओं से आए हों (उच्च प्रतिष्ठा), कुछ अज्ञात ब्लॉगों से (कम प्रतिष्ठा), और कुछ के नाम अलग-अलग देशों के थे।
बड़ी हैरानी: द "अथॉरिटी ट्रैप" (सत्ता का जाल)
सबसे चौंकाने वाला परिणाम यह है कि साइटेशन्स एक "जादुई मंत्र" की तरह काम करते हैं जो AI को भ्रमित (hallucinate/झूठ बोलने) कर देते हैं।
- "फर्जी स्रोत" का प्रभाव: जब AI सही उत्तर जानता था (जैसे, "पेरिस राजधानी है"), लेकिन एक फर्जी साइटेशन आया जिसमें लिखा था "लंदन राजधानी है," तो AI अक्सर अपना उत्तर बदलकर लंदन कर देता था।
- संख्या: "सामान्य ज्ञान" श्रेणी में, ऐसा 35% से 77% बार हुआ। इसका मतलब है कि यदि आपने एक AI को एक सच्चा तथ्य दिया और एक फर्जी संदर्भ दिया, तो वह सत्य को बनाए रखने के बजाय सत्य को ही नकार देने की अधिक संभावना रखता था।
- "वास्तविक स्रोत" का प्रभाव: भले ही साइटेशन वास्तविक था लेकिन दावा गलत था, AI अभी भी बिना किसी साइटेशन के होने की तुलना में भ्रमित (hallucinate) होने की अधिक संभावना रखता था।
उपमा (Analogy): कल्पना कीजिए कि एक छात्र जानता है कि "2+2=4" होता है। यदि आप उसे कागज का एक टुकड़ा थमाते हैं जिस पर लिखा है "प्रसिद्ध प्रोफेसर स्मिथ के अनुसार, 2+2=5," तो छात्र अपने स्वयं के मस्तिष्क पर भरोसा करना छोड़ देता है और "5" लिख देता है। उस कागज (साइटेशन) ने गणित पर भारी पड़ गया।
क्या मायने नहीं रखा?
शोधकर्ताओं ने सोचा कि कुछ चीजें AI को साइटेशन पर अधिक भरोसा करने के लिए मजबूर कर सकती हैं, लेकिन वे यह देखकर हैरान रह गए कि इन कारकों का लगв ही कोई प्रभाव पड़ा:
- प्रतिष्ठा (Prestige): इससे कोई फर्क नहीं पड़ा कि फर्जी साइटेशन किसी शीर्ष स्तर के विश्वविद्यालय से आया था या किसी रैंडम ब्लॉग से। AI दोनों से समान रूप से भ्रमित था।
- लेखक की पहचान: इससे कोई फर्क नहीं पड़ा कि फर्जी लेखक का नाम किसी विशिष्ट देश या जनसांख्यिकी से जुड़ा था। AI को इस बात की परवाह नहीं थी कि किसने लिखा है, उसे बस इस बात से फर्क नहीं पड़ा कि कुछ लिखा गया है।
- मॉडल का आकार (Model Size): आप सोच सकते हैं कि एक "स्मार्टर" या बड़ा AI कम आसानी से धोखा खाएगा। लेकिन अध्ययन ने पाया कि बड़े, सबसे उन्नत मॉडल भी उतने ही आसानी से जाल में फंस गए जितने कि छोटे मॉडल।
एकमात्र अपवाद: "लॉयर" (वकील) AI
एक क्षेत्र ऐसा था जहाँ AI इतनी आसानी से नहीं फंसा: कानून (Law)।
- क्यों? शोधकर्ता सुझाव देते हैं कि कानूनी पाठ में एक बहुत ही विशिष्ट, औपचारिक "भाषा" (जैसे एक गुप्त कोड) होती है। जब AI एक कानूनी साइटेशन देखता है, तो ऐसा लगता है कि वह "जांच मोड" में स्विच हो जाता है और तथ्यों की अधिक सावधानी से जांच करता है, बजाय इसके कि वह अंधाधुंध अधिकार को स्वीकार कर ले।
- सामान्य ज्ञान सबसे कमजोर कड़ी थी, जहाँ AI को सबसे आसानी से मूर्ख बनाया गया।
"असत्य दावे" का मोड़
अध्ययन ने यह भी देखा कि क्या होता है जब AI पहले से ही गलत (एक असत्य दावा) होता है।
- कुछ AI स्मार्ट हो गए: Llama और Claude जैसे मॉडल्स के लिए, साइटेशन देखने (भले ही वह फर्जी हो) से वे असत्य दावों पर कम भ्रमित (hallucinate) हुए। ऐसा लगा जैसे साइटेशन ने उन्हें कहा, "हम्म, मुझे इसे दोबारा जांचने की जरूरत है," और उन्होंने खुद को सुधारा।
- कुछ AI मूर्ख हो गए: Gemma और Phi-4 जैसे मॉडल्स के लिए, साइटेशन ने उन्हें असत्य दावों पर अधिक भ्रमित होने के लिए प्रेरित किया। उन्होंने गलत जानकारी को अंधाधुंध स्वीकार कर लिया।
मुख्य निष्कर्ष (The Bottom Line)
यह शोध पत्र निष्कर्ष निकालता है कि साइटेशन जोड़ने से AI स्वचालित रूप से अधिक विश्वसनीय नहीं हो जाता है। वास्तव में, यह अक्सर इसे कम विश्वसनीय बना देता है।
यदि आप तथ्यों के लिए AI का उपयोग कर रहे हैं, और आप देखते हैं कि वह किसी स्रोत का हवाला दे रहा है, तो यह मान न लें कि वह सच बोल रहा है। AI उस साइटेशन की "अधिकारिता" (authority) से इतना प्रभावित हो सकता है कि वह खुशी-खुशी वास्तविक सत्य को त्याग देगा। अध्ययन चेतावनी देता है कि उच्च-जोखिम वाले क्षेत्रों (जैसे चिकित्सा या कानून) के लिए, हम यह मानकर नहीं चल सकते कि AI के उत्तरों को साइटेशन्स के आधार पर पुख्ता करना उसकी त्रुटियों को ठीक कर देगा; कभी-कभी, साइटेशन्स स्वयं त्रुटि का स्रोत बन जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।