Diagnosing LLM Arbitration Behavior over Pre-evidence Epistemic States in RAG-based Fact-Checking
यह शोध पत्र \textsc{PAVE} को प्रस्तुत करता है, जो एक नैदानिक टेस्टबेड (diagnostic testbed) है जो यह मूल्यांकन करता है कि RAG-आधारित तथ्य-जांच में LLM सत्यापनकर्ता (verifiers) अपने पूर्व-साक्ष्य पैरामीट्रिक ज्ञान और पुनर्प्राप्त साक्ष्य के बीच कैसे मध्यस्थता करते हैं, जो मॉडलों में असंगत मध्यस्थता व्यवहारों को प्रकट करता है और मॉडल संशोधन के बिना तथ्यात्मक विश्वसनीयता में सुधार करने के लिए एक हल्के JSD-आधारित तरीके का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत बुद्धिमान, पढ़ाकू दोस्त है (LLM) जिसे समाचारों की सत्यता की जांच करना पसंद है। आप उसे एक दावा देते हैं, जैसे "एफिल टॉवर लंदन में है," और वह आमतौर पर जानता है कि उत्तर "गलत" है क्योंकि उसने इसके बारे में हजारों बार पढ़ा है।
लेकिन अब, कल्पना कीजिए कि आप उसे कागज का एक टुकड़ा भी थमा देते हैं (प्राप्त साक्ष्य/Retrieved Evidence) जो कहता है, "वास्तव में, इस नई रिपोर्ट के अनुसार एफिल टॉवर लंदन में है।"
यह एक संघर्ष पैदा करता है। आपके दोस्त को निर्णय लेना होगा: क्या वे अपनी याददाश्त (आंतरिक पूर्व ज्ञान/Internal Prior) पर भरोसा करें, या वे उस नए कागज (बाहरी संदर्भ/External Context) पर भरोसा करें जो आपने उन्हें दिया है?
यह शोध पत्र, जिसका शीर्षक है "Diagnosing LLM Arbitration Behavior over Pre-evidence Epistemic States," मूल रूप से यह देखने के लिए एक स्ट्रेस टेस्ट है कि विभिन्न AI मित्र इस तरह के खींचतान को कैसे संभालते हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं के साथ विवरण दिया गया है:
1. समस्या: "ज़िद्दी" बनाम "भोला"
शोधकर्ताओं ने देखा कि मानक परीक्षण केवल अंतिम उत्तर देखते हैं: "क्या AI सही था?" लेकिन वे यह नहीं देख पाए कि AI वहां तक कैसे पहुँचा।
- परिदृश्य: कभी-कभी AI सच जानता है लेकिन एक फर्जी समाचार लेख से धोखा खा जाता है। अन्य समय में, AI भ्रमित या गलत होता है, और फर्जी समाचार लेख उसे गलत उत्तर के प्रति और भी अधिक आश्वस्त बना देता है।
- कमी: मौजूदा परीक्षणों ने यह नहीं मापा कि AI ज़िद्दी (अपने आप पर बहुत अधिक विश्वास के कारण अच्छे साक्ष्य को अनदेखा करना) हो रहा था या भोला (अपने ज्ञान को आसानी से बहका दिए जाने के कारण उसे अनदेखा करना)।
2. समाधान: PAVE (एक "एपिस्टेमिक स्टेट" टेस्ट)
लेखकों ने PAVE नामक एक नया परीक्षण क्षेत्र बनाया। इसे साक्ष्य देखने से पहले AI के लिए एक "व्यक्तित्व परीक्षण" के रूप में समझें।
वे दो प्रश्नों के आधार पर AI की मानसिकता को चार "स्थितियों" में वर्गीकृत करते हैं:
- क्या वे उत्तर जानते हैं? (क्या वे अपनी याददाश्त के आधार पर सही हैं या गलत?)
- क्या वे आश्वस्त हैं? (क्या वे पक्के हैं, या वे केवल अनुमान लगा रहे हैं?)
यह चार व्यक्तित्व प्रकार बनाता है:
- आत्मविश्वासी विशेषज्ञ (The Confident Expert): उत्तर जानता है और सही है। (जैसे, "मैं जानता हूँ कि पेरिस फ्रांस में है।")
- आत्मविश्वासी मूर्ख (The Confident Fool): उत्तर जानता है लेकिन गलत है। (जैसे, "मुझे 100% यकीन है कि पेरिस जर्मनी में है।")
- अनिश्चित विशेषज्ञ (The Uncertain Expert): उन्हें पता नहीं है कि वे जानते हैं, लेकिन वे वास्तव में सही हैं। (जैसे, "मुझे पक्का नहीं पता, लेकिन मुझे लगता है कि पेरिस फ्रांस में है।")
- अनिश्चित मूर्ख (The Uncertain Fool): उन्हें पता नहीं है और वे गलत हैं। (जैसे, "मुझे कोई अंदाजा नहीं है, लेकिन मैं अनुमान लगाऊंगा कि पेरिस जर्मनी में है।")
3. प्रयोग: "खींचतान" (The Tug-of-War)
शोधकर्ताओं ने 7 अलग-अलग AI मॉडल लिए (Llama-8B जैसे छोटे मॉडल से लेकर Deepseek-v3 जैसे विशाल मॉडल तक) और उन्हें ऐसे दावे दिए जहाँ उनकी आंतरिक स्मृति और दिए गए साक्ष्य के बीच टकराव हुआ।
उन्होंने दो मुख्य व्यवहारों को मापा:
- दृढ़ता (Persistence): यदि AI शुरू से ही सही था, तो क्या वह फर्जी लेख दिखाए जाने पर भी अपनी बात पर अड़ा रहा? (अच्छा!)
- सुधार (Correction): यदि AI शुरू से ही गलत था, तो क्या उसने सही साक्ष्य दिखाए जाने पर अपनी गलती स्वीकार की? (अच्छा!)
4. उन्हें क्या मिला (परिणाम)
परिणाम आश्चर्यजनक थे और उन्होंने दिखाया कि सभी AI एक जैसे नहीं बने हैं:
- "ज़िद्दी" मॉडल (The Stubborn Models): कुछ मॉडल (जैसे Llama-8B) बहुत ज़िद्दी थे। जब वे गलत भी थे, तब भी वे सही साक्ष्य दिखाए जाने पर भी अपना विचार बदलने से इनकार कर देते थे। उन्होंने सही सत्य के बजाय अपनी (गलत) याददाश्त को प्राथमिकता दी।
- "भोले" मॉडल (The Gullible Models): कुछ मॉडल बहुत आसानी से बहक जाते थे। यदि आप उन्हें एक फर्जी लेख दिखाते, तो वे तुरंत अपने सही ज्ञान को छोड़ देते और फर्जी लेख पर विश्वास कर लेते।
- "संतुलित" मॉडल (The Balanced Models): सबसे अच्छा प्रदर्शन करने वाला मॉडल Deepseek-v3 था। यह एक बुद्धिमान न्यायाधीश की तरह था: जब वह सच जानता था तो वह अपनी बात पर अड़ा रहता था, लेकिन जब वह गलत था और बेहतर साक्ष्य देखता था, तो वह अपना विचार बदलने के लिए तैयार रहता था।
- आकार मायने रखता है (Size Matters): सामान्य तौर पर, बड़े मॉडल (जैसे 70-बिलियन पैरामीटर वाले संस्करण) इस संतुलन बनाने में छोटे मॉडलों की तुलना में बेहतर थे। वे ज़िद्दी या भोले होने की संभावना कम रखते थे।
- नया बनाम पुराना ज्ञान: AI नए चीजों (जैसे 2025 की कोई घटना) को सीखने में बहुत बेहतर थे, बजाय इसके कि वे उस चीज़ के बारे में अपनी गलती मान सकें जिसे वे सोचते थे कि वे जानते हैं। उनके लिए यह कहना आसान है, "ओह, मुझे यह नहीं पता था!" बजाय इसके कि वे कहें, "ओह, मैं गलत था!"
5. समाधान: "दूसरी राय" वाली ट्रिक
चूंकि कुछ AI स्वाभाविक रूप से इस संतुलन को बनाने में खराब होते हैं, इसलिए लेखकों ने पूरे मॉडल को फिर से प्रशिक्षित किए बिना इसे ठीक करने के लिए एक सरल, हल्का तरीका प्रस्तावित किया।
उपमा: कल्पना कीजिए कि आप अपने दोस्त से एक प्रश्न पूछ रहे हैं, लेकिन एक बार पूछने के बजाय, आप उनसे लगातार पाँच बार पूछते हैं।
- यदि वे हर बार एक ही उत्तर देते हैं, तो वे स्थिर (stable) हैं।
- यदि वे उत्तरों के बीच झूलते रहते हैं, तो वे अस्थिर (unstable) हैं।
शोधकर्ता स्थिरता को मापने के लिए एक गणितीय सूत्र (जिसे JSD कहा जाता है) का उपयोग करते हैं।
- यदि AI अपनी स्मृति में स्थिर है लेकिन साक्ष्य पढ़ते समय अस्थिर है, तो यह ट्रिक AI को बताती है: "अपनी याददाश्त पर भरोसा करें।"
- यदि AI अपनी स्मृति में अस्थिर है लेकिन साक्ष्य पढ़ते समय स्थिर है, तो यह ट्रिक AI को बताती है: "साक्ष्य पर भरोसा करें।"
परिणाम: इस सरल "पाँच बार पूछने" वाली ट्रिक ने लगभग सभी AI मॉडलों को बेहतर फैक्ट-चेकिंग करने में मदद की, जिससे उन्हें ज़िद्दी और भोला होने से बचने में मदद मिली।
सारांश
यह शोध पत्र एक नैदानिक उपकरण (diagnostic tool) है जो प्रकट करता है कि तथ्य-जांच करने वाले AI के अपने विशिष्ट "व्यक्तित्व" होते हैं जब बात खुद पर भरोसा करने बनाम नई जानकारी पर भरोसा करने की आती है। कुछ बहुत ज़िद्दी हैं, कुछ बहुत भोले हैं, और कुछ बिल्कुल सही हैं। लेखकों ने यह भी पाया कि एक सरल तरीका है जिससे वे "ज़िद्दी" या "भोले" वाले मॉडलों को भी एक "बुद्धिमान न्यायाधीश" की तरह कार्य करने में मदद मिल सकती है, और वह है अंतिम निर्णय लेने से पहले उनकी उत्तरों की निरंतरता की जांच करना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।