🤖 AI

A Cognitively Grounded Bayesian Framework for Misinformation Susceptibility

यह शोध पत्र बाउंडेड प्रैग्मैटिक लिसनर (BPL) प्रस्तुत करता है, जो एक संज्ञानात्मक रूप से आधारित बेयसियन ढांचा है जो गलत सूचना के प्रति संवेदनशीलता को मॉडल करने के लिए तीन बाउंडेड रेशनैलिटी बाधाओं के साथ रेशनल स्पीच एक्ट थ्योरी का विस्तार करता है, जो सत्यता वर्गीकरण बेंचमार्क पर प्रतिस्पर्धी प्रदर्शन प्रदर्शित करता है और डेप्थ-मिसमैच विरोधाभास के लिए प्रयोगात्मक समर्थन प्रदान करता है।

मूल लेखक: Pranava Madhyastha

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pranava Madhyastha

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि पार्टी में सुनी गई कोई अफवाह सच है या नहीं। आमतौर पर, फर्जी खबरें पकड़ने के लिए बनाए गए कंप्यूटर प्रोग्राम एक सुपर-स्मार्ट जासूस की तरह काम करते हैं जो हर एक तथ्य को एक विशाल विश्वकोश (encyclopedia) से मिलाता है। लेकिन यह शोध पत्र तर्क देता है कि इंसान वास्तव में इस तरह काम नहीं करते। इंसान थक जाते हैं, विचलित हो जाते हैं और उनके पास सीमित मानसिक ऊर्जा होती है।

लेखकों, प्रणाव मध्यासथा और सहयोगियों ने एक नया कंप्यूटर मॉडल बनाया जिसे BPL (बाउंडेड प्रैग्मैटिक लिसनर - Bounded Pragmatic Listener) कहा जाता है। BPL को एक सुपर-डिटेक्टिव के रूप में नहीं, बल्कि एक सामान्य मानव मस्तिष्क के सिमुलेशन के रूप में सोचें, जो यह तय करने की कोशिश कर रहा है कि कोई समाचार दावा सच है या झूठ।

यह मॉडल कैसे काम करता है, इसे तीन सरल "मानसिक सीमाओं" में विभाजित किया गया है जो हमें गलत सूचनाओं के प्रति संवेदनशील बनाती हैं:

1. "मेंटल स्टैक" की सीमा (रिकर्सन डेप्थ)

कल्पना कीजिए कि आपका मस्तिष्क प्लेटों का एक ढेर (stack) है। जब आप कोई दावा सुनते हैं, तो आप केवल कुछ प्लेटें ही ऊपर रख सकते हैं इससे पहले कि वे गिर जाएं।

लेवल 0: आप बस तथ्य सुनते हैं। "बेरोजगारी दर 2% है।" आप संख्या के आधार पर इसे स्वीकार करते हैं या खारिज करते हैं।
लेवल 1: आप सोचते हैं, "यह किसने कहा?" आपको एहसास होता है कि एक सीनेटर ने यह कहा।
लेवल 2: आप सोचते हैं, "सीनेटर ने यह क्यों कहा? क्या वह हमें धोखा देने की कोशिश कर रहे हैं? क्या वह जानते हैं कि बाकी सभी जानते हैं कि यह एक झूठ है?"

शोध पत्र सुझाव देता है कि अधिकांश लोग लगभग दो प्लेटें ऊँची स्टैक ही बना पाते हैं, इससे पहले कि उनका मस्तिष्क थक जाए। यदि कोई गलत सूचना एक जटिल "लेवल 2" वाला जाल है (जैसे, "हर कोई जानता है कि सरकार झूठ बोल रही है, लेकिन वे इसे नहीं कहेंगे"), तो एक "लेवल 1" वाला मस्तिष्क वाला व्यक्ति भ्रमित हो सकता है और विश्वास कर सकता है। वे एट्रिब्यूशन (attribution) देखते हैं ("सीनेटर ने कहा...") लेकिन गहरे जाल को नहीं देख पाते।

बड़ी हैरानी: शोध पत्र में एक अजीब विरोधाभास मिला। लोग जो आंशिक रूप से समझदार हैं (वे नोटिस करते हैं कि यह किसने कहा, लेकिन यह गहराई से नहीं पूछते कि उन्होंने यह क्यों कहा), वे वास्तव में उन लोगों की तुलना में अधिक आसानी से ठगे जाते हैं जो वक्ता को पूरी तरह अनदेखा कर देते हैं। यह ऐसा है जैसे कोई व्यक्ति "चेतावनी" का साइन देखता है लेकिन बारीक अक्षरों को नहीं पढ़ता, यह सोचकर कि साइन ही खतरे को सच बनाता है, जबकि वास्तव में साइन को उन्हें ठगने के लिए वहां रखा गया था।

2. "चीट शीट" की सीमा (प्रायर कम्प्रेशन)

कल्पना कीजिए कि आपके पास दुनिया के तथ्यों के बारे में एक विशाल लाइब्रेरी है। जब आप थके हुए या तनाव में होते हैं, तो आपके पास पूरी किताब पढ़ने का समय नहीं होता। इसके बजाय, आप एक छोटी, मुड़ी-तुड़ी "चीट शीट" उठाते हैं जिसमें केवल कुछ व्यापक श्रेणियां होती हैं: "विश्वसनीय स्रोत" बनाम "संदिग्ध स्रोत।"

BPL मॉडल दिखाता है कि जब हमारा मस्तिष्क दबाव में होता है, तो हम अपने जटिल विश्वासों को इन सरल श्रेणियों में संकुचित (compress) कर देते हैं। यदि कोई दावा एक "संदिग्ध स्रोत" से आता है, तो हम तुरंत अपने विश्वास को "यह शायद गलत है" में संकुचित कर देते हैं। यदि यह "विश्वसनीय स्रोत" से आता है, तो हम इसे "यह शायद सच है" में संकुचित कर देते हैं। मॉडल साबित करता है कि यह "चीट शीट" वाला दृष्टिकोण ही सबसे शक्तिशाली कारक है कि हम किसी चीज़ पर विश्वास करते हैं या नहीं।

3. "मेमोरी सर्च" की सीमा (अवेलेबिलिटी सैंपलिंग)

कल्पना कीजिए कि आप यह तय करने की कोशिश कर रहे हैं कि कोई दावा सच है या नहीं, इसलिए आप अपने मस्तिष्क से पूछते हैं, "क्या मैंने इसे पहले देखा है?"

एक आदर्श मस्तिष्क अपने पूरे मेमोरी में समान उदाहरणों के लिए खोज करेगा।
एक थका हुआ मस्तिष्क (BPL मॉडल) केवल उन पहले कुछ उदाहरणों को पकड़ता है जो दिमाग में आते हैं।

समस्या यह है कि जो उदाहरण पहले दिमाग में आते हैं, वे अक्सर वही होते हैं जो ऊंचे स्वर वाले, भावनात्मक या बार-बार दोहराए जाने वाले होते हैं। यदि आपने आज दिन में पांच बार एक फर्जी हेडलाइन देखी है, तो आपका मस्तिष्क उन पांच उदाहरणों को पकड़ेगा और कहेगा, "मैंने इसे बहुत बार देखा है, इसलिए यह सच होना चाहिए!" इसे "इल्युसरी ट्रुथ इफेक्ट" (Illusory Truth Effect) कहा जाता है। मॉडल इसे अपनी यादों के एक छोटे, पक्षपाती नमूने को देखकर सिम्युलेट करता है, न कि पूरी सच्चाई को देखकर।

उन्होंने इसका परीक्षण कैसे किया

शोधकर्ताओं ने इस "बाउंडेड ह्यूमन ब्रेन" मॉडल का परीक्षण समाचार दावों के दो वास्तविक डेटासेट्स (Liar और MultiFC) पर किया।

उन्होंने अपने मॉडल की तुलना मानक कंप्यूटर प्रोग्रामों से की जो केवल कीवर्ड और मेटाडेटा देखते हैं।
उन्होंने एक "लार्ज लैंग्वेज मॉडल" (जैसे कि वह AI जिससे आप अभी बात कर रहे हैं) को भी जोड़ा, जो मानव मेमोरी सर्च के स्मार्ट संस्करण के रूप में कार्य करता है।

परिणाम:

"चीट शीट" की जीत: मॉडल का सबसे महत्वपूर्ण हिस्सा "प्रायर कम्प्रेशन" (चीट शीट) था। केवल यह जानना कि कोई स्रोत सामान्य रूप से विश्वसनीय है या संदिग्ध, यह सबसे बड़ा भविष्यवक्ता था कि कोई दावा फर्जी था या नहीं।
"पार्शियल नॉलेज" का जाल: डेटा ने विरोधाभास की पुष्टि की: वे लोग जो किसी दावे के साथ जुड़ाव (attribution) को नोटिस करते हैं (लेवल 1) लेकिन इरादे का विश्लेषण नहीं करते (लेवल 2), उनके ठगे जाने की संभावना उन लोगों की तुलना में अधिक होती जो एट्रिब्यूशन को पूरी तरह अनदेखा कर देते हैं।
AI की मदद: जब उन्होंने मेमोरी सर्च और सोर्स ट्रस्ट को सिम्युलेट करने के लिए एक AI का उपयोग किया, तो मॉडल ने झूठ पकड़ने में बहुत बेहतर प्रदर्शन किया, क्योंकि AI शब्दों के अर्थ को समझ सकता था, न कि केवल उनकी सतही विशेषताओं को।

मुख्य निष्कर्ष

यह शोध पत्र केवल यह नहीं कहता कि "फेक न्यूज बुरी है।" यह एक गणितीय मानचित्र बनाता है कि हमारे मस्तिष्क क्यों इसे पहचानने में विफल रहते हैं। यह सुझाव देता है कि गलत सूचनाएं हमारे मानसिक शॉर्टकट्स का फायदा उठाकर काम करती हैं:

यह हमें उन कहानियों से ठगती है जिन्हें हमारे थके हुए दिमागों के लिए पूरी तरह से समझना बहुत जटिल है।
यह हमें गहराई से शोध करने के बजाय विश्वास के लिए "चीट शीट" का उपयोग करने पर निर्भर करती है।
यह इस बात पर गिनती करती है कि हम शांत, सच्चे तथ्यों के बजाय शोर मचाने वाले, बार-बार दोहराए जाने वाले झूठ को याद रखें!

लेखकों का निष्कर्ष है कि गलत सूचना से लड़ने के लिए, हमें केवल यह सिखाना बंद करना होगा कि "किसने कहा" उसे कैसे नोटिस करें, और इसके बजाय यह सवाल करना सिखाना होगा कि उस व्यक्ति ने वह क्यों कहा, क्योंकि एट्रिब्यूशन को बिना मकसद समझे नोटिस करना वास्तव में हमें अधिक असुरक्षित बना सकता है।

तकनीकी सारांश: गलत सूचना संवेदनशीलता के लिए एक संज्ञानात्मक रूप से आधारित बेयसियन ढांचा (A Cognitively Grounded Bayesian Framework for Misinformation Susceptibility)

समस्या विवरण (Problem Statement)

वर्तमान प्राकृतिक भाषा प्रसंस्करण (NLP) दृष्टिकोण गलत सूचना का पता लगाने को मुख्य रूप से एक सत्यता वर्गीकरण कार्य (veracity classification task) के रूप में देखते हैं: एक दावे के दिए जाने पर, यह भविष्यवाणी करना कि वह सत्य है या असत्य। यद्यपि यह भ्रामक सामग्री की पहचान करने में प्रभावी है, लेकिन यह प्रतिमान (paradigm) अपर्याप्त है क्योंकि यह पाठक की संज्ञानात्मक प्रक्रियाओं की अनदेखी करता है। मौजूदा मॉडलों में मानव एजेंट का प्रतिनिधित्व करने की कमी है, जिससे वे यह बताने में विफल रहते हैं कि कौन विशिष्ट प्रकार के सूचना विकार (information disorder) के प्रति संवेदनशील है, वे क्यों किसी बात पर विश्वास करते हैं, या कैसे विभिन्न संज्ञानात्मक प्रोफाइल एक ही दावे की अलग-अलग व्याख्याओं की ओर ले जाते हैं। इसके अलावा, मानक अभ्यास अक्सर एनोटेटर की असहमति (जैसे, बहुमत मत के माध्यम से) को त्याग देते हैं, जिससे दावे की अंतर्निहित अस्पष्टता या एपिस्टेमिक अनिश्चितता (epistemic uncertainty) के संबंध में मूल्यवान संकेत खो जाते हैं।

यह शोध पत्र तर्क देता है कि गलत सूचना के प्रति संवेदनशीलता केवल तथ्य-जांच (fact-checking) की विफलता नहीं है, बल्कि सीमित तर्कसंगतता (bounded rationality) का परिणाम है। मनुष्य आदर्श बेयसियन तर्ककर्ताओं (Bayesian reasoners) की तरह भाषा को संसाधित नहीं करते हैं; वे सीमित कार्य स्मृति (working memory), मानसिक शॉर्टकट (heuristics) पर निर्भरता, और प्रमुख या बार-बार दोहराई जाने वाली जानकारी के प्रभाव जैसी बाधाओं के तहत कार्य करते हैं।

कार्यप्रणाली: बाउंडेड प्रैग्मैटिक लिसनर (Bounded Pragmatic Listener - BPL)

लेखक बाउंडेड प्रैग्मैटिक लिसनर (BPL) प्रस्तुत करते हैं, जो एक औपचारिक बेयसियन ढांचा है और 'रेशनल स्पीच एक्ट्स' (RSA) सिद्धांत का विस्तार करता है। BPL एक एजेंट को विश्व अवस्था $w$ (दावा सत्य/असत्य) के बारे में अपडेट करने का मॉडल करता है, जो तीन संज्ञानात्मक रूप से प्रेरित संसाधन बाधाओं के अधीन है:

रिकर्सन डेप्थ बाउंड ( $k$ ):
- अवधारणा: यह "थ्योरी ऑफ माइंड" (ToM) तर्क की गहराई को सीमित करता है। यह मॉडल करता है कि एक एजेंट वक्ता के इरादे के कितने स्तरों को ट्रैक कर सकता है (जैसे, $k=0$ : शाब्दिक सामग्री को स्वीकार करना; $k=1$ : यह पहचानना कि एक वक्ता ने दावा किया है; $k=2$ : सामाजिक सहमति को मैनिपुलेट करने के वक्ता के इरादे के बारे में तर्क करना)।
- संज्ञानात्मक आधार: यह कार्य स्मृति सीमाओं (Cowan, 2001) और इस अनुभवजन्य निष्कर्ष पर आधारित है कि एजेंट रणनीतिक खेलों में गहराई 2 से अधिक रिकर्स (recurse) कम ही करते हैं (Camerer et al., 2004)।
- तंत्र: प्रभावी गहराई $k^* = \min(k, d+1)$ है, जहाँ $d$ दावे की एपिस्टेमिक गहराई (विश्वास आरोपण ऑपरेटरों का नेस्टिंग) है।
प्रायर कंप्रेशन पैरामीटर ( $\beta$ ):
- अवधारणा: यह मॉडल करता है कि एक एजेंट सूक्ष्म विश्वसनीयता विश्वासों को बनाए रखता है या संज्ञानात्मक भार के तहत उन्हें मोटे अनुमानों (जैसे, "संदिग्ध स्रोत") में बदल देता है।
- संज्ञानात्मक आधार: यह इंफॉर्मेशन बॉटलनेक थ्योरी (Tishby et al., 1999) और ड्यूल-प्रोसेस थ्योरी (सिस्टम 1 बनाम सिस्टम 2) से लिया गया है।
- तंत्र: एजेंट एक बॉटलनेक वेरिएबल $Z$ (विश्वसनीयता स्कीमा) के माध्यम से एक संकुचित प्रतिनिधित्व $\tilde{P}_\beta(w)$ बनाए रखता है। जैसे-जैसे $\beta \to 0$ होता है, एजेंट अपने पूर्वग्रहों (priors) को त्याग देता है (हेयुरिस्टिक प्रोसेसिंग); जैसे-जैसे $\beta \to \infty$ होता है, एजेंट पूर्ण पूर्वग्रहों को सुरक्षित रखता है (व्यवस्थित प्रसंस्करण)। स्रोत विश्वसनीयता $\gamma$ इस संपीड़न को नियंत्रित करती है।
अवेलेबिलिटी सैंपल साइज ( $N$ ):
- अवधारणा: यह मॉडल करता है कि एक एजेंट दावे का आकलन करने के लिए मानसिक रूप से कितने समान उदाहरणों को पुनः प्राप्त करता है, जो सैलिएंसी वेट्स (saliency weights) के साथ इम्पोर्टेंस सैंपलिंग को संचालित करता है।
- संज्ञानात्मक आधार: यह उपलब्धता ह्यूरिस्टिक (Tversky and Kahneman, 1973) और "इल्यूसरी ट्रुथ इफेक्ट" (Hasher et al., 1977) पर आधारित है।
- तंत्र: सटीक संभावनाओं (likelihoods) की गणना करने के बजाय, एजेंट मनोवैज्ञानिक सैलिएंसी कारकों—भावनात्मक तीव्रता ( $\nu$ ), पुनरावृत्ति संख्या ( $r$ ), और नवीनता/हालियापन ( $\rho$ )—द्वारा भारित एक प्रोपोज़ल डिस्ट्रीब्यूशन $Q(u)$ से सैंपलिंग के माध्यम से संभावना का अनुमान लगाता है। छोटा $N$ जीवंत या बार-बार दोहराए गए उदाहरणों के व्यवस्थित अति-भारण (over-weighting) की ओर ले जाता है।

सूचना विकार मानचित्रण (Information Disorder Mapping)

ढांचा वार्डल और डेराखन (2017) के सूचना विकार वर्गीकरण को BPL मापदंडों के साथ स्पष्ट रूप से मैप करता है:

मिस-इन्फॉर्मेशन (Mis-information): संकुचित प्रायर का लाभ उठाती है ( $k=0$ )।
डिस-इन्फॉर्मेशन (Dis-information): उथले ToM तर्क का लाभ उठाती है ( $k \ge 1$ )।
माल-इन्फॉर्मेशन (Mal-information): गहरे रिकर्सन और मेटा-एपिस्टेमिक फ्रेमिंग का लाभ उठाती है ( $k \ge 2$ )।

यह मानचित्रण डेप्थ-मिसमैच पैराडॉक्स (Depth-Mismatch Paradox) की ओर ले जाता है: आंशिक प्रैग्मैटिक जागरूकता वाले एजेंट ( $k=1$ ), उन एजेंटों की तुलना में डिस-इन्फॉर्मेशन के प्रति अधिक संवेदनशील हो सकते हैं जिनमें कोई जागरूकता नहीं है ( $k=0$ ), क्योंकि वे एट्रिब्यूशन को पहचानते हैं लेकिन उसके पीछे के धोखेबाजी के इरादे का मूल्यांकन करने में विफल रहते हैं।

कार्यान्वयन और मूल्यांकन

लेखकों ने दो डेटासेट्स का उपयोग करके BPL को लागू किया: LIAR (PolitiFact दावे) और MultiFC (बहु-डोमेन फैक्ट-चेकिंग दावे)।

एजेंट जनसंख्या: नौ कैनोनिकल एजेंट प्रकारों की एक जनसंख्या का अनुकरण किया गया जो $(k, \beta, N)$ पैरामीटर स्पेस में फैले हुए हैं।
LLM ग्राउंडिंग: एक हाइब्रिड संस्करण विकसित किया गया जहाँ बड़े भाषा मॉडलों (LLMs, विशेष रूप से Gemini 2.5 Pro) का उपयोग दावों के अर्थपूर्ण चित्रण प्राप्त करने के लिए किया गया, जिसमें शामिल हैं:
- प्रायर कंप्रेशन के लिए वर्बल स्कीमा (हस्तनिर्मित तालिकाओं के स्थान पर)।
- भावनात्मक तीव्रता, नवीनता, याद रखने की क्षमता और साझा करने की क्षमता पर आधारित सैलिएंसी वेट्स ( $\phi$ )।
- उपलब्धता सैंपल के लिए सिम्युलेटेड मेमोरी रिट्रीवल।
मेट्रिक्स: सत्यता वर्गीकरण (AUC, F1), भविष्यवाणी त्रुटि, और घटक-स्तर का कैलिब्रेशन (सिम्युलेटेड रिकॉल और ग्राउंड ट्रुथ के बीच सहसंबंध)।

मुख्य परिणाम

1. सत्यता वर्गीकरण (Veracity Classification)

LIAR डेटासेट: "सरफेस बेसलाइन" (स्पीकर हिस्ट्री मेटाडेटा का उपयोग करके) ने पूर्ण AUC (1.000) प्राप्त किया, लेकिन यह डेटा लीकेज के कारण था क्योंकि स्पीकर हिस्ट्री सीधे लेबल को एनकोड कर रही थी। BPL Full मॉडल (स्पीकर हिस्ट्री का उपयोग केवल एक संकुचित प्रायर के रूप में, प्रत्यक्ष फीचर के रूप में नहीं) ने 0.930 का AUC और 0.885 का F1 प्राप्त किया, जो एक लीकेज-मुक्त बेसलाइन स्थापित करता है। एक एकल BPL स्केलर (ससेप्टिबिलिटी स्कोर) ने केवल दावे के टेक्स्ट और स्पीकर पहचान का उपयोग करके 0.811 का AUC प्राप्त किया।
MultiFC डेटासेट: BPL Full ने 0.840 का AUC प्राप्त किया, जबकि सरफेस बेसलाइन का AUC 0.879 था। हालांकि BPL ने भेदभाव (discrimination) में सुधार नहीं किया (AUC), लेकिन BPL फीचर्स को सरफेस फीचर्स के साथ मिलाने से F1 स्कोर 0.439 से बढ़कर 0.517 हो गया, जो उच्च-रिकॉल फैक्ट-चेकिंग के लिए महत्वपूर्ण प्रिसिजन-रिकॉल ट्रेड-ऑफ को दर्शाता है।

2. एब्लेशन अध्ययन (Ablation Studies)

प्रायर कंप्रेशन महत्वपूर्ण है: प्रायर कंप्रेशन बाउंड ( $\beta$ ) को हटाने से सबसे बड़ा प्रदर्शन ड्रॉप ( $\Delta r = -0.064$ ) हुआ, जिससे पता चलता है कि यह मॉडल करना कि मनुष्य स्रोत विश्वसनीयता को कैसे संकुचित करते हैं, ढांचे की सफलता का सबसे महत्वपूर्ण कारक है।
डेप्थ बाउंड प्रभाव: पूरे LIAR डेटासेट (92% डेप्थ-0 दावे) पर, डेप्थ बाउंड को ढीला करने से नगण्य प्रभाव पड़ा। हालांकि, डेप्थ-1 दावों के लिए, डेप्थ बाउंड प्रदर्शन का प्राथमिक चालक बन गया।

3. डेप्थ-मिसमैच पैराडॉक्स (The Depth-Mismatch Paradox)

अनुभवजन्य सत्यापन: $k=1$ (आंशिक जागरूकता) वाले एजेंटों ने डेप्थ-1 दावों पर $k=0$ एजेंटों (त्रुटि 0.450) की तुलना में काफी खराब प्रदर्शन किया (त्रुटि 0.510)।
व्याख्या: $k=1$ एजेंट एट्रिब्यूशन को पहचानते हैं लेकिन वक्ता के धोखेबाजी के इरादे का मूल्यांकन करने में असमर्थ होते हैं, जिससे वे दावे को कमजोर सकारात्मक साक्ष्य के रूप में मानते हैं। $k=0$ एजेंट एट्रिब्यूशन को अनदेखा करते हैं और शाब्दिक सामग्री का मूल्यांकन करते हैं (जो अक्सर भाषाई रूप से अकल्पनीय होती है), जिसके परिणामस्वरूप कम विश्वास होता है। $k=2$ एजेंट धोखेबाजी का सही ढंग से अनुमान लगाते हैं, और सबसे कम त्रुटि (0.340) प्राप्त करते हैं।

4. LLM ग्राउंडिंग और कैलिब्रेशन

प्रदर्शन लाभ: हाइब्रिड LLM-BPL ने एक छोटे नमूने पर मैचड फीचर-बेस्ड बेसलाइन (0.695) की तुलना में 0.868 का AUC प्राप्त किया।
एपिस्टेमिक चैनल: LLM और फीचर-बेस्ड मॉडल लगभग स्वतंत्र थे ( $r=0.184$ ), जो यह सुझाव देता है कि LLM लेक्सिकल मेटाडेटा पर निर्भर रहने के बजाय एक अलग एपिस्टेमिक चैनल (सिमेंटिक फ्रेमिंग कोहेरेंस) तक पहुँचता है।
अवेलेबिलिटी कैलिब्रेशन: LLM-सिम्युलेटेड रिकॉल ने बिना किसी पर्यवेक्षण के वास्तविक दावे की असत्यता के साथ मजबूती से सहसंबंध ( $r=0.562$ ) दिखाया, जो इसकी उपलब्धता तंत्र को मान्य करता है। मॉडल ने स्वाभाविक रूप से झूठे दावों के लिए अधिक झूठे उदाहरण प्राप्त किए, जिससे उन पर विश्वास को प्रभावी ढंग से दबा दिया गया।

महत्व और दावे (Significance and Claims)

यह शोध पत्र BPL को एक कार्य प्रगति पर (work in progress) के रूप में प्रस्तुत करता है जो मानक गलत सूचना पहचान के लिए एक संज्ञानात्मक रूप से आधारित विकल्प प्रदान करता है। इसके प्राथमिक योगदान हैं:

सैद्धांतिक: सूचना विकार प्रकारों का संज्ञानात्मक बाधाओं के साथ एक औपचारिक मानचित्रण, जो "डेप्थ-मिसमैच पैराडॉक्स" की भविष्यवाणी करता है जहाँ आंशिक प्रशिक्षण से संवेदनशीलता बढ़ सकती है।
कार्यप्रणाली: एक संभावabilistic ढांचा जो बाधाओं को हटाने पर मानक RSA में बदल जाता है, जिससे विषम संज्ञानात्मक प्रोफाइल का मॉडलिंग और एनोटेटर की असहमति को पोस्टीरियर वेरिएंस के रूप में भविष्यवाणी करना संभव होता है।
अनुभवजन्य: इस बात का प्रमाण कि प्रायर कंप्रेशन (यह मॉडल करना कि मनुष्य स्रोत विश्वसनीयता को कैसे सरल बनाते हैं) सत्यता वर्गीकरण में सबसे प्रमुख कारक है, और LLM ग्राउंडिंग प्रदर्शन को काफी बढ़ाता है क्योंकि यह मानव जैसे मेमोरी रिट्रीवल और सिमेंटिक फ्रेमिंग का अनुकरण करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि BPL एक मजबूत क्लासिफायर है, इसका वास्तविक मूल्य यह समझाने में है कि कुछ एजेंट क्यों संवेदनशील होते हैं। वे वर्तमान आर्किटेक्चर के लिए सावधानी बरतते हैं जो बाइनरी सत्य मानती है और डेप्थ एक्सट्रैक्शन के लिए सरल ह्यूरिस्टिक्स पर निर्भर करती है, यह नोट करते हुए कि भविष्य के कार्यों को श्रेणीबद्ध सत्यता (graded veracity) और अधिक परिष्कृत डिपेंडेंसी पार्सिंग को संबोधित करना चाहिए। ढांचा यह सुझाव देता है कि केवल लोगों को एट्रिब्यूशन को नोटिस करना सिखाने वाले हस्तक्षेप (बिना इरादे के मूल्यांकन को सिखाए) अनजाने में डिस-इन्फॉर्मेशन के प्रति संवेदनशीलता बढ़ा सकते हैं।