Position: Logical Soundness is not a Reliable Criterion for Neurosymbolic Fact-Checking with LLMs

यहाँ जेसन चान, रॉबर्ट गेज़ौस्कस और झिक्सु झाओ के प्रीप्रिंट "लॉजिकल साउंडनेस इज़ नॉट अ रिलायबल क्राइटेरियन फॉर न्यूरोसिम्बोलिक फैक्ट-चेकिंग विद एलएलएम्स" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

यह शोध पत्र वर्तमान न्यूरोसिम्बोलिक फैक्ट-चेकिंग सिस्टम की एक महत्वपूर्ण सीमा को संबोधित करता है जो लार्ज लैंग्वेज मॉडल्स (LLMs) को औपचारिक तर्क (Formal Logic) के साथ एकीकृत करते हैं।

• वर्तमान प्रतिमान (Current Paradigm): मौजूदा दृष्टिकोण अक्सर प्राकृतिक भाषा के दावों को औपचारिक तार्किक सूत्रों (जैसे, फर्स्ट-ऑर्डर लॉजिक) में अनुवाद करने के लिए LLMs का उपयोग करते हैं। इन सूत्रों को फिर औपचारिक अनुमान नियमों का उपयोग करके एक विश्वसनीय ज्ञान आधार (Knowledge Base) के विरुद्ध सत्यापित किया जाता है। अंतर्निहित धारणा यह है कि यदि कोई दावा तार्किक रूप से सुदृढ़ (Logically Sound) है (अर्थात, सत्य प्रमेयों से वैध रूप से प्राप्त किया गया है), तो वह तथ्यात्मक रूप से समर्थित और स्वीकार्य है।
• अंतराल (The Gap): लेखक तर्क देते हैं कि यह धारणा त्रुटिपूर्ण है क्योंकि मानव संचार के संदर्भ में तार्किक सुदृढ़ता (Logical Soundness), तथ्यात्मक विश्वसनीयता के बराबर नहीं है।
• मुख्य मुद्दा: औपचारिक तार्किक संचालन (Formal Logical Operations) और मानव व्यावहारिक अनुमान (Human Pragmatic Inference) के बीच एक व्यवस्थित विचलन है। एक निष्कर्ष औपचारिक नियमों के आधार पर तार्किक रूप से वैध हो सकता है, लेकिन फिर भी भ्रामक हो सकता है क्योंकि यह उन निहितार्थों (Implicatures) को सक्रिय करता है जो मूल प्रमेयों द्वारा समर्थित नहीं होते हैं। वर्तमान तर्क-आधारित प्रणालियाँ इन "तकनीकी रूप से सत्य लेकिन भ्रामक" कथनों का पता लगाने में विफल रहती हैं।

2. कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology and Theoretical Framework)

यह शोध पत्र कोई नया प्रयोगात्मक डेटासेट या विशिष्ट एल्गोरिदम कार्यान्वयन प्रस्तावित नहीं करता है। इसके बजाय, यह तर्क-आधारित सत्यापन की सीमाओं को समझने के लिए संज्ञानात्मक विज्ञान (Cognitive Science) और भाषाविज्ञान (Linguistics) पर आधारित एक सैद्धांतिक और विश्लेषणात्मक दृष्टिकोण का उपयोग करता है।

• संज्ञानात्मक विज्ञान का आधार: लेखक मेंटल मॉडल थ्योरी (जॉनसन-लार्ड) और ग्राइसियन प्रैग्मैटिक्स (ग्राइस, लेविंसन) का सहारा लेते हैं। वे प्रतिपादित करते हैं कि मनुष्य भाषा को सख्त तार्किक ऑपरेटरों के रूप में संसाधित नहीं करते हैं; इसके बजाय, वे संदर्भ, संवादात्मक मैक्सिम्स (जैसे, मात्रा, गुणवत्ता) और डिफ़ॉल्ट धारणाओं के आधार पर अर्थ का अनुमान लगाते हैं।
• विचलन का वर्गीकरण (Typology of Divergence): लेखक उन मामलों का एक वर्गीकरण तैयार करते हैं जहाँ औपचारिक तर्क वैध निष्कर्ष देता है जो अनग्रउंडेड (Ungrounded) मानव अनुमान उत्पन्न करते हैं। वे विशिष्ट तार्किक संचालन का विश्लेषण करते हैं और औपचारिक आउटपुट की तुलना "मानव अनुमान" (निहित अर्थ) से करते हैं।
• प्रति-तर्क विश्लेषण: शोध पत्र वैकल्पिक दृष्टिकोणों का व्यवस्थित रूप से मूल्यांकन और खंडन करता है, जैसे कि:
  • तार्किक सुदृढ़ता में एक सहायक मानदंड जोड़ना।
  • संयुक्त कथनों (Compound Statements) को अनदेखा करना (यह मानकर कि दुर्भावनापूर्ण अभिनेता केवल सरल कथनों का उपयोग करते हैं)।
  • तार्किक ट्रेस (Logic Traces) के निरीक्षण के लिए मानव उपयोगकर्ताओं पर भरोसा करना।

3. मुख्य योगदान (Key Contributions)

A. एकमात्र मानदंड के रूप में तार्किक सुदृढ़ता का सैद्धांतिक खंडन

प्राथमिक योगदान यह तर्क है कि तार्किक सुदृढ़ता फैक्ट-चेकिंग के लिए एक अपर्याप्त मीट्रिक है। लेखक प्रदर्शित करते हैं कि एक दावा:

1. तथ्यात्मक रूप से सत्य हो सकता है: वैध नियमों के माध्यम से सत्य प्रमेयों से प्राप्त।
2. तार्किक रूप से सुदृढ़ हो सकता है: औपचारिक प्रणाली के भीतर वैध।
3. भ्रामक हो सकता है: क्योंकि यह व्यावहारिक व्याख्या के कारण मानव पाठक के लिए एक असत्य को निहित करता है।

B. भ्रामक तार्किक निगमन का वर्गीकरण (Typology of Misleading Logical Derivations)

शोध पत्र एक ठोस तालिका (तालिका 1) प्रदान करता है जो दर्शाता है कि कैसे विशिष्ट तार्किक नियम भ्रामक मानव अनुमान उत्पन्न करते हैं:

| तार्किक ऑपरेशन (Logical Operation) | औपचारिक निगमन (Formal Derivation) | उदाहरण दावा (Example Claim) | भ्रामक मानव अनुमान (Misleading Human Inference) | संज्ञानात्मक/व्यावहारिक आधार (Cognitive/Pragmatic Basis) |
| :--- | :--- | :--- | :--- : | :--- |
| विस्कथन परिचय (Disjunction Introduction) ($A \vdash A \lor B$) | "टैरिफ 10% या 100% बढ़ जाएंगे।" | निहित अर्थ: "यह संभव है कि टैरिफ 100% बढ़ जाएं।" | मनुष्य "A या B" को डिफ़ॉल्ट संभावनाओं के संयोजन के रूप में देखते हैं, यह अनुमान लगाते हुए कि $B$ एक वास्तविक संभावना है भले ही केवल $A$ सत्य हो। | मेंटल मॉडल्स थ्योरी |
| संयोजन परिचय (Conjunction Introduction) ($A \vdash A \land A$) | "टैरिफ 10% बढ़ जाएंगे, और 10%।" | निहित अर्थ: "टैरिफ दो बार 10% बढ़ जाएंगे।" | मनुष्य पुनरावृत्ति को अलग-अलग घटनाओं (ग्राइसियन मैक्सिम ऑफ क्वांटिटी) और अस्थायी अनुक्रम (Conjunction Buttressing) के रूप में देखते हैं। | ग्राइसियन मैक्सिम्स / लेविंसन |
| मटेरियल इम्प्लिकेशन (Material Implication) (पॉजिटिव पैराडॉक्स) | "यदि दरें नहीं गिरती हैं, तो टैरिफ बढ़ जाते हैं।" | निहित अर्थ: "यदि दरें गिरती हैं, तो टैरिफ नहीं बढ़ेंगे।" | मनुष्य 'कंडीशनल्स' को 'बाइ-कंडीशनल्स' ("यदि और केवल यदि") के रूप में व्याख्या करते हैं, जिसे कंडीशनल परफेक्शन कहा जाता है। | प्रैग्मैटिक स्ट्रेंथनिंग |
| वैक्यूअस ट्रुथ (Vacuous Truth) | "यदि टैरिफ नहीं बढ़ते हैं, तो बाजार में बाढ़ आ जाएगी।" | निहित अर्थ: "यदि टैरिफ बढ़ते हैं, तो बाजार में बाढ़ नहीं आएगी।" | ऊपर के समान; पूर्ववर्ती (Antecedent) के निषेध को परिणाम (Consequent) को नकारने के रूप में गलत तरीके से अनुमानित किया जाता है। | कंडीशनल परफेक्शन |
| मोडल एक्सिओम्स (Modal Axioms) | "X संभव है।" | निहित अर्थ: "NOT X संभव है।" | मनुष्य संभावना के कथनों से अनिश्चितता या वैकल्पिक संभावनाओं का अनुमान लगाते हैं, जो सख्त मोडल लॉजिक का उल्लंघन करता है। | ग्राइसियन मैक्सिम ऑफ क्वालिटी |

C. प्रस्तावित प्रतिमान परिवर्तन: फीचर्स के रूप में, बग्स के रूप में नहीं LLMs (Proposed Paradigm Shift: LLMs as Features, Not Bugs)

लेखक न्यूरोसिंबोलिक सिस्टम में LLMs के उपयोग के तरीके में एक मौलिक बदलाव की वकालत करते हैं:

• वर्तमान दृष्टिकोण: LLMs की मानव जैसी तार्किक गलतियाँ करने की प्रवृत्ति एक "बग" है जिसे औपचारिक तर्क के साथ संरेखित करके ठीक किया जाना चाहिए।
• प्रस्तावित दृष्टिकोण: ये प्रवृत्तियाँ एक "फीचर" हैं। LLMs का उपयोग मानव व्यावहारिक अनुमान (Human Pragmatic Inference) को मॉडल करने के लिए किया जाना चाहिए।
• नया आर्किटेक्चर: केवल टेक्स्ट को लॉजिक में अनुवाद करने के बजाय, LLMs का उपयोग औपचारिक घटकों के आउटपुट को मान्य करने के लिए किया जाना चाहिए। LLM एक "प्रैग्मैटिक फिल्टर" के रूप में कार्य करता है ताकि यह पता लगाया जा सके कि क्या एक तार्किक रूप से सुदृढ़ निष्कर्ष मानव पाठक को गुमराह करेगा।

4. परिणाम और निष्कर्ष (Results and Findings)

• केवल तर्क-आधारित सिस्टम की व्यवस्थित विफलता: विश्लेषण पुष्टि करता है कि तर्क-आधारित फैक्ट-चेकर्स भ्रामक दावों (जैसे "10% या 100%" टैरिफ वाला उदाहरण) को व्यवस्थित रूप से पास कर देंगे क्योंकि दावे औपचारिक रूप से वैध हैं।
• मानव अनुमान विचलन: शोध पत्र स्थापित करता है कि मानव तर्क काफी हद तक इम्प्लिकचर (Implicature) (जो सुझाया गया है) पर निर्भर करता है, न कि केवल एंटेलमेंट (Entailment) (जो सख्ती से सिद्ध किया गया है) पर।
• प्रशिक्षण निहितार्थ: LLMs को सख्त औपचारिक तर्क के अनुरूप अनुकूलित करना (जैसे, तर्क-अनुपालन प्रशिक्षण डेटा या रिवॉर्ड मॉडल के माध्यम से) वास्तव में उनकी गलत सूचनाओं का पता लगाने की क्षमता को कम कर सकता है, क्योंकि यह उन व्यावहारिक संवेदनाओं को दबा देता है जो भ्रामक निहितार्थों को पहचानने के लिए आवश्यक हैं।

5. महत्व और निहितार्थ (Significance and Implications)

• फैक्ट-चेकिंग को पुनर्परिभाषित करना: यह शोध पत्र क्षेत्र को "सत्य" (तथ्यात्मक सटीकता) से आगे बढ़कर "विश्वसनीयता" (भ्रामक व्याख्या के प्रति प्रतिरोध) की ओर बढ़ने की चुनौती देता है। एक फैक्ट-चेकिंग सिस्टम को केवल असत्यता ही नहीं, बल्कि आधे सच (Half-truths) और निहितार्थों (Implicatures) का भी पता लगाना चाहिए।
• न्यूरोसिंबोलिक डिज़ाइन: यह सुझाव देता है कि भविष्य के न्यूरोसिंबोलिक सिस्टम हाइब्रिड (Hybrid) होने चाहिए: परमाणु तथ्यों के कठोर सत्यापन के लिए औपचारिक तर्क का उपयोग करना, लेकिन उन तथ्यों के संचारत्मक इरादे (Communicative Intent) और व्यावहारिक प्रभाव (Pragmatic Impact) का ऑडिट करने के लिए LLMs की "मानव जैसी" तर्क क्षमताओं पर भरोसा करना।
• LLM मूल्यांकन: यह LLM रीजनिंग को बेंचमार्क करने के तरीके के पुनर्मूल्यांकन का आह्वान करता है। ऐसी त्रुटियाँ जो तार्किक विफलताओं (जैसे, एक कंडीशनल से बाइ-कंडीशनल का अनुमान लगाना) के रूप में दिखती हैं, उन्हें प्रदर्शन की कमी के बजाय मानव संज्ञान के भविष्य कहने वाले फीचर्स (Predictive Features of Human Cognition) के रूप में अध्ययन किया जाना चाहिए।

निष्कर्ष (Conclusion)

शोध पत्र निष्कर्ष निकालता है कि तार्किक सुदृढ़ता (Logical Soundness) फैक्ट-चेकिंग के लिए एक आवश्यक लेकिन अपर्याप्त शर्त है। गलत सूचना का प्रभावी ढंग से मुकाबला करने के लिए, सिस्टम को औपचारिक तर्क और मानव प्रैग्मैटिक्स के बीच के अंतर को समझना होगा। लेखक प्रस्ताव करते हैं कि LLMs को उनके मानव-समान तर्क पैटर्न को छोड़ने के लिए मजबूर नहीं किया जाना चाहिए, बल्कि उन्हें इस अंतर को पाटने के लिए एक पूरक परत के रूप में उपयोग किया जाना चाहिए, ताकि उन भ्रामक निष्कर्षों का पता लगाया जा सके जिन्हें सख्त तर्क छोड़ देता है।