तकनीकी सारांश: समान सूत्र, भिन्न अर्थविज्ञान (Same Formulas, Different Semantics)

समस्या विवरण

यह शोध पत्र मोडल लॉजिक (modal logic) के संबंध में लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क करने की क्षमताओं के मूल्यांकन में एक महत्वपूर्ण अंतराल को संबोधित करता है। जबकि मौजूदा बेंचमार्क (जैसे, ProofWriter, FOLIO, LogicNLI) एक निश्चित, अंतर्निहित पृष्ठभूमि तर्क के तहत अनुमान (deduction) का मूल्यांकन करते हैं, वे यह परीक्षण करने में विफल रहते हैं कि क्या मॉडल स्पष्ट रूप से बताए गए अर्थवैज्ञानिक विशिष्टताओं (semantic specifications) के अनुसार अपने तर्क को अनुकूलित कर सकते हैं। मोडल लॉजिक में, एक निष्कर्ष की वैधता अक्सर विशिष्ट फ्रेम गुणों (जैसे, reflexivity, transitivity, symmetry) या डोमेन स्थितियों (जैसे, constant बनाम varying domains) पर निर्भर करती है। एक मॉडल एक प्रमुख अनुमान शासन (एक "परिचित" तर्क जैसे S5) को सीखकर अच्छा प्रदर्शन कर सकता है, बजाय इसके कि वह प्रदान किए गए विशिष्ट बाधाओं का पालन करे। मुख्य समस्या यह निर्धारित करना है कि क्या LLMs अपने डिफ़ॉल्ट तार्किक अंतर्ज्ञानों को दबाकर निर्धारित, संभावित रूप से गैर-मानक, अर्थवैज्ञानिक शर्तों का पालन कर सकते हैं।

कार्यप्रणाली

लेखक एक नैदानिक बेंचमार्क का निर्माण करते हैं जिसे फॉर्मूला आधारित पैटर्न मिलान से अर्थवैज्ञानिक नियंत्रण (semantic control) को अलग करने के लिए डिज़ाइन किया गया है।

1. बेंचमार्क निर्माण:

• युग्मित समस्याएँ (Paired Problems): मुख्य डेटासेट समस्याओं के जोड़ों से बना है जहाँ आधार ($P$) और अनुमान ($C$) समान हैं, लेकिन अर्थवैज्ञानिक विशिष्टता ($S$) ठीक एक शर्त के कारण भिन्न होती है (जैसे, एक reflexive फ्रेम को transitive फ्रेम से बदलना, या एक cumulative domain को decreasing domain से बदलना)।
• ओरेकल सत्यापन (Oracle Verification): एक स्वचालित तर्क ओरेकल (Vampire और Leo-III का LET एम्बेडिंग टूलचेन के माध्यम से उपयोग करके) यह सत्यापित करता है कि दो विशिष्टताएँ एक ही सूत्र के लिए विपरीत सत्य मान ($y_a \neq y_b$) उत्पन्न करती हैं।
• संतुलित कोर (Balanced Core): मॉडल को "कंडीशन-ओनली" शॉर्टकट (जहाँ उत्तर केवल अर्थवैज्ञानिक लेबल द्वारा निर्धारित होता है बिना सूत्र पढ़े) का लाभ उठाने से रोकने के लिए, लेखकों ने 160 जोड़ों का एक "संतुलित गैर-नेस्टेड कोर" बनाया। इस उपसमूह में, प्रत्येक अर्थवैज्ञानिक शर्त समान रूप से True और False लेबल के साथ दिखाई देती है। यहाँ सफलता के लिए यह अनिवार्य है कि मॉडल यह निर्धारित करने के लिए सूत्र को पढ़े कि कौन सी शर्त उसे मान्य बनाती है।
• दायरा (Scope): डेटासेट पाँच फ्रेम-प्रॉपर्टी कंट्रास्ट (K–D, K–T, T–B, T–S4, B–S5) और तीन डोमेन कंट्रास्ट (varying–cumulative, varying–decreasing, cumulative–constant) को कवर करता है, जिसमें कुल 800 नेस्टेड-सिस्टम जोड़े और 160 संतुलित-कोर जोड़े शामिल हैं।
• प्रॉम्प्टिंग (Prompting): प्रॉम्प्ट्स में नियंत्रित अंग्रेजी का उपयोग किया जाता है ताकि नियमों को स्पष्ट रूप से बताया जा सके (जैसे, "The accessibility relation is reflexive and symmetric") बिना किसी पारंपरिक सिस्टम नाम (जैसे, "S4") का उपयोग किए, जिससे मॉडल को दिए गए नियमों पर निर्भर रहने के लिए मजबूर किया जा सके।

2. प्रयोगात्मक प्रोटोकॉल:

• मॉडल्स: अध्ययन पाँच हालिया मॉडल्स का मूल्यांकन करता है: DeepSeek V4 (Flash और Pro), GPT-5.6 (Luna और Terra), और Claude Sonnet 5।
• शर्तें:
  • डायरेक्ट प्रॉम्प्टिंग (Direct Prompting): बिना रीजनिंग मोड के मानक अनुमान।
  • रीजनिंग मोड (Reasoning Mode): विशिष्ट मॉडल्स के लिए सक्षम (जैसे, DeepSeek Flash "high effort") ताकि यह परीक्षण किया जा सके कि क्या इन्फरेंस-टाइम कंप्यूटेशन अर्थवैज्ञानिक अनुपालन में सहायता करता है।
  • रिप्रेजेंटेशन सेंसिटिविटी (Representation Sensitivity): एक उपसमूह नामित अंग्रेजी शर्तों, रिलेशनल डेफिनिशन और औपचारिक TPTP सिंटैक्स के माध्यम से प्रदर्शन का परीक्षण करता है।
  • सिमेंटिक एफिनिटी (Semantic Affinity): प्रयोगों में फ्रेम स्पेसिफिकेशन को हटा दिया जाता है ताकि यह पहचाना जा सके कि अनियंत्रित होने पर मॉडल्स किस "डिफ़ॉल्ट" तर्क को पसंद करते हैं।

मुख्य परिणाम

1. डायरेक्ट प्रॉम्प्टिंग के तहत अर्थवैज्ञानिक नियंत्रण की विफलता:
संतुलित कोर पर, पाँच में से चार मॉडल्स ने 50% के "कंडीशन-ओनली" बेसलाइन से काफी कम प्रदर्शन किया (जो यह मानता है कि मॉडल फॉर्मूला को अनदेखा करता है और कंडीशन लेबल के आधार पर अनुमान लगाता है)।

• DeepSeek V4 Flash: 4.4% स्ट्रिक्ट पेयर एक्यूरेसी।
• DeepSeek V4 Pro: 2.5%।
• GPT-5.6 Luna: 21.2%।
• GPT-5.6 Terra: 25.0%।
• Claude Sonnet 5: 65.0% (एकमात्र मॉडल जो बेसलाइन से ऊपर रहा)।
  यह इंगित करता है कि अधिकांश मॉडल्स अर्थवैज्ञानिक शर्तों को ट्रैक करने में विफल रहते हैं, बल्कि प्रदान की गई बाधाओं के बावजूद एक निश्चित, परिचित तर्क लागू करते हैं।

2. पुनस्थापना तंत्र के रूप में रीजनिंग मोड (Reasoning Mode as a Restorative Mechanism):
रीजनिंग मोड को सक्षम करने से DeepSeek V4 Flash के प्रदर्शन में नाटकीय सुधार हुआ, जिससे संतुलित कोर पर इसकी सटीकता 4.4% से बढ़कर 88.1% हो गई। GPT-5.6 Luna पर फ्रेम समस्याओं के लिए भी इसी तरह के लाभ देखे गए। यह सुझाव देता है कि विफलता आवश्यक रूप से तार्किक ज्ञान की कमी नहीं है, बल्कि विशिष्ट बाधाओं को संसाधित करने के लिए सही इन्फरेंस मोड को सक्रिय करने की विफलता है।

3. सिमेंटिक एफिनिटी और डिफ़ॉल्ट्स:
जब विशिष्टताएँ हटा दी गईं, तो मॉडल्स ने परिचित तर्कों के साथ सुसंगत एफिनिटी प्रदर्शित की (जैसे, DeepSeek Flash ने K को प्राथमिकता दी, जबकि Sonnet ने K को और अन्य ने T को प्राथमिकता दी)। हालाँकि, ये डिफ़ॉल्ट्स अनिश्चित समस्याओं के दौरान त्रुटियों की भविष्यवाणी विश्वसनीय रूप से नहीं कर पाए; मॉडल्स अक्सर अनिश्चित समस्याओं पर सहमत हुए लेकिन बाधाएं जोड़े जाने पर समायोजित होने में विफल रहे।

4. रिप्रेजेंटेशन सेंसिटिविटी:
इनपुट फॉर्मेट को बदलने (नामित स्थितियों से रिलेशनल डेफिनिशन और TPTP तक) से प्रदर्शन रैंकिंग बदल गई लेकिन इसने अर्थवैज्ञानिक नियंत्रण को लगातार बहाल नहीं किया। उदाहरण के लिए, GPT-5.6 Terra की सटीकता 38% (नामित) से गिरकर 6% (रिलेशनल डेफिनिशन) हो गई, जो दर्शाता है कि सतही-स्तर का फॉर्मेटिंग अंतर्निहित अर्थवैज्ञानिक अनुपालन समस्या का सरल समाधान नहीं है।

मुख्य योगदान

• नैदानिक बेंचमार्क: एक नियंत्रित मूल्यांकन ढांचा प्रस्तुत करना जो ऑब्जेक्ट-लेवल समस्या को स्थिर रखते हुए अर्थवैज्ञानिक विशिष्टता को बदलता है, जिसे विशेष रूप से "स्पेसिफिकेशन सेंसिटिविटी" का परीक्षण करने के लिए डिज़ाइन किया गया है।
• संतुलित कोर: एक नवीन डेटासेट डिज़ाइन जो तार्किक सूत्र को पढ़े बिना अर्थवैज्ञानिक शर्तों को उत्तरों से मैप करने की संभावना को समाप्त करता है।
• मोड डिपेंडेंस का अनुभवजन्य प्रमाण: मोड (डायरेक्ट बनाम रीजनिंग) पर अर्थवैज्ञानिक अनुपालन की क्षमता की अत्यधिक निर्भरता का प्रदर्शन, जो LLMs में स्थिर तार्किक तर्क क्षमताओं की धारणा को चुनौती देता है।
• संसाधन रिलीज: सूत्रों, ओरेकल आर्टिफैक्ट्स, काउंटर-मॉडेल्स और मॉडल प्रतिक्रियाओं का सार्वजनिक रिलीज।

महत्व और दावे

यह शोध पत्र तर्क देता है कि फिक्स्ड-सेमैंटिक्स बेंचमार्क LLM तर्क की मजबूती को बढ़ा-चढ़ाकर दिखा सकते हैं। प्राथमिक निष्कर्ष यह है कि मोडल ज्ञान (तर्क को जानना) अर्थवैज्ञानिक नियंत्रण (दिए गए विशिष्ट तर्क को लागू करना) से अलग है। एक मॉडल के पास आवश्यक तार्किक नियम हो सकते हैं लेकिन वह स्थानीय विशिष्टता को अपने उत्तर को नियंत्रित करने देने में विफल हो सकता है, और इसके बजाय एक परिचित इन्फरेंस शासन पर डिफ़ॉल्ट रूप से लौट सकता है।

लेखक विनम्रतापूर्वक दावा करते हैं कि उनका कार्य इन दो क्षमताओं को अलग करता है। वे नोट करते हैं कि हालांकि रीजनिंग मोड अर्थवैज्ञानिक हस्तक्षेपों के प्रति संवेदनशीलता को बहाल कर सकता है, लेकिन यह मध्यवर्ती व्युत्पत्ति चरणों (जैसे, एक मॉडल सही तर्क बदल सकता है लेकिन फिर भी तर्क त्रुटि के कारण गलत निष्कर्ष निकाल सकता है) की शुद्धता की गारंटी नहीं देता है। अध्ययन निष्कर्ष निकालता है कि भविष्य के मूल्यांकनों को स्पष्ट रूप से यह परीक्षण करना चाहिए कि क्या मॉडल स्थिर पृष्ठभूमि धारणाओं पर निर्भर रहने के बजाय दिए गए बाधाओं के अनुकूल हो सकते हैं। यह शोध पत्र नए अनुप्रयोगों या भविष्य के आर्किटेक्चरल परिवर्तनों का प्रस्ताव नहीं करता है, बल्कि विशेष रूप से वर्तमान मॉडल्स के नैदानिक मूल्यांकन पर केंद्रित है।