🤖 AI

SymboUQ: Symbolic Uncertainty Quantification for Spatial Reasoning in LLMs

यह शोध पत्र SymboUQ को प्रस्तुत करता है, जो एक प्रतीकात्मक अनिश्चितता परिमाणीकरण (symbolic uncertainty quantification) ढांचा है, जो किसी दावे के औपचारिक रूप में बदलने की क्षमता और उसकी अर्थपूर्ण निश्चितता (semantic determinacy) के बीच अंतर करके बड़े भाषा मॉडलों के स्थानिक तर्क (spatial reasoning) के विश्वसनीयता अनुमान में सुधार करता है, जिससे यह कई बेंचमार्क पर मौजूदा बेसलाइनों से बेहतर प्रदर्शन करता है।

मूल लेखक: Dahai Yu, Lin Jiang, Rongchao Xu, Guang Wang

प्रकाशित 2026-08-04

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dahai Yu, Lin Jiang, Rongchao Xu, Guang Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबट को शहर में रास्ता खोजने के लिए सिखाने की कोशिश कर रहे हैं। आप सिर्फ यह नहीं चाहते कि वह कहे, "मुझे लगता है कि बैंक बाईं ओर है," क्योंकि रोबट शायद बहुत ही धाराप्रवाह तरीके से अनुमान लगा रहा हो, जबकि उसका नक्शा पूरी तरह से गलत हो सकता है। यह आर्टिफिशियल इंटेलिजेंस (AI) में स्थानिक तर्क (spatial reasoning) की चुनौती है: यह सुनिश्चित करना कि कंप्यूटर केवल आत्मविश्वास से भरा हुआ सुनाई न दे, बल्कि वास्तव में यह भी समझे कि चीजें एक-दूसरे के संबंध में कहाँ स्थित हैं। वैज्ञानिकों ने ऐसे "लार्ज लैंग्वेज मॉडल्स" (LLMs) बनाए हैं जो कहानियाँ लिखने और पहेलियाँ सुलझाने में बेहतरीन हैं, लेकिन वे कभी-कभी सरल तर्क में लड़खड़ा जाते हैं, जैसे कि बाएं और दाएं को आपस में मिला देना। इसे ठीक करने के लिए, शोधकर्ता अनिश्चितता परिमाणीकरण (Uncertainty Quantification - UQ) का उपयोग करते हैं, जो मूल रूप से AI के लिए एक तरीका है जिससे वह कह सके, "मैं इस बारे में निश्चित नहीं हूँ," या "मैं बहुत आश्वस्त हूँ।" बड़ा सवाल यह है कि: हमें कैसे पता चलेगा कि AI वास्तव में सही है जब वह दावा करता है कि वह आश्वस्त है, खासकर जब वह एक जटिल मानसिक मानचित्र के माध्यम से नेविगेट कर रहा हो?

यहाँ SymboUQ आता है, एक नया तरीका जो AI की विचार प्रक्रिया के लिए एक सुपर-स्मार्ट संपादक (editor) की तरह काम करता है। केवल अंतिम उत्तर की जाँच करने के बजाय, SymboUQ उस चरण-दर-चरण तर्क (reasoning trace) की जाँच करता है जिसे AI लिखता है। यह AI के विचारों को एक निर्माण परियोजना (construction project) की तरह मानता है। पहले, यह जाँचता है कि क्या AI सही उपकरणों का उपयोग कर रहा है (क्या वाक्य को एक गणितीय समस्या में बदला जा सकता है?)। फिर, यह जाँचता है कि क्या निर्माण वास्तव में खड़ा रह सकता है (क्या गणित काम करता है, या इमारत ढह जाती है?)। शोध पत्र में पाया गया है कि इन दो जाँचों को अलग करके, SymboUQ पिछले तरीकों की तुलना में यह बेहतर ढंग से अनुमान लगा सकता है कि AI का अंतिम उत्तर कितना विश्वसनीय है। पाँच विभिन्न स्थानिक पहेलियों (spatial puzzles) पर किए गए परीक्षणों में, इस नए दृष्टिकोण ने AI की अपनी गलतियों को पहचानने की क्षमता में लगभग 8% का सुधार किया और उसके अनुमान लगाने की त्रुटियों को मौजूदा सर्वोत्तम उपकरणों की तुलना में 7% कम कर दिया।

समस्या: द फ्लूएंट लायर (धाराप्रवाह झूठ बोलने वाला)

कल्पना कीजिए कि एक AI कमरे में एक लैंप कहाँ है, यह पता लगाने की कोशिश कर रहा है। वह एक लंबा, सुचारू पैराग्राफ लिखता है: "लैंप मेज पर है। मेज खिड़की के नीचे है। इसलिए, लैंप खिड़की के पास है।" यह सुनने में एकदम सही लगता है। लेकिन क्या होगा यदि AI ने गुप्त रूप से सोचा था कि मेज खिड़की के ऊपर थी? अंतिम वाक्य संयोग से सच हो सकता है, या पूरी श्रृंखला निरर्थक हो सकती है, लेकिन AI इतना धाराप्रवाह बोलता है कि हम उस पर भरोसा कर लेते हैं।

वर्तमान तरीके यह अनुमान लगाने की कोशिश करते हैं कि AI झूठ बोल रहा है या नहीं, यह देखकर कि AI कितना "आत्मविश्वासी" सुनाई देता है या उसे उत्तर को कई बार दोहराने के लिए कहकर। लेकिन ये एक जादूगर के हाथों की गति को देखने जैसा है; वे आपको यह नहीं बताते कि खरगोश वास्तव में टोपी के अंदर है या नहीं। शोध पत्र का तर्क है कि स्थानिक तर्क (spatial reasoning) के लिए, हमें एक अलग प्रकार की जाँच की आवश्यकता है। हमें यह देखने की आवश्यकता है कि क्या AI का आंतरिक मानचित्र वास्तव में समझ में आता है।

समाधान: द सिम्बोइक डिटेक्टिव (SymboUQ डिटेक्टिव)

लेखकों ने SymboUQ (सिंबोलिक अनसर्टेन्टी क्वांटिफिकेशन) नामक एक प्रणाली बनाई है। इसे AI के तर्क (reasoning trace - वह कहानी जो वह खुद को बताता है) का ऑडिट करने वाली एक तीन-भागों वाली डिटेक्टिव टीम के रूप में सोचें।

1. लेआउट ऑडिटर (अनुवादक और निर्माता)

सबसे पहले, लेआउट ऑडिटर AI के अंग्रेजी वाक्यों को नियमों की एक सख्त, गणितीय भाषा में अनुवाद करने की कोशिश करता है। यह दो प्रश्न पूछता है:

क्या हम अनुवाद कर सकते हैं? (Symbolizability): क्या "बिल्ली चटाई पर है" जैसे वाक्य को बिल्ली चटाई के ऊपर है जैसे स्पष्ट नियम में बदला जा सकता है? यदि AI "बिल्ली चटाई के आसपास है" जैसा कुछ अस्पष्ट कहता है, तो अनुवादक अटक सकता है।
क्या यह एक घर बनाता है? (Semantic Determinacy): भले ही वाक्य का अनुवाद किया जा सकता है, क्या गणित काम करता है? यदि AI कहता है "बिल्ली चटाई पर है" और फिर "चटाई आसमान में तैर रही है," तो गणित टूट जाता है। घर ढह जाता है।

SymboUQ का चतुर हिस्सा यह समझना है कि केवल इसलिए कि AI एक वाक्य का अनुवाद कर सकता है (यह "symbolizable" है), इसका मतलब यह नहीं है कि वाक्य एक निश्चित उत्तर की ओर ले जाता है। AI एक वाक्य का सटीक अनुवाद कर सकता है, लेकिन गणित कह सकता है, "मुझे नहीं पता, पर्याप्त जानकारी नहीं है।" SymboUQ इसे सेमेंटिक डिटरमिनसी (Semantic Determinacy) कहता है। यह एक ब्लूप्रिंट होने और वास्तव में एक खड़ी इमारत होने के बीच का अंतर है।

2. डिटरमिनेंसी प्रोफाइल (स्कोरकार्ड)

इसके बाद, सिस्टम एक डिटरमिनेंसी प्रोफाइल बनाता है। एक ऐसे रिपोर्ट कार्ड की कल्पना करें जो केवल "अच्छा काम किया" या "फेल" नहीं कहता। इसके बजाय, यह कहता है:

"आपने 6 में से 5 वाक्यों का अनुवाद करने की कोशिश की।"
"लेकिन उन अनुवादों में से केवल 3 ही एक काम करने वाली इमारत बना पाए।"
"बाकी 2 या तो बहुत अस्पष्ट थे या पूरे ढांचे को ढहाने के कारण बने।"

यह प्रोफाइल सिस्टम को बताता है कि AI का कितना तर्क वास्तव में उपयोगी साक्ष्य (evidence) है। यदि AI एक ऐसी कहानी लिख रहा है जो 90% धाराप्रवाह है लेकिन केवल 10% ही गणितीय रूप से समझ में आती है, तो यह प्रोफाइल इसे पकड़ लेता है।

3. द रिलायबिलिटी कंपोजर (स्मार्ट मिक्सर)

अंत में, डिटरमिनैटी-अवेयर रिलायबिलिटी कंपोजर (DARC) सभी सुरागों को लेता है। यह लेआउट ऑडिटर से प्राप्त "गणितीय प्रमाण" को अन्य संकेतों के साथ मिलाता है, जैसे कि AI कितना आत्मविश्वासी था या उसने उत्तर को कितनी बार दोहराया। लेकिन यहाँ जादू है: यह जानता है कि गणित पर कब भरोसा करना है और अन्य संकेतों पर कब भरोसा करना है।

यदि AI का तर्क स्पष्ट है और गणित काम करता है (उच्च डिटरमिनसी), तो DARC गणितीय प्रमाण पर भारी रूप से निर्भर करता है।
यदि AI का तर्क अव्यवस्थित है या गणित अटक गया है (कम डिटरमिनसी), तो DARC जानता है कि गणितीय प्रमाण अभी उपयोगी नहीं है, इसलिए वह अन्य संकेतों को अधिक सुनता है।

उन्होंने क्या पाया

शोधकर्ताओं ने चार अलग-अलग AI मॉडल का उपयोग करके पाँच विभिन्न डेटासेट्स (जैसे विभिन्न प्रकार की स्थानिक पहेलियाँ) पर SymboUQ का परीक्षण किया। उन्होंने पाया कि:

यह बेहतर काम करता है: पिछले सबसे मजबूत तरीकों की तुलना में, SymboUQ सही उत्तरों को गलत उत्तरों की तुलना में उच्च रैंक देने में लगभग 8% बेहतर था।
यह कम गलतियाँ करता है: इसने संभाव्यता अनुमानों (probability estimates) की त्रुटि को 7% कम कर दिया।
"गणित बनाम अस्पष्टता" का अंतर महत्वपूर्ण है: उन्होंने सिद्ध किया कि केवल यह गिनना कि AI कितने वाक्यों का अनुवाद कर सकता था (पार्ज़ कवरेज), पर्याप्त नहीं है। आपको यह गिनना होगा कि कितने वाक्यों ने वास्तव में एक निश्चित "हाँ" या "ना" तक पहुँचाया (सेमेंटिक डिटरमिनसी)।

यह क्यों मायने रखता है

यह शोध पत्र यह दावा नहीं करता है कि इसने AI की सभी समस्याओं को हल कर दिया है। यह यह नहीं कहता कि AI अब स्थानिक तर्क (spatial reasoning) में पूर्ण हो गया है। इसके बजाय, यह AI पर भरोसा करने का एक बेहतर तरीका प्रदान करता है। यह दिखाता है कि यह जाँचकर कि AI का तर्क केवल धाराप्रवाह ही नहीं, बल्कि निष्पादनीय (executable) और निर्णायक (decisive) भी है, हम एक बहुत स्पष्ट तस्वीर प्राप्त कर सकते हैं कि उत्तर वास्तव में कितना विश्वसनीय है। यह एक छात्र से, "क्या आपको लगता है कि आपने इसे सही किया?" पूछने के बजाय, वास्तव में उनके गणित के होमवर्क की जाँच करने जैसा है कि क्या उनके चरण (steps) सही हैं।

संक्षेप में, SymboUQ हमें सिखाता है कि AI की दुनिया में, एक धाराप्रवाह कहानी हमेशा एक सच्ची कहानी नहीं होती है। यह जानने के लिए कि AI सही है या नहीं, हमें यह देखना होगा कि क्या उसका मानसिक मानचित्र वास्तव में तार्किक ईंटों से बनाया जा सकता है।

तकनीकी सारांश: SymboUQ

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर स्थानिक तर्क (spatial reasoning) कार्यों के लिए सुव्यवस्थित तर्क पथ (reasoning traces) उत्पन्न करते हैं, फिर भी मध्यवर्ती संबंध संबंधी चरण अंतिम निष्कर्ष का समर्थन करने में विफल हो सकते हैं। एक एकल गलत दिशात्मक या समावेशन संबंध (containment relation) अनुमानित स्थानिक विन्यास को दूषित कर सकता है, जबकि व्याख्या देखने में सुसंगत बनी रह सकती है। मौजूदा अनिश्चितता मात्रा निर्धारण (uncertainty quantification - UQ) विधियाँ टोकन-स्तर के सांख्यिकी, अर्थ संबंधी सहमति, या आंतरिक निरूपणों पर निर्भर करती हैं, जो सीधे स्थानिक अर्थों का मूल्यांकन किए बिना शुद्धता के साथ सह-संबंधित हो सकती हैं। इसके विपरीत, औपचारिक सत्यापनकर्ता (formal verifiers) मजबूत अर्थ संबंधी साक्ष्य प्रदान करते हैं लेकिन आंशिक प्रयोज्यता (partial applicability) से ग्रस्त होते हैं: एक दावा औपचारिक भाषा में सफलतापूर्वक पार्स (parse) किया जा सकता है (symbolizable) फिर भी अपर्याप्त आधारों या संदर्भ विसंगतियों के कारण "अज्ञात" (unknown) या "न-मूल्यांकन योग्य" (not-evaluable) परिणाम दे सकता है। फलस्वरूप, पार्स कवरेज (parse coverage) अकेले सत्यापनकर्ता द्वारा प्रदान किए गए उपयोगी साक्ष्य की मात्रा का अपर्याप्त प्रॉक्सी है।

कार्यप्रणाली: SymboUQ

लेखक SymboUQ प्रस्तावित करते हैं, जो एक सिम्बोलिक अनिश्चितता मात्रा निर्धारण ढांचा है जो सिंबलाइज़ेबिलिटी (क्या एक दावे को सत्यापनकर्ता की औपचारिक भाषा में अनुवादित किया जा सकता है) और सिमेंटिक डिटरमिनसी (क्या उस दावे को निष्पादित करने से एक निश्चित निहितार्थ या विरोधाभास का निर्णय प्राप्त होता है) के बीच अंतर करके अंतिम-उत्तर विश्वसनीयता का अनुमान लगाता है। यह ढांचा तीन मुख्य घटकों से बना है:

1. लेआउट ऑडिटर (Layout Auditor)

लेआउट ऑडिटर एक विश्वसनीय दृश्य विवरण (trusted scene description) के विरुद्ध क्रमिक रूप से व्यवस्थित स्थानिक दावों को निष्पादित करता है।

कन्स्ट्रेंट जनरेशन (Constraint Generation): यह प्राकृतिक भाषा के कथनों को एक मानक संबंध प्रणाली (विषय, संबंध, वस्तु के ट्रिपल्स) में मैप करता है, जिसमें दिशा, समावेशन, दूरी और टोपोलॉजी शामिल हैं।
निष्पादन और निर्णय (Execution & Verdicts): यह एक सक्रिय संदर्भ (विश्वसनीय दृश्य प्लस पूर्ववर्ती सिंबलाइज़ेबल दावे) बनाए रखता है और प्रत्येक दावे $c_k$ $c_{k}$ का इस संदर्भ के विरुद्ध मूल्यांकन करता है। दावों को चार स्थितियों में से एक प्राप्त होती है:
- निहित (Entailed - $en$): दावा सक्रिय संदर्भ से अनुसरण करता है।
- विरोधाभासी (Contradicted - $co$): दावा सक्रिय संदर्भ के साथ संघर्ष करता है।
- अज्ञात (Unknown - $un$): दावा सिंबलाइज़ेबल है लेकिन संदर्भ में इसे हल करने के लिए पर्याप्त जानकारी का अभाव है।
- न-मूल्यांकन योग्य (Not Evaluable - $no$): सक्रिय संदर्भ पहले से ही अव्यवहार्य (prior contradictions के कारण) है, जिससे आगे का मूल्यांकन बाधित होता है।
साक्ष्य निष्कर्षण (Evidence Extraction): ऑडिटर व्यवहार्यता, संघर्ष का पता लगाने और सीमित मरम्मत लागत (विश्वसनीय दृश्य को स्थिर रखते हुए व्यवहार्यता बहाल करने के लिए उत्पन्न संबंधों को हटाना) से संबंधित विशेषताओं को निकालता है।

2. डिटरमिनेंसी प्रोफाइल (Determinacy Profile)

यह मॉड्यूल एक लेबल-मुक्त प्रोफाइल $\phi(r)$ उत्पन्न करता है जो निर्णय की ध्रुवीयता (verdict polarity) से स्वतंत्र होकर एक तर्क पथ के "प्रभावी निष्पादन योग्य कवरेज" (effective executable coverage) को चित्रित करता है।

सिंबलाइज़ेबिलिटी ( $\pi(r)$ ): उन दावों का अंश जिन्हें औपचारिक भाषा में पार्स किया जा सकता है।
अनजान दर ( $\nu(r)$ ): उन पार्स किए गए दावों का अंश जो अनसुलझे (unresolved) रह जाते हैं।
सिमेंटिक डिटरमिनसी ( $d(r)$ ): उन पार्स किए गए दावों का अंश जिन्हें एक व्यवहार्य संदर्भ के तहत एक निश्चित निर्णय ($en $या$ co$) प्राप्त होता है। महत्वपूर्ण रूप से, "न-मूल्यांकन योग्य" के रूप में चिह्नित दावे डिटरमिनसी को कम करते हैं, क्योंकि वे उपयोगी साक्ष्य की हानि का प्रतिनिधित्व करते हैं।
सत्यापनकर्ता प्रयोज्यता ( $\delta(r)$ ): $\pi(r) \times d(r)$ के रूप में परिभाषित, जो उन सभी दावों के अंश को दर्शाता है जो सिंबलाइज़ेबल और सिमेंटिक रूप से डिटरमिनेट दोनों हैं।

3. डिटरमिनेंसी-अवेयर रिलायबिलिटी कंपोजर (DARC)

DARC ट्रेस के एप्लीकेबिलिटी प्रोफाइल पर आधारित विषम विश्वसनीयता संकेतों (constraint-based, representation-based, और decoding-based) को एकीकृत करता है।

कैंडिडेट बैंक: यह पूर्व-प्रशिक्षित या ट्रेनिंग-फ्री एस्टिमेटर्स (जैसे टोकन एंट्रॉपी, न्यूरल प्रोब्स, कन्स्ट्रेंट सॉल्वर) का उपयोग करता है।
टारगेट अडैप्टेशन: लक्षित डोमेन से एक लेबल वाले वैलिडेशन स्प्लिट का उपयोग करते हुए, DARC उम्मीदवारों की स्क्रीनिंग करता है (निकट-यादृच्छिक स्कोर को हटाना) और उन्हें ओरिएंट करता है (यदि AUROC $<0.5$ है तो स्कोर को फ्लिप करना)।
एप्लिकेबिलिटी-कंडीशनड कंपोजिशन: DARC ऐसे फीचर वेक्टर्स बनाता है जो सिमेंटिक डिटरमिनसी के आधार पर कैंडिडेट स्कोर के साथ इंटरैक्शन टर्म्स का उपयोग करते हैं। विशेष रूप से, यह सिमेंटिक डिटरमिनसी के आधार पर बाधा-आधारित साक्ष्य के योगदान को नियंत्रित करने के लिए $\delta(r) \cdot s_j(r)$ जैसे इंटरैक्शन टर्म्स का उपयोग करता है। यह मॉडल को कम डिटरमिनसी होने पर सिम्बोलिक साक्ष्य को कम भार देने की अनुमति देता है जबकि न्यूरल/डिकोडिंग स्रोतों से कच्चे स्कोर को सुरक्षित रखता है। अंतिम विश्वसनीयता स्कोर $p(r)$ को $\ell_2$ रेगुलराइजेशन के साथ एक लॉजिस्टिक फंक्शन के माध्यम से कंप्यूट किया जाता है।

मुख्य योगदान

वैचारिक अंतर: यह कार्य टेक्स्टुअल सिंबलाइज़ेबिलिटी और सिमेंटिक डिटरमिनसी के बीच अंतर करता है, जो यह निर्धारित करने के लिए एक सिद्धांत आधारित आधार प्रदान करता है कि सत्यापनकर्ता-व्युत्पन्न साक्ष्य कब सूचनात्मक है। यह तर्क देता है कि केवल पार्स कवरेज अपर्याप्त है क्योंकि यह अनसुलझे या बाधित दावों को ध्यान में नहीं रखता है।
तकनीकी ढांचा: SymboUQ एक तीन-चरणीय पाइपलाइन (Layout Auditor, Determinacy Profile, DARC) पेश करता है जो औपचारिक सत्यापन के "अज्ञात" और "न-मूल्यांकन योग्य" शासन को स्पष्ट रूप से संभालता है, और उन्हें न्यूरल संकेतों के साथ एकीकृत करता है।
अनुभवजन्य प्रदर्शन: ढांचा विविध स्थानिक तर्क बेंचमार्क और विभिन्न LLM बैकबोन पर निरंतर सुधार प्रदर्शित करता है।

प्रयोगात्मक परिणाम

लेखकों ने चार फ्रोजन LLM बैकबोन (Mistral-7B, Llama-3.1-8B, Gemma-2-9B, Qwen3-8B) का उपयोग करके पांच स्थानिक तर्क बेंचमार्क (StepGame, SpaRTQA, SpaRTUN, SpaceNLI, SpaRP) पर SymboUQ का मूल्यांकन किया।

प्रदर्शन: SymboUQ ने ट्रेस रैंकिंग (AUROC) और संभाव्यता अनुमान (class-balanced Brier loss) में सबसे मजबूत समग्र प्रदर्शन हासिल किया। इसने सबसे मजबूत बाहरी बेसलाइन की तुलना में औसत 8% सापेक्ष सुधार AUROC में और 7% सापेक्ष कमी क्लास-बैलेंस्डड ब्रायर लॉस में दिखाई।
एब्लेशन अध्ययन (Ablation Studies):
- एप्लिकेबिलिटी अवेयरनेस: डिटरमिनसी-अवेयर इंटरैक्शन को हटाने (केवल स्कोर स्टैकिंग का उपयोग करने) के परिणामस्वरूप 0.032–0.052 AUROC की गिरावट हुई, जो पुष्टि करता है कि एप्लीकेबिलिटी पर कंडीशन करना महत्वपूर्ण है।
- डिटरमिनसी बनाम पार्स कवरेज: विश्लेषण से पता चला कि कंस्ट्रेंट-स्कोर सेपरेशन सिमेंटिक डिटरमिनसी के साथ मोनोटोनिक रूप से बढ़ता है, न कि पार्स कवरेज के साथ, जो यह प्रमाणित करता है कि डिटरमिनसी सत्यापनकर्ता की उपयोगिता का बेहतर लक्षण वर्णन है।
- संदर्भ अर्थ विज्ञान (Context Semantics): एक "अनुमानित संदर्भ" (अनवेरिफाइड हाइपोथीसिस की अनुमति देना) का उपयोग करने से "ग्राउंडेड संदर्भ" की तुलना में महत्वपूर्ण लाभ हुआ, क्योंकि यह सिस्टम को उत्पन्न श्रृंखला के भीतर स्वयं के विरोधाभासों का पता लगाने की अनुमति देता है।
दक्षता: विधि कम्प्यूटेशनल रूप से कुशल है, जो कुछ प्रशिक्षित मापदंडों (8.13M) के साथ प्रति सेकंड लगभग 159 ट्रेसेस को प्रोसेस करती है और लक्षित वैलिडेशन स्प्लिट पर केवल 9 मिनट के कम प्रशिक्षण समय की आवश्यकता होती है।

महत्व

पेपर का दावा है कि SymboUQ LLM विश्वसनीयता अनुमान में एक महत्वपूर्ण अंतर को संबोधित करता है: दावे को पार्स करने की क्षमता और उसे सिमेंटिक रूप से हल करने की क्षमता के बीच का अंतर। "अज्ञात" और "न-मूल्यांकन योग्य" परिणामों को "विरोधाभासी" से अलग मानकर और संदर्भ अव्यवहार्यता के कारण साक्ष्य की हानि को स्पष्ट रूप से मॉडल करके, यह ढांचा सत्यापनकर्ता की प्रयोज्यता का अधिक निष्ठावान माप प्रदान करता है। परिणाम बताते हैं कि स्थानिक तर्क के लिए, विश्वसनीयता अनुमान को न्यूरल संकेतों के साथ औपचारिक सत्यापन संकेतों को एकीकृत करने से महत्वपूर्ण लाभ होता है, बशर्ते कि एकीकरण केवल उसकी पारसेबिलिटी के बजाय उसके सिमेंटिक डिटरमिनसी पर कंडिशन किया गया हो। यह कार्य स्थापित करता है कि सिम्बोलिक अनिश्चितता मात्रा निर्धारण को ऑडिटिंग प्रक्रिया के दौरान मध्यवर्ती चरणों के लिए ग्राउंड-ट्रुथ लेबल की आवश्यकता के बिना मुक्त-रूप तर्क पथों पर प्रभावी रूप से लागू किया जा सकता है।