🤖 AI

Symbolic Augmentation Closes a Canonical-Equivalence Blind Spot in Neural Fact-Checkers

यह शोध पत्र एक 'टाइप्ड-क्वांटिटी एरर टैक्सोनॉमी' और एक "सिंबॉलिक ऑग्मेंटेशन" प्रशिक्षण ढांचे को पेश करके भौतिक रूप से समान मात्राओं (जैसे, 95°C बनाम 368.15 K) को पहचानने में न्यूरल फैक्ट-चेकर्स की विफलता को संबोधित करता है, जो लेबल-संरक्षण डेटा उत्पन्न करके, अनुमान लागत (इन्फरेंस कॉस्ट) को बढ़ाए बिना, कैनोनिकल-इक्विवेलेंट रीराइट्स के प्रति लगभग पूर्ण मजबूती प्राप्त करता है।

मूल लेखक: Genpei Zhang

प्रकाशित 2026-07-21

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Genpei Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

वैज्ञानिक सारांशों में मौन विध्वंसक

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस के रूप में, लेकिन आपके पास एकमात्र सुराग एक बहुत ही आत्मविश्वासी, बहुत तेज़, लेकिन कभी-कभी भ्रमित होने वाले रोबोट द्वारा लिखे गए सारांश हैं। यह रोबोट सुंदर वाक्य लिखने और बड़े शब्दों का उपयोग करने में माहिर है, लेकिन इसमें एक खतरनाक आदत है: यह कभी-कभी बिना आपकी नज़र में आए संख्याओं या इकाइयों (units) को बदल देता है। विज्ञान की दुनिया में, यह केवल एक टाइपो नहीं है; यह एक आपदा है। यदि एक रोबोट कहता है कि एक दवा "12 मिलीग्राम" पर काम करती है जबकि वास्तविक अध्ययन में "12 नैनोग्राम" था, तो अंतर दस लाख गुना है। एक इलाज है; दूसरा ज़हर। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो हमारे लिए वैज्ञानिक शोध पत्रों के सारांश लिखते हैं। हालांकि वे भाषा समझने में अद्भुत हैं, लेकिन वे अक्सर गणित और भौतिकी के कठिन तर्क में लड़खड़ा जाते हैं, और चुपचाप ऐसे तथ्य गढ़ते हैं जो सुनने में सही लगते हैं लेकिन पूरी तरह से गलत होते हैं।

इन गलतियों को पकड़ने के लिए, वैज्ञानिक आमतौर पर "फैक्ट-चेकर्स" का उपयोग करते हैं, जो डिजिटल रेफरी की तरह होते हैं। पारंपरिक रूप से, ये रेफरी केवल "हाँ, यह सच है" या "नहीं, यह गलत है" चिल्लाते हैं। लेकिन जब रोबate किसी विशिष्ट संख्या के बारे में झूठ बोल रहा हो, तो यह पर्याप्त नहीं है। हमें एक ऐसे रेफरी की आवश्यकता है जो कह सके, "आपने इकाई गलत कर दी," या "आपने स्केल बदल दिया," या "आपने एक ऐसा दावा जोड़ दिया जो वहां नहीं था।" यह शोध पत्र विशेष रूप से इस समस्या में गहराई से उतरता है: हम AI को इन चालाक, संख्या-आधारित झूठों को पकड़ने के लिए कैसे सिखाएं, खासकर जब रोबोट एक ही संख्या को लिखने के दूसरे तरीके का उपयोग करके हमें धोखा देने की कोशिश करता है (जैसे कि "95 डिग्री सेल्सियस" के बजाय "368.15 केल्विन" कहना)?

शोध पत्र की कहानी: "आकार बदलने वाली" संख्याओं को पकड़ना

इस शोध पत्र के लेखकों, विस्कॉन्सिन-मैडिसन विश्वविद्यालय के गेनपेई झांग ने एक बेहतर तरीका बनाने का निर्णय लिया। उन्होंने महसूस किया कि वर्तमान AI फैक्ट-चेकर्स एक ऐसे सुरक्षा गार्ड की तरह हैं जो लाल शर्ट पहने चोर को तो पहचान सकता है, लेकिन यदि चोर नीली शर्ट पहन ले, तो वह पूरी तरह विफल हो जाता है, भले ही वह वही व्यक्ति हो। विज्ञान की दुनिया में, "लाल शर्ट" और "नीली शर्ट" कैनोनिकल इक्विवेलेंट्स (canonical equivalents) की तरह हैं: एक ही भौतिक मात्रा को लिखने के विभिन्न तरीके। उदाहरण के लिए, $95^\circ\text{C}$ और $368.15\text{ K}$ एक ही तापमान हैं, बस अलग तरह से लिखे गए हैं।

टीम ने एक विशाल प्रशिक्षण मैदान बनाना शुरू किया जिसे बेंचमार्क कहा जाता है। उन्होंने मेडिकल और कंप्यूटर साइंस के शोध पत्रों से वास्तविक वैज्ञानिक वाक्यों को लिया और AI का उपयोग करके उन्हें फिर से लिखा, जिसमें जानबूझकर पांच विशिष्ट प्रकार की त्रुटियां डाली गईं:

सही (Correct): सारांश एकदम सटीक है।
इकाई त्रुटि (Unit Error): इकाई गलत है (जैसे, द्रव्यमान और आयतन को मिला देना)।
स्केल त्रुटि (Scale Error): संख्या बहुत अधिक या कम है (जैसे, 1 के बजाय 100 कहना)।
संबंध त्रुटि (Relation Error): तुलना उलट दी गई है (जैसे, "उच्च" को "निम्न" बना देना)।
असमर्थित (Unsupported): सारांश एक ऐसा दावा जोड़ देता है जो मूल पाठ में नहीं था (जैसे, "यह सबसे अच्छी दवा है")।

उन्होंने इन 1,500 वाक्यों का एक डेटासेट बनाया, जिसे दो अलग-अलग AI सिस्टम द्वारा सावधानीपूर्वक लेबल किया गया और यह सुनिश्चित करने के लिए मनुष्यों द्वारा जांचा गया कि लेबल विश्वसनीय हों। जब उन्होंने इस डेटासेट पर एक मानक, उच्च-तकनीकी AI एनकोडर (एक प्रकार का मॉडल जिसे ModernBERT कहा जाता है) का परीक्षण किया, तो इसने आश्चर्यजनक रूप से अच्छा प्रदर्शन किया, और इसका स्कोर 0.899 (जहाँ 1.0 पूर्ण है) रहा। यह उनके द्वारा आजमाए गए किसी भी सामान्य फैक्ट-चेकर से कहीं बेहतर था।

हालांकि, शोध पत्र ने एक चौंकाने वाली कमी का खुलासा किया।

जब शोधकर्ताओं ने "आकार बदलने वाली" संख्याओं के साथ AI का परीक्षण किया—यानी सही सारांशों को कैनोनिकल इक्विवेलेंट्स का उपयोग करके फिर से लिखना (जैसे $95^\circ\text{C}$ को $368.15\text{ K}$ में बदलना)—तो AI का प्रदर्शन गिर गया। इन विशिष्ट, भौतिक रूप से समान पुनोंलेखों पर इसकी सटीकता 96.7% से गिरकर केवल 36.5% रह गई। AI इन अलग नंबरों से इतना भ्रमित हो गया कि उसने सही सारांश को लगभग दो-तिहाई बार वास्तव में एक त्रुटि समझ लिया। यह एक ऐसे सुरक्षा गार्ड की तरह था जो चोर को जानता तो है, लेकिन यदि वह टोपी पहन ले तो उसे पहचानने में विफल रहता है।

समाधान: सिम्बोलिक ऑग्मेंटेशन (Symbolic Augmentation)

इसे ठीक करने के लिए, लेखकों ने सिम्बोलिक ऑग्मेंटेशन नामक एक चतुर तकनीक पेश की। AI को चलते समय गणित करने के लिए सिखाने के बजाय (जिसमें वह खराब है), उन्होंने इसे प्रशिक्षण के दौरान ही इन "आकार बदलने वालों" के उदाहरण दिखाकर सिखाने का निर्णय लिया।

उन्होंने एक सरल, नियम-आधारित उपकरण (सिम्बोलिक वेरीफायर) का उपयोग किया जो भौतिकी और गणित के नियमों को पूरी तरह से जानता है। यह उपकरण तुरंत बता सकता है कि $95^\circ\text{C}$ और $368.15\text{ K}$ एक ही हैं। लेखकों ने इस उपकरण को "उल्टा" चलाया ताकि नया प्रशिक्षण डेटा तैयार किया जा सके। उन्होंने एक सही वाक्य लिया और उपकरण का उपयोग करके संख्याओं को उनके समकक्ष रूपों में फिर से लिखा, जिससे हजारों नए उदाहरण बने जहाँ उत्तर अभी भी "सही" था, लेकिन संख्याएँ अलग दिख रही थीं।

जब उन्होंने इस नए, संवर्धित (augmented) डेटा पर अपने AI मॉडल को प्रशिक्षित किया, तो परिणाम नाटकीय थे:

इन "आकार बदलने वाली" संख्याओं को संभालने की AI की क्षमता 36.5% से बढ़कर 98.2% हो गई।
इसकी समग्र सटीकता वास्तव में थोड़ी सुधरी, 0.899 से बढ़कर 0.902 हो गई।
यह इसमें इतना कुशल हो गया कि इसने विशाल, महंगे "क्लोज्ड-फ्रंटियर" AI मॉडल्स (जैसे GPT-5.5 या Claude Opus 4.7) के प्रदर्शन की बराबरी कर ली, लेकिन यह बहुत तेज़ और सस्ता था क्योंकि इसे वास्तविक जांच के दौरान जटिल गणित करने की आवश्यकता नहीं थी।

क्या काम नहीं आया (और यह क्यों महत्वपूर्ण है)

शोध पत्र यह भी स्पष्ट रूप से बताता है कि क्या काम नहीं करता है, जो सफलता जितना ही महत्वपूर्ण है। लेखकों ने गणित के नियम-आधारित टूल को AI के साथ जोड़ने के अन्य तरीकों को भी आजमाया:

गणित के नियमों को अतिरिक्त इनपुट के रूप में देना: उन्होंने AI को अनुमान लगाते समय गणित के उत्तर संकेत के रूप में देने की कोशिश की। इससे कोई मदद नहीं मिली; AI ने संकेतों को अनदेखा कर दिया।
प्रशिक्षण डेटा को लेबल करने के लिए गणित टूल का उपयोग करना: उन्होंने गणित टूल का उपयोग करके "सिल्वर लेबल्स" (अनुमान) का एक बड़ा ढेर बनाने की कोशिश की ताकि AI को प्रशिक्षित किया जा सके। इसने वास्तव में स्थिति को और खराब कर दिया, क्योंकि गणित टूल संदर्भ (context) को समझने में पूर्ण नहीं है, और उसकी गलतियों ने AI को भ्रमित कर दिया।

शोध पत्र निष्कर्ष निकालता है कि गणित के कठोर तर्क और AI के लचीले सीखने को सफलतापूर्वक संयोजित करने का एकमात्र तरीका गणित के नियमों को सीधे प्रशिक्षण डेटा के भीतर ही समाहित करना है। ऐसा करके, AI यह पहचानना सीख जाता है कि अलग-अलग संख्याएँ एक ही चीज़ हो सकती हैं, जिससे वह कमी दूर हो जाती है और वैज्ञानिक फैक्ट-चेकिंग बहुत अधिक विश्वसनीय हो जाती है।

संक्षेप में, यह शोध पत्र दिखाता है कि हालांकि AI भाषा में अच्छा है, लेकिन उसे गणित के साथ थोड़ी मदद की आवश्यकता है। प्रशिक्षण के दौरान इसे विज्ञान के "आकार बदलने वालों" को पहचानने के लिए सिखाकर, हम इसे वैज्ञानिक दावों को चुपचाप उलटने से रोक सकते हैं और इसे शोधकर्ताओं और छात्रों के लिए एक बहुत सुरक्षित उपकरण बना सकते हैं।

तकनीकी सारांश: न्यूरल फैक्ट-चेकर्स के लिए सिम्बोलिक ऑग्मेंटेशन (Symbolic Augmentation)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) वैज्ञानिक पाठ का सारांश देते समय अक्सर संख्याओं और इकाइयों (units) के मामले में मतिभ्रम (hallucination) का शिकार होते हैं। पैराफ्रेज़ त्रुटियों के विपरीत, जो संदर्भ के माध्यम से पकड़ी जा सकती हैं, एक गलत इकाई या परिमाण (magnitude) का उल्लेख वैज्ञानिक दावे को चुपचाप उलट सकता है (जैसे, सांद्रता को नैनोमोलर से बदलकर मिलीग्राम-प्रति-मिलीलीटर कर देना)। वर्तमान फैक्ट-चेकिंग प्रतिमान मुख्य रूप से बाइनरी या टेनरी एंटेलमेंट निर्णयों पर निर्भर करते हैं, जो मात्रात्मक त्रुटियों के विशिष्ट प्रकारों (जैसे, यूनिट डायमेंशन बनाम स्केल एरर) के बीच अंतर करने में विफल रहते हैं और लक्षित सुधार के लिए कोई संकेत प्रदान नहीं करते हैं। इसके अलावा, हालांकि फाइन-ट्यून्ड एनकोडर्स मानक बेंचमार्क पर अच्छा प्रदर्शन करते हैं, वे एक महत्वपूर्ण संरचनात्मक कमी प्रदर्शित करते हैं: वे कैनोनिकल-इक्विवेलेंट रीराइट्स (जैसे, $95^\circ\text{C}$ और $368.15\text{ K}$ को त्रुटि के बजाय समान कथनों के रूप में मानना) को पहचानने में विफल रहते हैं, जिससे भौतिक रूप से समान लेकिन भाषाई रूप से भिन्न इनपुट पर उनकी सटीकता गिर जाती है।

कार्यप्रणाली

1. कार्य सूत्रीकरण और बेंचमार्क

लेखकों ने फैक्ट-चेकिंग को पाँच-वर्ग टाइप्ड-क्वांटिटी वेरिफिकेशन कार्य के रूप में पुनर्गठित किया है। एक साक्ष्य वाक्य (evidence sentence) और एक सारांश दिए जाने पर, सत्यापनकर्ता एक में से पाँच लेबल असाइन करता है:

CORRECT (सही): निष्ठापूर्ण पुनर्कथन, जिसमें कैनोनिकल-इक्विवेलेंट रीराइट्स भी शामिल हैं।
UNIT ERROR (इकाई त्रुटि): भौतिक आयाम में विसंगति (जैसे, सांद्रता बनाम द्रव्यमान)।
SCALE ERROR (स्केल त्रुटि): कम से कम एक ऑर्डर ऑफ मैग्नीट्यूड का परिमाण अंतर।
RELATION ERROR (संबंध त्रुटि): तुलनात्मक शब्दों का उलटना, संस्थाओं (entities) का अदल-बदल होना, या दायरे में परिवर्तन।
UNSUPPORTED (अपुष्ट): साक्ष्य में अनुपस्थित दावे (जैसे, अतिशयोक्ति, कारण संबंधी, या महत्व दर्शाने वाले शब्द) जोड़ना।

व्यवस्थित अध्ययन को सक्षम करने के लिए, लेखकों ने PMC (बायोमेडिकल/मटेरियल्स साइंस) और arXiv (कंप्यूटर साइंस) स्रोतों से प्राप्त 1,500 मदों का एक LLM-रीरिटन, डुअल-एनोटेटेड बेंचमार्क बनाया है। इस डेटासेट में उच्च इंटर-एनोटेटर समझौता ( $\alpha = 0.882$ ) है और यह पाँचों वर्गों में संतुलित है।

2. UNITGRAPH VERIFIER (UGV)

एक नियत (deterministic), नियम-आधारित पाइपलाइन एक सिम्बोलिक बेसलाइन के रूप में कार्य करती है। यह बिना लैंग्वेज मॉडल्स के चार चरणों में संचालित होती है:

एक्सट्रैक्शन और नॉर्मलाइजेशन: मात्राओं को निकालने और उन्हें कैनोनिकल बनाने के लिए quantulum और एक कस्टम नॉर्मलाइज़र का उपयोग करता है।
डायमेंशनल और मैग्नीट्यूड चेक्स: भौतिक आयामों और लॉगरिदमिक मैग्नीट्यूड अंतरों की तुलना करता है।
रिलेशनल चेक्स: तुलनात्मक शब्दों के उलटने और संस्थाओं के अदल-बदल होने का पता लगाता है।
अनसपोर्टेड ट्रिगर्स: साक्ष्य में अनुपस्थित अतिशयोक्तिपूर्ण, कारण संबंधी, या महत्व दर्शाने वाले वाक्यांशों की पहचान करता है।
UGV एक मैक्रो- $F_1$ 0.537 प्राप्त करता है, जो ऑफ-द-शेल्फ न्यूरल फैक्ट-चेकर्स से बेहतर है, लेकिन फाइन-ट्यून्ड एनकोडर्स से पीछे रह जाता है।

3. सिम्बोलिक ऑग्मेंटेशन फ्रेमवर्क

मुख्य योगदान सिम्बोलिक ऑग्मेंटेशन है, जो एक ट्रेनिंग-टाइम फ्रेमवर्क है जो एक न्यूरल एनकोडर में सिम्बोलिक रीजनिंग को एकीकृत करता है।

तंत्र: सिम्बोलिक सत्यापनकर्ता (UGV) के मॉड्यूल को उल्टा (reverse) चलाया जाता है। प्रत्येक गोल्ड CORRECT आइटम के लिए, सिस्टम लेबल-संरक्षण करने वाले रीराइट नियमों को लागू करके ऑगमेंटेड ट्रेनिंग डेटा उत्पन्न करता है।
चार ऑग्मेंटेशन परिवार:
- F1 (कैनोनिकल इक्विवेलेंस): मात्राओं को भौतिक रूप से समान इकाइयों में बदलना (जैसे, $^\circ\text{C} \leftrightarrow \text{K}$ )।
- F2 (कंपैरेटर सिनोनिम्स): तुलनात्मक शब्दों को सममित रूप से बदलना (जैसे, "higher" $\leftrightarrow$ "elevated")।
- F3 (यूनिट-नेम पैराफ्रेज़): यूनिट प्रतीकों को शब्दों से बदलना (जैसे, "M" $\leftrightarrow$ "molar")।
- F4 (साइंटिफिक नोटेशन): एक्सपोनेंशियल और डेसिमल रूपों के बीच रूपांतरण।
एकीकरण: ऑगमेंटेड डेटा का उपयोग एक ModernBERT एनकोडर को फाइन-ट्यून करने के लिए किया जाता है। महत्वपूर्ण बात यह है कि इन्फरेंस के समय, सिम्बोलिक मॉड्यूल का उपयोग नहीं किया जाता है; केवल एनकोडर ही वर्गीकरण करता है।

4. इंटीग्रेशन स्ट्रैटेजी तुलना

यह पेपर सिम्बोलिक जानकारी के एकीकरण के पाँच बिंदुओं का कड़ाई से मूल्यांकन करता है:

इन्फरेंस-टाइम एनसेम्बलिंग: UGV और एनकोडर लॉजिट्स को मिलाना (कोई सुधार नहीं)।
एग्रीमेंट फिल्टरिंग: UGV का उपयोग केवल तभी करना जब वह एनकोडर के साथ सहमत हो (कोई सुधार नहीं)।
फीचर-लेवल कॉनकैटिनेशन: UGV आउटपुट को सहायक इनपुट वेक्टर्स के रूप में फीड करना (प्रदर्शन में गिरावट)।
सिल्वर-लेबल टीचिंग: ट्रेनिंग डेटा को लेबल करने के लिए UGV का उपयोग करना (शोर के कारण गंभीर प्रदर्शन गिरावट)।
ट्रेनिंग-टाइम ऑग्मेंटेशन: ऑगमेंटेड ट्रेनिंग पेयर्स बनाने के लिए UGV नियमों का उपयोग करना (महत्वपूर्ण सुधार)।

मुख्य परिणाम

बेंचमार्क प्रदर्शन

बेसलाइन: ऑफ-द-शेल्फ न्यूरल फैक्ट-चेकर्स (जैसे, MiniCheck, FactCG) मैक्रों- $F_1 \le 0.295$ प्राप्त करते हैं और SCALE ERROR पर 0.000 स्कोर करते हैं, जो मैग्नीट्यूड त्रुटियों का पता लगाने में विफल रहते हैं।
फाइन-ट्यून्ड एनकोडर: बेंचमार्क पर फाइन-ट्यून किया गया एक ModernBERT एनकोडर मैक्रों- $F_1 = 0.899$ तक पहुँचता है, जो क्लोज्ड-फ्रंटियर LLMs (जैसे, Claude Opus 4.7 @ 0.973) के करीब है, और बहुत कम लागत पर काम करता है।
ब्लाइंड स्पॉट: उच्च समग्र सटीकता के बावजूद, कैनोनिकल एनकोडर प्रोब सेट (F1) पर केवल 36.5% स्कोर करता है, और अक्सर इन्हें SCALE या UNIT त्रुटियों के रूप में गलत वर्गीकृत करता है।

सिम्बोलिक ऑग्मेंटेशन का प्रभाव

रोबस्टनेस: F1 (कैनोनिकल-इक्विवेलेंस) परिवार के साथ प्रशिक्षण से प्रोब सटीकता 36.5% से बढ़कर 98.2% हो जाती है, जो प्रभावी रूप से ब्लाइंड स्पॉट को खत्म कर देती है।
इन-डिस्ट्रीब्यूशन सटीकता: ऑग्मेंटेशन समग्र मैक्रों- $F_1$ को 0.899 से 0.899 से 0.902 तक थोड़ा सुधारता है।
ट्रांसफेरेबिलिटी: ऑगमेंटेड मॉडल बाहरी SciFact-Open बेंचमार्क पर ट्रांसफर होता है, जिससे बिना किसी SciFact ट्रेनिंग डेटा के बाइनरी मैक्रों- $F_1$ को 0.791 से 0.828 तक सुधारा जाता है।
दक्षता: ऑगमेंटेड एनकोडर कैनोनिकल-इक्विवेलेंट रोबस्टनेस पर क्लोज्ड-फ्रंटियर LLM के प्रदर्शन से मेल खाता है, जबकि यह सिम्बोलिक मॉड्यूल के बिना किसी इन्फरेंस कॉस्ट के स्थानीय रूप से चलता है।

नकारात्मक परिणाम

पेपर यह प्रदर्शित करता है कि सिम्बोलिक फीचर्स को इनपुट के रूप में जोड़ने या सिम्बोलिक वेरिफायर को शोर वाले टीचर के रूप में उपयोग करने से प्रदर्शन घट जाता है। यह पुष्टि करता है कि सिम्बोलिक और न्यूरल घटकों को एकीकृत करने के लिए ट्रेनिंग-टाइम ऑग्मेंटेशन ही सही एकीकरण बिंदु है।

महत्व और दावे

पेपर दावा करता है कि फैक्ट-चेकिंग में सिम्बोलिक और लर्नड कंपोनेंट्स को एकीकृत करने के लिए ट्रेनिंग-टाइम ऑग्मेंटेशन ही सही तंत्र है। सिम्बोलिक वेरिफायर से लेबल-संरक्षण करने वाले रीराइट नियमों को व्युत्पन्न करके, लेखक प्रदर्शित करते हैं कि:

ब्लाइंड स्पॉट्स संरचनात्मक हैं: कैनोनिकल इक्विवेलेंट्स को पहचानने में विफलता न्यूरल एनकोडर्स की एक विशिष्ट संरचनात्मक कमी है, न कि सामान्य ज्ञान की कमी।
ऑग्मेंटेशन एनसेम्बलिंग से बेहतर है: ट्रेनिंग के दौरान सिम्बोलिक ज्ञान को इंजेक्ट करना (डेटा जनरेशन के माध्यम से) इन्फरेंस या फीचर स्तर पर सिम्बोलिक और न्यूरल आउटपुट को मिलाने की तुलना में अधिक प्रभावी है।
रोबस्टनेस ट्रांसफर करने योग्य है: संख्यात्मक सतहों (numerical surfaces) को कैनोनिकल बनाने की क्षमता एक सामान्य क्षमता है जो बाहरी बेंचमार्क पर प्रदर्शन में सुधार करती है, जिससे पता चलता है कि सिम्बोलिक ऑग्मेंटेशन एक विशिष्ट डेटासेट पर ओवरफिट होने के बजाय एक मौलिक रीजनिंग कौशल विकसित करता है।

यह कार्य एक पाँच-वर्ग टैक्सोनॉमी, एक उच्च-गुणवत्ता वाला बेंचमार्क, और एक फ्रेमवर्क प्रदान करता है जो छोटे, कुशल एनकोडर्स को वैज्ञानिक फैक्ट-चेकिंग कार्यों पर बड़े मॉडल्स की मजबूती के बराबर लाता है।