🤖 AI

The Faithfulness Gap: Certifying Semantic Equivalence Between Natural-Language and Formal Mathematical Statements

यह शोधपत्र द्विदिश प्रमाणिकता फिंगरप्रिंटिंग (BPF) को प्रस्तुत करता है, जो प्राकृतिक-भाषा जांचों (natural-language probes) के विरुद्ध अपने तार्किक परिणाम पड़ोस (logical consequence neighborhoods) की तुलना करके ऑटो-फॉर्मलाइज्ड गणितीय कथनों की निष्ठा (faithfulness) को प्रमाणित करने वाला एक ढांचा है, जिससे काउंटरफैक्चुअल प्रोब जनरेशन (Counterfactual Probe Generation) और फेथफुलनेस-गाइडेड डिकोडिंग (Faithfulness-Guided Decoding) जैसे नवीन घटकों के माध्यम से सिमेंटिक ड्रिफ्ट (semantic drift) को महत्वपूर्ण रूप से कम किया जाता है।

मूल लेखक: Noor Islam S. Mohammad, Tamim Sheikh

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Noor Islam S. Mohammad, Tamim Sheikh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक अनुवादक हैं जो एक जटिल गणितीय विचार को, जो सामान्य अंग्रेजी में लिखा गया है, कंप्यूटर प्रूफ सिस्टम (जैसे Lean 4) की सख्त और कठोर भाषा में बदलने की कोशिश कर रहे हैं। लक्ष्य यह सुनिश्चित करना है कि कंप्यूटर वाला संस्करण बिल्कुल वही अर्थ दे जो मानव वाला संस्करण देता है।

लेखक एक बड़ी समस्या की पहचान करते हैं: "फिथफुलनेस गैप" (Faithfulness Gap - निष्ठा का अंतर)।

समस्या: "वेल-टाइप्ड" (Well-Typed) वाला झूठ

वर्तमान में, जब कंप्यूटर गणित का अनुवाद करते हैं, तो वे दो चीजें जाँचते हैं:

क्या यह सही दिखता है? (क्या कोड बिना किसी त्रुटि के संकलित/compile होता है?)
क्या इसे सिद्ध किया जा सकता है? (क्या कंप्यूटर उत्तर तक पहुँचने के लिए एक तार्किक मार्ग खोज सकता है?)

लेखक कहते हैं कि यह पर्याप्त नहीं है। एक कंप्यूटर एक ऐसा कथन उत्पन्न कर सकता है जो व्याकरणिक रूप से पूर्ण और सिद्ध करने योग्य हो, लेकिन फिर भी वह गलत हो सकता है। यह उस प्रमेय (theorem) से थोड़ा अलग हो सकता है जिसे मानव ने वास्तव में इरादा किया था।

उपमा: कल्पना कीजिए कि आपने एक शेफ से "स्पाइसी चिकन डिश" बनाने के लिए कहा।

शेफ आपके लिए एक व्यंजन लाता है जो पूरी तरह से पका हुआ है (यह "टाइपचेक" होता है)।
यह स्वादिष्ट और खाने के लिए सुरक्षित है (यह "सिद्ध करने योग्य" है)।
लेकिन यह वास्तव में चिकन करी है, न कि वह स्पाइसी ग्रिल्ड चिकन जो आपने माँगा था।
व्यंजन वैध है, लेकिन यह वह नहीं है जो आप चाहते थे। यही वह "फिथफुलनेस गैप" है।

समाधान: "फिंगरप्रिंट" टेस्ट

इसे ठीक करने के लिए, लेखकों ने बाइडायरेक्शनल प्रोवेबिलिटी फिंगरप्रिंटिंग (BPF) नामक एक प्रणाली बनाई। केवल यह जाँचने के बजाय कि कोड काम करता है या नहीं, वे यह जाँचते हैं कि क्या अर्थ मेल खाता है।

यह कैसे काम करता है (डिटेक्टिव उपमा):
कल्पना कीजिए कि मूल अंग्रेजी वाक्य एक संदिग्ध है, और कंप्यूटर का अनुवाद संदिग्ध का एक बहाना (alibi) है।

प्रोब्स (Probes): सिस्टम मूल वाक्य के आधार पर "क्या होगा अगर" वाले प्रश्नों की एक सूची तैयार करता है।
- उदाहरण: "यदि मूल कथन सत्य है, तो क्या यह निहित करता है कि X सत्य है?"
- उदाहरण: "यदि Y सत्य है, तो क्या यह मूल कथन को सत्य होने के लिए मजबूर करता है?"
फिंगरप्रिंट: सिस्टम मूल वाक्य और कंप्यूटर अनुवाद दोनों को इन प्रश्नों के विरुद्ध जाँचता है।
- यदि कंप्यूटर अनुवाद एक ऐसे प्रश्न का उत्तर "हाँ" देता है जिसका मूल वाक्य "नहीं" कहता है (या इसके विपरीत), तो उनके "फिंगरप्रिंट" अलग होते हैं।
- यदि उनके फिंगरप्रिंट पूरी तरह से मेल खाते हैं, तो वे अर्थ संबंधी रूप से समान (semantically equivalent) हैं।

चार ड्रिफ्ट्स (The Four Drifts - विचलन के वर्ग)

लेखक चार विशिष्ट तरीकों की पहचान करते हैं जिनसे एक अनुवाद, ठीक दिखने के बावजूद, सत्य से भटक (drift) सकता है:

क्वांटिफायर स्वैपिंग (Quantifier Swapping): "प्रत्येक व्यक्ति के लिए, एक टोपी है" को "प्रत्येक व्यक्ति के लिए एक ही टोपी है" के साथ मिला देना। (एक सूक्ष्म लेकिन बहुत बड़ा अंतर)।
हाइपोथीसिस ओमिशन (Hypothesis Omission): किसी नियम को भूल जाना। (जैसे, "सभी पक्षी उड़ते हैं" बनाम "सभी पक्षी उड़ते हैं सिवाय पेंगुइन के")।
कन्क्लूजन जनरलाइजेशन (Conclusion Generalization): निष्कर्ष को बहुत व्यापक बना देना। (जैसे, "सभी वर्ग आयत हैं" सिद्ध करना जब आपको केवल यह सिद्ध करना था कि "यह विशिष्ट आकार एक आयत है")।
टाइप कोएर्शन (Type Coercion): संख्याओं या वस्तुओं की श्रेणी को चुपचाप बदल देना (जैसे, एक विशिष्ट संख्या को एक सामान्य चर/variable के रूप में मानना)।

नए उपकरण

इस फिंगरप्रिंटिंग को बेहतर बनाने के लिए, लेखकों ने चार स्मार्ट फीचर्स जोड़े हैं:

काउंटरफैक्चुअल प्रोब जनरेशन (CPG): यादृच्छिक (random) प्रश्न पूछने के बजाय, सिस्टम विशेष रूप से ऊपर बताए गए चार प्रकार की त्रुटियों को पकड़ने के लिए डिज़ाइन किए गए "ट्रिकी" प्रश्न पूछता है। यह एक ऐसे जासूस की तरह है जो जानता है कि संदिग्ध किस तरह का झूठ बोलने की संभावना रखता है और उसे उजागर करने के लिए सही प्रश्न पूछता है।
इक्विवेलेंस स्पेक्ट्रम (The Equivalence Spectrum): साधारण "पास/फेल" (बाइनरी) के बजाय, सिस्टम 0 से 1 तक का स्कोर देता है। यह उन मामलों को पकड़ने में मदद करता है जो "काफी हद तक सही" हैं लेकिन जिन्हें मानवीय जांच की आवश्यकता है, बजाय इसके कि उन्हें सीधे खारिज कर दिया जाए।
एडैप्टिव बजट एलोकेशन (APBA): हर एक प्रश्न की जाँच करने में समय लगता है। यह टूल एक स्मार्ट मैनेजर की तरह है जो यह तय करता है कि कौन से प्रश्न झूठ को उजागर करने की सबसे अधिक संभावना रखते हैं और अपना ध्यान और समय वहीं केंद्रित करता है, जिससे प्रयास बचता है।
फिथफुलनेस-गाइडेड डिकोडिंग (FGD): यह एक फीडबैक लूप है। यदि सिस्टम कोई गलती पकड़ता है, तो यह AI अनुवादक को बताता है, "हे, आपने यह विशिष्ट त्रुटि की है; फिर से प्रयास करें।" इससे AI भविष्य में बेहतर अनुवाद लिखना सीखता है।

परिणाम

लेखकों ने इसका परीक्षण एक नए डेटासेट पर किया जिसे उन्होंने DRIFTBENCH (ज्ञात त्रुटियों के साथ 2,183 गणितीय समस्याओं का संग्रह) नाम दिया है।

पुराने तरीके (कोड कंपाइल होता है या नहीं यह देखना या मानक AI जजों का उपयोग करना) त्रुटियों के लगभग 41% से 63% को पकड़ पाते थे।
नया BPF सिस्टम 89.6% त्रुटियों को पकड़ लेता है और शायद ही कभी अच्छे अनुवादों को गलत बताता है (केवल 3% गलत अलार्म)।
जब इसका उपयोग AI को अपनी गलतियों को फिर से लिखने में मदद करने के लिए किया गया, तो इसने त्रुटि दर को लगभग आधे (47%) तक कम कर दिया।

सारांश

लेखक तर्क देते हैं कि गणित में AI के वास्तव में भरोसेमंद होने के लिए, हम केवल यह जाँच नहीं सकते कि कोड चलता है या नहीं। हमें यह सत्यापित करना चाहिए कि अर्थ कहीं भटक तो नहीं गया है। उनका नया "फिंगरप्रिंट" सिस्टम एक कठोर गुणवत्ता नियंत्रण निरीक्षक के रूप में कार्य करता है, जो यह सुनिश्चित करने के लिए स्मार्ट प्रश्नों का उपयोग करता है कि कंप्यूटर का गणित बिल्कुल वही अर्थ दे जो मानव ने चाहा था।

तकनीकी सारांश: LLM ऑटोफॉर्मलाइजेशन में फेथफुलनेस गैप (Faithfulness Gap)

1. समस्या की परिभाषा: फेथफुलनेस गैप (The Faithfulness Gap)

आधुनिक ऑटोफॉर्मलाइजेशन सिस्टम, जो प्राकृतिक भाषा (NL) के गणित को औपचारिक प्रूफ़ असिस्टेंट (जैसे Lean 4, Isabelle/HOL) में अनुवादित करते हैं, वर्तमान में अनुवाद की तरलता (fluency) से नहीं बल्कि फेथफुलनेस (faithfulness) द्वारा बाधित हैं। जबकि एक जनरेट किया गया औपचारिक कथन सिंटैक्टिक रूप से सुव्यवस्थित (typecheck) और यहाँ तक कि सिद्ध करने योग्य भी हो सकता है, वह स्रोत NL कथन से अर्थतः भिन्न (semantically distinct) हो सकता है।

लेखक इसे फेथफुलनेस गैप के रूप में पहचानते हैं। कोड के विपरीत, जहाँ यूनिट टेस्ट एक निष्पादन योग्य ओरेकल (executable oracle) प्रदान करते हैं, गणितीय औपचारिकीकरण (formalization) में NL (जो गूढ़ परंपराओं के तहत व्याख्यायित होता है) और औपचारिक तर्क (जो डिपेंडेंट टाइप थ्योरी के तहत व्याख्यायित होता है) के बीच एक सीधा सेतु बनाने का अभाव है। मानक मूल्यांकन मेट्रिक्स—जैसे कि संदर्भ के विरुद्ध BLEU स्कोर, विशेषज्ञ स्पॉट चेक, या डाउनस्ट्रीम प्रूवर सफलता—उन "घातक" विफलताओं का पता लगाने में विफल रहते हैं जहाँ फॉर्मलाइजेशन तरल और सिद्ध करने योग्य तो है, लेकिन अर्थतः गलत है।

यह शोध पत्र इस समस्या को एक इंटरप्रिटेशन डिस्ट्रीब्यूशन ( $D_N$ ) के माध्यम से औपचारिक रूप देता है, जो उन औपचारिक कथनों के सेट का प्रतिनिधित्व करता है जिन्हें सक्षम गणितज्ञ दिए गए NL कथन $N$ को व्यक्त करने के रूप में स्वीकार करेंगे। एक कैंडिडेट फॉर्मलाइजेशन $F$ , $\epsilon$ -फेथफुल है यदि यह $D_N$ के $1-\epsilon$ कथनों के प्रमाणतः समतुल्य है। लेखक अर्थ संबंधी विचलन (semantic drift) को चार मानक वर्गों में वर्गीकृत करते हैं:

$\Delta\forall$ (क्वांटिफायर इनवर्जन): क्वांटिफायर के क्रम को बदलना (जैसे, $\forall x \exists y$ बनाम $\exists y \forall x$ )।
$\Delta H$ (हाइपोथीसिस ओमिशन): किसी पूर्वधारणा (premise) को छोड़ देना, जिससे औपचारिक कथन इच्छित कथन की तुलना में अधिक सशक्त बन जाता है।
$\Delta C$ (कन्क्लूजन जनरलाइजेशन): निष्कर्ष को सशक्त बनाना ताकि $F \Rightarrow N$ हो, लेकिन $N \not\Rightarrow F$ हो।
$\Delta T$ (टाइप कोअर्सन): प्रकारों (types) का मौन पुन: टैगिंग (जैसे, $\mathbb{R} \to \mathbb{Q}$ ), जो अक्सर सिंटैक्टिक रूप से पता लगाने में सबसे कठिन होता है।

2. कार्यप्रणाली: बाइडायरेक्शनल प्रूवेबिलिटी फिंगरप्रिंटिंग (BPF)

मुख्य योगदान बाइडायरेक्शनल प्रूवेबिलिटी फिंगरप्रिंटिंग (BPF) है, जो एक रेफरेंस-फ्री फ्रेमवर्क है जो 'कन्सीक्वेंस नेबरहुड्स' (consequence neighborhoods) की तुलना करके फेथफुलनेस को प्रमाणित करता है।

2.1. मुख्य तंत्र

BPF इस अंतर्दृष्टि पर कार्य करता है कि किसी कथन का अर्थ इस बात से परिभाषित होता है कि वह क्या निहित (imply) करता है और क्या उसे निहित करता है।

फॉरवर्ड फिंगरप्रिंट ( $\Phi^+_F$ ): कैंडिडेट $F$ द्वारा निहित प्रोब्स (probes) का सेट।
बैकवर्ड फिंगरप्रिंट ( $\Phi^-_F$ ): वे प्रोब्स जो $F$ को निहित करते हैं।
समतुल्यता (Equivalence): दो कथन तब अर्थतः समतुल्य होते हैं जब पर्याप्त समृद्ध प्रोब्स के सेट पर उनके फॉरवर्ड और बैकवर्ड फिंगरप्रिंट मेल खाते हैं।

पाइपलाइन में शामिल हैं:

प्रोब जनरेशन: NL कथन $N$ से अर्थ संबंधी प्रोब्स ( $P$ ) का संश्लेषण करना।
ऑटोफॉर्मलाइजेशन: इन प्रोब्स को औपचारिक कथनों में परिवर्तित करना।
एंटेलमेंट चेकिंग: $F$ और प्रोब्स के बीच एंटेलमेंट संबंधों की गणना करने के लिए एक प्रूफ़ असिस्टेंट (Lean 4 + mathlib4) का उपयोग एक ओरेकल के रूप में करना।
फिंगरप्रिंट कंपैरिजन: कैंडिडेट के फिंगरप्रिंट की $N$ से प्राप्त अनुमानित फिंगरप्रिंट के विरुद्ध तुलना करना।

2.2. प्रमुख घटक

यह फ्रेमवर्क डिटेक्शन और दक्षता को बढ़ाने के लिए चार नवीन घटकों को पेश करता है:

काउंटरफैक्चुअल प्रोब जनरेशन (CPG):
जेनेरिक सैंपलिंग के बजाय, CPG एक कंट्रास्टिव प्रक्रिया का उपयोग करता है। यह प्रत्येक चार ड्रिफ्ट क्लास (जैसे, क्वांटिफायर बदलकर) के लिए यांत्रिक रूप से "ड्रिफ्टेड ट्विन्स" ( $N^D$ ) उत्पन्न करता है। इसके बाद एक LLM को ऐसे प्रोब्स उत्पन्न करने के लिए प्रॉम्प्ट किया जाता है जो विशेष रूप से $N$ को $N^D$ से अलग करते हों। यह उन विशिष्ट विफलता मोडों को लक्षित करता है जिन्हें सर्टिफायर का पता लगाना चाहिए।
इक्विवेलेंस स्पेक्ट्रम ( $E(F, N)$ ):
भंगुर बाइनरी वर्डिक्ट (Faithful/Drifted) के स्थान पर $[0, 1]$ में एक निरंतर स्कोर का उपयोग करना। यह स्कोर विशेषज्ञ एनोटेशन के विरुद्ध कैलिब्रेटेड है जो तीन निर्णय क्षेत्रों को परिभाषित करता है:
- ACCEPT: $E \ge 0.93$
- REVIEW: $0.78 \le E < 0.93$ (मानवीय ट्राइएज की आवश्यकता)
- REJECT: $E < 0.78$
एडाप्टिव प्रोब बजट एलोकेशन (APBA):
एक सूचना-सैद्धांतिक राउटर जो सीमित "टैक्टिक बजट" (समय/लागत) को गतिशील रूप से आवंटित करता है। APBA उन प्रोब्स का चयन करता है जो ड्रिफ्ट स्टेटस के संबंध में एंट्रॉपी की अपेक्षित कमी को अधिकतम करते हैं, न कि यूनिफॉर्म सैंपलिंग करते हैं। यह काफी कम प्रोब्स के साथ समान डिटेक्शन सटीकता प्राप्त करता है।
फेथफुलनेस-गाइडेड डिकोडिंग (FGD):
एक फीडबैक लूप जहाँ BPF स्कोर का उपयोग ऑटोफॉर्मलाइजेशन प्रक्रिया के दौरान रिवॉर्ड सिग्नल के रूप में किया जाता है। एक सैंपल-एंड-रैंक सेटअप में, कैंडिडेट को BPF द्वारा स्कोर किया जाता है। यदि शीर्ष कैंडिडेट "REVIEW" या "REJECT" ज़ोन में आते हैं, तो उच्चतम स्कोरिंग "विटनेस प्रोब" (वह विशिष्ट प्रोब जिसने ड्रिफ्ट को उजागर किया) को त्रुटि को सुधारने के लिए LLM को इन-कॉन्टेक्स्ट हिंट के रूप में वापस भेजा जाता है।

3. सैद्धांतिक गारंटी

शोध पत्र दो मुख्य सैद्धांतिक परिणाम प्रदान करता है:

ड्रिफ्ट डिटेक्शन थ्योरम: किसी विशिष्ट ड्रिफ्ट क्लास $D$ के लिए, यह सिद्ध करता है कि यदि प्रोब जनरेटर में एक गैर-शून्य "विटनेसबिलिटी रेट" ( $\alpha$ ) है, तो BPF $k \ge \frac{1}{\alpha} \log(1/\delta)$ के प्रोब बजट का उपयोग करके $1-\delta$ प्रायिकता के साथ ड्रिफ्ट का पता लगा सकता है।
PAC-Faithfulness: यह स्थापित करता है कि एक NL कथन का इक्विवेलेंस क्लास $O(\log(1/\delta)/\epsilon)$ प्रोब्स से सीखा जा सकता है, यह मानते हुए कि प्रोब डिस्ट्रीब्यूशन किसी भी सुलभ ड्रिफ्ट को विटनेस कर सकता है।

लेखक सीमाओं को भी स्वीकार करते हैं: BPF कन्वेंशन ड्रिफ्ट (जहाँ नोटेशन बदलता है लेकिन तार्किक सामग्री समान रहती है) का पता नहीं लगा सकता है और यह प्रूफ़ ओरेकल की पूर्णता (completeness) पर निर्भर करता है (अपूर्ण प्रमाण गलत नकारात्मक/false negatives की ओर ले जा सकते हैं)।

4. प्रयोगात्मक परिणाम

लेखकों ने छह गणितीय उप-क्षेत्रों में नियंत्रित ड्रिफ्ट लेबल के साथ 2,183 NL/Lean 4 जोड़ों का बेंचमार्क DRIFTBENCH जारी किया है।

डिटेक्शन प्रदर्शन:

BPF + CPG 3.0% फॉल्स-पॉजिटिव रेट पर 89.6% ड्रिफ्टेड फॉर्मलाइजेशन का पता लगाता है।
यह बेसलाइन्स को काफी पीछे छोड़ देता है:
- Typecheck केवल: 11.4% डिटेक्शन।
- Provability (unprovable flag): 41.2% डिटेक्शन।
- LLM-judge (डायरेक्ट फेथफुलनेस चेक): 63.3% डिटेक्शन।
- Back-translation: 58.9% डिटेक्शन।
APBA यूनिफॉर्म सैंपलिंग की तुलना में डिटेक्शन दरों को बनाए रखते हुए कम्प्यूटेशनल लागत (वॉल-क्लॉक टाइम) को 3.2× कम कर देता है।

FGD प्रभाव:
एक स्टेट-ऑफ-द-आर्ट ऑटोफॉर्मलाइज़र पर पोस्ट-प्रोसेसिंग स्टेप के रूप में लागू होने पर, FGD ने ड्रिफ्टेड स्टेटमेंट्स की दर को 19.4% से घटाकर 10.3% कर दिया (एक 47% सापेक्ष कमी), मुख्य रूप से हाइपोथीसिस ओमिशन और कन्क्लूजन जनरलाइजेशन त्रुटियों पर पुनः प्रॉम्प्टिंग करके।

5. महत्व और दावे

शोध पत्र का दावा है कि फेथफुलनेस गैप पूर्ण गणितीय लाइब्रेरी के पैमाने पर विश्वसनीय ऑटोफॉर्मलाइजेशन के लिए प्राथमिक बाधा है। इस कार्य का महत्व निम्नलिखित में निहित है:

रेफरेंस-फ्री सर्टिफिकेशन: यह बिना किसी "गोल्ड स्टैंडर्ड" फॉर्मलाइजेशन के फेथफुलनेस को सत्यापित करने का एक तरीका प्रदान करता है, जो अक्सर उपलब्ध नहीं होता है।
अर्थ का संचालन (Operationalizing Semantics): यह मूल्यांकन प्रतिमान को सिंटैक्टिक ओवरलैप (BLEU) या प्रूवेबिलिटी से बदलकर इन्फेरेंशियल सेमantics (कन्सीक्वेंस नेबरहुड्स) की ओर ले जाता है, जो प्रूफ़-थ्योरेटिक सेमantics के अनुरूप है।
स्केलेबिलिटी: APBA और इक्विवेलिवेंस स्पेक्ट्रम को पेश करके, यह मानव विशेषज्ञ समीक्षा को बदलने के बजाय उसे प्राथमिकता देने के लिए एक व्यावहारिक, लागत प्रभावी ट्राइएज टूल प्रदान करता है।
बेंचमार्किंग: DRIFTBENCH को नियंत्रित ड्रिफ्ट लेबल के साथ पहला बेंचमार्क बनाया गया है, जो फेथफुलनेस के व्यवस्थित मूल्यांकन को सक्षम बनाता है, न कि केवल प्रूवर क्षमता को।

लेखक BPF को एक पूर्ण समाधान के रूप में नहीं, बल्कि फेथफुलनेस गैप को बंद करने की दिशा में एक ठोस कदम के रूप में देखते हैं (विशेष रूप से कन्वेंशन ड्रिफ्ट के संबंध में अपनी सीमा को नोट करते हुए), जो AI-जनरेटेड औपचारिक गणित को कठोर लाइब्रेरी में सुरक्षित रूप से एकीकृत करने में सक्षम बनाता है।