💬 NLP

Geometry of Reason: Spectral Signatures of Valid Mathematical Reasoning

यह शोध पत्र एक प्रशिक्षण-मुक्त स्पेक्ट्रल ग्राफ विश्लेषण पद्धति प्रस्तुत करता है जो विशिष्ट अटेंशन मैट्रिक्स हस्ताक्षरों को निकालकर भाषा मॉडलों में वैध गणितीय तर्क की पहचान करती है, जो बिना किसी सीखे गए मापदंडों के उच्च वर्गीकरण सटीकता और प्रमाण खोज (प्रूफ सर्च) में व्यावहारिक उपयोगिता प्रदर्शित करती है।

मूल लेखक: Valentin Noël

प्रकाशित 2026-06-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Valentin Noël

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Geometry of Reason: Spectral Signatures of Valid Mathematical Reasoning" का सरल भाषा और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।

मुख्य समस्या: "दिखावा करने तक सफल होने" (Fake It Till You Make It) की दुविधा

कल्पना कीजिए कि आप एक गणित के टेस्ट को ग्रेड दे रहे हैं। एक छात्र एक प्रमाण (proof) जमा करता है जो एकदम सही दिखता है। इसमें सही प्रतीक हैं, सही संरचना है, और अंत में "Q.E.D." लिखा है। लेकिन आप यह कैसे जानेंगे कि छात्र ने वास्तव में तर्क को समझा है, या उसने केवल शब्दों के एक ऐसे पैटर्न को रट लिया है जो गणित जैसा दिखता है?

यही समस्या लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ है। कभी-कभी वे पैटर्न का अनुमान लगाकर (जैसे किसी वाक्यांश को दोहराने वाले तोते की तरह) सही दिखने वाला गणित उत्पन्न करते हैं, और कभी-कभी वे वास्तव में तर्क के माध्यम से सोचते हैं। इसे जाँचने के वर्तमान तरीके त्रुटिपूर्ण हैं:

कंप्यूटर चेकर: ये सख्त व्याकरण पुलिस की तरह हैं। वे एक सही प्रमाण को केवल एक छोटी सी टाइपो या एक गायब लाइब्रेरी फ़ाइल के कारण खारिज कर सकते हैं, भले ही तर्क सही हो।
AI जज: ये अन्य छात्रों की तरह हैं जो काम को ग्रेड देने की कोशिश कर रहे हैं। वे पक्षपाती हो सकते हैं, उन्हें प्रशिक्षित करना महंगा हो सकता है, और वे वास्तविक समझ के बजाय केवल "ट्रिक्स" को पहचानने में माहिर हो सकते हैं।

समाधान: विचार की "संगीत" को सुनना

लेखक यह जाँचने का एक नया तरीका प्रस्तावित करते हैं कि क्या एक AI वास्तव में तर्क कर रहा है। अंतिम उत्तर देखने के बजाय, वे प्रमाण लिखते समय AI के 'अटेंशन' (attention) की आंतरिक संरचना को देखते हैं।

AI के मस्तिष्क को एक शहर के रूप में सोचें।

टोकन (शब्द/प्रतीक) इमारतें हैं।
अटेंशन (Attention) इमारतों के बीच यातायात का प्रवाह है। जब AI "2 + 2" के बारे में सोच रहा होता है, तो वह संख्याओं और प्लस चिह्न पर ध्यान देता है। यह कनेक्शनों का एक नेटवर्क बनाता है।

लेखक इस नेटवर्क को एक वाद्य यंत्र की तरह मानते हैं। वे इस नेटवर्क के "आकार" का विश्लेषण करने के लिए स्पेक्ट्रल ग्राफ थ्योरी (Spectral Graph Theory) नामक गणित की एक शाखा का उपयोग करते हैं। जिस तरह एक वायलिन और एक ट्रम्पेट के अलग-अलग ध्वनि हस्ताक्षर (spectra) होते हैं, उसी तरह एक "वैध" गणितीय विचार का एक वैध विचार की तुलना में अलग स्पेक्ट्रल सिग्नेचर होता है।

चार "स्वास्थ्य जाँच" (Health Checks)

शोधकर्ताओं ने AI के आंतरिक यातायात नेटवर्क से चार विशिष्ट माप निकाले हैं। इन्हें AI के तर्क के लिए चार महत्वपूर्ण संकेतों के रूप में समझें:

फिएडलर वैल्यू (Fiedler Value - पुल की मजबूती): यह मापता है कि पूरा शहर कितना जुड़ा हुआ है। एक वैध प्रमाण में तर्क के सभी हिस्सों को जोड़ने वाले मजबूत पुल होते हैं। एक भ्रमित प्रमाण में टूटे हुए पुल या अलग-थलग द्वीप होते हैं।
HFER (High-Frequency Energy Ratio - "शोर" का स्तर): यह मापता है कि सिग्नल कितना "उछल कूद" (jumpy) वाला है। वैध तर्क सुचारू और प्रवाहमय (कम आवृत्ति) होता है। अवैध तर्क ऊबड़-खाबड़, शोर भरा और अनिश्चित (उच्च आवृत्ति) होता है।
स्पेक्ट्रल एंट्रॉपी (Spectral Entropy - विचारों की विविधता): यह मापता है कि अटेंशन कितना फैला हुआ है। वैध तर्क कनेक्शनों के एक विविध सेट का उपयोग करता है। अवैध तर्क दोहराव वाले, रूढ़िबद्ध लूपों में फंस सकता है।
स्मूथनेस (Smoothness - प्रवाह): यह इस बात का एक सामान्य स्कोर है कि सूचना एक टोकन से दूसरे टोकन तक कितनी सहजता से बहती है। उच्च स्मूथनेस का अर्थ है कि AI सुसंगत रूप से सोच रहा है।

बड़ी खोज: "प्लेटोनिक वैधता" (Platonic Validity)

यहाँ सबसे आश्चर्यजनक हिस्सा है। लेखकों ने पाया कि उनकी विधि लॉजिकल कोहेरेंस (जिसे वे "प्लेटोनिक वैधता" कहते हैं) का पता लगाती है, न कि केवल कंपाइलर एक्सेप्टेंस (Compiler Acceptance) का।

कंपाइलर वैधता: क्या कंप्यूटर प्रोग्राम ने कोड को स्वीकार किया? (अक्सर तकनीकी गड़बड़ियों जैसे टाइमआउट के कारण "नहीं" होता है)।
प्लेटोनिक वैधता: क्या तर्क वास्तव में सही है?

स्पेक्ट्रल विधि अक्सर कहती थी, "यह प्रमाण तार्किक रूप से वैध है," भले ही कंप्यूटर चेकर ने कहा हो, "अवैध (टाइमआउट)"। जब मनुष्यों ने इन मामलों की जाँच की, तो AI आमतौर पर सही था—तर्क सही था, लेकिन कंप्यूटर बहुत धीमा या बहुत सख्त था। इसका मतलब है कि स्पेक्ट्रल सिग्नेचर तर्क की सच्चाई को पकड़ता है, न कि केवल उसके सिंटैक्स को।

क्या यह काम करता है?

हाँ, और बहुत अच्छी तरह से।

सटीकता: इन मापों पर एक सरल थ्रेशोल्ड (सीमा) निर्धारित करके, वे प्रमाणों को वैध या अवैध के रूप में 85-96% सटीकता के साथ वर्गीकृत कर सके।
प्रशिक्षण की आवश्यकता नहीं: अन्य तरीकों के विपरीत जिन्हें सीखने के लिए हजारों लेबल किए गए उदाहरणों की आवश्यकता होती है, इस पद्धति में शून्य प्रशिक्षण की आवश्यकता होती है। यह AI की आंतरिक स्थिति पर आधारित एक शुद्ध गणितीय गणना है।
सार्वभौमिक: यह चार अलग-अलग कंपनियों के सात अलग-अलग AI मॉडलों पर काम कर गया।

"आर्किटेक्चर" का मोड़

पत्र में यह भी पाया गया कि AI आर्किटेक्चर का प्रकार यह बदल देता है कि कौन सा "महत्वपूर्ण संकेत" सबसे अधिक महत्वपूर्ण है।

ग्लोबल अटेंशन मॉडल्स (जैसे Llama): ये मॉडल एक बार में पूरे वाक्य को देखते हैं। इनके लिए, HFER (शोर का स्तर) सबसे अच्छा संकेतक है। वैध प्रमाण शांत और सुचारू होते हैं; अवैध प्रमाण शोर भरे होते हैं।
स्लाइडिंग विंडो मॉडल्स (जैसे Mistral): ये मॉडल एक समय में केवल टेक्स्ट के एक छोटे हिस्से को देखते हैं। इनके लिए, स्मूथनेस (Smoothness) सबसे अच्छा संकेतक है।

यह ऐसा है जैसे: यदि आप एक सिम्फनी (Global) सुन रहे हैं, तो आप उसकी सद्भाव (harmony) से निर्णय लेते हैं। यदि आप एक ड्रम सोलो (Sliding Window) सुन रहे हैं, तो आप उसके लय (rhythm) से निर्णय लेते हैं।

यह क्यों मायने रखता है

यह विधि हमें निम्नलिखित कार्य करने की अनुमति देती है:

तर्क को तुरंत सत्यापित करना: हम यह जाँच सकते हैं कि क्या AI "सही सोच" रहा है, इसके लिए धीमे कंप्यूटर प्रूफ-चेकर की प्रतीक्षा किए बिना।
AI सर्च में सुधार करना: जब एक AI 16 अलग-अलग प्रमाण उत्पन्न करता है, तो हम सबसे अच्छे को चुनने के लिए इस स्पेक्ट्रल स्कोर का उपयोग कर सकते हैं। शोध पत्र दिखाता है कि यह एक सही प्रमाण खोजने की सफलता दर में सुधार करता है।
AI को समझना: यह हमें AI के विचार की "ज्यामिति" में एक खिड़की प्रदान करता है, जो दिखाता है कि वैध तर्क का एक विशिष्ट, मापने योग्य आकार होता है।

संक्षेप में, यह शोध पत्र दिखाता है कि वास्तविक तर्क का एक आकार होता है। AI के अटेंशन की ज्यामिति को मापकर, हम बता सकते हैं कि वह वास्तव में समस्या को हल कर रहा है या केवल दिखावा कर रहा है।

तकनीकी सारांश: तर्क की ज्यामिति: वैध गणितीय तर्क के स्पेक्ट्रल सिग्नेचर

समस्या विवरण
यह शोध पत्र इस ज्ञानमीमांसीय चुनौती को संबोधित करता है कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs) वास्तविक तार्किक तर्क कर रहे हैं या केवल परिष्कृत पैटर्न मिलान (pattern matching) कर रहे हैं। वर्तमान सत्यापन विधियाँ सीमित हैं: औपचारिक प्रूफ़ असिस्टेंट (जैसे Lean, Coq) का उपयोग करने वाली आउटपुट-आधारित सत्यापन प्रक्रियाएं तार्किक वैधता और सिंटैक्टिक स्वीकार्यता के बीच अंतर नहीं कर पाती हैं, जिससे अक्सर तकनीकी समस्याओं जैसे कि टाइमआउट या मिसिंग इम्पोर्ट्स के कारण वैध प्रूफ़ भी खारिज हो जाते हैं, जबकि सीखी गई सत्यापन विधियों के लिए पर्याप्त लेबल किए गए डेटा की आवश्यकता होती है और वे मौलिक गुणों के बजाय स्प्यूरियस सहसंबंधों (spurious correlations) को सीखने का जोखिम उठाती हैं। लेखक एक प्रशिक्षण-मुक्त (training-free), आर्किटेक्चर-जागरूक विधि की खोज कर रहे हैं जो "तर्क के भ्रम" (reasoning illusion) का पता लगा सके, जहाँ मॉडल प्रशंसनीय लेकिन त्रुटिपूर्ण तर्क प्रस्तुत करते हैं।

कार्यप्रणाली
लेखक स्पेक्ट्रल ग्राफ थ्योरी पर आधारित एक ढांचा प्रस्तावित करते हैं जो ट्रांसफॉर्मर सेल्फ-अटेंशन मैट्रिसेस को टोकन पर डायनेमिक वेटेड ग्राफ के रूप में मानता है। कार्यप्रणाली इस प्रकार है:

ग्राफ निर्माण: एक दिए गए लेयर $\ell$ और अटेंशन हेड $h$ के लिए, पोस्ट-सॉफ्टमैक्स अटेंशन मैट्रिक्स $A^{(\ell,h)}$ को एक अनडिरेक्टेड वेटेड ग्राफ बनाने के लिए सिमेट्राइज़ किया जाता है। हेड्स को अटेंशन मास वेटिंग का उपयोग करके एक ही लेयर प्रति ग्राफ में एकत्रित किया जाता है।
लैपलेसियन विश्लेषण: कॉम्बिनेटोरियल ग्राफ लैपलेसियन $L^{(\ell)} = \bar{D}^{(\ell)} - \bar{W}^{(\ell)}$ की गणना की जाती है। हिडन स्टेट मैट्रिक्स $X^{(\ell)}$ को इस ग्राफ पर एक सिग्नल के रूप में माना जाता है।
स्पेक्ट्रल डायग्नोस्टिक्स: लैपलेसियन के आइगेनडीकंपोजिशन (eigendecomposition) और हिडन स्टेट्स के ग्राफ फूरियर ट्रांसफॉर्म से चार प्रशिक्षण-मुक्त मेट्रिक्स निकाले जाते हैं:
- फिडलर वैल्यू ( $\lambda_2$ ): दूसरा सबसे छोटा आइगेनवैल्यू, जो अल्जेब्रिक कनेक्टिविटी और ग्लोबल इंफॉर्मेशन फ्लो को मापता है।
- हाई-फ्रीक्वेंसी एनर्जी रेशियो (HFER): हाई-फ्रीक्वेंसी स्पेक्ट्रल कंपोनेंट्स में सिग्नल ऊर्जा का अनुपात, जो टोकन रिप्रेजेंटेशन में अटेंशन स्ट्रक्चर के सापेक्ष "रफनेस" (roughness) या स्मूथनेस की कमी को दर्शाता है।
- स्पेक्ट्रल एंट्रॉपी: स्पेक्ट्रल मोड्स में ऊर्जा के वितरण को मापता है।
- स्मूथनेस (Smoothness): डिरिचलेट एनर्जी का एक नॉर्मलाइज्ड माप, जहाँ उच्च मान अधिक स्मूथ सिग्नल का संकेत देते हैं।
वर्गीकरण: बिना किसी पैरामीटर ट्रेनिंग के वैध और अमान्य प्रूफ़ के बीच अंतर करने के लिए इन मेट्रिक्स पर एक सिंगल-थ्रेशोल्ड क्लासिफायर लागू किया जाता है (आमतौर पर मिड-टू-लेट लेयर्स में)।

प्रमुख योगदान

प्रशिक्षण-मुक्त ढांचा: तर्क की वैधता का पता लगाने के लिए एक स्पेक्ट्रल विश्लेषण ढांचे का परिचय, जिसे किसी भी सीखे हुए पैरामीटर की आवश्यकता नहीं है, जो नेस्टेड क्रॉस-वैलिडेशन के तहत 82.8–85.9% और कैलिब्रेटेड थ्रेशोल्ड के साथ 95.6% तक सटीकता प्राप्त करता है।
क्रॉस-आर्किटेक्चर सार्वभौमिकता: सात मॉडल्स (चार आर्किटेक्चरल फैमिली: Llama, Qwen, Phi, Mistral) में स्पेक्ट्रल सिग्नेचर की सार्वभौमिकता का प्रदर्शन, जहाँ प्रभाव आकार (effect sizes $|d|$ ) 2.09 से 3.30 के बीच है और सांख्यिकीय महत्व $p < 10^{-47}$ है।
प्लेटोनिक वैधता: यह खोज कि स्पेक्ट्रल सिग्नल लॉजिकल कोहेरेंस ("प्लेटोनिक वैधता") को ट्रैक करता है न कि केवल कंपाइलर स्वीकृति को। यह विधि उन प्रूफ़्स को भी सही ढंग से पहचान लेती है जिन्हें औपचारिक प्रणालियों द्वारा तकनीकी विफलताओं (जैसे टाइमआउट) के कारण खारिज कर दिया गया था, जिसे मैनुअल ऑडिट ( $\kappa = 0.82$ ) द्वारा पुष्ट किया गया है।
आर्किटेक्चरल डिटरमिनिज्म: इस बात की पहचान कि अटेंशन मैकेनिज्म डिज़ाइन यह निर्धारित करता है कि कौन सा स्पेक्ट्रल चैनल रीजनिंग क्वालिटी को एनकोड करता है। विशेष रूप से, स्लाइडिंग विंडो अटेंशन (जो Mistral-7B में उपयोग किया जाता है) डिस्क्रिमिनेटिव फीचर को HFER (जो ग्लोबल अटेंशन मॉडल्स में प्रभावी है) से बदलकर स्मूथनेस (Smoothness) में स्थानांतरित कर देता है।

परिणाम

सांख्यिकीय महत्व: सभी सात मूल्यांकित मॉडल्स वैध और अमान्य प्रूफ़ के बीच अत्यधिक सांख्यिकीय अलगाव दिखाते हैं। सबसे बड़ा प्रभाव आकार स्मूथनेस (Smoothness) के माध्यम से Phi-3.5-mini ( $d = 3.30$ ) में देखा गया, इसके बाद फिडलर वैल्यू के माध्यम से Llama-3.2-1B ( $d = 3.02$ ) का स्थान रहा।
वर्गीकरण सटीकता: सिंगल-थ्रेशोल्ड क्लासिफायर 85.9–94.9% सटीकता प्राप्त करते हैं। यह विधि मेजॉरिटी-क्लास बेसलाइन्स से 29–38 प्रतिशत अंक बेहतर प्रदर्शन करती है।
मजबूती (Robustness): सिग्नल सभी कठिनाई स्तरों (difficulty strata) में बना रहता है, जिसमें जटिल प्रूफ़ ( $d \ge 1.31$ ) भी शामिल हैं। यह थ्रेशोल्ड परबर्बेशन के प्रति मजबूत है और प्रूफ़ की लंबाई का स्प्यूरियस प्रॉक्सी के रूप में उपयोग नहीं करता है।
सामान्यीकरण (Generalization): यह विधि MATH डेटासेट पर अनफॉर्मल चेन-ऑफ-थॉट (Chain-of-Thought) रीजनिंग पर सामान्यीकृत होती है, हालांकि इसमें प्रभाव आकार कम ( $d = 0.78$ ) हो जाता है।
डाउनस्ट्रीम उपयोगिता: बेस्ट-ऑफ-16 प्रूफ़ सर्च में ज़ीरो-शॉट रेंकर के रूप में HFER का उपयोग करने से Pass@1 में +4.4–6.6% का सुधार होता है, जो शून्य लेबल के साथ पूरी तरह से सुपरवाइज्ड प्रोब्स के AUC का 98% मैच करता है।

महत्व और व्याख्या
शोध पत्र का दावा है कि वैध गणितीय तर्क ट्रांसफॉर्मर अटेंशन में एक सुसंगत, लो-फ्रीक्वेंसी "स्पेक्ट्रल सिग्नेचर" प्रेरित करता है, जो स्मूथ और अच्छी तरह से जुड़े हुए अटेंशन ग्राफ द्वारा पहचाना जाता है। अमान्य तर्क स्पेक्ट्रल अनियमितता या "खंडित टोपोलॉजी" (fragmented topology) के रूप में प्रकट होता है। लेखक इसे एक सामान्य टोपोलॉजिकल नियम के रूप में व्याख्या करते हैं: वैध जनरेशन के लिए एक कनेक्टेड अटेंशन ग्राफ आवश्यक है, जबकि लॉजिकल विसंगतियाँ मापने योग्य स्पेक्ट्रल विच्छेदन (spectral discontinuities) पैदा करती हैं।

"कंपाइलर वैधता" और "प्लेटोनिक वैधता" के बीच का अंतर एक प्रमुख अंतर्दृष्टि है, जो यह सुझाव देता है कि स्पेक्ट्रल विश्लेषण औपचारिक सत्यापन प्रणालियों की विशिष्टताओं से स्वतंत्र होकर तर्क की अंतर्निहित तार्किक सुसंगतता का पता लगा सकता है। ग्लोबल बनाम स्लाइडिंग विंडो अटेंशन के आधार पर डोमिनेंट मेट्रिक्स में बदलाव यह संकेत देता है कि इंटरप्रिटेबिलिटी विधियों को आर्किटेक्चर-जागरूक होना चाहिए। यह कार्य स्पेक्ट्रल ग्राफ विश्लेषण को तर्क सत्यापन के लिए एक सिद्धांत-आधारित, प्रशिक्षण-मुक्त प्रिमिटिव के रूप में स्थापित करता है, जो महंगे सीखे गए वेरीफायर्स के लिए एक हल्का विकल्प प्रदान करता है।