तकनीकी सारांश: जोड़ का आकार: बड़े भाषा मॉडलों (LLMs) में अंकगणितीय ज्यामितीय संरचनाएं

1. समस्या विवरण

जटिल गणितीय तर्क बेंचमार्क (जैसे GSM8K, MATH) पर उच्च प्रदर्शन प्राप्त करने के बावजूद, बड़े भाषा मॉडल (LLMs) मौलिक एल्गोरिथम प्रिमिटिव्स, विशेष रूप से बहु-अंकों के जोड़ में आश्चर्यजनक नाजुकता प्रदर्शित करते हैं। एक केंद्रीय विरोधाभास मौजूद है: मॉडल अक्सर आंतरिक रूप से सही जानकारी को एनकोड करते हैं फिर भी उसे आउटपुट करने में विफल रहते हैं, और ऑपरेंड्स की संख्या बढ़ने पर बार-बार "ऑफ-बाय-वन" (एक अंक की चूक) त्रुटियां करते हैं। पिछले शोध ने प्रतीकात्मक हेरफेर (symbolic manipulation) या ज्यामितीय निरूपणों के माध्यम से इन व्यवहारों को मॉडल करने का प्रयास किया है, लेकिन विशिष्ट आउटपुट विफलताओं (जैसे कैरी प्रोपेगेशन त्रुटियां) और आंतरिक सक्रियण ज्यामिति (activation geometries) के बीच सटीक तंत्र अभी भी अस्पष्ट है। इसके अलावा, जबकि हल्के प्रोब्स (lightweight probes) विफल होते हुए भी मॉडलों से ग्राउंड ट्रुथ को डिकोड कर सकते हैं, वह ज्यामितीय संरचना जो ग्राउंड ट्रुथ और मतिभ्रम (hallucination) को एक ही सक्रियण वेक्टर के भीतर सह-अस्तित्व में रहने देती है, उसे अभी तक पूरी तरह से स्पष्ट नहीं किया गया है।

2. कार्यप्रणाली

लेखक 10-अंकों के पूर्णांकों के 3-टर्म जोड़ करने वाले LLMs के सूक्ष्म आंतरिक निरूपणों की जांच करते हैं। यह अध्ययन UMAP (यूनिफॉर्म मैनिफोल्ड एप्रोक्सिमेशन एंड प्रोजेक्शन), प्रोबिंग और कॉज़ल इंटरवेंशन (causal intervention) को संयोजित करते हुए एक बहु-आयामी दृष्टिकोण अपनाता है:

• डेटासेट और सेटअप: Qwen3-4B मॉडल का उपयोग करते हुए, लेखकों ने 10,000 जोड़ समस्याओं का एक डेटासेट बनाया। वे प्रत्येक उत्पन्न अंक स्थिति ($p=4$, एक प्रतिनिधि मध्य स्थिति) पर अंतिम परत से हिडन स्टेट वेक्टर्स ($h_p^{(L)}$) निकालते हैं।
• ज्यामितीय दृश्यता (Geometric Visualization): उच्च-आयामी सक्रियण स्थानों को कोसाइन डिस्टेंस के साथ 2D में प्रोजेक्ट करने के लिए UMAP का उपयोग किया जाता है। दृश्यता में अंक टोकन (0–9) के लिए निश्चित "एंकर" (Anchor) वेक्टर्स शामिल हैं ताकि सिमेंटिक संदर्भ प्रदान किया जा सके।
• प्रोबिंग फ्रेमवर्क: रेसिडुअल स्ट्रीम सक्रियणों से विभिन्न असतत (discrete) और निरंतर (continuous) चरों को डिकोड करने के लिए हल्के प्रोब्स (लॉजिस्टिक्स रिग्रेशन, MLPs) को प्रशिक्षित किया गया है, जिनमें ग्राउंड ट्रुथ अंक, मॉडल आउटपुट, इनपुट कैरी, रॉ सम (Raw Sum), और एक नव-परिभाषित निरंतर चर जिसे "कैरी पोटेंशियल" (Carry Potential) कहा जाता है, शामिल हैं।
• कॉज़ल स्टीयरिंग (Causal Steering): ज्यामितीय परिकल्पनाओं को मान्य करने के लिए, लेखक पहचाने गए प्रक्षेपवक्रों (trajectories) पर स्थिर सेंट्रॉइड्स के बीच स्टीयरिंग वेक्टर्स को परिभाषित करते हैं और सक्रियणों पर हस्तक्षेप करते हैं ताकि उत्पन्न टोकन में परिवर्तन देखा जा सके।
• अनुमान-समय सुधार (Inference-Time Correction): स्थानीय (Raw Sum) और वैश्विक (Carry Potential) संकेतों के बीच तार्किक संरेखण को लागू करके त्रुटियों का पता लगाने और उन्हें सुधारने के लिए एक द्वैत-धारा स्थिरता जांच (dual-stream consistency check) विधि प्रस्तावित की गई है।

3. मुख्य निष्कर्ष और योगदान

A. आइसो-रॉ-सम प्रक्षेपव been (The Iso-Raw-Sum Trajectory - IRST)

प्राथमिक ज्यामितीय खोज आइसो-रॉ-सम प्रक्षेपवक्र (IRST) है। लेखक पहचानते हैं कि अंकगणितीय निरूपण एक पदानुक्रमित संरचना में व्यवस्थित हैं:

• मैक्रोस्कोपिक बैकबोन: निरूपण दस अलग-अलग "डिजिट बेसिन" (digit basins) में क्लस्टर किए गए हैं जो सिमेंटिक एंकरों (0–9) के आसपास केंद्रित हैं।
• माइक्रोस्कोपिक टेक्सचर: प्रत्येक बेसिन के भीतर, स्थान इनपुट कैरी अवस्था ($c_p \in \{0, 1, 2\}$) द्वारा निर्धारित समानांतर रेशों (fibers) में स्तरित है।
• प्रक्षेपवक्र परिभाषा: एक IRST ($T_r$) एक निरंतर मैनिफोल्ड है जो सभी समान रॉ सम ($r_p$) साझा करने वाले आंतरिक अवस्थाओं को जोड़ता है। ये प्रक्षेपवक्र निरंतर "धागे" के रूप में कार्य करते हैं जो आस-पास के डिजिट बेसिनों को भेदते हैं। उदाहरण के लिए, $r_p=1$ वाला एक प्रक्षेपवक्र इनपुट कैरी बढ़ने के साथ आउटपुट अंकों 1, 2 और 3 के अनुरूप स्थिर नोड्स को जोड़ता है।

B. ज्यामितीय फिसलन के रूप में अंकगणितीय त्रुटियां (Arithmetic Errors as Geometric Slippages)

अंकगणितीय त्रुटियों को यादृच्छिक शोर के रूप में नहीं, बल्कि ज्यामितीय फिसलन (Geometric Slippages) के रूप में वर्णित किया गया है।

• सही भविष्यवाणियां डिजिट बेसिनों के भीतर स्थिर नोड्स के आसपास सघन रूप से क्लस्टर होती हैं।
• त्रुटियां तब होती हैं जब सक्रियण वेक्टर एक IRST के साथ बेसिनों या रेशों के संक्रमण क्षेत्रों (transition zones) में खिसक जाता है।
• यह ड्रिफ्ट "ऑफ-बाय-वन" त्रुटियों के रूप में प्रकट होता है जहाँ मॉडल आस-पास की कैरी अवस्थाओं को भ्रमित करता है (जैसे, $c_p=0$ को $c_p=1$ समझना), जिससे निरूपण एक डिजिट बेसिन से दूसरे आस-पास के बेसिन में फिसल जाता है।

C. नॉइजी क्वांटाइजेशन मॉडल (The Noisy Quantization Model)

इन प्रक्षेपवखों की निरंतरता को समझाने के लिए, लेखक नॉइजी क्वांटाइजेशन मॉडल का प्रस्ताव करते हैं:

• निरंतर कैरी पोटेंशियल ($\Phi$): मॉडल आंतरिक रूप से एक निरंतर "कैरी पोटेंशियल" का अनुमान लगाता है, जो संदर्भ से प्राप्त कैरी सिग्नल के थ्रस्ट या मोमेंटम का प्रतिनिधित्व करता है। असतत ग्राउंड ट्रुथ कैरी इस पोटेंशियल का पूर्णांक फ्लोर है ($c_p = \lfloor \Phi \rfloor$)।
• क्वांटाइजेशन विफलता: मॉडल का आंतरिक अनुमान न्यूरल शोर ($\epsilon$) द्वारा दूषित हो जाता है। त्रुटियां तब होती हैं जब यह शोर कथित पोटेंशियल ($\hat{\Phi} = \Phi + \epsilon$) को एक पूर्णांक क्वांटाइजेशन थ्रेशोल्ड के पार धकेल देता है।
• बाथटब एरर डिस्ट्रीब्यूशन: यह तंत्र एक आवधिक "बाथटब" त्रुटि वितरण की भविष्यवाणी करता है, जहाँ त्रुटि दर पूर्णांक सीमाओं के पास स्पाइक होती है (मेटास्टेबिलिटी) और अर्ध-पूर्णांक मानों पर गायब हो जाती है (रोबस्ट प्लेटो)। अनुभवजन्य डेटा इस पैटर्न की पुष्टि करता है, जिससे मॉडल के आंतरिक संज्ञानात्मक शोर स्तर ($\sigma \approx 0.05$ 3-टर्म जोड़ के लिए) का अनुमान लगाया जा सकता है।

D. प्रोब वर्सेटिलिटी का ज्यामितीय मूल

यह पेपर एक ज्यामितीय स्पष्टीकरण प्रदान करता है कि क्यों हल्के प्रोब्स एक ही वेक्टर से विविध संकेतों (ग्राउंड ट्रुथ, मॉडल आउटपुट, कैरी) को एक साथ डिकोड कर सकते हैं। यह "प्रोब वर्सेटिलिटी" मैनिफोल्ड की टोपोलॉजिकल सेपरेबिलिटी (topological separability) का प्रत्यक्ष फलन है। रॉ सम की उच्च सेपरेबिलिटी और IRST रेशों की संरचित प्रकृति प्रोब को सह-अस्तित्व वाले गुप्त संकेतों को अलग करने की अनुमति देती है, भले ही अंतिम आउटपुट त्रुटिपूर्ण हो।

E. अनुमान-समय सुधार (Inference-Time Self-Correction)

सही गुप्त संकेतों के प्रतिधारण को मान्य करते हुए, लेखक एक द्वैत-धारा निरंतरता प्रोटोकॉल (Dual-Stream Consistency Protocol) पेश करते हैं:

1. स्थानीय गणना धारा (Raw Sum) और वैश्विक संदर्भ धारा (Carry Potential) को डिकोड करें।
2. जांचें कि क्या मॉडल का आउटपुट पोटेंशियल के पड़ोस से प्राप्त किसी भी संभावित कैरी के साथ सुसंगत है।
3. यदि असंगत है, तो अवस्था को सही मैनिफोल्ड फाइबर पर वापस प्रोजेक्ट करने के लिए आउटपुट लॉजिट्स को ओवरराइड करें।
   यह विधि प्रदर्शन को महत्वपूर्ण रूप से पुनर्प्राप्त करती है (उदाहरण के लिए, Qwen3-4B पर टोकन सटीकता को 86.26% से बढ़ाकर 89.56% करना), जो पुष्टि करता कि मॉडल सही गणितीय घटकों को बनाए रखता है भले ही असतत टोकन चयन विफल हो जाए।

4. परिणाम

• दृश्यता: UMAP प्रोजेक्शन डिजिट बेसिन और स्तरित कैरी रेशों के साथ एक स्पष्ट पदानुक्रमित संरचना प्रकट करता है, जो विभिन्न मॉडलों (Qwen3-4B, Qwen3-8B, Gemma-3-4B-IT) और कार्य जटिलताओं (3-टर्म से 5-टर्म जोड़) में सुसंगत है।
• त्रुटि मॉडलिंग: नॉइजी क्वांटाइजेशन मॉडल उच्च निष्ठा ($R^2 \approx 0.80$) के साथ अनुभवजन्य त्रुटि वितरण में फिट बैठता है, त्रुटियों की आवधिक प्रकृति की सटीक भविष्यवाणी करता है।
• कॉज़ल वैलिडेशन: स्टीयरिंग प्रयोगों से पता चलता है कि IRST दिशा में निरूपणों को हिलाने से उत्पन्न अंक कात्मक रूप से बदल जाता है, जिसमें सीमा-निकट स्थितियों को फ्लिप करने के लिए स्थिर अवस्थाओं की तुलना में कम विक्षोभ (perturbations) की आवश्यकता होती है।
• सुधार प्रभावकारिता: द्वैत-धारा निरंतरता जांच ज्यामितीय फिसलन को प्रभावी ढंग से ठीक करती है, जिसमें अधिकांश सुधारा गया त्रुटि "ऑफ-बाय-वन" मामले होते हैं। एब्लेशन अध्ययन पुष्टि करते हैं कि आउटपुट गलत होने पर भी स्थानीय रॉ सम सिग्नल मजबूत रहता है, जो शोर वाले कैरी पोटेंशियल को प्राथमिक बाधा के रूप में अलग करता है।

5. महत्व और दावे

यह पेपर दावा करता है कि यह LLMs में अंकगणितीय विफलताओं के लिए एक यांत्रिक ज्यामितीय स्पष्टीकरण (mechanistic geometric explanation) प्रदान करता है, जो अंकगणित को विशुद्ध रूप से प्रतीकात्मक हेरफेर या असतत अवस्था परिवर्तनों के रूप में देखने के विचार से आगे बढ़ता है।

• एकीकृत ढांचा: यह प्रोब वर्सेटिलिटी और अंकगणितीय नाजुकता के अवलोकन को एक एकल ज्यामितीय ढांचे के तहत एकीकृत करता है जहाँ त्रुटियां मैनिफोल्ड पर निरंतर ड्रिफ्ट हैं।
• लेटेन्ट सिग्नल रिटेंशन: यह प्रदर्शित करता है कि LLMs अक्सर सही निरंतर आंतरिक निरूपण (Carry Potential) बनाए रखते हैं भले ही वे सही असतत आउटपुट देने में विफल हों, जो यह सुझाव देता है कि अंकगणित में मतिभ्रम अक्सर क्वांटाइजेशन विफलता है न कि ज्ञान की कमी।
• सार्वभौमिकता: IRST ज्यामिति और नॉइजी क्वांटाइजेशन गतिकी विभिन्न मॉडल आर्किटेक्चर और स्केल में देखी जाती है, जो अत्याधुनिक LLMs में अंकगणितीय निरूपण के लिए एक अभिसरण तंत्र का सुझाव देती है।
• व्यावहारिक हस्तक्षेप: यह कार्य मान्य करता है कि आंतरिक निरंतरता पर आधारित अनुमान-समय हस्तक्षेप प्रदर्शन को पुनर्प्राप्त कर सकता है, जो निरंतर तंत्रिका विचारों (neural thoughts) से असतत प्रतीकात्मक आउटपुट के मानचित्रण को स्थिर करके LLM विश्वसनीयता में सुधार करने का एक मार्ग प्रदान करता है।

लेखक विनम्र रहते हैं, यह नोट करते हुए कि उनका वर्तमान साक्ष्य पूर्ण सर्किट-स्तरीय स्थानीयकरण के बजाय दृश्यता और प्रोबिंग का संयोजन है, और कि ध्यान मुख्य रूप से जोड़ पर है। वे सुझाव देते हैं कि बहु-अंक टोकन वाले BPE-आधारित मॉडल में उलझे हुए (entangled) कैरी सिग्नल हो सकते हैं, जो भविष्य के अनुसंधान के लिए एक अग्रिम पंक्ति प्रस्तुत करता है।