💬 NLP

Convergent Evolution: How Different Language Models Learn Similar Number Representations

यह शोधपत्र प्रदर्शित करता है कि विविध भाषा मॉडल आर्किटेक्चर समान आवधिक संख्या निरूपणों को सीखकर अभिसारी विकास (convergent evolution) प्रदर्शित करते हैं, फिर भी केवल डेटा, आर्किटेक्चर और प्रशिक्षण संकेतों के विशिष्ट संयोजन ही इन विशेषताओं को मॉड्यूलर अंकगणित कार्यों के लिए ज्यामितीय रूप से विभाज्य बनाने में सक्षम करते हैं।

मूल लेखक: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

प्रकाशित 2026-04-23

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास किताबों का एक विशाल पुस्तकालय है, और आप बहुत सारे अलग-अलग तरह के रोबोटों को उन्हें पढ़ने के लिए कहते हैं। कुछ रोबोट विशाल दिमागों (Transformers) की तरह बने हैं, कुछ लंबी, घुमावदार मेमोरी टेप (RNNs) की तरह हैं, और कुछ सिर्फ साधारण इंडेक्स कार्ड (क्लासिक वर्ड एम्बेडिंग्स) की तरह हैं।

आप उम्मीद कर सकते हैं कि चूंकि वे एक-दूसरे से बिल्कुल अलग तरह से बने हैं, इसलिए वे सभी संख्याओं के बारे में बिल्कुल अलग तरह से "सोचेंगे"। लेकिन यह शोध पत्र एक दिलचस्प बात खोज निकालता है: वे सभी संख्याओं के बारे में आश्चर्यजनक रूप से समान तरीके से सोचने लगते हैं।

यह उस खोज की कहानी है, जिसे सरल अवधारणाओं में विभाजित किया गया है।

1. संख्याओं का "अभिसारी विकास" (Convergent Evolution)

जीव विज्ञान में, अभिसारी विकास (Convergent Evolution) वह है जब दो पूरी तरह से असंबंधित जीव (जैसे एक शार्क और एक डॉल्फिन) एक ही विशेषता विकसित करते हैं (जैसे एक पंख/फिन) क्योंकि वे एक ही वातावरण में रहते हैं और समान चुनौतियों का सामना करते हैं।

यह शोध पत्र तर्क देता है कि AI मॉडल भी ऐसा ही कर रहे हैं। क्योंकि वे सभी मानव भाषा पर प्रशिक्षित हैं, और क्योंकि भाषा में संख्याएं विशिष्ट पैटर्न में दिखाई देती हैं (जैसे तारीखें, कीमतें, या फोन नंबर), ये सभी अलग-अलग मॉडल स्वतंत्र रूप से संख्याओं के बारे में एक "वृत्ताकार" (circular) तरीका विकसित करते हैं।

वे सीखते हैं कि संख्याओं को केवल एक सीधी रेखा (1, 2, 3...) के रूप में नहीं, बल्कि एक घड़ी के चेहरे के रूप में देखना है।

1 और 11 समान महसूस होते हैं क्योंकि दोनों के अंत में 1 आता है।
2 और 12 समान महसूस होते हैं क्योंकि दोनों के अंत में 2 आता है।
यह एक आवधिक विशेषता (periodic feature) है। ऐसा लगता है जैसे मॉडल गुप्त रूप से अपनी कलाई पर घड़ी पहने हुए हैं।

2. दो-स्तरीय रहस्य: "स्पाइकी" सिग्नल बनाम "उपयोगी" मानचित्र

शोधकर्ताओं ने पाया कि यह घड़ी जैसा सोचना दो चरणों में होता है, और यहीं से मामला जटिल हो जाता है।

चरण 1: "स्पाइकी" सिग्नल (स्पेक्ट्रल कन्वर्जेंस)

लगभग हर मॉडल, चाहे वह किसी भी तरह से बना हो, अपने आंतरिक गणित में एक "स्पाइक" (तीव्र उछाल) विकसित करता है जो इन घड़ी वाले पैटर्न के अनुरूप होता है।

उपमा: एक रेडियो की कल्पना करें। लगभग हर रेडियो, चाहे वह एक शानदार डिजिटल हो या एक सस्ता पुराना ट्रांजिस्टर, एक निश्चित आवृत्ति पर एक विशिष्ट स्टैटिक शोर पकड़ता है।
निष्कर्ष: मॉडल संख्याओं की लय (2, 5 और 10 के आवर्त) को "सुनते" हैं। यहाँ तक कि किताबों में संख्याएँ कितनी बार आती हैं, इसकी कच्ची सूची में भी यह लय होती है।
समस्या: सिर्फ इसलिए कि एक रेडियो एक सिग्नल पकड़ता है, इसका मतलब यह नहीं है कि वह गाना बजा सकता है। "स्पाइक" होना आवश्यक है, लेकिन यह वास्तव में गणित करने के लिए पर्याप्त नहीं है।

चरण 2: "उपयोगी" मानचित्र (जियोमेट्रिक कन्वर्जेंस)

असली जादू यहाँ है। वास्तव में एक गणित की समस्या को हल करने के लिए (जैसे "7 mod 10 क्या है?"), मॉडल को संख्याओं को स्पष्ट रूप से अलग (separate) करने की आवश्यकता होती है। उसे सभी "7s" को कमरे के एक कोने में और सभी "8s" को दूसरे कोने में रखने की आवश्यकता है, ताकि उनके बीच एक सरल रेखा खींची जा सके।

उपमा: एक कक्षा की कल्पना करें।
- "स्पाइकी" सिग्नल: शिक्षक हर 10 मिनट में एक घंटी बजाता है। हर कोई इसे सुनता है।
- जियोमेट्रिक कन्वर्जेंस: छात्र वास्तव में घंटी के आधार पर समूहों में बैठते हैं। "7s" पहली पंक्ति में बैठते हैं, "8s" पीछे की पंक्ति में।
- विफलता: कुछ मॉडल (जैसे LSTM), घंटी को पूरी तरह से सुनते हैं (बड़े स्पाइक्स!), लेकिन छात्र अभी भी बेतरतीब ढंग से बैठे होते हैं। वे समूहों को अलग नहीं कर पाते। वे जानते हैं कि पैटर्न मौजूद है, लेकिन वे इसका उपयोग नहीं कर सकते।
- सफलता: अन्य मॉडल (जैसे Transformers) न केवल घंटी सुनते हैं, बल्कि छात्रों को पूरी तरह से व्यवस्थित भी करते हैं। वे एक रेखा खींच सकते हैं और कह सकते हैं, "बाएँ वाला सब 7 है, दाएँ वाला सब 8 है।"

3. कुछ मॉडल क्यों सफल होते हैं और अन्य क्यों विफल होते हैं?

शोध पत्र पूछता है: वह क्या चीज़ है जो एक ऐसे मॉडल के बीच अंतर करती है जो केवल पैटर्न को "सुनता" है और एक ऐसे मॉडल के बीच जो वास्तव में उसे "समझता" है?

उन्होंने तीन मुख्य सामग्रियां पाईं:

डेटा (कहानी): मॉडल को संख्याओं को शब्दों और अन्य संख्याओं के साथ परस्पर क्रिया करते हुए देखने की आवश्यकता है। यदि आप एक मॉडल को बिना संदर्भ के संख्याओं की सूची देते हैं (सिर्फ "5, 5, 5"), तो वह लय तो सीख लेता है लेकिन अर्थ नहीं। उसे वाक्यों में संख्याओं को देखने की आवश्यकता है जैसे "मेरे पास 5 सेब हैं" या "वर्ष 2024 है।"
आर्किटेक्चर (मस्तिष्क का आकार): कुछ मस्तिष्क के आकार इस जानकारी को व्यवस्थित करने में बेहतर होते हैं। ट्रांसफॉर्मर्स और नए "लीनियर RNNs" इस जानकारी को समूहों में छाँटने में बहुत अच्छे हैं। पुराने ज़माने के LSTMs घंटी सुनने में तो बहुत अच्छे हैं लेकिन कमरे को व्यवस्थित करने में बहुत खराब हैं।
टोकनाइज़र (शब्दावली): यह एक बहुत बड़ा आश्चर्य है। मॉडल शब्दों को कैसे तोड़ता है, यह मायने रखता है।
- मल्टी-टोकन संख्याएँ: यदि संख्या "123" को तीन टुकड़ों में तोड़ा जाता है ("1", "2", "3"), तो मॉडल को चरण-दर-चरण गणित करने के लिए मजबूर होना पड़ता है (जैसे अंकों को जोड़ना और हासिल/carry लेना)। यह उसे घड़ी के तर्क (clock logic) को सीखने के लिए मजबूर करता है।
- सिंगल-टोकन संख्याएँ: यदि "123" केवल एक एकल प्रतीक है, तो मॉडल "चीटिंग" कर सकता है। उसे उत्तर सही पाने के लिए घड़ी के तर्क को समझने की आवश्यकता नहीं है, इसलिए वह इसकी परवाह नहीं करता।

4. बड़ा सबक

सबसे महत्वपूर्ण सीख यह है: सिर्फ इसलिए कि एक AI ऐसा दिखता है जैसे वह कुछ समझ रहा है (क्योंकि उसके डेटा में सही "स्पाइक्स" हैं), इसका मतलब यह नहीं है कि वह वास्तव में उसे समझता है।

जाल (The Trap): शोधकर्ता अक्सर "स्पाइक्स" को देखते हैं और कहते हैं, "आहा! मॉडल ने मॉड्यूलर अंकगणित सीख लिया है!"
वास्तविकता: मॉडल केवल डेटा की लय की नकल कर रहा हो सकता है बिना वास्तव में समस्याओं को हल करने के लिए उसका उपयोग किए।

सारांश उपमा

कल्पना कीजिए कि आप दो अलग-अलग छात्रों को समय बताना सिखा रहे हैं:

छात्र A (ट्रांसफॉर्मर): घड़ी की आवाज़ सुनता है, सुइयों को चलते हुए देखता है, और सीखता है कि जब बड़ी सुई 12 पर पहुँचती है, तो एक नया घंटा शुरू होता है। वे वास्तव में आपको समय बता सकते हैं।
छात्र B (LSTM): घड़ी सुनता है और हर घंटे एक ज़ोरदार "डिंग!" की आवाज़ सुनता है। वे जानते हैं कि एक "डिंग" होता है, और वे भविष्यवाणी कर सकते हैं कि अगली "डिंग" कब होगी। लेकिन यदि आप उनसे पूछें "अभी क्या समय हुआ है?", तो उन्हें कुछ पता नहीं होता। वे बस लय को जानते हैं।

यह शोध पत्र हमें सिखाता है कि AI की दुनिया में, लय को सुनना आसान है; अर्थ को समझना कठिन है। और केवल डेटा, मस्तिष्क-संरचना और प्रशिक्षण पद्धति का सही संयोजन ही एक मॉडल को उस अंतर को पार करने में मदद करता है।

यहाँ शोध पत्र "Convergent Evolution: How Different Language Models Learn Similar Number Representations" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र इस बात की जांच करता है कि कैसे लार्ज लैंग्वेज मॉडल्स (LLMs) और अन्य सीक्वेंस मॉडल्स संख्याओं को दर्शाने (represent करने) के लिए सीखते हैं। पिछले कार्यों ने स्थापित किया था कि प्राकृतिक भाषा पर प्रशिक्षित मॉडल संख्या टोकन्स के लिए आवधिक प्रतिनिधित्व (periodic representations) विकसित करते हैं, जो फूरियर डोमेन में $T=2, 5, 10$ के आवर्तों (periods) पर स्पाइक्स द्वारा पहचाने जाते हैं।

हालाँकि, एक महत्वपूर्ण अंतराल शेष था: क्या फूरियर स्पाइक्स की उपस्थिति यह संकेत देती है कि मॉडल ने कार्यात्मक, ज्यामितीय रूप से पृथक (geometrically separable) मॉड्यूलर अंकगणित सीख लिया है?

स्पेक्ट्रल कन्वर्जेंस (Spectral Convergence): फूरियर स्पाइक्स का उभरना (आवधिक संरचना)।
ज्यामितीय कन्वर्जेंस (Geometric Convergence): ऐसे एम्बेडिंग्स का उभरना जहाँ अवशेष वर्ग ( $n \mod T$ ) रैखिक रूप से पृथक (linearly separable) होते हैं (अर्थात, एक लीनियर प्रोब $n \mod T$ की सटीक भविष्यवाणी कर सकता है)।

लेखक पूछते हैं कि क्या स्पेक्ट्रल कन्वर्जेंस, ज्यामितीय कन्वर्जेंस की गारंटी देता है, और यदि नहीं, तो कौन से कारक (डेटा, आर्किटेक्चर, ऑप्टिमाइज़र, टोकनाइज़ेशन) कार्यात्मक संख्यात्मक संरचना के उद्भव को संचालित करते हैं।

2. कार्यप्रणाली (Methodology)

लेखक विविध मॉडल परिवारों में विविध नियंत्रित अनुभवजन्य प्रयोगों (controlled empirical experiments) और सैद्धांतिक विश्लेषण के संयोजन का उपयोग करते हैं।

A. सैद्धांतिक ढांचा (Theoretical Framework)

फूरियर विश्लेषण (Fourier Analysis): वे विशिष्ट आवृत्तियों ( $\nu = 1/T$ ) पर शक्ति (power) को मापने के लिए टोकन एम्बेडिंग्स $e(n)$ का डिस्क्रीट फूरियर ट्रांसफॉर्म (DFT) की गणना करते हैं।
लीनर प्रोबिंग (Linear Probing): वे एम्बेडिंग्स से $n \mod T$ की भविष्यवाणी करने के लिए लीनियर क्लासिफायर (लॉजिस्टिक्स रिग्रेशन) को प्रशिक्षित करते हैं, और संयोग बेसलाइन (chance baseline) को ध्यान में रखने के लिए कोहेन के $\kappa$ (Cohen's $\kappa$ ) का उपयोग करके प्रदर्शन को मापते हैं।
प्रमेय 1 (आवश्यक बनाम पर्याप्त): वे गणितीय रूप से सिद्ध करते हैं कि एक गैर-शून्य फूरियर पावर ( $\Phi_T > 0$ $Φ_{T} > 0$ ) रैखिक पृथकता (linear separability) के लिए आवश्यक है लेकिन पर्याप्त नहीं है।
- वे भीतर-वर्ग स्कैटर मैट्रिक्स ( $S_W$ ) के कंडीशन नंबर (condition number) की अवधारणा पेश करते हैं। भले ही बीच-वर्ग भिन्नता (between-class variance, जो फूरियर पावर द्वारा संचालित होती है) उच्च हो, यदि भीतर-वर्ग शोर (within-class noise) एनिसोट्रोपिक (anisotropic) है और सिग्नल के साथ संरेखित है, तो रैखिक पृथकता विफल हो जाती है।

B. अनुभवजन्य सेटअप (Empirical Setup)

मॉडेल्स: वे लगभग 300M पैरामीटर वाले मॉडल्स को प्रशिक्षित और मूल्यांकित करते हैं जिनमें ट्रांसफॉर्मर्स, लीनियर RNNs (Gated DeltaNet, Mamba-2), LSTMs, और शास्त्रीय एम्बेडिंग्स (GloVe, FastText) शामिल हैं।
डेटा: Llama-3 टोकनाइज़र (जो 0–999 को सिंगल टोकन के रूप में मैप करता है) का उपयोग करके FineWeb-Edu से 10B टोकन्स पर प्रीट्रेनिंग।
नियंत्रित व्यवधान (Controlled Perturbations): कारणों को अलग करने के लिए, वे निम्नलिखित को बदलते हैं:
1. डेटा सिग्नल्स: टेक्स्ट-नंबर सह-अस्तित्व (co-occurrence) को हटाना, क्रॉस-नंबर इंटरैक्शन को हटाना, और कॉन्टेक्स्ट लेंथ को सीमित करना।
2. आर्किटेक्चर: ट्रांसफॉर्मर्स, RNNs, और LSTMs की तुलना करना।
3. ऑप्टिमाइज़र: AdamW बनाम Muon की तुलना करना।
4. कार्य (Task): सामान्य भाषा बनाम स्पष्ट अंकगणित (9-अंक बनाम 3-अंक जोड़) पर प्रशिक्षण।

3. मुख्य योगदान (Key Contributions)

A. दो-स्तरीय पदानुक्रम (Two-Tiered Hierarchy of Convergence)

पेपर स्थापित करता है कि फीचर लर्निंग में "कन्वर्जेंट इवोल्यूशन" दो अलग-अलग स्तरों में होता है:

स्पेक्ट्रल कन्वर्जेंस (सार्वभौमिक): लगभग सभी सिस्टम (Transformers, RNNs, LSTMs, और यहाँ तक कि कच्चे टोकन फ्रीक्वेंसी डिस्ट्रीब्यूशन भी) $T=2, 5, 10$ पर फूरियर स्पाइक्स विकसित करते हैं। यह पूरी तरह से प्राकृतिक भाषा में नंबर टोकन्स के आवधिक आवृत्ति वितरण द्वारा संचालित है।
ज्यामितीय कन्वर्जेंस (चयनात्मक): केवल विशिष्ट सिस्टम ही ऐसे एम्बेडिंग्स सीखते हैं जहाँ $n \mod T$ को लीनियरली डिकोड किया जा सकता है। इसके लिए डेटा सिग्नल्स, आर्किटेक्चर और ऑप्टिमाइज़ेशन डायनेमिक्स के एक विशिष्ट संरेखण की आवश्यकता होती है।

B. सैद्धांतिक अंतर्दृष्टि: शोर की संरचना की भूमिका (Role of Noise Structure)

लेखक सिद्ध करते हैं कि फूरियर स्पाइक्स यह गारंटी देते हैं कि क्लास मीन (class means) बिखरे हुए हैं, लेकिन वे यह गारंटी नहीं देते कि क्लासेस पृथक (separable) हैं।

मुख्य निष्कर्ष: ज्यामितीय पृथकता, बीच-वर्ग भिन्नता और भीतर-वर्ग भिन्नता (Fisher's Linear Discriminant) के अनुपात पर निर्भर करती है।
तंत्र (Mechanism): LSTMs जैसे मॉडल्स में, भीतर-वर्ग स्कैटर मैट्रिक्स ( $S_W$ ) अत्यधिक एनिसोट्रोपिक (उच्च कंडीशन नंबर) हो जाता है। फूरियर सिग्नल, भीतर-वर्ग शोर द्वारा "निगल" लिया जाता है, जिससे मजबूत फूरियर स्पाइक्स के बावजूद क्लासेस ओवरलैप हो जाती हैं।

C. ज्यामितीय कन्वर्जेंस के चालक (Drivers of Geometric Convergence)

एब्लेशन अध्ययनों के माध्यम से, लेखक उन स्थितियों की पहचान करते हैं जो ज्यामितीय कन्वर्जेंस के लिए आवश्यक हैं:

डेटा सिग्नल्स:
- टेक्स्ट-नंबर सह-अस्तित्व (Text-Number Co-occurrence): आवश्यक। नंबरों और उनके आसपास के टेक्स्ट के बीच संबंध को हटाने (Swap Numbers) से प्रोबिंग सटीकता काफी कम हो जाती है।
- क्रॉस-नंबर इंटरैक्शन (Cross-Number Interaction): सहायक। नंबरों को एक ही कॉन्टेक्स्ट विंडो में एक साथ आने देने से प्रदर्शन में सुधार होता है।
- कॉन्टेक्स्ट लेंथ (Context Length): लंबे कॉन्टेक्स्ट मॉडल को समृद्ध सह-अस्तित्व सांख्यिकी (co-occurrence statistics) को संचित करने की अनुमति देते हैं, जिससे पृथकता में सुधार होता है।
आर्किटेक्चर:
- Transformers और Linear RNNs (Mamba, DeltaNet) मजबूत ज्यामितीय कन्वर्जेंस प्राप्त करते हैं।
- LSTMs ज्यामितीय कन्वर्जेंस प्राप्त करने में विफल रहते हैं (चांस-लेवल प्रोबिंग), भले ही उनके पास ट्रांसफॉर्मर्स की तुलना में अधिक मजबूत फूरियर स्पाइक्स हों। यह सुझाव देता है कि विफलता आर्किटेक्चरल है, न कि क्षमता की कमी।
ऑप्टिमाइज़र:
- ऑप्टिमाइज़र का चुनाव (Muon बनाम AdamW) प्रदर्शन को प्रभावित करता है, लेकिन यह आर्किटेक्चर की तुलना में गौण है। Muon आमतौर पर ट्रांसफॉर्मर्स के लिए बेहतर प्रदर्शन करता है, लेकिन आर्किटेक्चर प्राथमिक निर्धारक है।

D. अंकगणित कार्यों में टोकनाइज़ेशन की भूमिका

पेपर अंकगणित प्रशिक्षण के माध्यम से कन्वर्जेंस के दूसरे मार्ग को प्रकट करता है:

मल्टी-टोकन जोड़ (जैसे, 9-अंक जोड़): यह मॉडल को प्रत्येक अंक स्थिति पर मॉड्यूलर उप-समस्याओं ( $c_i = (a_i + b_i + \text{carry}) \mod 1000$ ) को हल करने के लिए मजबूर करता है। यह ऑप्टिमाइज़र की परवाह किए बिना ज्यामितीय कन्वर्जेंस के लिए मजबूत दबाव बनाता है।
सिंगल-टोकन जोड़ (जैसे, 3-अंक जोड़): कोई मॉड्यूलर बाधा लागू नहीं होती है (यदि परिणाम एक टोकन में फिट बैठता है तो समस्या स्वाभाविक रूप से मॉड्यूलर नहीं है)। इसके परिणामस्वरूप, ऑप्टिमाइज़र और रैंडम सीड के आधार पर प्रतिनिधित्व बहुत भिन्न होते हैं, और ज्यामितीय कन्वर्जेंस अक्सर उभरने में विफल रहता है।

4. मुख्य परिणाम (Key Results)

मॉडल प्रकार	फूरियर स्पाइक्स ( $T=2,5,10$ )	ज्यामितीय कन्वर्जेंस (Mod-10 Probe)	नोट्स
Transformer	हाँ (मजबूत)	हाँ (उच्च $\kappa$ )	कार्यात्मक संरचना सीखता है।
Linear RNN (Mamba/DeltaNet)	हाँ (मजबूत)	हाँ (उच्च $\kappa$ )	ट्रांसफॉर्मर के समान।
LSTM	हाँ (बहुत मजबूत)	नहीं (चांस लेवल)	उच्च स्पाइक्स, लेकिन उच्च भीतर-वर्ग शोर पृथक्करण को रोकता है।
Raw Token Frequency	हाँ	नहीं	सिद्ध करता है कि स्पाइक्स बिना सीखे भी मौजूद हो सकते हैं।
9-Digit Addition	हाँ	हाँ	मल्टी-टोकन बाधा संरचना को मजबूर करती है।
3-Digit Addition	परिवर्तनशील	परिवर्तनशील/नहीं	सिंगल-टोकन में मॉड्यूलर दबाव की कमी है।

डेटा व्यवधान (Data Perturbation): टेक्स्ट-नंबर सह-अस्तित्व को हटाने (Swap Numbers) से Mod-10 सटीकता ~85% से गिरकर ~28% हो जाती है। क्रॉस-नंबर इंटरैक्शन को हटाने (Isolate-k) से भी प्रदर्शन घटता है, लेकिन यह कम गंभीर है।
कंडीशन नंबर: LSTM में $S_W$ के लिए कंडीशन नंबर ट्रांसफॉर्मर की तुलना में लगभग 100 गुना अधिक है, जो समझाता है कि क्यों इसका फूरियर पावर रैखिक पृथकता में अनुवादित नहीं होता है।

5. महत्व और निहितार्थ (Significance and Implications)

"सीखने" को फिर से परिभाषित करना: यह पेपर इस धारणा को चुनौती देता है कि दृश्य स्पेक्ट्रल संरचना (फूरियर स्पाइक्स) कार्यात्मक शिक्षण के बराबर है। एक मॉडल में मॉड्यूलर अंकगणित को समझने जैसा "दिख" सकता है (स्पेक्ट्रल विश्लेषण के माध्यम से), जबकि वह वास्तव में कार्य करने में विफल हो सकता है (प्रोबिंग के माध्यम से)।
मैकेनिस्टिक इंटरप्रिटेबिलिटी (Mechanistic Interpretability): यह सांख्यिकीय आर्टिफैक्ट्स (स्पेक्ट्रल कन्वर्जेंस) और कार्यात्मक प्रतिनिधित्व (ज्यामितीय कन्वर्जेंस) के बीच अंतर करने के लिए एक ढांचा प्रदान करता है।
कन्वर्जेंट इवोल्यूशन: यह प्रदर्शित करता है कि विविध सिस्टम (जैविक या कृत्रिम) साझा बाधाओं (टोकनाइज़ेशन और डेटा वितरण) के कारण समान गुणों (फूरियर स्पाइक्स) को विकसित कर सकते हैं, लेकिन उन गुणों की उपयोगिता विशिष्ट आर्किटेक्चरल और ट्रेनिंग संरेखण पर निर्भर करती है।
भविष्य की दिशाएँ: निष्कर्ष बताते हैं कि मॉडल्स के लिए मजबूत संख्यात्मक तर्क सीखने के लिए, उन्हें या तो:
- प्राकृतिक भाषा में समृद्ध सह-अस्तित्व संकेतों (टेक्स्ट-नंबर इंटरैक्शन) की आवश्यकता है।
- कार्य में स्पष्ट संरचनात्मक बाधाओं (मल्टी-टोकन अंकगणित) की आवश्यकता है।
- ऐसे आर्किटेक्चर की आवश्यकता है जो सिग्नल को भीतर-वर्ग शोर से अलग कर सकें (मानक LSTMs के विपरीत)।

संक्षेप में, यह पेपर तर्क देता है कि स्पेक्ट्रल कन्वर्जेंस सार्वभौमिक है और डेटा सांख्यिकी द्वारा संचालित है, जबकि ज्यामितीय कन्वर्जेंस एक नाजुक गुण है जिसके लिए डेटा, आर्किटेक्चर और कार्य बाधाओं का एक विशिष्ट संरेखण आवश्यक है।