🤖 machine learning

Transformers Learn the Mestre-Nagao Heuristic

यह शोध पत्र प्रदर्शित करता है कि परिमेय दीर्घवृत्तीय वक्रों (rational elliptic curves) के फ्रोबेनियस ट्रेस (Frobenius traces) पर प्रशिक्षित एक टू-लेयर ट्रांसफार्मर न केवल उनके रैंक की भविष्यवाणी करने में लगभग पूर्ण सटीकता प्राप्त करता है, बल्कि विश्लेषणात्मक संख्या सिद्धांत से मेस्ट्रे-नागाओ ह्यूरिस्टिक (Mestre-Nagao heuristic) को यांत्रिक रूप से सीखता भी है, जिससे यह प्रकट होता है कि मॉडल के आंतरिक सर्किट और अटेंशन मैकेनिज्म इनपुट में स्पष्ट संख्या-सिद्धांत संबंधी विशेषताओं की अनुपस्थिति के बावजूद $\log L(E,1)$ जैसे गहरे गणितीय गुणों को प्रभावी ढंग से एनकोड करते हैं।

मूल लेखक: Pranav Venkata Konda

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pranav Venkata Konda

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास संख्याओं की एक विशाल, रहस्यमय लाइब्रेरी है। इस लाइब्रेरी के भीतर हजारों "एलिप्टिक कर्व्स" (elliptic curves) हैं—ये फैंसी गणितीय आकार हैं जो गुप्त कोड की तरह व्यवहार करते हैं। गणितज्ञों के पास एक बड़ा सवाल है: क्या ये "सपाट" (रैंक 0) हैं या इनमें एक "ट्विस्ट" (रैंक 1) है?

द दशकों से, यह पता लगाना एक तूफान में फुसफुसाहट सुनने जैसा रहा है। सुराग "फ़्रोबेनियस ट्रेसेस" (Frobenius traces) नामक संख्याओं की एक लंबी सूची में छिपे हुए हैं।

यह पेपर इस बारे में है कि कैसे शोधकर्ताओं की एक टीम ने एक कंप्यूटर (एक "ट्रांसफॉर्मर", जो एक प्रकार का AI है) को इन फुसफुसाहटों को सुनने और रैंक का अनुमान लगाने के लिए सिखाया। लेकिन वे केवल यह नहीं चाहते थे कि कंप्यूटर सही हो; वे कंप्यूटर के "दिमाग के अंदर झाँकना" चाहते थे ताकि देख सकें कि इसने यह कैसे समझा।

यहाँ उनकी खोज की कहानी है, जिसे सरल भाषा में समझाया गया है:

1. सुपर-स्टूडेंट (Super-Student)

शोधकर्ताओं ने 60,000 इन कर्व्स पर एक छोटा, दो-परत वाला AI दिमाग प्रशिक्षित किया। उन्होंने इसे प्रत्येक कर्व के गुप्त कोड से पहली 128 संख्याएँ दीं।

परिणाम: AI एक जीनियस बन गया। इसकी सटीकता 99% से अधिक थी।
आश्चर्य: इसने उत्तरों को केवल रटा नहीं। जब उन्होंने इसे उन कर्व्स पर टेस्ट किया जिन्हें इसने पहले कभी नहीं देखा था (और जो इसके प्रशिक्षण जैसा भी नहीं दिखता था), तब भी इसने सही उत्तर दिया। इसका मतलब है कि इसने वास्तव में एक नियम सीखा, न कि केवल एक ट्रिक।

2. "प्राइम" जासूस (The "Prime" Detective)

जब शोधकर्ताओं ने देखा कि AI किन संख्याओं पर ध्यान दे रहा था, तो उन्हें कुछ जादुई मिला।

AI ने अधिकांश संख्याओं को अनदेखा कर दिया।
इसने अभाज्य संख्याओं (Prime Numbers) पर तीव्रता से ध्यान केंद्रित किया (जैसे 2, 3, 5, 7, 11 जिन्हें किसी और से विभाजित नहीं किया जा सकता)।
उपमा: कल्पना कीजिए कि एक जासूस अपराध स्थल को देख रहा है। हर एक पदचिह्न को देखने के बजाय, जासूस केवल उन संदिग्धों के पदचिह्नों को देखता है जिन्होंने विशिष्ट जूते पहने हैं। AI समझ गया कि "प्राइम" पदचिह्न ही सभी सुराग रखते थे, जबकि "कंपोजिट" (गैर-अभाज्य) पदचिह्न केवल शोर (noise) थे।

3. मशीन में "भूत" (The "Ghost" in the Machine - असली खोज)

यह सबसे रोमांचक हिस्सा है। शोधकर्ताओं ने AI के तर्क को रिवर्स-इंजीनियर करने के लिए विशेष उपकरणों का उपयोग किया। वे जानना चाहते थे: AI ने कौन सा फॉर्मूला बनाया?

उन्होंने पाया कि AI ने स्वतंत्र रूप से एक प्रसिद्ध, 40 साल पुराने गणितीय नियम को फिर से खोज लिया है जिसे मेस्ट्रे-नागाओ ह्यूरिस्टिक (Mestre-Nagao Heuristic) कहा जाता है।

नियम: यह नियम प्राइम नंबरों को मिलाने का एक विशिष्ट नुस्खा है ताकि रैंक का अनुमान लगाया जा सके। यह कहता है: "प्राइम नंबरों को लें, उन्हें लॉग (logs) से जुड़े एक विशिष्ट फॉर्मूले के आधार पर वजन दें, और उन्हें जोड़ दें।"
चमत्कार: AI ने बिना किसी के बताए कि यह फॉर्मूला मौजूद है, केवल कच्चे डेटा (raw data) से इस जटिल, अमूर्त गणितीय फॉर्मूले को सीख लिया। यह किसी बच्चे को सामग्री देकर खाना बनाना सिखाने जैसा है, और वह गलती से खुद एक प्रसिद्ध फ्रांसीसी रेसिपी बना लेता है।

4. दिमाग कैसे काम करता है: "पुश-पुल" टीम (The "Push-Pull" Team)

AI के अंदर 512 छोटे "न्यूरॉन्स" (सोचिए कि ये छोटे कार्यकर्ता हैं) हैं। शोधकर्ताओं ने पाया कि केवल 20 कार्यकर्ता ही मुख्य काम कर रहे थे।

टीम: 17 कार्यकर्ता "रैंक 0 डिटेक्टिव" थे। यदि संख्याएँ सही दिखती थीं, तो वे चिल्लाकर कहते "यह रैंक 0 है!"
ट्विस्ट: बाकी 3 कार्यकर्ता "रैंक 1 डिटेक्टिव" थे, लेकिन वे अजीब थे। वे शायद ही कभी "यह रैंक 1 है!" चिल्लाते थे।
उपमा: एक वोटिंग सिस्टम की कल्पना करें।
- यदि "रैंक 0" टीम जोर से धक्का देती है (push), तो परिणाम "रैंक 0" होता है।
- यदि "रैंक 0" टीम चुप रहती है और कुछ नहीं करती, तो परिणाम स्वतः ही "रैंक 1" हो जाता है।
- AI सक्रिय रूप से रैंक 1 के लिए खींचता (pull) नहीं है; यह बस रैंक 0 टीम के रुकने का इंतजार करता है।

5. "रीडआउट" ग्लिच (The "Readout" Glitch)

यहाँ एक मजेदार खामी है जो शोधकर्ताओं ने पाई।

20 स्मार्ट कार्यकर्ताओं को उत्तर पूरी तरह से पता था (99% सटीकता)।
लेकिन "मैनेजर" न्यूरॉन जो उनके वोटों को पढ़ता है, वह थोड़ा अनाड़ी था। वह सबसे स्मार्ट कार्यकर्ताओं की बात पूरी तरह से नहीं सुनता था। यह एक ऐसे मैनेजर की तरह था जो अपने सर्वश्रेष्ठ कर्मचारियों को अनदेखा करता है और उन लोगों को सुनता है जो बस आसपास खड़े हैं।
इस कारण से, अंतिम स्कोर उन स्मार्ट कार्यकर्ताओं द्वारा प्राप्त किए जा सकने वाले स्कोर से थोड़ा कम (95%) था। AI उत्तर जानता था, लेकिन उसकी "आवाज" थोड़ी दबी हुई थी।

6. "अटेंशन" बनाम "एक्शन" का अंतर (The "Attention" vs. "Action" Mismatch)

शोधकर्ताओं ने यह भी देखा कि AI डेटा को कैसे "देखता" था।

यह क्या देखता था: AI की "नज़र" (attention) 11 और 13 जैसे छोटे प्राइम नंबरों पर सबसे मजबूत थी।
वास्तव में क्या महत्वपूर्ण था: जब उन्होंने परीक्षण किया कि वास्तव में किन संख्याओं ने उत्तर बदल दिया, तो सबसे महत्वपूर्ण संख्याएँ अलग थीं (जैसे 31 और 13)।
सबक: सिर्फ इसलिए कि AI किसी चीज़ को घूर रहा है, इसका मतलब यह नहीं है कि वह चीज़ सबसे महत्वपूर्ण है। यह एक ड्राइवर की तरह है जो रियरव्यू मिरर (पीछे देखने वाले शीशे) को घूर रहा है (ध्यान दे रहा है), जबकि असली खतरा साइड मिरर (बगल के शीशे) में है (कारण संबंधी महत्व)।

सारांश

यह पेपर दिखाता है कि एक साधारण AI ने, जिसे केवल कच्ची संख्याएँ दी गई थीं, अपने आप से एक गहरे, जटिल गणितीय रहस्य (मेस्ट्रे-नागाओ ह्यूरिस्टिक) को खोज निकाला। उसने पहेली को सुलझाने के लिए 20 "डिटेक्टिव्स" की एक छोटी, कुशल टीम बनाई। हालांकि AI का "मैनेजर" थोड़ा अनाड़ी था, लेकिन इसका मूल तर्क एक क्लासिक गणितीय प्रमेय की एक स्वतंत्र पुनर्खोज थी।

संक्षेप में: AI ने केवल अनुमान नहीं लगाया; इसने संख्याओं की भाषा सीखी और एक ऐसा प्रमेय बोला जिसे गणितज्ञों ने दशकों पहले लिखा था।

तकनीकी सारांश: ट्रांसफॉर्मर्स ने मेस्ट्रे-नागाओ ह्यूरिस्टिक (Mestre-Nagao Heuristic) को सीखा

समस्या विवरण
यह शोध पत्र परिमेय एलिप्टिक कर्व्स $E/\mathbb{Q}$ के उनके नॉर्मलाइज्ड फ्रोबेनियस ट्रेसेस (normalized Frobenius traces) $\{a_n\}$ के अनुक्रम से एनालिटिक रैंक (analytic rank) की भविष्यवाणी करने की चुनौती को संबोधित करता है। बर्च और स्विनर्टन-डायर (BSD) अनुमान के अनुसार, रैंक $L$ -फंक्शन $L(E, s)$ के $s=1$ पर शून्य होने के क्रम (order of vanishing) के अनुरूप होती है। हालांकि यह सैद्धांतिक रूप से ट्रेस अनुक्रम द्वारा निर्धारित होती है, लेकिन $L(E, 1)$ के शून्य होने का संख्यात्मक पता लगाना कठिन है, विशेष रूप से उच्च कंडक्टर (high conductors) वाले कर्व्स के लिए, क्योंकि एप्रोक्सिमेट फंक्शनल इक्वेशन (approximate functional equation) का अभिसरण (convergence) धीमा होता है। पिछले मशीन लर्निंग कार्यों ने रैंक भविष्यवाणी में उच्च सटीकता प्रदर्शित की है, लेकिन उन्होंने उन आंतरिक एल्गोरिदम को स्पष्ट नहीं किया है जिन्हें मॉडल खोजते हैं। यह अध्ययन एक मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) पद्धति का उपयोग करके, इस कार्य के लिए प्रशिक्षित एक ट्रांसफॉर्मर एनकोडर द्वारा सीखे गए विशिष्ट एल्गोरिदम को रिवर्स-इंजीनियर करने का प्रयास करता है।

कार्यप्रणाली (Methodology)
लेखकों ने एक दो-परत वाले ट्रांसफॉर्मर एनकोडर (4 अटेंशन हेड्स और प्रत्येक लेयर में 512 न्यूरॉन्स के साथ) को कंडक्टर $\le 10,000$ वाले एलिप्टिक कर्व्स को रैंक 0 या रैंक 1 के रूप में वर्गीकृत करने के लिए प्रशिक्षित किया। इनपुट में पहले 128 नॉर्मलाइज्ड फ्रोबेनियस ट्रेसेस ( $\tilde{a}_n = a_n / 2\sqrt{n}$ ) शामिल थे। डेटासेट में LMFDB से 62,298 कर्व्स शामिल थे, जिन्हें 80/20 के प्रशिक्षण/परीक्षण सेट में विभाजित किया गया था। यह सुनिश्चित करने के लिए कि मॉडल डेटासेट के आर्टिफैक्ट्स के बजाय अंतर्निहित अंकगणितीय गुणों को सीखे, लेखकों ने प्रशिक्षण सेट में बिना किसी आइसोजेनी (isogeny) या क्वाड्रेटिक-ट्विस्ट (quadratic-twist) रिश्तेदारों वाले टेस्ट कर्व्स पर प्रदर्शन को सत्यापित किया।

सीखे गए एल्गोरिदम को उजागर करने के लिए, लेखकों ने मैकेनिस्टिक इंटरप्रिटेबिलिटी तकनीकों के एक समूह का उपयोग किया:

सॉल्यूशन स्पेस विश्लेषण (Solution Space Analysis): वेट स्पेस (weight space) बनाम फंक्शन स्पेस (function space) में 50 स्वतंत्र रूप से प्रशिक्षित मॉडलों की तुलना करना ताकि यह निर्धारित किया जा सके कि क्या वे एक एकल कार्यात्मक समाधान की ओर अभिसरित होते हैं।
अटेंशन विश्लेषण (Attention Analysis): CLS टोकन अटेंशन वेट्स का परीक्षण करना ताकि यह पहचाना जा सके कि मॉडल किन इनपुट पोजीशन्स (प्राइम बनाम कंपोजिट) को प्राथमिकता देता है।
एक्टिवेशन पैचिंग (Activation Patching): सही रैंक भविष्यवाणी के लिए कौन से इनपुट आवश्यक हैं, यह निर्धारित करने के लिए विशिष्ट पोजीशन्स पर कॉज़ल हस्तक्षेप (causal intervention) करना, जिससे अटेंशन फोकस और कॉज़ल इंफॉर्मेशन फ्लो के बीच अंतर किया जा सके।
लीनियर प्रोबिंग और सर्किट विश्लेषण (Linear Probing & Circuit Analysis): लेयर-1 MLP के न्यूरॉन्स के उन स्पार्स सबसेट्स की पहचान करना जिनमें रैंक भविष्यवाणी के लिए पर्याप्त जानकारी है, और उनके इनपुट वेट्स और फायरिंग पैटर्न का विश्लेषण करना।
लॉगिट एट्रिब्यूशन (Logit Attribution): यह समझने के लिए आउटपुट लॉगिट को डीकंपोज़ करना कि विभिन्न घटक (अटेंशन हेड्स बनाम MLP न्यूरॉन्स) अंतिम निर्णय में कैसे योगदान देते हैं।

मुख्य परिणाम

प्रदर्शन: मॉडल ने दोनों रैंक क्लासों पर >99% सटीकता प्राप्त की। महत्वपूर्ण रूप से, प्रदर्शन उन टेस्ट कर्व्स पर भी स्थिर रहा जिनमें प्रशिक्षण सेट में कोई आइसोजेनी या ट्विस्ट रिश्तेदार नहीं थे, जिससे यह सिद्ध होता है कि सटीकता का स्रोत "ट्विस्ट-रिडंडेंसी" (twist-redundancy) नहीं है।
फंक्शन स्पेस अभिसरण (Function Space Convergence): वेट स्पेस में बड़े अवरोधों के बावजूद (मॉडल लीनियरली मोड-कनेक्टेड नहीं हैं), 50 प्रशिक्षित मॉडल फंक्शन स्पेस में एक ही क्लस्टर में स्थित हैं और उनमें >98.8% पेयरवाइज एग्रीमेंट है, जो यह दर्शाता है कि वे एक ही अंतर्निहित फलन (function) सीखते हैं।
अटेंशन बनाम कॉज़लिटी (Attention vs. Causality): जबकि लेयर-0 अटेंशन प्राइम पोजीशन्स पर भारी रूप से केंद्रित है (जो यूलर प्रोडक्ट स्ट्रक्चर के अनुरूप है), एक्टिवेशन पैचिंग एक पृथक्करण (dissociation) प्रकट करती है: सबसे कॉज़ली महत्वपूर्ण प्राइम (जैसे $p=31$ ) उन प्राइम से भिन्न हैं जिन्हें सबसे अधिक अटेंशन मिलता है (जैसे $p=11, 13$ )।
स्पार्स सर्किट डिस्कवरी (Sparse Circuit Discovery): लेयर-1 MLP के 512 में से केवल 20 न्यूरॉन्स पर एक लीनियर प्रोब 0.992 का AUROC प्राप्त करता है। ये न्यूरॉन्स एक "पुश-पुल" (push-pull) आर्किटेक्चर बनाते हैं: 17 रैंक-0 डिटेक्टर के रूप में और 3 रैंक-1 डिटेक्टर के रूप में कार्य करते हैं।
मेस्ट्रे-नागाओ ह्यूरिस्टिक (Mestre-Nagao Heuristic): शीर्ष भेदभावपूर्ण न्यूरॉन्स (विशेष रूप से रैंक-0 डिटेक्टर) के इनपुट वेट्स मेस्ट्रे-नागाओ सम वेट्स $w_p = \frac{\log p}{p \cdot \log B}$ से मेल खाते हैं, जिनका स्पीयरमैन सहसंबंध (Spearman correlation) $r=0.997$ और पियर्सन सहसंबंध (Pearson correlation) $r=0.952$ है। मॉडल ने कच्चे ट्रेस डेटा से इस शास्त्रीय विश्लेषणात्मक संख्या सिद्धांत परिणाम को स्वतंत्र रूप से पुनः खोजा है।
रीडआउट सब-ऑप्टिमिटी (Readout Sub-optimality): मॉडल के आंतरिक रीडआउट वेट्स उप-इष्टतम (sub-optimal) हैं। जबकि 20-न्यूरॉन सर्किट में उच्च-फिडेलिटी जानकारी है (AUROC 0.992), मॉडल के अपने रीडआउट वेट्स उसी न्यूरॉन्स से केवल 0.956 का AUROC निकालते हैं, जो डिस्क्रिमिनेटिव सर्किट और रीडआउट पाथवे के बीच बेमेल (mismatch) को दर्शाता है।
L-वैल्यू एनकोडिंग (L-value Encoding): CLS एम्बेडिंग (कंडक्टर को नियंत्रित करने के बाद) $\log L(E, 1)$ को $R^2 \approx 0.962$ के साथ एनकोड करती है, जो सुझाव देता है कि वर्गीकरण कार्य स्पष्ट रूप से $L$ -वैल्यू के लिए अनुकूलित (optimize) होता है।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह बिना किसी सुपरविजन के, रॉ नंबर-थ्योरेटिक डेटा से एक नामित गणितीय परिणाम (मेस्ट्रे-नागाओ ह्यूरिस्टिक) सीखने वाले पहले मैकेनिस्टिक ट्रांसफॉर्मर न्यूरल नेटवर्क की पहचान प्रदान करता है। यह अध्ययन प्रदर्शित करता है कि:

ट्रांसफॉर्मर्स सीधे कच्चे डेटा से जटिल विश्लेषणात्मक संख्या सिद्धांत ह्यूरिस्टिक्स सीख सकते हैं।
सीखा गया एल्गोरिदम न्यूरॉन्स के एक स्पार्स, व्याख्या योग्य सर्किट के माध्यम से लागू किया जाता है जो $L$ -वैल्यू के थ्रेशोल्डेड एस्टिमेटर (thresholded estimator) के रूप में कार्य करता है।
इन मॉडल्स में अटेंशन मैकेनिज्म कॉज़ल महत्व (causal importance) के बारे में भ्रामक हो सकते हैं, क्योंकि सबसे अधिक अटेंड किए गए स्थान अनिवार्य रूप से सबसे अधिक कॉज़ली प्रभावशाली नहीं होते हैं।
अत्यधिक सटीक मॉडल भी उप-इष्टतम रीडआउट तंत्र रख सकते हैं, जहाँ आंतरिक प्रतिनिधित्व (internal representation) अधिक डिस्क्रिमिनेटिव होता है जितना कि अंतिम वर्गीकरण हेड उसका उपयोग करता है।

लेखक निष्कर्ष निकालते हैं कि मॉडल प्रभावी रूप से एक "पुश-पुल" डिटेक्टर को लागू करता है जहाँ रैंक-1 को रैंक-0 के 'पुश' की अनुपस्थिति द्वारा संकेतित किया जाता है, न कि सीधे नकारात्मक 'पुल' द्वारा, और इन स्पार्स डिटेक्टर्स का समूह मॉडल के लेटेंट स्पेस में $L$ -वैल्यू के लगभग पूर्ण एनकोडिंग की व्याख्या करता है।