तकनीकी सारांश: प्राइम फूरियर एम्बेडिंग्स (Prime Fourier Embeddings)

समस्या विवरण (Problem Statement)

मानक न्यूरल एम्बेडिंग्स अक्सर पूर्णांकों की अंतर्निहित बीजगणितीय संरचना (algebraic structure), विशेष रूप से मॉड्यूलर अंकगणित (modular arithmetic) के संबंध में, प्रकट करने में विफल रहती हैं। जबकि चाइनीज रिमाइंडर थ्योरम (CRT) यह निर्धारित करता है कि एक भाज्य संख्या $N$ के अंतर्गत मॉड्यूलर जोड़, इसके अभाज्य गुणनखंडों (prime factors) के स्वतंत्र जोड़ में विभाजित होता है, मानक सीखे गए एम्बेडिंग्स स्वाभाविक रूप से इस विभाजन को प्रतिबिंबित नहीं करते हैं। फलस्वरूप, मॉड्यूलर अंकगणित कार्यों पर प्रशिक्षित मॉडल अक्सर "ग्रोकिंग" (grokking) का अनुभव करते हैं—एक ऐसी घटना जहाँ मॉडल सामान्यीकरण करने से पहले लंबे समय तक स्मृति-धारण (memorization) चरण से गुजरते हैं। यह विलंब एक प्रतिनिधित्व संबंधी विफलता के कारण होता है: जब इनपुट में स्पष्ट 'प्राइम-लोकल' संरचना का अभाव होता है, तो नेटवर्क को ग्रेडिएंट डिसेंट के माध्यम से इन बीजगणितीय संबंधों को शून्य से पुनर्गठित करना पड़ता है, जो एक डेटा-गहन और नाजुक प्रक्रिया है।

मौजूदा दृष्टिकोणों की सीमाएँ हैं: निरंतर एनकोडिंग (जैसे xVal) परिमाण (magnitude) को सुरक्षित रखती है लेकिन आवधिकता (periodicity) को त्याग देती है, जबकि फूरियर नंबर एम्बेडिंग्स (FoNE) जैसे आवधिक दृष्टिकोण अक्सर मिश्रित आधारों (जैसे बेस-10) का उपयोग करते हैं जो साझा चैनलों के भीतर अलग-अलग अभाज्य संरचनाओं (जैसे 2-adic और 5-adic) को उलझा देते हैं, जिससे अभाज्य-स्थानीय जानकारी को अलग करने में विफल रहते हैं।

कार्यप्रणाली: प्राइम फूरियर एम्बेडिंग्स (PFE)

लेखक प्राइम फूरियर एम्बेडिंग्स (PFE) पेश करते हैं, जो परिमेय संख्याओं $\mathbb{Q}$ के हार्मोनिक विश्लेषण से व्युत्पन्न एक सिद्धांतपूर्ण एम्बेडिंग योजना है।

• निर्माण (Construction): PFE एक पूर्णांक $a$ को अभाज्य-सूचकांक वाले $(\cos, \sin)$ युग्मों के संग्रह के रूप में एनकोड करता है। एक अभाज्य $p$ और गहराई $d$ (जहाँ $0 \le d < D$) के लिए, एम्बेडिंग को इस प्रकार परिभाषित किया गया है:
  $$\text{PFE}_{p,d}(a) = \left[ \cos\left(\frac{2\pi a}{p^{d+1}}\right), \sin\left(\frac{2\pi a}{p^{d+1}}\right) \right] \in \mathbb{R}^2$$
  यह समूह $\mathbb{Z}/p^{d+1}\mathbb{Z}$ के कैरेक्टर $\chi_1$ के वास्तविक अपघटन के अनुरूप है।
• सैद्धांतिक आधार (Theoretical Basis): इसका डिज़ाइन एडेलिक कैरेक्टर्स (adelic characters) के गुणनखंडन और पोंट्र्यागिन द्वैतता (Pontryagin duality) से प्रेरित है। यह एम्बेडिंग सीधे तौर पर स्थानीय $p$-adic कैरेक्टर्स को लागू करता है, यह सुनिश्चित करता है कि किसी भी पूर्णांक की अवशेष संरचना (residue structure) को क्रॉस-प्राइम कपलिंग के बिना संबंधित अभाज्य चैनल से पढ़ा जा सके।
• कार्यान्वयन (Implementation): प्रयोगों में, लेखक 16 अभाज्य संख्याओं का एक निश्चित सेट ($P_0 = \{3, \dots, 59\}$) और एक डेप्थ कैप $D=3$ का उपयोग करते हैं, जिसके परिणामस्वरूप एम्बेडिंग आयाम 96 होता है। एम्बेडिंग विशेषताएँ नियत (deterministic) और गैर-प्रशिक्षण योग्य (non-trainable) हैं।

मुख्य सैद्धांतिक योगदान (Key Theoretical Contributions)

यह शोध पत्र PFE पर संचालित होने वाले किसी भी रैखिक मानचित्र (linear map) के लिए एक कठोर संरचनात्मक गारंटी स्थापित करता है:

1. ब्लॉक-डायगोनल डिकंपोजिशन थ्योरम (Theorem 3.1): कोई भी रैखिक मानचित्र $W$ जो PFE पर उत्पाद समूह क्रिया (product group action) के प्रति इक्विवैरिएंट (equivariant) है, उसे ब्लॉक-डायगोनल होना चाहिए।
   • प्रत्येक अभाज्य $p$ और गहराई $d$ के लिए एक स्वतंत्र ब्लॉक है।
   • भिन्न अभाज्य के ब्लॉकों के बीच शून्य कपलिंग है।
   • एक ही अभाज्य के भीतर भिन्न गहराइयों के ब्लॉकों के बीच शून्य कपलिंग है।
2. प्रमाण तंत्र (Proof Mechanism): यह परिणाम श्रूर के लेम्मा (Schur's Lemma) का अनुसरण करता है। प्रत्येक PFE ब्लॉक योगात्मक समूह $\mathbb{Z}$ के एक गैर-आइसोमोर्फिक अपरिवर्तनीय प्रतिनिधित्व (irreducible representation/character) का प्रतिनिधित्व करता है। चूंकि भिन्न $(p, d)$ युग्मों के लिए कैरेक्टर्स गैर-आइसोमोर्फिक हैं, इसलिए उनके बीच कोई भी इक्विवैरिएंट इंटरट्विनर (intertwiner) शून्य होना चाहिए।
3. CRT भविष्यवाणी (CRT Prediction): मॉड्यूलस $N = p_1 \cdots p_k$ वाले कार्य के लिए, सिद्धांत भविष्यवाणी करता है कि केवल $N$ के गुणनखंडों के अनुरूप $k$ अभाज्य चैनल ही कार्य-प्रासंगिक जानकारी वहन करेंगे, जबकि अन्य सभी चैनल अप्रासंगिक रहेंगे।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक मॉड्यूलर जोड़ कार्यों $(a+b) \mod N$ पर व्यवस्थित एब्लेशन अध्ययनों के माध्यम से इन भविष्यवाणियों को सत्यापित करते हैं।

• प्रयोग 1 (सिंगल-प्राइम टास्क): मॉडल को विभिन्न अभाज्य मॉडुली के साथ प्रशिक्षित किया गया। जब कार्य मॉडुलेस के अनुरूप विशिष्ट अभाज्य पंक्ति को एब्लेट (शून्य) किया गया, तो टेस्ट सटीकता में महत्वपूर्ण गिरावट आई। इसके विपरीत, अप्रासंगिक अभाज्य पंक्तियों को एब्लेट करने पर सटीकता में लगभग शून्य गिरावट आई।
  • परिणाम: अधिकांश कॉन्फ़िगरेशन में स्पेशलाइजेशन रेश्यो (डायगोनल ड्रॉप बनाम ऑफ-डायगोनल ड्रॉप) 500$\times$ से अधिक था, जो पुष्टि करता है कि नेटवर्क केवल प्रासंगिक अभाज्य चैनल का उपयोग करता है।
• प्रयोग 2 (कंपोजिट मॉडुली): मॉडल को वर्ग-मुक्त (square-free) संयुक्त मॉडुली (जैसे $N=15, 21, 105$) के लिए प्रशिक्षित किया गया।
  • परिणाम: $N$ के अभाज्य गुणनखंडों को एब्लेट करने से सटीकता में बड़ी गिरावट आई, जबकि गैर-गुणखंडों को एब्लेट करने से नगण्य गिरावट हुई। फैक्टर/नॉन-फैक्टर अनुपात फिर से 500$\times$ से अधिक था।
  • सटीकता: मॉडलों ने परीक्षण किए गए सभी वर्ग-मुक्त संयुक्त मॉडुली और इनपुट रेंज के लिए 100% इन-डिस्ट्रीब्यूशन टेस्ट सटीकता प्राप्त की (बशर्ते इनपुट रेंज $N$ के सापेक्ष पर्याप्त बड़ी हो)।

महत्व और दावे (Significance and Claims)

यह शोध दावा करता है कि PFE मॉड्यूलर अंकगणित के सीखने को एक प्रतिनिधित्व खोज समस्या (representational discovery problem) से बदलकर एक चयन समस्या (selection problem) में बदल देता है।

• सिद्धांतपूर्ण बनाम मनमाना (Principled vs. Arbitrary): हयूरिस्टिक फ्रीक्वेंसी विकल्पों के विपरीत, अभाज्य आधार $\mathbb{Q}$ के एडेलिक फूरियर अपघटन में गणितीय रूप से निहित है। यह सुनिश्चित करता है कि प्रारंभिक अवस्था (initialization) से ही आवश्यक बीजगणितीय संरचना मौजूद है।
• मैकेनिस्टिक इंटरप्रिटेबिलिटी (Mechanistic Interpretability): यह कार्य प्रदर्शित करता है कि एम्बेडिंग डिज़ाइन को प्रतिनिधित्व सिद्धांत (representation theory) के माध्यम से वस्तुओं के गणित द्वारा निर्देशित किया जा सकता है। नेटवर्क की आंतरिक संरचना को प्रशिक्षण से पहले (थ्योरी के माध्यम से) चरित्रित किया जाता है और प्रशिक्षण के बाद (लक्षित एब्लेशन के माध्यम से) सत्यापित किया जाता है।
• असत्य सिद्ध करने योग्य सिद्धांत (Falsifiable Theory): ब्लॉक-डायगोनल डिकंपोजिशन थ्योरम नेटवर्क व्यवहार पर एक प्रमाण योग्य संरचनात्मक बाधा प्रदान करता है। इस बाधा का अनुभवजन्य पुष्टिकरण न्यूरल नेटवर्क में अधिक विश्वसनीय और पारदर्शी संख्यात्मक तर्क की ओर एक मार्ग प्रदान करता है, जो पोस्ट-हॉक अवलोकन से आगे बढ़कर गणितीय रूप से ठोस सिद्धांत की ओर ले जाता है।

लेखक नोट करते हैं कि हालांकि ब्लॉक-डायगोनल संरचना प्रमाणित है, लेकिन ग्रेडिएंट डिसेंट के इक्विवैरिएंट समाधान (बजाय सिमेट्री तोड़ने के) तक अभिसरण करने का विशिष्ट तंत्र भविष्य के कार्य के लिए एक खुला प्रश्न बना हुआ है।