🤖 machine learning

Numbers Already Carry Their Own Embeddings

यह शोध पत्र एडेलिक ऑपरेशन-प्रिजर्व्ड एम्बेडिंग्स (AOE) को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त, प्लग-एंड-प्ले प्रतिनिधित्व है जो संख्याओं के वास्तविक और p-एडिक हस्ताक्षरों दोनों को कैप्चर करता है ताकि उनकी बीजगणितीय संरचना को संरक्षित किया जा सके, जिससे कॉम्बिनेटरियल बेंचमार्क पर पूर्ण सटीकता प्राप्त होती है और AI में "नंबर प्रॉब्लम" का एक सिद्धांत-आधारित समाधान मिलता है।

मूल लेखक: Suhyun Bae, Donghun Lee

प्रकाशित 2026-06-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Suhyun Bae, Donghun Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को यह सिखाने की कोशिश कर रहे हैं कि संख्याओं को कैसे समझा जाए। वर्तमान में, अधिकांश AI मॉडल संख्याओं के साथ शब्दों की तरह व्यवहार करते हैं। यदि आप "7" टाइप करते हैं, तो कंप्यूटर उसे एक मात्रा के रूप में नहीं देखता; वह इसे पिक्सेल से बनी एक विशिष्ट आकृति या "7" अक्षर का प्रतिनिधित्व करने वाले एक कोड के रूप में देखता है। यह वैसा ही है जैसे कि केवल एक पन्ने पर लिखे अक्षर "A" के आकार का अध्ययन करके "सात सेबों" की अवधारणा को समझने की कोशिश करना। कंप्यूटर को बहुत सारे उदाहरणों को पढ़कर गणित के नियमों (जैसे जोड़ या गुणा) का अनुमान लगाना पड़ता है, जिससे अक्सर गलतियाँ होती हैं।

यह शोध पत्र उन्हें संख्याओं के बारे में सिखाने का एक क्रांतिकारी नया तरीका प्रस्तावित करता है, जो इस विचार पर आधारित है कि संख्याएँ पहले से ही इस बात के निर्देश अपने पास रखती हैं कि उन्हें कैसा व्यवहार करना है।

यहाँ उनके समाधान का सरल विवरण दिया गया, जिसे AOE (Adelic Operation-preserved Embeddings) कहा जाता है:

1. समस्या: "स्ट्रिंग" का जाल (The "String" Trap)

अभी, AI मॉडल संख्याओं को छोटे, मनमाने टुकड़ों में तोड़ देते हैं (जैसे "123" को "1", "2", और "3" में तोड़ना)। वे संख्याओं के बीच के स्वाभाविक संबंधों को खो देते हैं। यह एक गाने को समझने की कोशिश करने जैसा है जहाँ आप केवल गीतों के व्यक्तिगत अक्षरों को देख रहे हैं, न कि धुन को सुन रहे हैं। AI को हर बार शून्य से गणित को फिर से सीखना पड़ता है, जो कठिन और त्रुटिपूर्ण है।

2. समाधान: "यूनिवर्सल आईडी कार्ड" (The "Universal ID Card")

लेखक सुझाव देते हैं कि प्रत्येक संख्या को एक विशेष "ID कार्ड" दिया जाए जो उसकी वास्तविक गणितीय पहचान को पकड़ सके। वे इसे एडेलिक एम्बेडिंग (Adelic Embedding) कहते हैं।

एक संख्या को केवल एक एकल मान के रूप में नहीं, बल्कि दो अलग-अलग पहचानों वाले व्यक्ति के रूप में सोचें:

"वास्तविक" स्वरूप (The "Real" Self): यह वह संख्या है जिसे आप कैलकुलेटर पर देखते हैं (जैसे 1.4)।
"मॉड्यूलर" स्वरूप (The "Modular" Self): यह विभिन्न अभाज्य संख्याओं (जैसे 2, 3, 5, आदि) के लेंस से देखे जाने पर संख्या का "हस्ताक्षर" (signature) है।

उपमा:
कल्पना कीजिए कि आप एक शहर में किसी संदिग्ध की पहचान करने की कोशिश कर रहे हैं।

पुराना तरीका: आप केवल उसका चेहरा देखते हैं (वास्तविक मान)। इसमें एक व्यक्ति को दूसरे के रूप में mistaken करना आसान है।
नया तरीका (AOE): आप उसका चेहरा साथ ही उसके फिंगरप्रिंट, उसकी आवाज़ का पैटर्न और उसके DNA को देखते हैं। भले ही उसका चेहरा बदल जाए, उसका "गणितीय DNA" (मॉड्यूलर सिग्नेचर) कभी झूठ नहीं बोलता।

इस प्रणाली में, 7/5 जैसी संख्या केवल "1.4" नहीं है। यह भी एक विशिष्ट पैटर्न है जब आप इसे संख्या 2 के "लेंस" के माध्यम से देखते हैं, संख्या 3 के "लेंस" के माध्यम से एक और पैटर्न, और इसी तरह।

3. यह क्यों काम करता है: "प्लग-एंड-प्ले" का जादू

सबसे अच्छी बात यह है कि इसके लिए AI को वापस स्कूल जाकर सब कुछ फिर से सीखने की आवश्यकता नहीं है।

ट्रेनिंग-फ्री (Training-Free): गणित इस ID कार्ड के भीतर ही निर्मित है। कंप्यूटर को जोड़ या गुणा के नियमों का अनुमान लगाने की आवश्यकता नहीं है; ID कार्ड उन नियमों को पूरी तरह से सुरक्षित रखता है।
प्लग-एंड-प्ले (Plug-and-Play): आप इस नए ID कार्ड सिस्टम को किसी भी मौजूदा AI मॉडल (जैसे ट्रांसफॉर्मर) में एक मानक बैटरी को बेहतर बैटरी से बदलने की तरह डाल सकते हैं। पूरे इंजन को फिर से बनाने की आवश्यकता नहीं है।

4. परिणाम: "नंबर की समस्या" का समाधान

लेखकों ने इसका परीक्षण अल्जेब्रिक कॉम्बिनेटरिक्स डेटासेट (Algebraic Combinatorics Dataset) नामक गणितीय पहेलियों के एक बहुत ही कठिन सेट पर किया। ये साधारण "2+2" वाली समस्याएं नहीं हैं; ये पैटर्न, आकृतियों और अमूर्त संरचनाओं से जुड़ी जटिल, शोध-स्तर की पहेलियाँ हैं।

परिणाम: AOE वाले AI ने हर एक टेस्ट में मानक AI को पीछे छोड़ दिया।
मुख्य आकर्षण: "वीविंग पैटर्न" (Weaving Pattern) नामक एक विशेष, अत्यंत कठिन पहेली पर, नए AI ने 100% सटीकता प्राप्त की। मौजूदा सर्वश्रेष्ठ AI मॉडल (विशालकाय मॉडल भी) इसे पूरी तरह से हल करने में विफल रहे थे।

5. कमी (सीमाएं)

शोध पत्र अपनी कुछ सीमाओं के बारे में ईमानदार है:

जटिलता: इन विशेष ID कार्डों को बनाने में पुराने तरीके की तुलना में थोड़ा अधिक कंप्यूटिंग पावर और समय (लगभग 4-5 गुना अधिक धीमा) लगता है क्योंकि कंप्यूटर को हर संख्या के लिए उन सभी अतिरिक्त "फिंगरप्रिंट्स" की गणना करनी पड़ती है।
दायरा: वर्तमान में, यह परिमेय संख्याओं (fractions) के लिए पूरी तरह से काम करता है। लेखक स्वीकार करते हैं कि उन्होंने अभी तक अपरिमेय संख्याओं (जैसे Pi) या सम्मिश्र संख्याओं (complex numbers) के लिए ऐसा करने का तरीका नहीं खोजा है।

निष्कर्ष

यह शोध पत्र तर्क देता है कि हम बहुत लंबे समय से संख्याओं के साथ टेक्स्ट (पाठ) जैसा व्यवहार कर रहे हैं। संख्याओं को एक ऐसा प्रतिनिधित्व देने से, जो उनके वास्तविक गणितीय स्वभाव का सम्मान करता हो (उनके वास्तविक मान को उनके मॉड्यूलर "फिंगरप्रिंट्स" के साथ जोड़कर), हम AI को बड़ा बनाए या उसे अधिक प्रशिक्षित किए बिना गणित में बहुत बेहतर बना सकते हैं। यह कंप्यूटर के साथ सीधे "गणित की भाषा" बोलने का एक तरीका है।

तकनीकी सारांश: एडेलिक ऑपरेशन-प्रिजर्व्ड एम्बेडिंग्स (AOE)

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) द्वारा गणितीय तर्क में हालिया मील के पत्थरों के बावजूद, एक मौलिक बाधा बनी हुई है: "संख्या की समस्या" (the "number problem")। वर्तमान आर्किटेक्चर मुख्य रूप से बाइट पेयर एनकोडिंग (BPE) जैसी टोकनाइज़ेशन योजनाओं के माध्यम से संख्याओं को वर्णों (characters) के अनुक्रम के रूप में देखते हैं। यह दृष्टिकोण संख्यात्मक मानों को मनमाने उपशब्द इकाइयों (subword units) में विभाजित कर देता है, जिससे उन अंतर्निहित योगात्मक (additive) और गुणात्मक (multiplicative) संबंधों को समाप्त कर दिया जाता है जो संख्याओं को परिभाषित करते हैं। फलस्वरूप, मॉडल गणितीय परिशुद्धता वाले कार्यों में भंगुर तर्क (brittle reasoning), असंगत सामान्यीकरण और व्यवस्थित त्रुटियां प्रदर्शित करते हैं। जबकि पूर्व प्रयासों ने निरंतर एम्बेडिंग्स (continuous embeddings) या अंक-वार पोजीशनल एनकोडिंग्स का पता लगाया है, ये विधियाँ अक्सर इस उम्मीद पर टिकी होती हैं कि मॉडल प्रशिक्षण के दौरान गणितीय नियमों को अप्रत्यक्ष रूप से पुनः खोज लेंगे, बजाय इसके कि उन्हें सीधे एम्बेड किया जाए।

कार्यप्रणाली: एडेलिक ऑपरेशन-प्रजर्व्ड एम्बेडिंग्स (AOE)
लेखक AOE का प्रस्ताव करते हैं, जो एक प्रशिक्षण-मुक्त (training-free) प्रतिनिधित्व है जो बीजगणितीय संख्या सिद्धांत (algebraic number theory) पर आधारित है। संख्याओं को टोकनाइज़ करने के बजाय, AOE एक एडेल स्पेस (Adele space) के भीतर एम्बेडिंग्स का निर्माण करता है, जो वास्तविक रेखा (real line) को परिमेय संख्याओं के $p$ -एडिक पूर्णता (p-adic completions) के साथ एकीकृत करता है।

गणितीय आधार: इसका निर्माण एडेल रिंग ( $\mathbb{A}_\mathbb{Q}$ ) का लाभ उठाता है, जो एक परिमेय संख्या $q$ को उसके वास्तविक मान ( $a_\infty$ ) और चुनिंदा अभाज्य संख्याओं (primes) के लिए उसके $p$ -एडिक विस्तार ( $a_p$ ) के टुपल (tuple) के रूप में प्रस्तुत करता है।
संरचना संरक्षण: डिज़ाइन द्वारा, यह प्रतिनिधित्व समन्वय-वार (coordinate-wise) बीजगणितीय संरचना को संरक्षित करता है। किन्हीं भी परिमेय संख्याओं $q_1, q_2$ $q_{1}, q_{2}$ के लिए:
- $A(q_1 + q_2) = A(q_1) \oplus A(q_2)$
- $A(q_1 \cdot q_2) = A(q_1) \otimes A(q_2)$
  यहाँ, $\oplus$ और $\otimes$ वास्तविक और $p$ -एडिक वेक्टर्स के संयोजन पर समन्वय-वार संचालन को दर्शाते हैं।
एम्बेडिंग निर्माण: एक परिमेय $q = n/m$ $q = n / m$ के लिए एम्बेडिंग उत्पन्न करने हेतु:
1. वास्तविक घटक (Real Component): इसे वास्तविक रेखा पर एक लंबाई- $N$ वेक्टर के रूप में दर्शाया गया है।
2. $p$ -एडिक घटक: निश्चित अभाज्य संख्याओं के लिए, लेखक $N$ -अंकों के $p$ -एडिक विस्तार की गणना करते हैं। इसमें $p$ से $p^N$ तक समाधानों को इटरेटिव रूप से लिफ्ट करने के लिए हेन्सेल के लेम्मा (Hensel's Lemma) का उपयोग करके $mx \equiv n \pmod{p^N}$ को हल करना शामिल है।
3. संयोजन (Concatenation): वास्तविक वेक्टर और खंडित (truncated) $p$ -एडिक वेक्टर्स को एक टेंसर के रूप में संयोजित किया जाता है जिसका आकार $(n_p + 1) \times N$ है, जहाँ $n_p$ चुनी गई अभाज्य संख्याओं की संख्या है।
एकीकरण: AOE आर्किटेक्चर-अज्ञेय (architecture-agnostic) और प्लग-एंड-प्ले है। यह ट्रांसफॉर्मर में मानक एम्बेडिंग लेयर्स को पूर्व-गणना किए गए एडेलिक टेंसरों से बदल देता है। संरचनात्मक जानकारी को बनाए रखने के लिए, एक हल्का 2D पोजीशनल एनकोडिंग जोड़ा जाता है, जो अनुक्रम स्थिति (sequence position), अभाज्य सूचकांक (prime index) और अंक सूचकांक (digit index) को एनकोड करता है।

प्रमुख योगदान

AOE का प्रस्ताव: एक प्रशिक्षण-मुक्त, बीजगणितीय रूप से आधारित प्रतिनिधित्व जो बिना किसी कार्य-विशिष्ट पुन: प्रशिक्षण के संख्यात्मक संरचना का सीधा सम्मान करता है।
"संख्या की समस्या" का समाधान: यह कार्य AOE को संख्यात्मक प्रतिनिधित्व की बाधा के लिए एक सिद्धांतपूर्ण उपचार के रूप में प्रस्तुत करता है, जो टोकन-आधारित दृष्टिकोणों की सीमाओं को पार करने का मार्ग प्रदान करता है।
अनुभवजन्य सत्यापन: लेखक प्रदर्शित करते हैं कि AOE से सुसज्जित ट्रांसफॉर्मर बीजगणितीय कॉम्बिनेटरिक्स बेंचमार्क पर मानक बेसलाइन से बेहतर प्रदर्शन करते हैं, और उन कार्यों पर पूर्ण सटीकता प्राप्त करते हैं जहाँ पिछले मॉडल विफल रहे थे।

प्रायोगिक परिणाम
लेखकों ने अल्जेब्रिक कॉम्बिनेटरिक्स डेटासेट (ACD) पर AOE का मूल्यांकन किया, जो बीजगणितीय कॉम्बिनेटरिक्स में अनुसंधान-स्तरीय अनुमानों के लिए डिज़ाइन किया गया एक बेंचमार्क है। प्रयोगों ने एक मानक ट्रांसफॉर्मर बेसलाइन (उपयोगकर्ता nn.Embedding और साइनुसोइडल पोजीशनल एनकोडिंग) बनाम एक AOE-युक्त ट्रांसफॉर्मर (निश्चित, पूर्व-गणना किए गए एडेलिक टेंसरों का उपयोग करने वाला) की तुलना की।

प्रदर्शन: छह वर्गीकरण कार्यों (जिसमें लैटिस पाथ्स, क्विवर म्यूटेशन क्लासेस और शुबर्ट पॉलिनोमिअल्स शामिल हैं) में, AOE मॉडल ने लगातार बेसलाइन से बेहतर प्रदर्शन किया।
उल्लेखनीय उपलब्धि: AOE मॉडल ने वीविंग पैटर्न (Weaving Patterns) बेंचमार्क ( $n=6$ और $n=7$ के लिए) पर 100% सटीकता प्राप्त की, एक ऐसा कार्य जहाँ बेसलाइन ने केवल ~53% प्राप्त किया और जो ऐतिहासिक रूप से बड़े पैमाने के लैंग्वेज मॉडल्स के लिए कठिन रहा है।
सामान्यीकरण: सुधार मामूली लाभ (जैसे लैटिस पाथ्स) से लेकर नाटकीय उछाल (जैसे शुबर्ट पॉलिनोमिअल्स और क्विवर म्यूटेशन क्लासेस) तक रहे, जिसमें कम टेस्ट लॉस बेहतर मॉडल कैलिब्रेशन को दर्शाता है।
दक्षता: हालांकि AOE कंप्यूटेशनल ओवरहेड पेश करता है (पूर्व-गणना और 2D पोजीशनल एनकोडिंग के कारण प्रशिक्षण लगभग 4-5 गुना धीमा हो जाता है), प्रदर्शन में सुधार बिना सीखने योग्य मापदंडों (learnable parameters) की संख्या बढ़ाए प्राप्त किया गया; वास्तव में, बेसलाइन में अधिक सीखने योग्य पैरामीटर थे।

महत्व और दावे
यह शोध पत्र प्रतिपादित करता है कि संख्याएँ स्वाभाविक रूप से अपने स्वयं के प्रतिनिधित्व के लिए आवश्यक संरचना धारण करती हैं। AOE के माध्यम से इस संरचना को स्पष्ट करके, न्यूरल मॉडल बीजगणितीय कार्यों पर विश्वसनीयता के ऐसे स्तर प्राप्त कर सकते हैं जो सबसे बड़े LLMs को भी कठिन लगते हैं।

लेखक तर्क देते हैं कि AI तर्क का भविष्य वस्तुओं की स्वयं की गणितीय संरचनाओं को एम्बेड करने पर निर्भर है, न कि केवल उस भाषा पर जिसका उपयोग उन्हें वर्णित करने के लिए किया जाता है। AOE एक प्रमाण-अवधारणा (proof-of-concept) के रूप में कार्य करता है कि बीजगणितीय संख्या सिद्धांत के विचार न्यूरल आर्किटेक्चर में प्लग-एंड-प्ले घटकों के रूप में कार्य कर सकते हैं, जो प्रतीकात्मक कठोरता (symbolic rigor) को न्यूरल स्केलेबिलिटी के साथ जोड़ने का मार्ग सुझाते हैं।

लेखकों द्वारा स्वीकारित सीमाएँ

दायरा: वर्तमान ढांचा एडेल रिंग की परिभाषा के कारण परिमेय संख्याओं ( $\mathbb{Q}$ ) तक सीमित है। अपरिमेय (irrationals), जटिल मानों (complex values), या ट्रांसेंडेंटल स्थिरांकों (transcendental constants) तक विस्तार के लिए नए सैद्धांतिक उपकरणों की आवश्यकता है।
हाइपरपैरामीटर्स: अभाज्य संख्याओं और अंक परिशुद्धता का चयन वर्तमान में ह्यूरिस्टिक और मैनुअल है; दक्षता के लिए अधिक अनुकूलन योग्य रणनीतियों की आवश्यकता है।
कंप्यूटेशनल लागत: पूर्व-गणना और 2D पोजीशनल एनकोडिंग मानक एम्बेडिंग्स की तुलना में प्रशिक्षण समय को काफी बढ़ा देते है।