🤖 machine learning

The Discrete-Log Clock: How a Transformer Learns Modular Multiplication

यह शोध पत्र यह प्रदर्शित करता है कि मॉड्यूलर गुणन (modular multiplication) सीखने वाले ट्रांसफॉर्मर्स की स्पष्ट जटिलता गलत विश्लेषणात्मक आधार (analytical basis) के उपयोग का एक परिणाम है, जो यह प्रकट करता है कि वे वास्तव में एक विरल (sparse), व्याख्या योग्य "डिस्क्रीट-लॉग क्लॉक" (Discrete-Log Clock) एल्गोरिदम को लागू करते हैं, जो गुणन को मल्टीप्लिकेटिव कैरेक्टर्स (multiplicative characters) के स्थान में जोड़ में बदलकर निष्पादित करता है।

मूल लेखक: Huu Danh Nguyen (Stanford University)

प्रकाशित 2026-06-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Huu Danh Nguyen (Stanford University)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी पहेली: AI "भ्रमित" क्यों था?

कल्पना कीजिए कि आप एक रोबोट को गणित सिखाने की कोशिश कर रहे हैं। विशेष रूप से, आप उसे मॉड्यूलर मल्टीप्लिकेशन (modular multiplication) सिखाना चाहते हैं (दो संख्याओं को गुणा करना और एक विशिष्ट संख्या (जैसे 113) से विभाजित करने पर केवल शेषफल रखना)।

लंबे समय तक, वैज्ञानिकों ने कुछ अजीब देखा। जब रोबोट ने आखिरकार इसे "समझ लिया" (एक घटना जिसे ग्रोकिंग (grokking) कहा जाता है, जहाँ यह अचानक उत्तरों को रटने से हटकर नियम को समझने लगता है), तो इसकी आंतरिक गणितीय प्रक्रिया बहुत अव्यवस्थित लग रही थी।

पुराना दृष्टिकोण: जब वैज्ञानिकों ने मानक उपकरणों का उपयोग करके रोबोट के मस्तिष्क को देखा, तो उन्हें एक "सघन" (dense) बिखराव दिखाई दिया। ऐसा लग रहा था जैसे रोबोट समस्या को हल करने के लिए ध्वनि की हर संभव आवृत्ति (frequency) का उपयोग कर रहा था। यह बहुत ही अराजक और समझने में कठिन लग रहा था, जबकि साधारण जोड़ (addition) को हल करने का उसका तरीका बहुत व्यवस्थित और साफ था।
समस्या: वैज्ञानिक रोबोट के मस्तिष्क को गलत चश्मे से देख रहे थे। वे एक "मानक पैमाने" का उपयोग कर रहे थे जो 'जोड़' के लिए बनाया गया था, लेकिन रोबोट वास्तव में 'गुणा' कर रहा था।

समाधान: लेंस बदलना

इस शोध पत्र के लेखकों ने महसूस किया कि गुणा को समझने के लिए, आपको संख्याओं को वैसे नहीं देखना चाहिए जैसे वे हैं (1, 2, 3...), बल्कि उन्हें एक जनरेटर की घातों (powers of a generator) के रूप में देखना चाहिए।

इसे इस प्रकार समझें:

मानक दृष्टिकोण (योगात्मक/Additive): कल्पना कीजिए कि 1 से 12 तक की संख्याओं वाला एक घड़ी का चेहरा है। यदि आप 1 जोड़ते हैं, तो आप एक कदम आगे बढ़ते हैं। यह देखना आसान है।
छिपा हुआ दृष्टिकोण (गुणात्मक/Multiplicative): अब, कल्पना कीजिए कि घड़ी की संख्याएँ बिखरी हुई हैं। संख्या "1" वास्तव में "3" है, संख्या "2" वास्तव में "9" है, और इसी तरह। इस बिखरी हुई दुनिया में, गुणा वास्तव में जोड़ की तरह काम करता है।

इस शोध पत्र में इसे "डिस्क्रीट-लॉग क्लॉक" (Discrete-Log Clock) कहा गया है। यह एक गुप्त कोड है जहाँ जटिल गुणा की समस्या एक सरल जोड़ की समस्या में बदल जाती है।

उन्होंने क्या पाया (वह "अहा!" क्षण)

जब शोधकर्ताओं ने इस नए "बिखरे हुए" लेंस (जिसे वे मल्टीप्लिकेटिव कैरेक्टर ट्रांसफॉर्म कहते हैं) का उपयोग करके रोबोट के मस्तिष्क की पुन: जांच की, तो वह अराजकता गायब हो गई।

शोर से संकेत बना: एक अव्यवस्थित "सघन" स्पेक्ट्रम देखने के बजाय, उन्हें एक बहुत ही साफ और स्पष्ट पैटर्न दिखाई दिया। रोबोट सभी आवृत्तियों का उपयोग नहीं कर रहा था; वह गणित करने के लिए केवल 4 विशिष्ट आवृत्तियों का उपयोग कर रहा था। यह शोर के बीच एक स्पष्ट मधुर धुन खोजने जैसा था।
न्यूरॉन्स व्यवस्थित हो गए: रोबोट के पास हजारों छोटे प्रोसेसिंग यूनिट (न्यूरॉन्स) होते हैं। पुराने दृष्टिकोण में, वे यादृच्छिक (random) लग रहे थे। नए दृष्टिकोण में, उनमें से 97% पूरी तरह से उन 4 आवृत्तियों में से केवल एक के साथ ट्यून किए गए थे। वे एक ऐसे गायक दल (choir) की तरह थे जहाँ हर गायक जानता है कि उसे कौन सा सुर लगाना है।
पैटर्न उभर कर आया: जब उन्होंने इस गुप्त कोड के आधार पर डेटा को पुनर्व्यवस्थित किया, तो रोबोट की आंतरिक गतिविधि ने सटीक तिरछी धारियाँ (diagonal stripes) बनाईं। इसने साबित कर दिया कि रोबोट ने एक विशेष ट्रिक सीख ली थी:
- चरण 1: संख्याओं को उनके "गुप्त कोड" (डिस्क्रीट लॉग्स) में बदलें।
- चरण 2: कोडों को एक साथ जोड़ें (बिल्कुल सामान्य जोड़ की तरह)।
- चरण 3: परिणाम को वापस सामान्य संख्या में बदलें।

"क्लॉक" (घड़ी) का रूपक

यह शोध पत्र जोड़ के लिए उपयोग किए जाने वाले एक प्रसिद्ध "क्लॉक एल्गोरिदम" से तुलना करता है।

जोड़ के लिए: रोबोट एक घड़ी की सुई को घुमाना सीखता है।
गुणा के लिए: रोबोट एक अलग प्रकार की घड़ी (डिस्क्रीट-लॉग क्लॉक) को घुमाना सीखता है। एक बार जब वह इस विशेष घड़ी पर सुई घुमा देता है, तो उत्तर वहीं मिल जाता है।

पिछले वैज्ञानिकों ने इसे क्यों मिस कर दिया?

कल्पना कीजिए कि आप एक गाना सुनने की कोशिश कर रहे हैं, लेकिन आपने ऐसे नॉइज़-कैंसलिंग हेडफ़ोन पहने हुए हैं जो केवल 'बेस' (bass) को ही अंदर आने देते हैं। आप एक धमक भरी, अव्यवस्थित आवाज़ सुनते हैं और निष्कर्ष निकालते हैं, "यह गाना केवल शोर है।"

पिछले शोधकर्ता उन "हेडफ़ोन" (मानक गणितीय उपकरण) को पहने हुए थे। उन्होंने उस "धमक" (सघन स्पेक्ट्रम) को देखा और सोचा कि रोबोट एक जटिल, समझाने में असमर्थ विधि का उपयोग कर रहा है। लेखकों ने बस हेडफ़ोन उतार दिए, सही फ्रीक्वेंसी पर स्विच किया, और महसूस किया कि रोबंतु वास्तव में एक सुंदर, सरल धुन बजा रहा था।

मुख्य निष्कर्ष

इस शोध पत्र का मुख्य सबक केवल गणित के बारे में नहीं है; यह इस बारे में है कि हम चीजों को कैसे देखते हैं।

सबक: यदि आप किसी जटिल प्रणाली (जैसे कि एक AI या लोगों का समूह) को समझने की कोशिश कर रहे हैं, तो सुनिश्चित करें कि आप कार्य के लिए सही "भाषा" या "आधार" (basis) का उपयोग कर रहे हैं।
परिणाम: जब आप अपने विश्लेषण उपकरण को समस्या की वास्तविक संरचना (इस मामले में, गुणा के लिए "गुणात्मक" लेंस का उपयोग करना) के साथ मिलाते हैं, तो अव्यवस्थित, समझाने में असमर्थ शोर एक स्पष्ट, सरल और समझने योग्य एल्गोरिदम में बदल जाता है।

रोबोट ने गणित करने का कोई नया, रहस्यमय तरीका नहीं बनाया। उसने बस उस गुप्त कोड को खोज लिया जिसने एक कठिन समस्या को आसान समस्या में बदल दिया, और शोधकर्ताओं ने अंततः उस कोड को पढ़ना सीख लिया।

तकनीकी सारांश: द डिस्क्रीट-लॉग क्लॉक (The Discrete-Log Clock)

समस्या विवरण
जबकि मॉड्यूलर जोड़ ( $a + b \mod p$ ) सीखने वाले ट्रांसफॉर्मर्स के आंतरिक तंत्र को स्पार्स फूरियर रिप्रजेंटेशन (जिसे "क्लॉक" एल्गोरिदम कहा जाता है) के रूप में पूरी तरह से रिवर्स-इंजीनियर किया जा चुका है, मॉड्यूलर गुणा ( $a \cdot b \mod p$ ) का तंत्र अब तक अनसुलझा रहा है। पूर्ववर्ती अनुभवजन्य अध्ययनों (डोशी एवं अन्य, 2024; फुरुता एवं अन्य, 2024) ने रिपोर्ट किया था कि गुणा पर प्रशिक्षित ट्रांसफॉर्मर्स "सघन" (dense) फूरियर स्पेक्ट्रा सीखते हैं जिसमें सभी आवृत्तियों (frequencies) की आवश्यकता होती है, जो जोड़ के लिए पाए गए स्पार्स स्ट्रक्चर के बिल्कुल विपरीत है। इससे यह संकेत मिला कि गुणा एक मौलिक रूप से भिन्न, कम व्याख्या योग्य एल्गोरिदम पर निर्भर हो सकता है।

कार्यप्रणाली
लेखक $a, b \in \{1, \dots, 112\}$ के इनपुट के लिए $a \cdot b \mod 113$ की भविष्यवाणी करने हेतु एक 1-लेयर डिकोडर-ओनली ट्रांसफॉर्मर को प्रशिक्षित करते हैं। मॉडल को डेटा के 30% हिस्से पर प्रशिक्षित किया जाता है और इसे शेष 70% पर सामान्यीकरण (generalize) करना होता है, जहाँ यह "ग्रोकिंग" (grokking) घटना प्रदर्शित करता है जहाँ लंबे समय तक मेमोराइजेशन के बाद अचानक सामान्यीकरण होता है।

मुख्य कार्यप्रणालीगत नवाचार विश्लेषण के आधार (basis) में बदलाव है। टोकन एम्बेडिंग्स पर मानक एडिटिव डिस्क्रीट फूरियर ट्रांसफॉर्म (DFT) लागू करने के बजाय, लेखक मल्टीप्लिकेटिव कैरेक्टर ट्रांसफॉर्म (multiplicative character transform) लागू करते हैं। इसमें शामिल है:

यह पहचानना कि एक अभाज्य संख्या $p$ के अंतर्गत गैर-शून्य पूर्णांक एक चक्रीय समूह $(\mathbb{Z}/p\mathbb{Z})^*$ बनाते हैं।
एक प्रिमिटिव रूट $g$ (यहाँ $g=3$ ) का उपयोग करके इनपुट को उनके डिस्क्रीट लॉगरिदम (discrete logarithms) पर मैप करना: $\alpha = \log_g(a)$ और $\beta = \log_g(b)$ ।
इन डिस्क्रीट लॉगरिदम के अनुसार एम्बेडिंग मैट्रिक्स की पंक्तियों को पुनर्व्यवस्थित करना।
इस पुनर्व्यवस्थित डेटा पर मानक DFT लागू करना।

यह दृष्टिकोण उस ग्रुप आइसोमोर्फिज्म (group isomorphism) का लाभ उठाता है जहाँ मूल स्पेस में गुणा, डिस्क्रीट-लॉग स्पेस में जोड़ के अनुरूप होता है ( $a \cdot b \equiv g^{\alpha + \beta} \mod p$ )।

प्रमुख परिणाम

स्पेक्ट्रल स्पर्सिटी (Spectral Sparsity): एडिटिव बेसिस में विश्लेषण करने पर, एम्बेडिंग स्पेक्ट्रम सपाट और सघन दिखाई देता है (गिनी गुणांक 0.07)। हालांकि, मल्टीप्लिकेटिव कैरेक्टर बेसिस में, स्पेक्ट्रम अत्यधिक स्पार्स हो जाता है (गिनी गुणांक 0.58), जिसमें ऊर्जा केवल 4 प्रमुख आवृत्तियों ( $\{2, 8, 47, 56\}$ ) में केंद्रित होती है।
न्यूरॉन ट्यूनिंग (Neuron Tuning): मल्टीप्लिकेटिव बेसिस में, 96.9% (496/512) MLP न्यूरॉन्स एक एकल आवृत्ति के लिए "साफ तौर पर ट्यून" (cleanly tuned) होते हैं, और 85% से अधिक उनकी सक्रियण ऊर्जा वहीं केंद्रित होती है। एडिटिव बेसिस में, शून्य न्यूरॉन्स इस थ्रेशोल्ड को पूरा करते हैं।
स्ट्रक्चरल विज़ुअलाइज़ेशन (Structural Visualization): जब न्यूरॉन एक्टिवेशन हीटमैप्स को डिस्क्रीट लॉगरिदम द्वारा पुनर्व्यवस्थित किया जाता है, तो वे स्पष्ट 2D-पीरियोडिक डायगोनल पट्टियाँ (stripes) प्रकट करते हैं। यह इंगित करता है कि न्यूरॉन्स $\cos(k(\alpha + \beta))$ के रूप में कार्यों की गणना करते हैं, जो प्रभावी रूप से लॉग-स्पेस में जोड़ को निष्पादित करते हैं।
SVD विश्लेषण: एम्बेडिंग मैट्रिक्स के प्रिंसिपल कंपोनेंट्स, डिस्क्रीट लॉगरिदम द्वारा पुनर्व्यवस्थित होने पर, स्पष्ट साइनुसोइडल संरचनाएं प्रदर्शित करते हैं, जो मल्टीप्लिकेटिव कैरेक्टर्स के एनकोडिंग की पुष्टि करते हैं।

"डिस्क्रीट-लॉग क्लॉक" एल्गोरिदम
पेपर निष्कर्ष निकालता है कि ट्रांसफॉर्मर एक एल्गोरिदम लागू करता है जो जोड़ के लिए "क्लॉक" एल्गोरिदम के समान है, जिसे डिस्क्रीट-लॉग क्लॉक कहा गया है। यह प्रक्रिया इस प्रकार है:

एम्बेडिंग: पूर्णांकों को उनके डिस्क्रीट लॉगरिदम के साइनुसोइडल फंक्शन के रूप में एम्बेड किया जाता है।
रूटिंग: अटेंशन मैकेनिज्म इन एम्बेडिंग्स को आउटपुट पोजीशन तक भेजता है।
कंपोजिशन: MLP त्रिकोणमितीय पहचानों (trigonometric identities) को लागू करता है ताकि डिस्क्रीट लॉगरिदम का योग निकाला जा सके (प्रभावी रूप से $\alpha + \beta$ को जोड़ना)।
डिकोडिंग: मॉडल लॉग-स्पेस में गणना किए गए योग के साथ संरेखित होकर कैंडिडेट आउटपुट्स को स्कोर करता है, जहाँ सही उत्तर प्रमुख आवृत्तियों में कंस्ट्रक्टिव इंटरफेरेंस (constructive interference) प्राप्त करता है।

महत्व और दावे
प्राथमिक योगदान यह प्रदर्शित करना है कि पूर्ववर्ती कार्य में देखा गया "सघन स्पेक्ट्रम" वास्तव में गलत बेसिस में डेटा के विश्लेषण का एक आर्टिफैक्ट (artifact) है, न कि एल्गोरिदम की जटिलता का प्रतिबिंब। डेटा के बीजगणितीय ढांचे (algebraic structure) के साथ विश्लेषण बेसिस को मिलाने से, लेखक यह प्रकट करते हैं कि गुणा को डिस्क्रीट-लॉग स्पेस में जोड़ में बदल दिया जाता है।

पेपर दावा करता है कि यह कार्यप्रणाली सामान्यीकरण करती है:

10 अलग-अलग अभाज्य संख्याओं ( $p=59$ से $113$) में स्पार्स मल्टीप्लिकेटिव स्पेक्ट्रम की पुष्टि की गई।
यह तंत्र रैंडम सीड्स (लगभग 80% सीड्स) में सार्वभौमिक है।
प्रारंभिक परिणाम बताते हैं कि यह दृष्टिकोण 2-लेयर ट्रांसफॉर्मर का उपयोग करके मॉड्यूलर एक्सपोनेंटिएशन ( $a^b \mod p$ ) तक भी विस्तारित होता है।

लेखक इस बात पर जोर देते हैं कि किसी भी बीजगणितीय कार्य के लिए, प्रासंगिक ग्रुप (बजाय मानक एडिटिव DFT के) पर फूरियर ट्रांसफॉर्म लागू करना, जहाँ मानक उपकरण केवल शोर (noise) देखते थे, वहां व्याख्या योग्य संरचना को प्रकट करने के लिए आवश्यक है।