💬 NLP

Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer

यह शोधपत्र डिस्क्रीट ट्रांसफॉर्मर (Discrete Transformer) को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो टेम्परेचर-एनिलियेटेड सैंपलिंग (temperature-annealed sampling) के माध्यम से विविक्तता (discreteness) को इंजेक्ट करके मानक ट्रांसफॉर्मर्स में प्रतिनिधित्व एंटैंगलमेंट (representation entanglement) को दूर करता है ताकि निरंतर मॉडलों से व्याख्या योग्य, मानव-पठनीय एल्गोरिदम का निष्कर्षण सक्षम किया जा सके।

मूल लेखक: Yifan Zhang, Wei Bi, Kechi Zhang, Dongming Jin, Jie Fu, Zhi Jin

प्रकाशित 2026-03-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yifan Zhang, Wei Bi, Kechi Zhang, Dongming Jin, Jie Fu, Zhi Jin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट शेफ (एक Transformer) है, जिसने लाखों व्यंजनों का स्वाद लेकर हजारों रेसिपी बनाना सीख लिया है। वह जानता है कि एक परफेक्ट केक कैसे बनाया जाता है, लेकिन अगर आप उससे पूछें, "आपने यह कैसे किया?" तो वह खुद को समझा नहीं सकता। वह बस कहता है, "मैंने अपने दिमाग के एक बड़े, अस्त-व्यस्त कटोरे में सामग्री को मिलाया।"

समस्या यह है कि रोबोट का दिमाग एक किचन ब्लेंडर की तरह है। यह सब कुछ इतनी अच्छी तरह से मिला देता है कि आप यह नहीं बता सकते कि आटा कहाँ खत्म हुआ और चीनी कहाँ शुरू हुई। इसे "एंटैंगलमेंट" (entanglement) कहा जाता है। क्योंकि सामग्रियाँ आपस में मिल गई हैं, आप उसके दिमाग से एक साफ, लिखित रेसिपी (एक एल्गोरिदम) बाहर नहीं निकाल सकते।

यह पेपर एक नए प्रकार के रोबोट शेफ को पेश करता है जिसे डिस्क्रीट ट्रांसफॉर्मर (Discrete Transformer) कहा जाता है। ब्लेंडर के बजाय, यह शेफ एक मॉड्यूलर असेंबली लाइन का उपयोग करता है।

यह कैसे काम करता है, यहाँ सरल चरणों में दिया गया है:

1. विशेष असेंबली लाइन (The Specialized Assembly Line)

लेखकों ने रोबोट के दिमाग को दो अलग-अलग, स्पष्ट टीमों के साथ फिर से डिज़ाइन किया है:

डिलीवरी टीम (Numerical Attention): उनका एकमात्र काम सामग्रियों को एक स्थान से दूसरे स्थान पर ले जाना है। वे चीजें मिलाते या पकाते नहीं हैं; वे बस कहते हैं, "फ्रिज से अंडा उठाओ और उसे काउंटर पर रख दो।"
मिक्सिंग टीम (Numerical MLP): उनका एकमात्र काम गणित करना है। वे उन सामग्रियों को लेते हैं जिन्हें डिलीवरी टीम लेकर आई है और उन्हें मिलाते हैं (जोड़ना, घटाना, गुणा करना)। वे चीजों को इधर-उधर नहीं घुमाते।

इन कामों को अलग रखने के लिए मजबूर करके, "ब्लेंडर" का प्रभाव खत्म हो जाता है। आप स्पष्ट रूप से देख सकते हैं कि किसने क्या हिलाया और किसने क्या मिलाया।

2. "तापमान" प्रशिक्षण (The "Temperature" Training)

इस रोबोट को सिखाने के लिए, लेखक टेम्परेचर एनीलिंग (Temperature Annealing) नामक एक चतुर तकनीक का उपयोग करते हैं।

हॉट स्टार्ट (Hot Start): कल्पना कीजिए कि रोबोट एक बहुत गर्म कमरे में सीख रहा है। यह अराजक और धुंधला है। यह चीजों को हिलाने और मिलाने के कई अलग-अलग तरीके आज़माता है। यह खोज (exploring) कर रहा है।
कूलिंग डाउन (Cooling Down): धीरे-धीरे, वे तापमान को कम करते हैं। जैसे-जैसे वातावरण ठंडा होता है, रोबोट के चुनाव अधिक सटीक और निश्चित होते जाते हैं। वह अनुमान लगाना बंद कर देता है और ठोस निर्णय लेने लगता है।
फ्रोजन स्टेट (Frozen State): अंत तक, रोबोट एक परफेक्ट, कठोर अवस्था में "जम" जाता है। हर हलचल और हर मिश्रण बिल्कुल सटीक होता है। क्योंकि रोबोट को इतना सटीक होने के लिए मजबूर किया गया था, इसलिए उसका आंतरिक तर्क अब पूरी तरह से स्पष्ट है।

3. रेसिपी का रिवर्स-इंजीनियरिंग (Reverse-Engineering the Recipe)

एक बार जब रोबोट जम जाता है, तो लेखक जासूसों की तरह काम करते हुए रेसिपी लिखते हैं:

डिलीवरी टीम के लिए: वे देखते हैं कि रोबोट ने सामग्रियों को कहाँ स्थानांतरित किया। क्या इसने हमेशा "एक कदम पीछे" से वस्तु उठाई? यह एक सरल नियम है: पिछली वस्तु लें (Take previous item)।
मिक्सिंग टीम के लिए: वे देखते हैं कि रोबोट ने क्या गणित किया। एक अस्त-व्यस्त न्यूरल नेटवर्क देखने के बजाय, वे एक टूल (सिंबोलिक रिग्रेशन) का उपयोग करके छिपे हुए सरल गणितीय समीकरण को ढूंढते हैं, जैसे A + B या A * 2|

4. परिणाम: एक मानव-पठनीय पुस्तक (The Result: A Human-Readable Book)

अंत में, वे इन सुरागों को एक साथ जोड़ते हैं। एक बिखरे हुए न्यूरल नेटवर्क के बजाय, वे एक साफ, सरल पायथन (Python) कोड फ़ाइल तैयार करते हैं जो एक सामान्य कंप्यूटर प्रोग्राम की तरह दिखती है।

यह एक बड़ी बात क्यों है?

यह निरंतर संख्याओं (continuous numbers) पर काम करता है: पिछले तरीके केवल साधारण "ऑन/ऑफ" स्विच (जैसे 0 या 1) को ही संभाल सकते थे। यह नई विधि वास्तविक दुनिया की संख्याओं जैसे तापमान, गति या पैसा (उदाहरण के लिए, एक गेंद कितनी ऊँची गिरेगी, इसकी गणना करना) को भी संभाल सकती है।
यह नए समाधान खोजता है: क्योंकि रोबोट केवल मानव कोड की नकल नहीं कर रहा है, इसलिए वह किसी समस्या को हल करने का कोई चतुर, कुशल तरीका खोज सकता है जिसे किसी इंसान ने कभी नहीं सोचा था।
यह नियंत्रणीय है: यदि आप रोबोट को कहते हैं, "मिक्सिंग टीम का उपयोग न करें, केवल डिलीवरी टीम का उपयोग करें," तो वह केवल मूवमेंट का उपयोग करके समस्या को हल करने का एक पूरी तरह से अलग तरीका खोज लेगा। यह साबित करता है कि हम रोबोट की सोच को नियंत्रित कर सकते हैं।

निचोड़ (The Bottom Line)

यह पेपर "ब्लैक बॉक्स" ट्रांसफॉर्मर के रहस्य को सुलझाता है। उन्होंने एक ऐसा AI बनाया है जो एक धुंधलेपन (blur) के बजाय चरणों (steps) में सोचता है। इसे ठंडा करके और इसके कामों को अलग करके, वे इसके दिमाग के अंदर देख सकते हैं और एक स्पष्ट, लिखित निर्देश पुस्तिका निकाल सकते हैं जिसे इंसान पढ़ सकते हैं, समझ सकते हैं और भरोसा कर सकते हैं। यह एक जादू के खेल को एक चरण-दर-चरण विज्ञान प्रयोग में बदलने जैसा है।

यहाँ शोध पत्र "Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र एल्गोरिदम निष्कर्षण (Algorithm Extraction) की चुनौती को संबोधित करता है: पूर्व-मौजूद मानव-लिखित कोड पर निर्भर किए बिना, प्रशिक्षित न्यूरल नेटवर्क से सीधे निष्पादन योग्य (executable), मानव-पठनीय प्रोग्रामों को संश्लेषित करना।

अंतराल (The Gap): जबकि रिकरेंट न्यूरल नेटवर्क (RNNs) ने इस क्षेत्र में सफलता दिखाई है (जैसे, MIPS फ्रेमवर्क के माध्यम से), इसे प्रमुख ट्रांसफॉर्मर आर्किटेक्चर (Transformer architecture) तक विस्तारित करना कठिन है।
मुख्य बाधा (The Core Obstacle): मानक ट्रांसफॉर्मर रिप्रजेंटेशन एंटैंगलमेंट (representation entanglement) (विशेष रूप से "सुपरपोजिशन") से ग्रस्त होते हैं, जहाँ फीचर्स ओवरलैपिंग और नॉन-ऑर्थोगोनल दिशाओं में एनकोड होते हैं। यह पॉलीसेमेंटिक प्रकृति निरंतर, उच्च-आयामी वेट मैट्रिसेस (weight matrices) से सीधे प्रतीकात्मक अभिव्यक्तियों (symbolic expressions) या असतत तर्क (discrete logic) को पुनः प्राप्त करना असंभव बना देती है।
लक्ष्य (Goal): निरंतर ट्रांसफॉर्मर रिप्रजेंटेशन और असतत प्रतीकात्मक तर्क (discrete symbolic logic) के बीच के अंतर को पाटना ताकि डे नोवो (de novo) एल्गोरिदम का निष्कर्षण सक्षम हो सके।

2. कार्यप्रणाली: डिस्क्रीट ट्रांसफॉर्मर (Methodology: The Discrete Transformer)

लेखक एक विशेष आर्किटेक्चर प्रस्तावित करते हैं जिसे डिस्क्रीट ट्रांसफॉर्मर (Discrete Transformer) कहा जाता है, जिसे कार्यात्मक विसंयोजन (functional disentanglement) को लागू करने और निरंतर अनुकूलन (continuous optimization) को असतत तर्क के साथ जोड़ने के लिए डिज़ाइन किया गया है।

A. आर्किटेक्चरल डिज़ाइन (Architectural Design)

यह मॉडल RASP (Restricted Access Sequence Processing) कम्प्यूटेशनल मॉडल पर आधारित है और इसमें तीन विशिष्ट घटक शामिल हैं:

न्यूमेरिकल रेसिडुअल स्ट्रीम (Numerical Residual Stream): डेंस लेटेंट वेक्टर्स वाले मानक ट्रांसफॉर्मर के विपरीत, रेसिडुअल स्ट्रीम स्पष्ट स्केलर वेरिएबल्स (explicit scalar variables) का एक संग्रह है। यह सूचना हस्तक्षेप (information interference) और सुपरपोजिशन को रोकता है।
न्यूमेरिकल अटेंशन (रौटर) (Numerical Attention - Router):
- यह केवल एक सूचना रूटिंग ऑपरेटर के रूप में कार्य करता है, न कि फीचर मिक्सर के रूप में।
- तुलना के लिए स्केलर क्वेरीज़/कीज़ को उच्च-आयामी स्थान में प्रोजेक्ट करने के लिए पीसवाइज लीनियर एनकोडिंग (Piecewise Linear Encoding - PLE) का उपयोग करता है।
- विशिष्ट ऐतिहासिक मानों (जैसे, " $t-1$ से मान कॉपी करें") को चुनने के लिए टेम्परेचर-नियंत्रित सैंपलिंग के माध्यम से हार्ड अटेंशन मैकेनिज्म (hard attention mechanism) का उपयोग करता है।
न्यूमेरिकल MLP (ऑपरेटर) (Numerical MLP - Operator):
- यह पूरी तरह से एलिमेंट-वाइज अंकगणितीय और तार्किक रूपांतरणों के लिए समर्पित है।
- इसे समानांतर, स्वतंत्र सब-मॉड्यूल्स (sub-MLPs) में विभाजित किया गया है जो कम निश्चित इनपुट्स (आमतौर पर $k=2$ ) पर एकल प्राथमिक ऑपरेशन करते हैं।
- इंडक्टिव बायस (Inductive Bias): इनपुट आयामों और हिडन विड्थ को सीमित करके, आर्किटेक्चर नेटवर्क को सरल अंकगणितीय चरणों में जटिल कार्यों को तोड़ने के लिए मजबूर करता है, जिससे वे सिम्बोलिक रिग्रेशन के अनुकूल बन जाते हैं।
लीनियर आउटपुट हेड (Linear Output Head): असतत कम्प्यूटेशनल चरणों को अंतिम भविष्यवाणी में एकत्रित करता है।

B. प्रशिक्षण तंत्र: टेम्परेचर एनिलिंग (Training Mechanism: Temperature Annealing)

निरंतर लर्निंग से असतत तर्क की ओर संक्रमण के लिए, मॉडल टेम्परेचर-एनिल्ड सैंपलिंग (temperature-annealed sampling) का उपयोग करता है:

एक टेम्परेचर पैरामीटर $\tau$ रीडिंग मैकेनिज्म और अटेंशन हेड्स में उपयोग किए जाने वाले सैंपलिंग फंक्शन $S(\cdot, \tau)$ को नियंत्रित करता है।
एनिलिंग प्रक्रिया (Annealing Process): प्रशिक्षण उच्च $\tau$ (सॉफ्ट, संभावabilistic अन्वेषण की अनुमति देता है) के साथ शुरू होता है और धीरे-धीरे $\tau \to 0$ की ओर घटता है।
परिणाम: मॉडल एक पूर्णतः असतत कम्प्यूटेशनल ग्राफ में अभिसरित (converge) हो जाता है जहाँ समाधान वजन (weights) में अंतर्निहित होता है।

C. निष्कर्षण पाइपलाइन (Weights to Code) (Extraction Pipeline)

एक बार जब मॉडल एक असतत अवस्था में अभिसरित हो जाता है, तो एक मॉड्यूलर निष्कर्षण पाइपलाइन एल्गोरिदम को पुनः प्राप्त करती है:

हाइपोथेसिस टेस्टिंग (अटेंशन के लिए) (Hypothesis Testing for Attention): रूटिंग लॉजिक की पहचान करने के लिए अटेंशन पैटर्न का विश्लेषण करती है। लेखक दो मुख्य पैटर्न की परिकल्पना और सत्यापन करते हैं:
- फिक्स्ड ऑफसेट (Fixed Offset): एक विशिष्ट सापेक्ष स्थिति (जैसे, $i - \delta$ ) पर ध्यान केंद्रित करना।
- विंडोड एक्सट्रीमा (Windowed Extrema): स्लाइडिंग विंडो के भीतर अधिकतम/न्यूनतम मान पर ध्यान केंद्रित करना।
सिम्बोलिक रिग्रेशन (MLP के लिए) (Symbolic Regression for MLP): प्रत्येक MLP सब-मॉड्यूल को एक ब्लैक-बॉक्स मैपिंग $f: \mathbb{R}^k \to \mathbb{R}$ के रूप में मानता है। सटीक क्लोज्ड-फॉर्म बीजगणितीय अभिव्यक्तियों (जैसे, $y = x_1 + x_2$ ) को खोजने के लिए PySR जैसे टूल्स का उपयोग किया जाता है।
ग्लोबल असेंबली (Global Assembly): निकाले गए रूटिंग पैटर्न और अंकगणितीय अभिव्यक्तियों को कम्प्यूटेशनल ग्राफ के बैकवर्ड ट्रैवर्सल के माध्यम से एकीकृत करके एक संक्षिप्त पायथन प्रोग्राम तैयार किया जाता है।

3. मुख्य योगदान (Key Contributions)

डिस्क्रीट ट्रांसफॉर्मर आर्किटेक्चर: एक RASP-संरेखित आर्किटेक्चर जो कार्यात्मक विसंजन (functional disentanglement) (रूटिंग बनाम अंकगणित) को लागू करता है और सुपरपोजिशन को समाप्त करने के लिए स्केलर-आधारित रेसिडुअल स्ट्रीम का उपयोग करता है।
मॉड्यूलर निष्कर्षण पाइपलाइन: निरंतर वेरिएबल्स से व्याख्या योग्य प्रोग्राम निकालने के लिए हाइपोथेसिस टेस्टिंग (रूटिंग के लिए) और सिम्बोलिक रिग्रेशन (अंकगणित के लिए) को संयोजित करने वाली एक नवीन विधि।
नियंत्रणीय इंडक्टिव बायस (Controllable Inductive Biases): यह प्रदर्शित करता है कि आर्किटेक्चरल बाधाएं (जैसे, सब-MLPs को सीमित करना) शोधकर्ताओं को विशिष्ट एल्गोरिद्मिक प्रतिमानों की ओर निर्देशित करने के लिए मजबूत इंडक्टिव बायस के रूप में कार्य करती हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने लीनियर अरिथमेटिक, नॉन-लीनियर कंपोजिशन, और कंटीन्यूअस डायनेमिक्स कार्यों सहित एक विविध बेंचमार्क पर इस फ्रेमवर्क का मूल्यांकन किया।

प्रदर्शन (Performance): डिस्क्रीट ट्रांसफॉर्मर RNN-आधारित तरीकों (MIPS) के समान प्रदर्शन प्राप्त करता है, जिसमें मीन स्क्वेर्ड एरर (MSE) शून्य के करीब पहुँच जाता है और अधिकांश इंटीजर-वैल्यूड कार्यों पर निष्कर्षण सटीकता 1.00 होती है।
विश्वसनीयता (Fidelity): निकाले गए प्रोग्राम केवल अनुमान नहीं हैं; वे सटीक बीजगणितीय पहचानों (algebraic identities) को पुनः प्राप्त करते हैं।
- उदाहरण: parity_last2 कार्य के लिए, मॉडल ने सटीक बीजगणितीय सूत्र $y_t = x_t + x_{t-1} - 2x_t x_{t-1}$ निकाला, जो XOR ऑपरेशन के गणितीय रूप से समकक्ष है।
- उदाहरण: maximum_prev2 के लिए, इसने ReLU का उपयोग करके पीसवाइज-लीनियर पहचान $\max(a, b) = b + \text{ReLU}(a - b)$ को पुनः प्राप्त किया।
कंटीन्यूअस डायनेमिक्स (Continuous Dynamics): MIPS (जो डिस्क्रीट लेटेंट स्टेट्स पर निर्भर है) के विपरीत, डिस्क्रीट ट्रांसफॉर्मर स्वाभाविक रूप से फ्लोटिंग-पॉइंट वेरिएबल्स को संभालता है, और एक्सपोनेंशियल मूविंग एवरेज और फ्री फॉल हाइट जैसे कार्यों के लिए एल्गोरिदम को सफलतापूर्वक निकालता है।
प्रशिक्षण गतिशीलता (Training Dynamics): विश्लेषण एक विशिष्ट चरण संक्रमण (phase transition) प्रकट करता जहाँ फंक्शनल कन्वर्जेंस (मैपिंग सीखना) स्ट्रक्चरल डिस्क्रीटाइजेशन (असतत वेट्स में लॉक होना) से पहले होता है, जो अन्वेषण से शोषण (exploration to exploitation) के बीच एक मजबूत संक्रमण सुनिश्चित करता है।

5. महत्व और प्रभाव (Significance and Impact)

अंतराल को पाटना: यह कार्य सफलतापूर्वक ट्रांसफॉर्मर में "सुपरपोजिशन" बाधा को पार करता है, यह सिद्ध करता है कि ट्रांसफॉर्मर वेट्स से व्याख्या योग्य, प्रतीकात्मक एल्गोरिदम निकाले जा सकते हैं।
डे नोवो डिस्कवरी: यह मानव-जनित कोड से स्वतंत्र अभिनव एल्गोरिदम की खोज को सक्षम बनाता है, जो संभावित रूप से भौतिक या तार्किक समस्याओं के नए समाधानों को उजागर कर सकता है।
वैज्ञानिक खोज: निरंतर वेरिएबल्स का समर्थन करके और इंडक्टिव बायस के माध्यम से नियंत्रण प्रदान करके, यह फ्रेमवर्क वैज्ञानिक खोज के लिए एक शक्तिशाली उपकरण के रूप में कार्य करता है, जिससे शोधकर्ताओं को ऐसे विशिष्ट एल्गोरिदम खोजने में मदद मिलती है जो डोमेन ज्ञान के अनुरूप हों।
व्याख्यात्मकता (Interpretability): यह ट्रांसफॉर्मर व्याख्यात्मकता के लिए एक नया प्रतिमान स्थापित करता है, जो "मॉडल क्या करता है" के विश्लेषण से आगे बढ़कर स्पष्ट रूप से "यह कैसे करता है" को निष्पादन योग्य कोड के रूप में पुनः प्राप्त करने की ओर ले जाता है।