⚛️ high-energy theory

Symmetry Breaking in Transformers for Efficient and Interpretable Training

यह शोधपत्र अनलर्न्ड बायस (unlearned biases) का उपयोग करके एक सिमेट्री-ब्रेकिंग प्रोटोकॉल प्रस्तुत करता है जो ट्रांसफार्मर अटेंशन में अतिरिक्त रोटेशनल डिग्री ऑफ फ्रीडम को समाप्त करता है, एक ऐसा संशोधन जो मेमोरी-एफिशिएंट ऑप्टिमाइज़र्स के प्रदर्शन को बढ़ाता है और साथ ही अर्थपूर्ण टोकन के व्याख्यात्मक प्रवर्धन (interpretable amplification) को सक्षम बनाता है।

मूल लेखक: Eva Silverstein, Daniel Kunin, Vasudev Shyam

प्रकाशित 2026-02-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eva Silverstein, Daniel Kunin, Vasudev Shyam

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Symmetry Breaking in Transformers for Efficient and Interpretable Training" पेपर का सरल, रोज़मर्रा की भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

मुख्य विचार: "परफेक्ट सर्कल" को तोड़कर बाहर निकलने का रास्ता खोजना

कल्पना कीजिए कि आप एक विशाल, धुंधली घाटी में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं (यह एक AI मॉडल को कम गलतियाँ करने के लिए प्रशिक्षित करने का प्रतिनिधित्व करता है)। आपके पास एक गेंद है जिसे आप नीचे की ओर लुढ़काना चाहते हैं।

मानक AI मॉडल (Transformers) में, एक छिपी हुई समस्या है: उस परिदृश्य (landscape) में एक परफेक्ट सर्कुलर सिमिट्री (पूर्ण गोलाकार समरूपता) है। कल्पना कीजिए कि घाटी का फर्श सिर्फ एक कटोरा नहीं है; यह एक विशाल, सपाट, घूमता हुआ हिंडोला (carousel) है। आप गेंद को जिस भी दिशा में घुमाएँ, ऊँचाई (जिसे "लॉस" या त्रुटि कहा जाता है) बिल्कुल समान रहती है।

यह एक विशिष्ट प्रकार के ऑप्टिमाइज़र, जिसे एनर्जी कंजर्विंग डिसेंट (ECD) कहा जाता है, के लिए एक बड़ी समस्या पैदा करता है।

समस्या: ECD एक भौतिक प्रयोग की तरह है जहाँ ऊर्जा कभी नष्ट नहीं होती। यदि आप गेंद को धक्का देते हैं, तो वह हमेशा के लिए चलती रहती है। लेकिन क्योंकि घाटी एक परफेक्ट घूमता हुआ घेरा है, गेंद केंद्र की ओर लुढ़कने के बजाय हिंडोले के किनारे के चारों ओर घूमने में ही फंसी रह जाती है। यह अपनी सारी ऊर्जा उन दिशाओं में "घूमने" में बर्बाद कर देती है जो वास्तव में उसे बेहतर बनाने में मदद नहीं करतीं।
परिणाम: ECD, AI मॉडल पर बहुत खराब प्रदर्शन करता है क्योंकि यह इस "घूमने" वाले लूप में फंस जाता है, जबकि अन्य, अधिक जटिल ऑप्टिमाइज़र (जैसे AdamW) घर्षण (friction) का उपयोग करते हैं ताकि गेंद को घूमने से रोका जा सके और उसे नीचे लुढ़कने के लिए मजबूर किया जा सके।

समाधान: "कंपास" (सिमिट्री ब्रेकिंग)

इस पेपर के लेखकों ने महसूस किया कि AI इसलिए घूम रहा था क्योंकि वह जिस "कमरे" में था, वह पूरी तरह से सममित (symmetrical) था। इसे ठीक करने के लिए, उन्होंने एक सरल तरकीब पेश की: सिमिट्री ब्रेकिंग (Symmetry Breaking)।

उन्होंने मॉडल के अटेंशन मैकेनिज्म में एक छोटा सा, बिना सीखा हुआ "बायस" (एक निश्चित दिशा) जोड़ा। इसे मॉडल के केंद्र में एक मैग्नेटिक कंपास (चुंबकीय दिशा-सूचक) लगाने के रूप में सोचें।

कंपास का प्रभाव: अचानक, वह परफेक्ट सर्कल टूट जाता है। फर्श अब हर दिशा में सपाट नहीं है; यह कंपास की ओर थोड़ा झुक जाता है।
परिणाम: गेंद (ऑप्टिमाइज़र) अब केवल बेकार में घूम नहीं सकती। इसे कंपास की ओर लुढ़कने के लिए मजबूर किया जाता है। इससे कुशल, मेमोरी-बचाने वाला ECD ऑप्टिमाइज़र अंततः भारी और जटिल ऑप्टिमाइज़र्स की तरह ही घाटी के निचले हिस्से तक पहुँच पाता है।

संक्षेप में: उन्होंने AI के दिमाग में एक छोटा सा, निश्चित "धक्का" जोड़ा जो उसे गोल-गोल घूमने से रोकता है और उसे कुशलतापूर्वक आगे बढ़ने के लिए मजबूर करता है।

बोनस: AI के दिमाग के लिए एक "हाइलाइटर"

यहाँ सबसे दिलचस्प हिस्सा है। क्योंकि उन्होंने यह "कंपास" लगाया था, AI न केवल तेज़ हुआ; बल्कि यह अधिक इंटरप्रिटेबल (व्याख्या योग्य) भी हो गया (यानी इंसानों के लिए समझना आसान हो गया)।

कल्पना कीजिए कि AI एक कहानी पढ़ रहा है। उसे यह तय करना है कि किन शब्दों पर ध्यान देना महत्वपूर्ण है।

पहले: AI का अटेंशन (ध्यान) थोड़ा रैंडम स्पॉटलाइट जैसा था।
बाद में: "कंपास" एक मैग्नेटिक हाइलाइटर की तरह काम करता है। AI इस कंपास के साथ अपने आंतरिक फोकस को संरेखित (align) करना सीख जाता है।

शोधकर्ताओं ने पाया कि AI ने इस कंपास का उपयोग तर्क (logic) के लिए महत्वपूर्ण शब्दों के प्रकारों को एम्प्लीफाई (आवाज़ बढ़ाने) करने के लिए किया:

"Given," "Assuming," "If" (तर्क की शुरुआत करने वाले शब्द)।
पूर्ण विराम (periods) और प्रश्नवाचक चिन्ह जैसे विराम चिह्न।

और इसने कचरे को सप्रेस (आवाज़ कम करने) के लिए सीखा, जैसे कि रैंडम कंप्यूटर कोड एरर या अजीब प्रतीक।

उपमा: यह एक छात्र को हाइलाइटर पेन देने जैसा है। पहले, वे रैंडम शब्दों को हाइलाइट कर सकते थे। बाद में, "सिमिट्री ब्रेकिंग" के बाद, वे केवल उन मुख्य शब्दों को हाइलाइट करना सीखते हैं जो उन्हें लॉजिक पहेली हल करने में मदद करते हैं, और शोर (noise) को अनदेखा करते हैं।

यह क्यों मायने रखता है

दक्षता (Efficiency): यह वैज्ञानिकों को सरल, हल्के और सस्ते ऑप्टिमाइज़र्स (ECD) का उपयोग करने की अनुमति देता है जिन्हें बहुत अधिक कंप्यूटर मेमोरी की आवश्यकता नहीं होती है, फिर भी वे भारी, जटिल ऑप्टिमाइज़र्स के समान ही प्रदर्शन करते हैं।
समझ (Understanding): यह हमें AI के मन में एक खिड़की देता है। अब हम देख सकते हैं कि AI वास्तव में किस चीज़ पर ध्यान दे रहा है। यदि AI तर्क में अच्छा है, तो इसका कारण यह है कि उसने अपने "कंपास" को तार्किक शब्दों के साथ संरेखित करना सीखा है। यदि वह विफल होता है, तो इसका कारण यह है कि उसने गलत चीजों के साथ संरेखण किया।
सरलता: यह सुधार अविश्वसनीय रूप से सरल था। उन्हें पूरे AI को फिर से डिजाइन करने की आवश्यकता नहीं थी; उन्होंने बस एक छोटा सा, निश्चित बायस जोड़ा जिसे मॉडल उपयोग करना सीख जाता है।

सारांश उपमा

AI को प्रशिक्षित करना एक कुत्ते को खेत में गेंद लाने (fetch) के लिए सिखाने जैसा समझें।

पुराना तरीका: खेत एक पूरी तरह से सपाट, घूमता हुआ हिंडोला है। कुत्ता गोल-गोल घूमता है, थका हुआ और भ्रमित, गेंद को कभी नहीं ढूंढ पाता।
नया तरीका: आप एक विशेष स्थान पर एक ट्रीट (इनाम) गिराते हैं। खेत अब सपाट नहीं है; यह ट्रीट की ओर ढलान वाला है। कुत्ता तुरंत घूमना बंद कर देता है, सीधे ट्रीट की ओर दौड़ता है, और रास्ता सीख जाता है।
बोनस: यह देखकर कि कुत्ता ट्रीट की ओर कैसे दौड़ता है, आप समझ सकते हैं कि कुत्ता क्या सोच रहा है और वह समस्या को कैसे हल कर रहा है।

यह पेपर दिखाता है कि AI की दुनिया में एक छोटा सा, जानबूझकर दिया गया "झुकाव" जोड़कर, हम इसे स्मार्ट, तेज़ और समझने में आसान बना सकते हैं।

यहाँ सिल्वरस्टीन एट अल. के शोध पत्र "Symmetry Breaking in Transformers for Efficient and Interpretable Training" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ट्रांसफॉर्मर मॉडल के प्रशिक्षण में दो प्राथमिक चुनौतियों को संबोधित करता है:

ऑप्टिमाइज़र अक्षमता (Optimizer Inefficiency): जबकि AdamW और SOAP जैसे अडैप्टिव ऑप्टिमाइज़र्स ट्रांसफॉर्मर को प्रशिक्षित करने के लिए अत्यधिक प्रभावी हैं, वे मेमोरी-गहन (लगभग $3N$ सहायक वेरिएबल्स की आवश्यकता) होते हैं। इसके विपरीत, मेमोरी-कुशल, भौतिकी-प्रेरित ऑप्टिमाइज़र्स जैसे एनर्जी कंजर्विंग डिसेंट (ECD) ने वैज्ञानिक अनुप्रयोगों में आशाजनक प्रदर्शन दिखाया है, लेकिन ट्रांसफॉर्मर्स पर लागू होने पर वे अडैप्टिव विधियों के प्रदर्शन से मेल खाने में विफल रहे हैं।
सैद्धांतिक अंतराल (Theoretical Gap): लेखक यह परिकल्पना करते हैं कि ट्रांसफॉर्मर्स में ECD की विफलता अटेंशन मैकेनिज्म में निहित घूर्णी समरूपता (rotational symmetries) के कारण है। ये समरूपताएं पैरामीटर स्पेस में ऐसी "डीजनरेट" दिशाएं बनाती हैं जो मॉडल के आउटपुट को प्रभावित नहीं करतीं, लेकिन अनुकूलन गतिकी (optimization dynamics) को आकार देती हैं।

मुख्य अंतर्दृष्टि (Key Insight): अटेंशन मैकेनिज्म में, क्वेरी ( $W_Q$ ) और की ( $W_K$ ) मैट्रिसेस, या वैल्यू ( $W_V$ ) और आउटपुट ( $W_O$ ) मैट्रिसेस के संयुक्त रोटेशन, अटेंशन स्कोर (इनर प्रोडक्ट्स) को संरक्षित रखते हैं। नोएदर के प्रमेय (Noether's theorem) के अनुसार, ये निरंतर समरूपताएं संरक्षित कोणीय संवेग (conserved angular momenta) को प्रेरित करती हैं। ECD में, जो संरक्षित कुल ऊर्जा वाले अराजक हैमिल्टनियन डायनेमिक्स (chaotic Hamiltonian dynamics) पर निर्भर करता है, यह संरक्षण कोणीय संवेग को घूर्णी गति में फँसा देता है, जिससे ऑप्टिमाइज़र डिसेंट दिशाओं में प्रभावी ढंग से अन्वेषण करने में विफल रहता है।

2. कार्यप्रणाली (Methodology)

लेखक मेमोरी दक्षता से समझौता किए बिना इन समरूपताओं को तोड़ने के लिए एक सरल, सिद्धांत-आधारित आर्किटेक्चरल संशोधन प्रस्तावित करते हैं।

अ. सिमेट्री-ब्रेकिंग प्रोटोकॉल (Symmetry-Breaking Protocol)

वे अटेंशन हेड्स के क्वेरी और वैल्यू प्रोजेक्शन में अनलर्नड, बैचवाइज-सैंपलड बायस (unlearned, batchwise-sampled biases) ( $b_Q$ और $b_V$ ) पेश करते हैं:

तंत्र (Mechanism): प्रशिक्षण के दौरान, प्रत्येक बैच के लिए, नॉर्मल डिस्ट्रीब्यूशन $N(\mu, \sigma^2)$ से रैंडम बायस सैंपल किए जाते हैं और उन्हें क्वेरी और वैल्यू वेक्टर्स में जोड़ा जाता है:
$q \leftarrow W_Q x + b_Q(\text{batch})$
$v \leftarrow W_V x + b_V(\text{batch})$
इन्फरेंस (Inference): मीन बायस ( $\mu_Q, \mu_V$ ) को लागू किया जाता है।
सिमेट्री ब्रेकिंग: बैचवाइज सैंपलिंग में रैंडम वेरिएंस निरंतर $O(d)$ घूर्णी समरूपता को एक डिस्क्रीट सेट में तोड़ देता है, जिससे उन संरक्षित कोणीय संवेगों को समाप्त किया जा सके जो ECD में बाधा डालते हैं। निश्चित मीन $\mu_Q$ घूर्णी स्थान में एक "पसंदीदा दिशा" (preferred direction) पेश करता है।

ब. सैद्धांतिक ढांचा (Hamiltonian Dynamics)

पेपर अनुकूलन (optimization) को हैमिल्टनियन मैकेनिक्स का उपयोग करके मॉडल करता है:

SGDM/Adam: विसरित प्रणालियाँ (dissipative systems) जहाँ घर्षण गतिज ऊर्जा (kinetic energy) को हटा देता है, जिससे संरक्षित मात्राओं के बावजूद अभिसरण (convergence) संभव होता है।
ECD: एक संरक्षित प्रणाली जहाँ कुल ऊर्जा स्थिर रहती है। यदि कोणीय संवेग संरक्षित है (समरूपता के कारण), तो सिस्टम गतिज ऊर्जा को लॉस रिडक्शन (loss reduction) में कुशलतापूर्वक परिवर्तित नहीं कर सकता है। समरूपता को तोड़ने से "बर्बाद" हुई घूर्णी ऊर्जा को उत्पादक डिसेंट में पुनर्निर्देशित किया जा सकता है।

स. व्याख्यात्मक तंत्र (Interpretability Mechanism)

निश्चित मीन बायस $\mu_Q$ एक पसंदीदा अक्ष (preferred axis) बनाता है। मॉडल विशिष्ट टोकन क्लासेस के की वेक्टर्स ( $W_K x$ ) को इस बायस के साथ संरेखित (align) करना सीखता है। अटेंशन स्कोर को $e^{k \cdot b_Q}$ कारक द्वारा मॉड्युलेट किया जाता है, जिससे मॉडल को बायस के साथ संरेखण के आधार पर विशिष्ट टोकन क्लासेस को एक्सपोनेंशियल रूप से प्रवर्धित (amplify) या दबाने (suppress) की अनुमति मिलती है।

3. मुख्य योगदान (Key Contributions)

ECD की विफलता के लिए हैमिल्टनियन स्पष्टीकरण: लेखक सैद्धांतिक प्रमाण प्रदान करते हैं कि अटेंशन हेड्स में घूर्णी समरूपताएं संरक्षित कोणीय संवेग उत्पन्न करती हैं, जो ECD को प्रभावी ढंग से कार्य करने के लिए आवश्यक अराजक मिश्रण (chaotic mixing) में बाधा डालती हैं।
सिमेट्री-ब्रेकिंग हस्तक्षेप: वे एक न्यूनतम आर्किटेक्चरल परिवर्तन (अनलर्नड बैचवाइज बायस) प्रस्तावित करते हैं जो उनकी मेमोरी दक्षता ( $3N$ के बजाय $2N$ वेरिएबल्स) को बनाए रखते हुए ECD के प्रदर्शन को बहाल करता है।
अनुभवजन्य सत्यापन (Empirical Validation): वे दिखाते हैं कि सिमेट्री-ब्रोकन ECD, GPT-2 (124M) मॉडल्स पर अडैप्टिव ऑप्टिमाइज़र्स (AdamW, SOAP) के प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन करता है।
व्याख्यात्मकता (Interpretability): वे दिखाते हैं कि सिमेट्री-ब्रेकिंग मैकेनिज्म सीधे तौर पर यह विश्लेषण करने की अनुमति देता है कि मॉडल कैसे अर्थपूर्ण टोकन्स (जैसे वाक्य के शुरुआती शब्द, विराम चिह्न) को प्रवर्धित करने और शोर (जैसे एनकोडिंग आर्टिफैक्ट्स) को दबाने के लिए सीखता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार ऑप्टिमाइज़र्स: ECD, SGDM, AdamW, और SOAP का उपयोग करके सिमेट्रिक और सिमेट्री-ब्रोकन स्थितियों के तहत GPT-2 (124M) मॉडल्स को 500M टोकन पर प्री-ट्रेन किया।

वैलिडेशन लॉस (Validation Loss):
- ECD: बिना सिमेट्री ब्रेकिंग के, ECD खराब प्रदर्शन करता है (Val Loss $\approx 3.93$ )। सिमेट्री ब्रेकिंग ( $b_Q + b_V$ ) के साथ, ECD में महत्वपूर्ण सुधार हुआ और यह 3.35 तक पहुँच गया, जो लगभग SOAP (3.33) के बराबर है और अपने बेसलाइन से काफी बेहतर है।
- SGDM: सिमेट्री ब्रेकिंग के साथ इसमें भी सुधार हुआ (3.84 $\to$ 3.67)।
- AdamW: इसे कोई लाभ नहीं हुआ (प्रदर्शन थोड़ा कम हुआ), संभवतः इसलिए क्योंकि Adam का अडैप्टिव प्रीकंडीशनिंग पहले से ही अप्रत्यक्ष रूप से सिमेट्री को तोड़ देता है।
डाउनस्ट्रीम रीजनिंग (लॉजिक पजल्स):
- 14 लॉजिक टास्क पर प्रदर्शन विषम (heterogeneous) था। हालांकि वैलिडेशन लॉस लगातार सुधरा, लॉजिक गेन सीड (seed) के आधार पर भिन्न थे।
- सफलता का भविष्यवक्ता (Predictor of Success): अध्ययन में पाया गया कि सिमेंटिक एलाइनमेंट (कैसे मॉडल स्ट्रक्चरल टोकन्स जैसे विराम चिह्न और वाक्य स्टार्टर्स को बायस के साथ संरेखित करता है) वैलिडेशन लॉस की तुलना में लॉजिक पज़ल की सफलता का बेहतर भविष्यवक्ता था।
- जिन मॉडल्स ने स्ट्रक्चरल मार्कर्स को प्रवर्धित करने और यूनिकोड/शोर आर्टिफैक्ट्स को दबाने को सफलतापूर्वक सीखा, उनके रीजनिंग कौशल में सुधार देखा गया।
एक्टिवेशन फंक्शन्स: प्रभाव GELU की तुलना में PReLU एक्टिवेशन के साथ अधिक स्पष्ट था, जो बताता है कि GELU की अंतर्निहित विषमता (asymmetry) स्पष्ट सिमेट्री ब्रेकिंग की आवश्यकता को आंशिक रूप से कम करती है।

5. महत्व और निहितार्थ (Significance and Implications)

अंतराल को पाटना: यह कार्य मेमोरी-कुशल, भौतिकी-प्रेरित ऑप्टिमाइज़र्स और उच्च-प्रदर्शन वाले अडैप्टिव ऑप्टिमाइज़र्स के बीच के अंतर को सफलतापूर्वक पाटता है। यह ECD को बड़े पैमाने पर प्रशिक्षण के लिए एक व्यवहार्य विकल्प बनाता है जहाँ मेमोरी एक बाधा है।
सिद्धांत-आधारित आर्किटेक्चर डिज़ाइन: यह प्रदर्शित करता है कि न्यूरल नेटवर्क की ज्यामितीय और समरूपता संरचना को समझने से सरल और प्रभावी आर्किटेक्चरल संशोधन किए जा सकते हैं।
एक नया व्याख्यात्मक लेंस: यह तरीका ट्रांसफॉर्मर अटेंशन की व्याख्या करने का एक नया तरीका प्रदान करता है। की वेक्टर्स और फिक्स्ड बायस के बीच संरेखण का विश्लेषण करके, शोधकर्ता सीधे देख सकते हैं कि मॉडल किन टोकन क्लासेस को रीजनिंग के लिए "महत्वपूर्ण" मानता है।
स्केलेबिलिटी: इसके लिए कोई अतिरिक्त ट्रेन करने योग्य पैरामीटर्स की आवश्यकता नहीं है (बायस अनलर्नड हैं), जिससे यह अत्यधिक स्केलेबल और मौजूदा ओपन-सोर्स मॉडल्स (जैसे Llama, Gemma) के साथ संगत है जिनमें अटेंशन बायस की कमी है।

निष्कर्षतः, यह शोध पत्र तर्क देता है कि घूर्णी समरूपता को तोड़ना न केवल कुछ ऑप्टिमाइज़र्स के लिए एक सैद्धांतिक आवश्यकता है, बल्कि एक व्यावहारिक उपकरण भी है जो प्रशिक्षण की दक्षता और परिणामी मॉडल्स की व्याख्यात्मकता दोनों को बढ़ाता है।