📊 statistics

Signed-Permutation Coordinate Transport for RMSNorm Transformers

यह शोध पत्र पहचान करता है कि RMSNorm ट्रांसफॉर्मर्स में एक साधारण परम्यूटेशन गेज ( $S_d$ ) के बजाय एक साइन्ड-परम्यूटेशन गेज ( $B_d$ ) होता है, और चेकपॉइंट्स के बीच सुदृढ़ कोऑर्डिनेट ट्रांसपोर्ट को सक्षम करने के लिए एक साइन-मार्जिनलाइज्ड हंगेरियन मैचिंग पद्धति पेश करता है, जिससे व्याख्यात्मकता उपकरणों (interpretability tools), स्टीयरिंग वेक्टर्स और ऑप्टिमाइज़र स्टेट्स की हस्तांतरणीयता में महत्वपूर्ण सुधार होता है और मौजूदा अलाइनमेंट दृष्टिकोणों में समरूपता-प्रेरित विफलताओं का समाधान होता है।

मूल लेखक: John Sweeney

प्रकाशित 2026-07-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: John Sweeney

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक ही ब्लूप्रिंट से बने दो समान घर हैं। एक घर में, हर कमरे को "किचन" (रसोई), "बेडरूम" (शयनकक्ष), और "बाथरूम" (स्नानगृह) के रूप में लेबल किया गया है। दूसरे घर में, कमरे बिल्कुल उसी स्थान पर हैं, लेकिन किसी ने उनके लेबल बदल दिए हैं।

यदि आप एक विशिष्ट फर्नीचर (जैसे कि एक "स्टीयरिंग वेक्टर" जो घर को बुरे अनुरोधों के लिए "ना" कहने में मदद करता है) को घर A से घर B में ले जाना चाहते हैं, तो आपको यह जानना होगा कि घर B में कौन सा लेबल घर A के "किचन" के अनुरूप है। यदि आप गलत अनुमान लगाते हैं, तो आप "ना" वाला बटन "बाथरूम" में रख सकते हैं, और घर ठीक से काम नहीं करेगा।

यह शोध पत्र आधुनिक AI मॉडलों के लिए इस "बदले हुए लेबल" वाली समस्या के एक बहुत ही विशिष्ट, कठिन संस्करण को हल करने के बारे में है।

मुख्य समस्या: "चिह्न" (Sign) का रहस्य

लंबे समय तक, शोधकर्ताओं का मानना था कि इन AI घरों को केवल परम्यूटेशन (क्रमपरिवर्तन/स्थान बदलना) द्वारा बदला जा सकता था। यदि कमरा 1 बदलकर कमरा 5 हो गया, तो आपने बस लेबल बदल दिए।

हालाँकि, लेखक ने पाया कि सबसे लोकप्रिय आधुनिक AI मॉडलों (जिन्हें RMSNorm मॉडल कहा जाता है, जिनका उपयोग Llama और Qwen जैसे दिग्गजों द्वारा किया जाता है) के लिए, कमरे उलटने का एक दूसरा, छिपा हुआ तरीका भी है: चिह्न को पलटना (flipping the signs)।

एक कमरे के लेबल को केवल एक नाम के रूप में नहीं, बल्कि एक तीर के रूप में सोचें जो एक दिशा की ओर इशारा करता है।

परम्यूटेशन (Permutation): तीर को उत्तर से पूर्व की ओर घुमाना।
साइन फ्लिप (Sign Flip): तीर को उत्तर की ओर ही रहने देना, लेकिन उसे इस तरह पलट देना कि वह दक्षिण की ओर इशारा करने लगे।

इन आधुनिक मॉडलों में, हर एक कमरा स्वतंत्र रूप से अपने तीर को बिना घर को तोड़े, पलट सकता है (उत्तर $\to$ दक्षिण)। यह भ्रम की एक विशाल मात्रा पैदा करता है। यदि आप पुराने "स्वैपिंग" नियमों का उपयोग करके एक मॉडल से दूसरे में उपकरण ले जाने की कोशिश करते हैं, तो आप अनजाने में आधे तीरों को पलट सकते हैं।

"टूटे हुए कंपास" की उपमा

लेखक का तर्क है कि वर्तमान AI मॉडलों को संरेखित (align) करने वाले उपकरण एक ऐसे कंपास की तरह हैं जो केवल "उत्तर" और "पूर्व" को जानता है, लेकिन "दक्षिण" के प्रति अंधा है।

पुराना तरीका (केवल परम्यूटेशन): आप कमरों का मिलान करने के लिए उनके व्यवहार को देखते हैं। यदि मॉडल 1 में कमरा A, मॉडल 2 में कमरा B के बहुत समान है, तो आप उन्हें मिला देते हैं। लेकिन यदि कमरा A वास्तव में कमरा B के विपरीत व्यवहार करता है (क्योंकि साइन फ्लिप हुआ है), तो पुराना कंपास उन्हें पूरी तरह से अलग समझता है और उन्हें मिलाने से मना कर देता है।
परिणाम: जब शोधकर्ताओं ने "स्टीयरिंग टूल्स" (जैसे कि हानिकारक अनुरोधों को अस्वीकार करने के लिए एक बटन) को स्थानांतरित करने की कोशिश की, तो वे उपकरण पूरी तरह से टूट गए। "अस्वीकार" (Refusal) बटन "स्वीकार" (Accept) में बदल गया, या उपकरण काम करना बंद कर गया।

समाधान: "साइन-मार्जिनलाइज्ड" मैप

लेखक एक नई विधि पेश करते हैं जिसे साइन्ड-परम्यूटेशन ट्रांसपोर्ट (Signed-Permutation Transport) कहा जाता है।

कल्पना कीजिए कि आप फिर से कमरों का मिलान करने की कोशिश कर रहे हैं, लेकिन इस बार आपके पास एक विशेष आवर्धक लेंस (magnifying glass) है। केवल यह पूछने के बजाय कि "क्या कमरा A, कमरा B जैसा है?", आप पूछते हैं, "क्या कमरा A, कमरा B जैसा है, या क्या यह कमरा B का बिल्कुल विपरीत है?"

परिमाण (Magnitude) को देखें: पहले, आप संकेत (positive या negative) की परवाह किए बिना जुड़ाव की शक्ति की जाँच करते हैं। यह सही कमरे को ढूंढ लेता है, भले ही तीर उल्टा क्यों न हो।
चिह्न (Sign) की जाँच करें: एक बार जब आप मिलान वाला कमरा पा लेते हैं, तो आप तीर की दिशा की जाँच करते हैं। यदि यह उल्टा है, तो अपने टूल को ले जाने से पहले आप इसे वापस सीधा कर देते हैं।

लेखक गणितीय रूप से सिद्ध करते हैं कि यदि आप साइन फ्लिप को अनदेखा करते हैं, तो आप लगभग 50% बार विफल होंगे (क्योंकि आधे तीर उलटे हो सकते हैं)। साइन फ्लिप को ध्यान में रखकर, आप लगभग 100% बार सही संरेखण प्राप्त कर सकते हैं।

शोध पत्र में वास्तविक दुनिया के परीक्षण

लेखक ने केवल गणित नहीं किया; उन्होंने इसे वास्तविक AI मॉडलों पर परखा:

"अस्वीकृति" (Refusal) परीक्षण: उन्होंने एक टूल लिया जो AI को हानिकारक प्रश्नों के उत्तर देने से मना करने के लिए प्रेरित करता है।
- पुराना तरीका: टूल विफल रहा। AI ने हानिकारक अनुरोधों को स्वीकार करना शुरू कर दिया (क्योंकि साइन उल्टा हो गया था)।
- नया तरीका: टूल पूरी तरह से काम कर गया, जिसने इसकी मूल शक्ति का 95.8% बरकरार रखा।
"डिक्शनरी" (Dictionary) परीक्षण: उन्होंने एक मॉडल से दूसरे मॉडल में फीचर (SAE) का डिक्शनरी स्थानांतरित करने का प्रयास किया।
- पुराना तरीका: डिक्शनरी बेकार थी (रिकंस्ट्रक्शन एरर बहुत अधिक था)।
- नया तरीका: डिक्शनरी लगभग पूरी तरह से काम कर गई।
"रिज्यूमे" (Resume) परीक्षण: उन्होंने एक AI को प्रशिक्षित (training) करते समय रोका, उसके लेबल बदले (गेज), और फिर से प्रशिक्षण शुरू करने का प्रयास किया।
- पुराना तरीका: AI भूल गया कि वह कहाँ था और उसने पूरी तरह से अलग रास्ता अपनाया।
- नया तरीका: AI ठीक वहीं से शुरू हुआ जहाँ उसने छोड़ा था, जैसे कि कुछ हुआ ही न हो।

मुख्य निष्कर्ष

लेखक निष्कर्ष निकालते हैं कि आधुनिक AI मॉडलों के लिए, आप केवल यह नहीं पूछ सकते कि "यह न्यूरॉन क्या है?" बिना यह निर्दिष्ट किए कि "गेज" (वह नियम पुस्तिका कि लेबल और संकेतों को कैसे व्यवस्थित किया गया है) क्या है।

यदि आप इन मॉडलों के बीच टूल्स, डिक्शनरी या ट्रेनिंग स्टेट्स को स्थानांतरित करना चाहते हैं, तो आपको नए "साइन्ड-परम्यूटेशन" नियमों का उपयोग करना ही होगा। यदि आप ऐसा नहीं करते हैं, तो आप वास्तव में स्टीयरिंग व्हील को 180 डिग्री घुमाकर कार चलाने की कोशिश कर रहे हैं: आप सोचते हैं कि आप सीधे जा रहे हैं, लेकिन वास्तव में आप पीछे जा रहे हैं।

संक्षेप में: आधुनिक AI मॉडलों में एक छिपा हुआ "साइन फ्लिप" सिमेट्री (सममिति) होती है। उनके बीच चीजों को स्थानांतरित करने के लिए, आपको संकेतों को ठीक करना होगा, न कि केवल नामों को। यह शोध पत्र ठीक यही करने के लिए एक मानचित्र और कंपास प्रदान करता है।

तकनीकी सारांश: RMSNorm ट्रांसफॉर्मर्स के लिए हस्ताक्षरित-क्रमपरिवर्तन समन्वय परिवहन (Signed-Permutation Coordinate Transport)

समस्या विवरण

आधुनिक लार्ज लैंग्वेज मॉडल (LLM) वर्कफ़्लो में समन्वय-अनुक्रमित (coordinate-indexed) आर्टिफ़ेक्ट्स—जैसे कि स्टीयरिंग वेक्टर्स, स्पार्स ऑटोएन्कोडर (SAE) डिक्शनरीज़, टॉप-k न्यूरॉन सेट्स, और LoRA एडेप्टर्स—को विभिन्न मॉडल चेकपॉइंट्स के बीच ले जाने की आवश्यकता तेजी से बढ़ रही है। हालाँकि, "यह न्यूरॉन क्या है?" यह प्रश्न तब तक निरर्थक है जब तक कि एक निश्चित गेज (समन्वय प्रणाली) निर्धारित न हो। जबकि मानक संरेखण उपकरण (जैसे, Git Re-Basin, वेट मैचिंग) केवल क्रमपरिवर्तन-मात्र समरूपता समूह ( $S_d$ ) को मानते हैं, RMSNorm (Root Mean Square Layer Normalization) का उपयोग करने वाले मॉडलों के लिए यह धारणा गलत है।

लेयरनॉर्म (LayerNorm) के विपरीत, जिसमें मीन-सेंटरिंग शामिल होती है और जो क्रमपरिवर्तन (एक वैश्विक चिह्न परिवर्तन तक) तक ही सीमित रहती है, RMSNorm में मीन-सेंटरिंग का अभाव होता है। फलस्वरूप, इसका रेसिडुअल स्ट्रीम प्रत्येक समन्वय के लिए स्वतंत्र साइन फ्लिप (चिह्न परिवर्तन) को स्वीकार करता है। RMSNorm के लिए मूल विविक्त गेज (discrete gauge) हाइपरऑक्टाहेड्रल समूह $B_d = S_d \ltimes \{\pm 1\}^d$ (साइंड परम्यूटेशन) है, न कि $S_d$ । साइन घटक (sign component) को अनदेखा करना ( $S_d$ -मात्र संरेखण) एक संरचनात्मक विफलता का कारण बनता है, जिससे समन्वय-अनुक्रमित आर्टिफ़ेक्ट्स मिसअलाइन हो जाते हैं, जिससे प्रदर्शन में भारी गिरावट या पूर्ण कार्यात्मक पतन (functional collapse) होता है।

कार्यप्रणाली

1. मूल गेज का सैद्धांतिक लक्षण वर्णन

यह शोध पत्र स्थापित करता है कि सामान्य प्रति-चैनल गेन $\gamma$ वाले ट्रांसफॉर्मर्स के लिए:

LayerNorm: $O(d)$ का अधिकतम समन्वय-संरक्षण उपसमूह $S_d \times C_2$ (क्रमपरिवर्तन और एक वैश्विक साइन फ्लिप) है।
RMSNorm: maximal समन्वय-संरक्षण उपसमूह पूर्ण हस्ताक्षरित-क्रमपरिवर्तन समूह $B_d$ है।
निहितार्थ: निरंतर ऑर्थोगोनल रोटेशन (जैसे SliceGPT या QuaRot में उपयोग किए जाते हैं) फलन संरक्षण के लिए मान्य हैं लेकिन वे स्पार्स समन्वय पहचान (sparse coordinate identity) को नष्ट कर देते हैं। केवल $B_d$ ही स्पार्स ऑब्जेक्ट्स (जैसे विशिष्ट न्यूरॉन्स या SAE फीचर्स) की पहचान को सुरक्षित रखता है।

2. साइन-मार्जिनलाइज्ड गेज रिकवरी (Sign-Marginalized Gauge Recovery)

युग्मित एक्टिवेशन्स से सही $B_d$ गेज को पुनः प्राप्त करने के लिए, शोध पत्र मानक हंगेरियन मैचिंग एल्गोरिदम में एक संशोधन प्रस्तावित करता है:

लागत फलन (Cost Function): हस्ताक्षरित सहसंबंध $\sum C_{i, \pi(i)}$ को अधिकतम करने के बजाय, एल्गोरिदम निरपेक्ष सहसंबंध (absolute correlation) $\sum |C_{i, \pi(i)}|$ को अधिकतम करता है।
साइन रिकवरी: एक बार जब ऑप्टिमल परम्यूटेशन $\pi^*$ को अबब्सोल्यूट कॉस्ट मैट्रिक्स के माध्यम से खोज लिया जाता है, तो साइन $s_i = \text{sign}(C_{i, \pi^*(i)})$ के रूप में पुनः प्राप्त किए जाते हैं।
सैद्धांतिक गारंटी: शोध पत्र सिद्ध करता है कि डिकोरिलेटेड-कोऑर्डिनेट पॉपुलेशन केस में, मानक हस्ताक्षरित-सहसंबंध मैचिंग की संरचनात्मक सटीकता लगभग 50% (धनात्मक चिह्नों का अंश) पर सीमित हो जाती है क्योंकि यह सही एंटी-कोरिलेटेड एंट्रीज से बचता है। साइन-मार्जिनलाइज्ड मैचिंग इस बाधा को हटा देती है, जिससे 100% सटीकता प्राप्त होती है।

3. प्रक्षेपवक्र संयोजन के माध्यम से पैरेलल ट्रांसपोर्ट (Parallel Transport via Trajectory Composition)

केवल दो एंडपॉइंट्स को मैच करने के बजाय, शोध पत्र एक प्रशिक्षण प्रक्षेपवक्र (training trajectory) के साथ पैरेलल ट्रांसपोर्ट पेश करता है:

क्रमिक चेकपॉइंट्स के बीच स्थानीय $B_d$ गेज का अनुमान साइन-मार्जिनलाइज्ड मैचिंग का उपयोग करके लगाया जाता है।
इन स्थानीय गेज को दूरस्थ चेकपॉइंट्स (या एक बेस साझा करने वाले रन) के बीच एक वैश्विक ट्रांसपोर्ट मैप बनाने के लिए संयोजित किया जाता है।
यह दृष्टिकोण सीधे एंडपॉइंट मैचिंग की "होलोनोमी" (holonomy) समस्याओं से बचता है और कई उच्च-मार्जिन वाले स्थानीय गेज का लाभ उठाता है।

4. गेज-कोवेरिएंट ट्रांसपोर्ट नियम

शोध पत्र $B_d$ के तहत विभिन्न समन्वय-अनुक्रमित आर्टिफ़ेक्ट्स के लिए स्पष्ट रूपांतरण नियम व्युत्पन्न करता है (तालिका 1):

वेक्टर्स (स्टीयरिंग, प्रोब्स, SAE एनकोडर्स): ये $v \mapsto vG$ के रूप में रूपांतरित होते हैं।
मैट्रिक्स (SAE डिकोडर्स, LoRA WRITE): ये $W \mapsto G^\top W$ के रूप में रूपांतरित होते हैं।
ऑप्टिमाइज़र स्टेट्स (AdamW): प्रथम मोमेंट $m_W$ वेट्स के साथ रूपांतरित होता है; द्वितीय मोमेंट $v_W$ (वर्ग होने के कारण) साइन-ब्लाइंड है और केवल परम्यूटेशन के माध्यम से रूपांतरित होता है।

मुख्य परिणाम

1. रिकवरी सटीकता

साइन-मार्जिनलाइज्ड बनाम हस्ताक्षरित: 7B/8B RMSNorm मॉडल्स पर प्रयोगों में, नैव हस्ताक्षरित-सहसंबंध मैचिंग ने केवल ~49.5% परम्यूटेशन और ~50% साइन रिकवर किए। साइन-मार्जिनलाइज्ड मैचिंग ने 100% रिकवरी हासिल की।
ट्रांसपोर्ट बनाम एंडपॉइंट मैचिंग: Qwen2.5-1.5B फाइन-ट्यूनिंग बेंचमार्क (1500 स्टेप्स) पर, बेस कंपोजिशन के माध्यम से ट्रांसपोर्ट ने 91.1% कोऑर्डिनेट्स रिकवर किए, जबकि डायरेक्ट एंडपॉइंट मैचिंग ने केवल 60.3% रिकवर किए। यह सुधार केवल बेस को रेफर करने के कारण नहीं था (एंडपॉइंट-वाया-बेस 11.4% था), बल्कि कई उच्च-मार्जिन वाले स्थानीय गेज को संयोजित करने से हुआ था।

2. आर्टिफ़ेक्ट ट्रांसफर प्रदर्शन

$B_d$ -सही ट्रांसपोर्ट ने कई आर्टिफ़ेक्ट क्लास के तहत $S_d$ -मात्र ट्रांसपोर्ट की तुलना में काफी बेहतर प्रदर्शन किया:

LoRA एडेप्टर्स: Qwen2.5-1.5B (SST-2) पर, $S_d$ ट्रांसपोर्ट ने एडेप्टर सटीकता को अन-एडेप्टेड बेस स्तर (0.525 बनाम 0.525) तक गिरा दिया, जबकि $B_d$ ट्रांसपोर्ट ने 99.7% गेन (gain) को संरक्षित किया (0.944)।
SAE रिकंस्ट्रक्शन: TinyLlama के लिए, $S_d$ ट्रांसपोर्ट के परिणामस्वरूप रिकंस्ट्रक्शन NMSE 1.08 (विफलता) रहा, जबकि $B_d$ ट्रांसपोर्ट ने 0.004 (लगed-परफेक्ट) प्राप्त किया।
स्टीयरिंग वेक्टर्स: Qwen सेंटीमेंट स्टीयरिंग ने $B_d$ के तहत अपने प्रभाव का 95.8% संरक्षित किया, जबकि $S_d$ के तहत केवल 17.2%। रिफ्यूज़ल स्टीयरिंग वेक्टर्स ने $S_d$ के तहत साइन को उलट दिया, जिससे व्यवहार प्रभावी रूप से बदल गया।

3. स्टेटफुल ट्रेनिंग और मर्जिंग

ऑप्टिमाइज़र स्टेट: $S_d$ -मात्र ट्रांसपोर्ट किए गए AdamW स्टेट्स (परम्यूटेशन सही, साइन +1 फोर्स्ड) के साथ ट्रेनिंग को फिर से शुरू करने से ट्रेनिंग प्रक्षेपवक्र संदर्भ से विचलित हो गया, भले ही वह कार्यात्मक रूप से समान चेकपॉइंट से शुरू हुआ था। $B_d$ ट्रांसपोर्ट ने संख्यात्मक सहनशीलता (numerical tolerance) तक प्रक्षेपव melalui संरक्षित रखा।
मॉडल मर्जिंग: समन्वय-संरक्षण मर्जिंग में, $S_d$ -मात्र संरेखण ने विनाशकारी साइन मिसमैच पेश किए, जिससे उच्च "पीक-अबोव-कॉर्ड" (peak-above-chord) बाधाएं उत्पन्न हुईं। साइन अलाइनमेंट ने इन बाधाओं को समाप्त कर दिया (गेज-स्क्रैम्बल टेस्ट में इन्हें 0.00 तक कम कर दिया)।

महत्व और दावे

शोध पत्र तर्क देता है कि RMSNorm-आधारित आर्किटेक्चर (Llama 2, Llama 3, और Qwen जैसे व्यापक रूप से उपयोग किए जाने वाले मॉडल्स सहित) के लिए, समन्वय पहचान (coordinate identity) केवल हस्ताक्षरित-क्रमपरिवर्तन तक ही अच्छी तरह से परिभाषित है।

पुनरुत्पादकता (Reproducibility): समन्वय-अनुक्रमित व्याख्यात्मकता दावे (जैसे, "न्यूरॉन X एक रिफ्यूज़ल न्यूरॉन है") तब तक पुनरुत्पादक नहीं हैं जब तक कि एक विशिष्ट $B_d$ गेज को फिक्स और लागू न किया जाए। शोध पत्र ऐसे दावों का ऑडिट करने के लिए "गेज स्वीप्स" को एक नेगेटिव कंट्रोल के रूप में प्रस्तावित करता है।
टूल ट्रांसफर: $S_d$ -मात्र विधियों की विफलता एक मामूली त्रुटि नहीं बल्कि एक संरचनात्मक पतन है। स्टीयरिंग वेक्टर्स, SAE डिक्शनरीज़ और ऑप्टिमाइज़र स्टेट्स को सफलतापूर्वक स्थानांतरित करने के लिए साइन-ट्रांसपोर्ट आवश्यक है।
सीमाएँ: शोध पत्र नोट करता है कि जबकि $B_d$ समन्वय पहचान को सुरक्षित रखता है, निरंतर ऑर्थोगोनल विधियाँ घने फ्यूजन या संपीड़न के लिए उपयोगी बनी रहती हैं जहाँ समन्वय पहचान प्राथमिक वस्तु नहीं है। इसके अतिरिक्त, FFN हिडन यूनिट्स के अपने स्वतंत्र परम्यूटेशन सिमेट्रीज़ ( $S_{d_{ffn}}$ ) हैं जो रेसिडुअल स्ट्रीम गेज से भिन्न हैं।

संक्षेप में, यह कार्य RMSNorm मॉडल्स को सही ढंग से संरेखित करने के लिए सैद्धांतिक आधार और व्यावहारिक एल्गोरिदम प्रदान करता है, यह प्रदर्शित करते हुए कि गेज के साइन घटक को अनदेखा करना समन्वय-आधारित वर्कफ़्लो को मौलिक रूप से त्रुटिपूर्ण बना देता है।