📊 statistics

The Geometry of Updates: Fisher Alignment at Vocabulary Scale

यह शोध पत्र FisherSketch प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free), स्ट्रीमिंग-कुशल विधि है जो साझा शब्दावली वाले LLM परिवारों के लिए स्केलेबल स्रोत चयन और कार्य समानता निदान (task similarity diagnostics) को सक्षम करने हेतु कर्नेल मीन एम्बेडिंग्स (kernel mean embeddings) के माध्यम से हेड फिशर संरेखण (head Fisher alignment) का अनुमान लगाता है, जो केवल प्रतिनिधित्व-आधारित मेट्रिक्स की सीमाओं और पूर्ण फिशर मैट्रिसेस की कम्प्यूटेशनल लागत पर विजय प्राप्त करता है।

मूल लेखक: John Sweeney

प्रकाशित 2026-06-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: John Sweeney

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अत्यधिक प्रशिक्षित भाषा मॉडल है (जैसे कि एक सुपर-स्मार्ट रोबोट जो कई भाषाएं जानता है)। अब, कल्पना कीजिए कि आप इस रोबोट को एक नया, विशिष्ट कौशल सिखाना चाहते हैं, जैसे कि रासायनिक सूत्र (SMILES) लिखना या प्रोटीन संरचनाओं को समझना।

बड़ा सवाल यह है: आपको उसे यह नया कौशल सिखाने के लिए किस मौजूदा डेटासेट का उपयोग करना चाहिए?

आमतौर पर, लोग इसे यह देखकर हल करने की कोशिश करते हैं कि रोबोट कैसे "सोचता" है (इसके आंतरिक सक्रियण/activations)। वे पूछते हैं, "क्या रोबोट रासायनिक सूत्रों को प्रोटीन अनुक्रमों की तरह ही देखता है?" यदि उत्तर "हाँ" है, तो वे मान लेते हैं कि रोबोट नया कार्य आसानी से सीख लेगा।

समस्या: सीखने का "अंधेरा कमरा"
यह शोध पत्र तर्क देता है कि केवल यह देखना कि रोबोट कैसे "सोचता" है, अंधेरे कमरे में दीवारों को छूकर रास्ता खोजने जैसा है। आप दो अलग-अलग कमरों में एक ही दीवार को महसूस कर सकते हैं, लेकिन इसका मतलब यह नहीं है कि फर्नीचर (लक्ष्य) भी उसी जगह पर है।

लेखक इसे "एक्टिवेशन-डार्क" (Activation-Dark) शासन कहते हैं। दो कार्य रोबोट के आंतरिक सेंसरों (सक्रियणों) के लिए बिल्कुल समान दिख सकते हैं, लेकिन उन्हें हल करने में होने वाली गलतियाँ (errors) पूरी तरह से विपरीत दिशाओं की ओर संकेत कर सकती हैं। यदि आप रोबोट को गलत डेटा पर प्रशिक्षित करते हैं, तो वह समाधान को गलत दिशा में धकेलना सीख सकता है, भले ही वह "महसूस" एक जैसा ही क्यों न हो।

समाधान: FisherSketch (अपडेट के लिए एक "दूरबीन")
लेखक एक नया उपकरण पेश करते हैं जिसे FisherSketch कहा जाता है। केवल यह देखने के बजाय कि रोबोट क्या देखता है, यह इस पर ध्यान केंद्रित करता है कि रोबोट खुद को बदलने की योजना कैसे बनाता है ताकि समस्या को हल किया जा सके।

यहाँ मुख्य विचार को एक उपमा के साथ तोड़कर समझाया गया है:

1. "अपडेट" ही असली कहानी है

कल्पना कीजिए कि रोबैट एक छात्र है जो परीक्षा दे रहा है।

रिप्रेजेंटेशन सिमिलरिटी (पुराना तरीका): आप प्रश्न पढ़ते समय छात्र के चेहरे को देखते हैं। यदि वे गणित और इतिहास दोनों के लिए केंद्रित और गंभीर दिखते हैं, तो आप मान लेते हैं कि वे दोनों में अच्छा करेंगे।
फिशर एलाइनमेंट (नया तरीका): आप छात्र द्वारा अपनी उत्तर पुस्तिका पर किए गए सुधारों को देखते हैं।
- गणित के लिए, वे महसूस कर सकते हैं, "मुझे और संख्याएँ जोड़ने की आवश्यकता है।"
- इतिहास के लिए, वे महसूस कर सकते हैं, "मुझे और तारीखें लिखने की आवश्यकता है।"
- भले ही वे पढ़ते समय एक जैसे दिखें, लेकिन उनके गलतियों को सुधारने की योजनाएँ पूरी तरह से अलग हैं।

पेपर यह सिद्ध करता है कि यदि आप केवल "चेहरे" (सक्रियण) को देखते हैं, तो आप "सुधारों" (अपडेट) की भविष्यवाणी नहीं कर सकते। दो कार्य समान दिख सकते हैं लेकिन उन्हें विपरीत बदलावों की आवश्यकता होती है।

2. "वोकैबुलरी स्केल" की चुनौती

रोबोट के पास एक विशाल शब्दावली (128,000 से अधिक शब्द) है। प्रत्येक शब्द के लिए "सुधार योजना" की गणना करने के लिए, आपको सामान्य रूप से एक ऐसे कंप्यूटर की आवश्यकता होगी जिसके पास पृथ्वी पर मौजूद कुल मेमोरी से भी अधिक मेमोरी हो (प्रति कार्य 61 गीगाबाइट!)। हजारों अलग-अलग कार्यों के लिए ऐसा करना असंभव है।

FisherSketch एक जादुई संपीड़न तकनीक (compression trick) की तरह है।

पूरी 61GB की सुधार योजना लिखने के बजाय, यह एक छोटा 16 KB का "सिग्नेचर" बनाता है (लगभग एक छोटी फोटो के आकार का)।
यह डेटा के एक एकल "स्ट्रीमिंग पास" का उपयोग करके, रैंडम प्रोजेक्शन जैसे चतुर गणितीय तरीके से, सुधारों की दिशा का अनुमान लगाकर ऐसा करता है, बिना उन्हें पूरी तरह से लिखे।
यह तीन चीजों को कैप्चर करता है:
1. एक्टिवेशंस (Activations): जो रोबोट देखता है।
2. एरर्स (Errors): जहाँ रोबोट गलत होता है।
3. कपलिंग (Coupling): कैसे "देखना" और "गलत होना" एक दूसरे के साथ क्रिया करते हैं।

3. "वर्बलाइज़र शिफ्ट" प्रयोग

अपने तर्क को सिद्ध करने के लिए, लेखकों ने एक विशिष्ट परीक्षण चलाया जिसे "वर्बलाइज़र शिफ्ट" कहा जाता है।

उन्होंने रोबोट को एक निश्चित प्रॉम्प्ट दिया: "उत्तर है..."
उन्होंने केवल अंतिम शब्द (द वर्बलाइज़र) को बदला, जैसे "हाँ/नहीं" को "सत्य/असत्य" में बदलना।
परिणाम: रोबोट का आंतरिक "सोचना" (सक्रियण) बिल्कुल वैसा ही रहा क्योंकि प्रॉम्प्ट समान था। पुराने तरीकों ने कहा, "ये दोनों कार्य 100% समान हैं!"
वास्तविकता: अंतिम शब्द के आधार पर रोबोट की सीखने की क्षमता नाटकीय रूप से बदल गई।
FisherSketch ने इस बदलाव की सही भविष्यवाणी की क्योंकि इसने एरर ज्योमेट्री (कैसे विशिष्ट अंतिम शब्द ने रोबोट की गलतियों को बदल दिया) को देखा, जबकि पुराने तरीके इसके प्रति अंधे थे।

दावों का सारांश

पुराने तरीके विफल रहते हैं: CKA जैसे मेट्रिक्स (जो आंतरिक "विचारों" की तुलना करते हैं) यह भविष्यवाणी करने में असमर्थ हैं कि क्या कोई रोबोट नया कार्य अच्छी तरह से सीखेगा यदि "गलतियाँ" अलग हैं, भले ही "विचार" समान हों।
नया तरीका काम करता है: FisherSketch सीधे डेटा स्ट्रीम से "फिशर एलाइनमेंट" (अपडेट योजनाओं की समानता) का अनुमान लगाता है।
दक्षता (Efficiency): यह विशाल डेटा को छोटे 16 KB सिग्नेचर में संकुचित करता है, जिससे हजारों कार्यों की तुरंत तुलना करना संभव हो जाता है।
सटीकता: Llama-3.1-8B के साथ परीक्षणों में, FisherSketch फाइन-ट्यूनिंग के लिए सही स्रोत डेटा चुनने में उन तरीकों की तुलना में बहुत बेहतर था जो केवल सक्रियणों (activations) को देखते थे, विशेष रूप से उन कठिन मामलों में जहाँ "सोचना" नहीं बदला लेकिन "सीखने का लक्ष्य" बदल गया।

संक्षेप में, पेपर कहता है: केवल यह मत पूछिए कि रोबोट क्या देखता है; यह पूछिए कि वह अपनी गलतियों को कैसे सुधारने की योजना बनाता है। और आप अपने सबसे बड़े मॉडलों के लिए भी, उनके नए "FisherSketch" टूल का उपयोग करके, इसे कुशलतापूर्वक कर सकते हैं।

तकनीकी सारांश: अपडेट की ज्यामिति: शब्दावली पैमाने पर फिशर एलाइनमेंट (Fisher Alignment)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र उन LLM परिवारों के लिए ट्रेनिंग-फ्री सोर्स सिलेक्शन (प्रशिक्षण-मुक्त स्रोत चयन) की चुनौती को संबोधित करता है जो एक ही शब्दावली (vocabulary) साझा करते हैं लेकिन उनके प्रेडिक्शन टारगेट्स भिन्न होते हैं (जैसे, SMILES, प्रोटीन अनुक्रम, या जीनोमिक डेटा के लिए एक साझा टोकनाइज़र को अनुकूलित करना)।

वर्तमान ट्रांसफरैबिलिटी मेट्रिक्स इस "एक्टिवेशन-डार्क" (activation-dark) शासन में एक दुविधा का सामना करते हैं:

रिप्रेजेंटेशन-समानता मेट्रिक्स (जैसे, CKA, RSA, SVVA) फ्रीज़्ड एक्टिवेशन्स के आधार पर समानता की गणना करते हैं। लेखक तर्क देते हैं कि ये हेड-लेवल ट्रांसफर के लिए नॉन-आइडेंटिफिएबल (गैर-पहचान योग्य) हैं क्योंकि वे लेबल-कंडीशन्ड एरर की ज्यामिति की अनदेखी करते हैं। मॉडल समान रिप्रेजेंटेशन साझा कर सकते हैं फिर भी उनके अपडेट दिशाएं ऑर्थोगोनल (लंबवत) हो सकती हैं।
क्लासिकल अपडेट-ज्यामिति मेट्रिक्स (जैसे, फिशर एलाइनमेंट) सैद्धांतिक रूप से आवश्यक अपडेट संरचना को कैप्चर करते हैं, लेकिन वे शब्दावली पैमाने ( $K \sim 10^5$ ) पर कंप्यूटेशनल रूप से अत्यधिक कठिन हैं। एरर सेकंड-मोमेंट मैट्रिक्स ( $\Gamma_e$ ) को स्टोर करने के लिए प्रति कार्य $\approx 61$ GiB की आवश्यकता होती है, जिससे सटीक गणना करना असंभव हो जाता है।

मूल प्रश्न यह है: क्या कोई बड़े शब्दावली पैमाने पर विशाल मैट्रिसेस को भौतिक रूप से बनाए बिना या संभावित रूप से भ्रामक एक्टिवेशन-ओनली सिग्नल्स पर निर्भर हुए बिना, पैरामीटर अपडेट की ज्यामितीय अनुकूलता (Fisher alignment) का कुशलतापूर्वक अनुमान लगा सकता है?

2. कार्यप्रणाली (Methodology)

सैद्धांतिक आधार (Theoretical Foundation)

लेखक स्थापित करते हैं कि एक लीनियर हेड के लिए, प्रति-उदाहरण ग्रेडिएंट $g$ को पेनल्टीमेट एक्टिवेशन $a$ और लॉजिट-स्पेस एरर $e$ के क्रोनेकर प्रोडक्ट (Kronecker product) में सटीक रूप से विभाजित किया जा सकता है (अर्थात, $g = a \otimes e$ )।

रिप्रेजेंटेशन मेट्रिक्स की नॉन-आइडेंटिफिएबिलिटी: पेपर सिद्ध करता है (थ्योरम 3.2) कि केवल रिप्रेजेंटेशन मेट्रिक्स हेड फिशर एलाइनमेंट निर्धारित नहीं कर सकते। वे एक "विटनेस" (witness) का निर्माण करते हैं जहाँ कार्य समान रिप्रेजेंटेशन ( $Z_i = Z_j$ ) साझा करते हैं, लेकिन उनके लेबल सेट अलग होते हैं, जिसके परिणामस्वरूप ऑर्थोगोनल हेड ग्रेडिएंट्स ( $A_F(i, j) = 0$ ) प्राप्त होते हैं। इस प्रकार, $M(Z_i, Z_j)$ समान और ऑर्थोगोनल कार्यों के बीच अंतर नहीं कर सकता।
प्रोडक्ट-कर्नेल कोसाइन के रूप में फिशर एलाइनमेंट: केंद्रीय सैद्धांतिक योगदान (थ्योरम 4.2) हेड फिशर एलाइनमेंट को एक संयुक्त $(a, e)$ $(a, e)$ फीचर स्पेस में कर्नेल मीन एम्बेडिंग्स के कोसाइन सिमिलरिटी के रूप में पुनर्गठित करता है।
$A_F^{head}(i, j) = \cos(\mu_{ae, i}, \mu_{ae, j})$
जहाँ $\mu_{ae, k}$ $μ_{a e, k}$ प्रोडक्ट कर्नेल $k_{ae}((a, e), (a', e')) = (a^\top a')^2 (e^\top e')^2$ $k_{a e} ((a, e), (a^{'}, e^{'})) = (a^{⊤} a^{'})^{2} (e^{⊤} e^{'})^{2}$ का मीन एम्बेडिंग है।
यह अपघटन प्रकट करता है कि ट्रांसफरैबिलिटी तीन कारकों पर निर्भर करती है:
1. एक्टिवेशन ज्यामिति: एक्टिवेशन सेकंड मोमेंट्स ( $M_a$ ) की समानता।
2. एरर ज्यामिति: एरर सेकंड मोमेंट्स ( $\Gamma_e$ ) की समानता।
3. कपलिंग (Coupling): एक नॉन-सेपरेबिलिटी रेशियो ( $\rho$ ) जो इस धारणा से विचलन को मापता है कि एक्टिवेशन और एरर स्वतंत्र हैं।

एल्गोरिदम: FisherSketch

इसे शब्दावली पैमाने पर व्यावहारिक बनाने के लिए, लेखक FisherSketch पेश करते हैं, जो एक स्ट्रीमिंग, सिंगल-पास एस्टिमेटर है।

रैंडम मैकलॉरिन फीचर्स (Random Maclaurin Features): पूर्ण $O(d^2 K^2)$ एम्बेडिंग की गणना करने के बजाय, FisherSketch प्रोडक्ट कर्नेल एक्सपेक्टेशन का अनुमान लगाने के लिए फैक्टर्ड रैंडम प्रोजेक्शन (Rademacher vectors) का उपयोग करता है।
दक्षता: यह क्रोनेकर स्ट्रक्चर का लाभ उठाते हुए $a$ और $e$ के लिए प्रोजेक्शन को अलग-अलग कंप्यूट करता है, जिससे प्रति-सैंपल जटिलता $O(mdK) $से घटकर$ O(m(d+K))$ हो जाती है।
सब-सैम्पल्ड रैंडमाइज्ड हैडामार्ड ट्रांसफॉर्म (SRHT): हाई-डायमेंशनल एरर स्पेस ( $K \approx 128,256$ ) के लिए, प्रोजेक्शन लागत को $O(mK) $से$ O(K \log K + m)$ तक कम करने के लिए SRHT का उपयोग किया जाता है।
आउटपुट: यह विधि प्रत्येक कार्य के लिए एक कॉम्पैक्ट 16 KB टास्क सिग्नेचर (एक वेक्टर $\mathbb{R}^m$ में जहाँ $m=4096$ है) उत्पन्न करती है, जो संयुक्त एक्टिवेशन-एरर ज्यामिति को एनकोड करती है। यह बायस (bias) को कम करने के लिए स्प्लिट-सैंपल एस्टीमेशन के लिए एक छोटा 192 KB स्ट्रीमिंग स्टेट भी बनाए रखता है।

3. मुख्य योगदान (Key Contributions)

नॉन-आइडेंटिफिएबिलिटी प्रमाण: यह औपचारिक प्रदर्शन कि रिप्रेजेंटेशन-सिमिलरिटी मेट्रिक्स (CKA, RSA, SVCCA) एरर ज्यामिति या लेबल मैपिंग की धारणाओं के बिना हेड-लेवल ट्रांसफर की भविष्यवाणी करने के लिए अपर्याप्त हैं।
सटीक अपघटन पहचान (Exact Decomposition Identity): यह प्रमाण कि हेड फिशर एलाइनमेंट संयुक्त मीन एम्बेडिंग्स के बीच एक प्रोडक्ट-कर्नेल कोसाइन है, जो एक कठोर तीन-कारक अपघटन (एक्टिवेशन, एरर, कपलिंग) प्रदान करता है।
FisherSketch: एक स्केलेबल, ट्रेनिंग-फ्री एस्टिमेटर जो कार्य की ज्यामिति को 16 KB सिग्नेचर में संकुचित करता है, जिससे शब्दावली-पैमाने ( $K=128,256$ ) की तुलना संभव हो पाती है, जिसमें प्रति-कार्य 192 KB का स्ट्रीमिंग स्टेट होता है।
डायग्नोस्टिक इंस्ट्रूमेंट: ये सिग्नेचर शोधकर्ताओं को यह समझने में मदद करते हैं कि क्या कार्य की समानता एक्टिवेशन्स, एरर्स, या उनके कपलिंग द्वारा संचालित है, जो "एक्टिवेशन-डार्क" शासन के लिए एक प्रोब के रूप में कार्य करता है।

4. परिणाम (Results)

शब्दावली-पैमाने पर सोर्स सिलेक्शन

Llama-3.1-8B पर 100 डोमेन में मूल्यांकन किया गया:

प्रदर्शन: FisherSketch ने 45.7% Top-1 सोर्स सिलेक्शन सटीकता प्राप्त की (लगभग 10.9 $\times$ रैंडम बेसलाइन) जिसमें मैक्स रिग्रेट 0.119 था।
तुलना: यह नेचुरल डोमेन शिफ्ट पर एक्टिवेशन-ओनली बेसलाइन्स के साथ प्रतिस्पर्धी था, लेकिन विशिष्ट रेगिम्स में उनसे काफी बेहतर प्रदर्शन किया।
दक्षता: इसने स्टोरेज आवश्यकताओं को प्रति कार्य ~61 GiB (सटीक $\Gamma_e$ के लिए) से घटाकर 16 KB कर दिया।

आइडेंटिफिएबिलिटी स्ट्रेस टेस्ट (Verbalizer Shift)

फिक्स्ड-प्रिफिक्स प्रॉम्प्ट्स का उपयोग करके एक नियंत्रित प्रयोग में जहाँ एक्टिवेशन्स विभिन्न वर्बलाइज़र (जैसे, "Yes/No" बनाम "True/False") के बीच समान थे:

एक्टिवेशन-ओनली विफलता: एक्टिवेशन सिमिलरिटी ( $Scov(M_a)$ ) एक कांस्टेंट में गिर गई (रैंडम बेसलाइन प्रदर्शन 20% Top-1)।
FisherSketch की सफलता: FisherSketch ने 66.7% Top-1 प्राप्त किया, जो सफलतापूर्वक उन विविधताओं की भविष्यवाणी करने में सफल रहा जो केवल लेबल-कंडीशन्ड एरर ज्यामिति द्वारा संचालित थीं।
एरर-ओनली मार्जिनल: एरर-ओनली मार्जिनल ( $Scov(\Gamma_e)$ ) ने भी अच्छा प्रदर्शन किया (72.2% Top-1), जो पुष्टि करता है कि जब एक्टिवेशन ज्यामिति स्थिर होती है, तो एरर ज्यामिति सिग्नल को संचालित करती है।

वैज्ञानिक अनुक्रम प्रूफ ऑफ कॉन्सेप्ट (Scientific Sequence Proof of Concept)

मॉलिक्यूलर SMILES डोमेन पर, FisherSketch ने क्रॉस-डोमेन परप्लेक्सिटी रिडक्शन के साथ महत्वपूर्ण सहसंबंध दिखाया ( $\rho_s=0.53, p=0.006$ ), जबकि एक्टिवेशन-ओनली सिमिलरिटी महत्वपूर्ण नहीं थी ( $p=0.081$ )।

एस्टिमेटर वैलिडेशन

ViT-B/16 पर, FisherSketch ने संयुक्त समानता ( $\hat{S}_{ae}: 0.97$ ) और कपलिंग ( $\hat{\rho}: 0.95$ ) के लिए सटीक फिशर एलाइनमेंट के साथ उच्च स्पीयरमैन सहसंबंध दिखाया। विधि ने $n=2000$ नमूनों पर सटीक गणना की तुलना में 89 $\times$ की गति वृद्धि हासिल की।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र एक व्यावहारिक, ट्रेनिंग-फ्री तंत्र प्रदान करने का दावा करता है, जो उन साझा-शब्दावली वाले LLM परिवारों के लिए सोर्स सिलेक्शन को सक्षम बनाता है जहाँ पारंपरिक मेट्रिक्स "एक्टिवेशन-डार्क" प्रकृति के कारण विफल हो जाते हैं।

परिचालन प्रभाव (Operational Impact): यह स्वचालित फाइन-ट्यूनिंग सोर्स सिलेक्शन, इंटरफेरेंस-अवेयर कॉन्टिनुअल लर्निंग, और प्रेडिक्टेड पैरामीटर-अपडेट कम्पैटिबिलिटी (केवल रिप्रेजेंटेशन सिमिलरिटी के बजाय) के आधार पर इन्फरेंस-टाइम राउटिंग को सक्षम बनाता है।
सैद्धांतिक अंतर्दृष्टि: यह स्पष्ट करता है कि ट्रांसफर मौलिक रूप से अपडेट्स (ग्रेडिएंट्स) की ज्यामिति है, न कि केवल रिप्रेजेंटेशन की। पेपर का तर्क है कि जबकि रिप्रेजेंटेशन मेट्रिक्स अनुकूल परिस्थितियों में सूचनात्मक हो सकते हैं, वे एरर स्ट्रक्चर की स्पष्ट मॉडलिंग के बिना मौलिक रूप से सीमित हैं।
स्केलेबिलिटी: जटिल अपडेट ज्यामिति को छोटे सिग्नेचर में संकुचित करके, यह कार्य ट्रांसफरैबिलिटी विश्लेषण को शब्दावली-पैमाने पर संभव बनाता है, जो सीमित-लेबल सन्निकटन (जैसे LogME/LEEP) या अत्यधिक कठिन सटीक फिशर गणनाओं की सीमाओं से आगे ले जाता है।

लेखक स्पष्ट रूप से सीमाओं का उल्लेख करते हैं: विधि यह मानती है कि एक साझा आउटपुट बेसिस (शब्दावली या संरेखित टैक्सोनॉमी) है और यह हेड-लेवल (या साझा-पैरामीटर) फिशर एलाइनमेंट पर केंद्रित है। विषम आउटपुट स्पेस या साझा पैरामीटर्स के बिना पूर्ण-नेटवर्क तुलनाओं के लिए, अलग दृष्टिकोणों या आंतरिक-परत डायग्नोस्टिक्स की सिफारिश की जाती है।