📊 statistics

The Geometry of Updates: Fisher Alignment at Vocabulary Scale

Dit artikel introduceert FisherSketch, een methode die vrij is van training en streaming-efficiënt is, die de Fisher-alignment van koppen schat via kernel mean embeddings om schaalbare bronselectie en diagnostiek van taakgelijkenis mogelijk te maken voor LLM-families met gedeelde vocabulaires, waarbij de beperkingen van enkel op representaties gebaseerde metrieken en de computationele kosten van volledige Fisher-matrices worden overwonnen.

Oorspronkelijke auteurs: John Sweeney

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: John Sweeney

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantisch, hooggetraind taalmodel hebt (zoals een superintelligënte robot die vele talen spreekt). Stel je nu voor dat je deze robot een nieuwe, specifieke vaardigheid wilt aanleren, zoals het schrijven van chemische formules (SMILES) of het begrijpen van eiwitstructuren.

De grote vraag is: welke bestaande dataset moet je gebruiken om deze nieuwe vaardigheid aan te leren?

Meestal proberen mensen dit te beantwoorden door te kijken naar hoe de robot "denkt" (zijn interne activaties) wanneer hij data ziet. Ze vragen zich af: "Ziet de robot chemische formules op dezelfde manier als proteïne-sequenties?" Als het antwoord "ja" is, gaan ze ervan uit dat de robot de nieuwe taak gemakkelijk zal leren.

Het Probleem: De "Donkere Kamer" van het Leren
Dit artikel betoogt dat alleen kijken naar hoe de robot "denkt", is alsof je een donkere kamer probeert te navigeren door tegen de muren te voelen. Je kunt in twee verschillende kamers dezelfde muur voelen, maar dat betekent niet dat het meubilair (het doel) op dezelfde plek staat.

De auteurs noemen dit het "Activation-Dark"-regime. Twee taken kunnen identiek lijken voor de interne sensoren van de robot (activaties), maar de fouten die hij maakt bij het oplossen van deze taken kunnen in totaal tegenovergestelde richtingen wijzen. Als je de robot traint op de verkeerde data, kan hij leren om de oplossing in de verkeerde richting te duwen, zelfs als het "gevoel" hetzelfde is.

De Oplossing: FisherSketch (De "Telescoop" voor Updates)
De auteurs introduceren een nieuwe tool genaamd FisherSketch. In plaats van alleen te kijken naar wat de robot ziet, kijken ze naar hoe de robot van plan is zichzelf te veranderen om het probleem op te lossen.

Hier is het kernidee, onderverdeeld met een analogie:

1. De "Update" is het Echte Verhaal

Stel je voor dat de robot een student is die een toets maakt.

Representatie-gelijkenis (De Oude Manier): Je kijkt naar het gezicht van de student terwijl hij de vraag leest. Als hij voor zowel Wiskunde als Geschiedenis gefocust en serieus kijkt, neem je aan dat hij in beide goed zal presteren.
Fisher-uitlijning (De Nieuwe Manier): Je kijkt naar de correcties die de student aanbrengt op zijn antwoordblad.
- Voor Wiskunde realiseert hij zich: "Ik moet meer getallen toevoegen."
- Voor Geschiedenis realiseert hij zich: "Ik moet meer jaartallen opschrijven."
- Zelfs als ze er hetzelfde uitzien tijdens het lezen, zijn hun plannen om fouten te herstellen totaal verschillend.

Het artikel bewijst dat als je alleen naar het "gezicht" (activaties) kijkt, je de "correcties" (updates) niet kunt voorspellen. Twee taken kunnen identiek lijken, maar vereisen tegenovergestelde veranderingen.

2. De Uitdaging van de "Vocabulaire Schaal"

De robot heeft een enorme vocabulaire (meer dan 128.000 woorden). Om het "correctieplan" voor elk woord te berekenen, zou je normaal gesproken een computer nodig hebben met meer geheugen dan er op aarde bestaat (61 Gigabyte per taak!). Dit is onmogelijk te doen voor duizenden verschillende taken.

FisherSketch is als een magische compressietechniek.

In plaats van het volledige 61 GB correctieplan op te schrijven, creëert het een piepkleine 16 KB "handtekening" (ongeveer de grootte van een kleine foto).
Dit doet het door één enkele "streaming pass" over de data te maken, waarbij een slimme wiskundige truc (random projecties) wordt gebruikt om de richting van de correcties te schatten zonder ze ooit allemaal op te schrijven.
Het legt drie dingen vast:
1. Activaties: Wat de robot ziet.
2. Fouten: Waar de robot de mist in gaat.
3. Koppeling (Coupling): Hoe het "zien" en het "de mist in gaan" met elkaar interageren.

3. Het "Verbalizer Shift" Experiment

Om hun punt te bewijzen, voerden de auteurs een specifieke test uit genaamd een "Verbalizer Shift."

Ze gaven de robot een vaste prompt: "Het antwoord is..."
Ze veranderden alleen het laatste woord (de "verbalizer"), zoals het veranderen van "Ja/Nee" naar "Waar/Onwaar."
De Resultaat: De interne "denkprocessen" (activaties) van de robot bleven exact hetzelfde omdat de prompt identiek was. Oude methoden zeiden: "Deze taken zijn 100% identiek!"
De Realiteit: Het vermogen van de robot om te leren veranderde drastisch afhankelijk van het laatste woord.
FisherSketch voorspelde deze verandering correct omdat het keek naar de fout-geometrie (hoe het specifieke laatste woord de fouten van de robot veranderde), terwijl de oude methoden hiervoor blind waren.

Samenvatting van de Claims

Oude Methoden Falen: Metrieken zoals CKA (die activaties vergelijken) kunnen niet voorspellen of een robot een nieuwe taak goed zal leren als de "fouten" verschillend zijn, zelfs als de "gedachten" hetzelfde zijn.
Nieuwe Methode Werkt: FisherSketch schat de "Fisher Alignment" (de gelijkenis van update-plannen) direct in van de datastroom.
Efficiëntie: Het comprimeert enorme hoeveelheden data tot kleine 16 KB handtekeningen, waardoor het mogelijk is om duizenden taken direct te vergelijken.
Nauwkeurigheid: In tests met Llama-3.1-8B was FisherSketch veel beter in het kiezen van de juiste bron-data voor fine-tuning dan methoden die alleen naar activaties keken, vooral in lastige gevallen waar het "denken" niet veranderde maar het "leersdoel" wel.

Kortom, het artikel zegt: Vraag niet alleen wat de robot ziet; vraag hoe de robot van plan is zijn fouten te herstellen. En je kunt dit efficiënt doen, zelfs voor de grootste modellen, met hun nieuwe "FisherSketch"-tool.

Technische Samenvatting: De Geometrie van Updates: Fisher Alignment op Vocabulaire-schaal

1. Probleemstelling

Het artikel behandelt de uitdaging van trainingsvrije bronselectie voor families van Large Language Models (LLM's) die een gedeelde vocabulaire delen maar verschillende voorspellingsdoelen hebben (bijv. het aanpassen van een gedeelde tokenizer aan SMILES, proteïnesequenties of genomische data).

Huidige transferabiliteitsmetrieken kampen met een dilemma in dit "activatie-donkere" regime:

Representatie-gelijkenis metrieken (bijv. CKA, RSA, SVCCA) berekenen gelijkenis op basis van bevroren activaties. De auteurs stellen dat deze niet-identificeerbaar zijn voor head-level transfer omdat ze de geometrie van label-geconditioneerde fouten negeren. Modellen kunnen identieke representaties delen, maar orthogonale update-richtingen hebben.
Klassieke update-geometrie metrieken (bijv. Fisher alignment) vangen theoretisch de noodzakelijke update-structuur op, maar zijn computationeel onhaalbaar op vocabulaire-schaal ( $K \sim 10^5$ ). Het opslaan van de fout tweede-moment matrix ( $\Gamma_e$ ) vereist $\approx 61$ GiB per taak, wat exacte berekening onhaalbaar maakt voor grote kandidaat-sets.

De kernvraag is: Hoe kan men de geometrische compatibiliteit van parameter-updates (Fisher alignment) efficiënt schatten op vocabulaire-schaal zonder massale matrices te materialiseren of te vertrouwen op potentieel misleidende activatie-signalen?

2. Methodologie

Theoretische Fundering

De auteurs stellen vast dat voor een lineaire head de per-voorbeeld gradiënt $g$ exact factoriseert in de Kronecker-product van de voorlaatste activatie $a$ en de logit-ruimte fout $e$ (d.w.z. $g = a \otimes e$ ).

Niet-identificeerbaarheid van Representatie-metrieken: Het artikel bewijst (Theorema 3.2) dat representatie-only metrieken geen head Fisher alignment kunnen bepalen. De auteurs construeren een "getuige" waarbij taken identieke representaties delen ( $Z_i = Z_j$ ) maar disjuncte label-sets hebben, wat resulteert in orthogonale head-gradiënten ( $A_F(i, j) = 0$ ). Hierdoor kan $M(Z_i, Z_j)$ niet onderscheid maken tussen identieke taken en orthogonale taken.
Fisher Alignment als een Product-Kernel Cosinus: De centrale theoretische bijdrage (Theorema 4.2) herschrijft head Fisher alignment als de cosinus-gelijkenis tussen kernel gemiddelde embeddings in een gezamenlijke $(a, e)$ $(a, e)$ feature-ruimte.
$A_F^{head}(i, j) = \cos(\mu_{ae, i}, \mu_{ae, j})$
waarbij $\mu_{ae, k}$ $μ_{a e, k}$ de gemiddelde embedding is van de product-kernel $k_{ae}((a, e), (a', e')) = (a^\top a')^2 (e^\top e')^2$ $k_{a e} ((a, e), (a^{'}, e^{'})) = (a^{⊤} a^{'})^{2} (e^{⊤} e^{'})^{2}$ .
Deze decompositie onthult dat transferabiliteit afhangt van drie factoren:
1. Activatie Geometrie: Gelijkenis van activatie tweede momenten ( $M_a$ ).
2. Fout Geometrie: Gelijkenis van fout tweede momenten ( $\Gamma_e$ ).
3. Koppeling: Een niet-separabiliteitsratio ( $\rho$ ) die de afwijking meet van de assumptie dat activaties en fouten onafhankelijk zijn.

Algoritme: FisherSketch

Om dit hanteerbaar te maken op vocabulaire-schaal, introduceren de auteurs FisherSketch, een streaming, single-pass estimator.

Random Maclaurin Features: In plaats van de volledige $O(d^2 K^2)$ embedding te berekenen, gebruikt FisherSketch gefactoreerde random projecties (Rademacher vectoren) om de product-kernel verwachting te schatten.
Efficiëntie: Het benut de Kronecker-structuur om projecties apart te berekenen voor $a$ en $e$ , waardoor de per-sample complexiteit wordt teruggebracht van $O(mdK)$ naar $O(m(d+K))$ .
Subsampled Randomized Hadamard Transform (SRHT): Voor de hoogdimensionale fout-ruimte ( $K \approx 128.256$ ) wordt SRHT gebruikt om de projectiekosten te reduceren van $O(mK)$ naar $O(K \log K + m)$ .
Output: De methode produceert een compacte 16 KB taak-signatuur (een vector in $\mathbb{R}^m$ met $m=4096$ ) per taak, die de gezamenlijke activatie-fout geometrie codeert. Het behoudt ook een kleine 192 KB streaming staat voor split-sample schatting om bias te verminderen.

3. Belangrijkste Bijdragen

Niet-identificeerbaarheid Bewijs: Formele demonstratie dat representatie-gelijkenis metrieken (CKA, RSA, SVCCA) onvoldoende zijn om head-level transfer te voorspellen zonder assumpties over fout-geometrie of label-mapping.
Exacte Decompositie Identiteit: Bewijs dat head Fisher alignment exact een product-kernel cosinus is tussen gezamenlijke gemiddelde embeddings, wat een rigoureuze drie-factor decompositie biedt (activatie, fout, koppeling).
FisherSketch: Een schaalbare, trainingsvrije estimator die taak-geometrie comprimeert tot een 16 KB signatuur, wat vocabulaire-schaal vergelijkingen ( $K=128.256$ ) mogelijk maakt met een 192 KB per-taak streaming staat.
Diagnostisch Instrument: De signaturen stellen onderzoekers in staat om te ontrafelen of taak-gelijkenis wordt gedreven door activaties, fouten, of hun koppeling, wat dient als een sonde voor "activatie-donkere" regimes.

4. Resultaten

Vocabulaire-schaal Bronselectie

Geëvalueerd op Llama-3.1-8B over 100 domeinen:

Prestaties: FisherSketch bereikte een 45,7% Top-1 bronselectie nauwkeurigheid (ongeveer 10,9 $\times$ de random baseline) met een maximale regret van 0,119.
Vergelijking: Het was competitief met activatie-only baselines bij natuurlijke domeinverschuivingen, maar presteerde aanzienlijk beter in specifieke regimes.
Efficiëntie: Verminderde de opslagvereisten van ~61 GiB per taak (voor exacte $\Gamma_e$ ) naar 16 KB.

Identificeerbaarheid Stress Test (Verbalizer Shift)

In een gecontroleerd experiment met vaste prefix-prompts waarbij de activaties identiek waren over verschillende verbalizers (bijv. "Yes/No" versus "True/False"):

Activatie-only Falen: Activatie-gelijkenis ( $Scov(M_a)$ ) stortte in tot een constante (random baseline prestatie van 20% Top-1).
FisherSketch Succes: FisherSketch bereikte 66,7% Top-1, waarmee het variaties in transfer succesvol voorspelde die uitsluitend werden gedreven door veranderingen in de label-geconditioneerde fout-geometrie.
Fout-only Marginaal: De fout-only marginal ( $Scov(\Gamma_e)$ ) presteerde ook goed (72,2% Top-1), wat bevestigt dat wanneer de activatie-geometrie constant is, de fout-geometrie het signaal drijft.

Wetenschappelijke Sequentie Proof of Concept

Op moleculaire SMILES-domeinen correleerde FisherSketch significant met cross-domain perplexiteit reductie ( $\rho_s=0,53, p=0,006$ ), terwijl activatie-only gelijkenis niet significant was ( $p=0,081$ ).

Estimator Validatie

Op ViT-B/16 vertoonde FisherSketch hoge Spearman correlaties met exacte Fisher alignment voor gezamenlijke gelijkenis ( $\hat{S}_{ae}$ : 0,97) en koppeling ( $\hat{\rho}$ : 0,95). De methode behaalde een 89 $\times$ versnelling ten opzient bij exacte berekening bij $n=2000$ samples.

5. Betekenis en Claims

Het artikel claimt een praktisch, trainingsvrij mechanisme te bieden voor bronselectie in gedeelde-vocabulaire LLM-families waar traditionele metrieken falen vanwege de "activatie-donkere" aard van het probleem.

Operationele Impact: Het maakt geautomatiseerde fine-tuning bronselectie, interferentie-bewuste continual learning, en inference-time routing mogelijk op basis van voorspelde parameter-update compatibiliteit in plaats van enkel representatie-gelijkenis.
Theoretisch Inzicht: Het verheldert dat transfer fundamenteel een geometrie van updates (gradiënten) is, niet alleen van representaties. Het artikel stelt dat hoewel representatie-metrieken informatief kunnen zijn in gunstige regimes, ze fundamenteel beperkt zijn zonder expliciete modellering van de fout-structuur.
Schaalbaarheid: Door complexe update-geometrie te comprimeren tot kleine signaturen, maakt dit werk vocabulaire-schaal transferabiliteitsanalyse haalbaar, voorbij de beperkingen van eindige-label benaderingen (zoals LogME/LEEP) of prohibitieve exacte Fisher-berekeningen.

De auteurs merken expliciet de beperkingen op: de methode gaat uit van een gedeelde output-basis (vocabulaire of uitgelijnde taxonomie) en focust op head-level (of gedeelde-parameter) Fisher alignment. Voor heterogene output-ruimtes of volledige netwerk-vergelijkingen zonder gedeelde parameters, worden andere benaderingen of interne-laag diagnostiek aanbevolen.