📊 statistics

The Geometry of Updates: Fisher Alignment at Vocabulary Scale

Dieses Paper führt FisherSketch ein, eine trainingsfreie, streaming-effiziente Methode, die die Fisher-Alignment der Köpfe mittels Kernel-Mittelwert-Einbettungen schätzt, um eine skalierbare Quellenauswahl und Diagnostik der Aufgabenähnlichkeit für LLM-Familien mit gemeinsamen Vokabularen zu ermöglichen und damit die Einschränkungen rein repräsentationsbasierter Metriken sowie die Rechenkosten voller Fisher-Matrizen zu überwinden.

Ursprüngliche Autoren: John Sweeney

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: John Sweeney

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein riesiges, hochtrainiertes Sprachmodell (wie einen superintelligenten Roboter, der viele Sprachen sprechen kann). Nun stellen Sie sich vor, Sie möchten diesem Roboter eine neue, spezifische Fähigkeit beibringen, wie zum Beispiel das Schreiben chemischer Formeln (SMILES) oder das Verständnis von Proteinstrukturen.

Die große Frage lautet: Welchen bestehenden Datensatz sollten Sie verwenden, um ihm diese neue Fähigkeit beizubringen?

Normalerweise versuchen Menschen, dies zu beantworten, indem sie beobachten, wie der Roboter „denkt“ (seine internen Aktivierungen), wenn er Daten sieht. Sie fragen: „Sieht der Roboter chemische Formeln auf die gleiche Weise wie Proteinsequenzen?“ Wenn die Antwort „ja“ lautet, nehmen sie an, dass der Roboter die neue Aufgabe leicht lernen wird.

Das Problem: Das „Dunkelzimmer“ des Lernens
Dieses Paper argumentiert, dass es, wenn man nur beobachtet, wie der Roboter „denkt“, so ist, als würde man versuchen, einen dunklen Raum zu navigieren, indem man die Wände abtastet. Man mag in zwei verschiedenen Räumen dieselbe Wand fühlen, aber das bedeutet nicht, dass die Möbel (das Ziel) auch am selben Ort stehen.

Die Autoren nennen dies das „Activation-Dark“-Regime (Aktivierungs-Dunkelheit). Zwei Aufgaben können für die internen Sensoren des Roboten (Aktivierungen) identisch aussehen, aber die Fehler, die er bei der Lösung dieser Aufgaben macht, könnten in völlig entgegengesetzte Richtungen zeigen. Wenn man den Roboter mit den falschen Daten trainiert, lernt er unter Umständen, die Lösung in die falsche Richtung zu drücken, selbst wenn es sich „gleich anfühlt“.

Die Lösung: FisherSketch (Das „Teleskop“ für Updates)
Die Autoren führen ein neues Werkzeug namens FisherSketch ein. Anstatt nur zu beobachten, was der Roboter sieht, schauen sie darauf, wie der Roboter plant, sich selbst zu verändern, um das Problem zu lösen.

Hier ist die Kernidee, aufgeschlüsselt mit einer Analogie:

1. Das „Update“ ist die wahre Geschichte

Stellen Sie sich vor, der Roboter ist ein Schüler, der eine Prüfung schreibt.

Repräsentationsähnlichkeit (Der alte Weg): Sie betrachten das Gesicht des Schülers, während er die Frage lift. Wenn er sowohl bei Mathe als auch bei Geschichte konzentriert und ernst aussieht, nehmen Sie an, dass er in beiden Fächern gut abschneiden wird.
Fisher-Alignment (Der neue Weg): Sie betrachten die Korrekturen, die der Schüler auf seinem Antwortblatt vornimmt.
- Bei Mathe stellt er vielleicht fest: „Ich muss mehr Zahlen hinzufügen.“
- Bei Geschichte stellt er vielleicht fest: „Ich muss mehr Daten schreiben.“
- Selbst wenn sie beim Lesen gleich aussehen, sind ihre Pläne, ihre Fehler zu korrigieren, völlig unterschiedlich.

Das Paper beweist, dass man, wenn man nur auf das „Gesicht“ (Aktivierungen) schaut, die „Korrekturen“ (Updates) nicht vorhersagen kann. Zwei Aufgaben können identisch aussehen, aber völlig unterschiedliche Änderungen erfordern.

2. Die Herausforderung der „Vokabular-Skala“

Der Roboter hat ein riesiges Vokabular (über 128.000 Wörter). Um den „Korrekturplan“ für jedes einzelne Wort zu berechnen, bräuchte man normalerweise einen Computer mit mehr Speicher, als es auf der Erde gibt (61 Gigabyte pro Aufgabe!). Dies ist unmöglich für tausende verschiedene Aufgaben zu tun.

FisherSketch ist wie ein magischer Kompressions-Trick.

Anstatt den gesamten 61 GB großen Korrekturplan aufzuschreiben, erstellt es eine winzige 16 KB „Signatur“ (etwa so groß wie ein kleines Foto).
Dies geschieht durch einen einzigen „Streaming-Durchgang“ über die Daten, wobei ein cleverer mathematischer Trick (Random Projections) verwendet wird, um die Richtung der Korrekturen zu schätzen, ohne sie jemals alle aufschreiben zu müssen.
Es erfasst drei Dinge:
1. Aktivierungen: Was der Roboter sieht.
2. Fehler: Wo der Roboter falsch liegt.
3. Kopplung: Wie das „Sehen“ und das „Falschliegen“ interagieren.

3. Das „Verbalizer Shift“-Experiment

Um dies zu beweisen, führten die Autoren einen speziellen Test durch, den sie „Verbalizer Shift“ nannten.

Sie gaben dem Roboter einen festen Prompt: „Die Antwort ist...“
Sie änderten nur das letzte Wort (den „Verbalizer“), wie zum Beispiel das Ändern von „Ja/Nein“ zu „Wahr/Falsch“.
Das Ergebnis: Die internen „Gedanken“ des Roboters (Aktivierungen) blieben exakt gleich, da der Prompt identisch war. Die alten Methoden sagten: „Diese Aufgaben sind zu 100 % identisch!“
Die Realität: Die Fähigkeit des Roboters zu lernen, änderte sich drastisch, je nachdem, welches letzte Wort verwendet wurde.
FisherSketch sagte diese Änderung korrekt voraus, weil es die Fehler-Geometrie (wie das spezifische letzte Wort die Fehler des Roboters veränderte) betrachtete, während die alten Methoden blind dafür waren.

Zusammenfassung der Behauptungen

Alte Methoden scheitern: Metriken wie CKA (die interne „Gedanken“ vergleichen) können nicht vorhersagen, ob ein Roboter eine neue Aufgabe gut lernen wird, wenn die „Fehler“ unterschiedlich sind, selbst wenn die „Gedanken“ gleich sind.
Neue Methode funktioniert: FisherSketch schätzt das „Fisher-Alignment“ (die Ähnlichkeit der Update-Pläne) direkt aus dem Datenstrom.
Effizienz: Es komprimiert massive Daten in winzige 16-KB-Signaturen, was es möglich macht, tausende Aufgaben sofort zu vergleichen.
Genauigkeit: In Tests mit Llama-3.1-8B war FisherSketch viel besser darin, die richtigen Quelldaten für das Fine-Tuning auszuwählen als Methoden, die nur auf Aktivierungen basieren – insbesondere in kniffligen Fällen, in denen sich das „Denken“ nicht änderte, aber das „Lernziel“ doch.

Kurz gesagt: Das Paper sagt: Fragen Sie nicht nur, was der Roboter sieht; fragen Sie, wie er plant, seine Fehler zu korrigieren. Und Sie können dies effizient, selbst für die größten Modelle, mit ihrem neuen Werkzeug „FisherSketch“ tun.

Technisches Resümee: Die Geometrie von Updates: Fisher-Alignment auf Vokabular-Skala

1. Problemstellung

Das Paper adressiert die Herausforderung der trainingsfreien Quellenauswahl für Familien von Large Language Models (LLMs), die ein gemeinsames Vokabular teilen, sich aber in den Vorhersagezielen unterscheiden (z. B. die Anpassung eines gemeinsamen Tokenizers an SMILES, Proteinsequenzen oder genomische Daten).

Aktuelle Metriken zur Übertragbarkeit stehen in diesem „aktivierungs-dunklen“ Regime vor einem Dilemma:

Repräsentations-Ähnlichkeitsmetriken (z. B. CKA, RSA, SVCCA) berechnen die Ähnlichkeit basierend auf gefrorenen Aktivierungen. Die Autoren argumentieren, dass diese für den Head-Level-Transfer nicht identifizierbar sind, da sie die Geometrie der label-konditionierten Fehler ignorieren. Modelle können identische Repräsentationen teilen, aber orthogonale Update-Richtungen aufweisen.
Klassische Update-Geometrie-Metriken (z. B. Fisher-Alignment) erfassen theoretisch die notwendige Update-Struktur, sind jedoch bei Vokabular-Skala ( $K \sim 10^5$ ) rechentechnisch prohibitiv. Das Speichern der Fehler-Zweitmomentmatrix ( $\Gamma_e$ ) erfordert ca. 61 GiB pro Aufgabe, was eine exakte Berechnung für große Kandidatenmengen unmöglich macht.

Die Kernfrage lautet: Wie kann man die geometrische Kompatibilität von Parameter-Updates (Fisher-Alignment) auf Vokabular-Skala effizient schätzen, ohne massive Matrizen zu materialisieren oder sich auf potenziell irreführende, rein aktivierungsbasierte Signale zu verlassen?

2. Methodik

Theoretische Grundlage

Die Autoren stellen fest, dass der Gradient pro Beispiel $g$ für einen linearen Head exakt in das Kronecker-Produkt aus der vorletzten Aktivierung $a$ und dem Fehler im Logit-Raum $e$ faktorisiert (d. h. $g = a \otimes e$ ).

Nicht-Identifizierbarkeit von Repräsentationsmetriken: Das Paper beweist (Theorem 3.2), dass repräsentationsbasierte Metriken das Head-Fisher-Alignment nicht bestimmen können. Es wird ein „Witness“ konstruiert, bei dem Aufgaben identische Repräsentationen teilen ( $Z_i = Z_j$ ), aber disjunkte Label-Sets besitzen, was zu orthogonalen Head-Gradienten führt ( $A_F(i, j) = 0$ ). Somit kann $M(Z_i, Z_j)$ zwischen identischen Aufgaben und orthogonalen Aufgaben nicht unterscheiden.
Fisher-Alignment als Produkt-Kernel-Cosinus: Der zentrale theoretische Beitrag (Theorem 4.2) schreibt das Head-Fisher-Alignment als die Kosinus-Ähnlichkeit zwischen Kernel-Mittelwert-Embeddings in einem gemeinsamen $(a, e)$ $(a, e)$ -Merkmalsraum um.
$A_F^{head}(i, j) = \cos(\mu_{ae, i}, \mu_{ae, j})$
wobei $\mu_{ae, k}$ $μ_{a e, k}$ das Mittelwert-Embedding des Produkt-Kernels $k_{ae}((a, e), (a', e')) = (a^\top a')^2 (e^\top e')^2$ $k_{a e} ((a, e), (a^{'}, e^{'})) = (a^{⊤} a^{'})^{2} (e^{⊤} e^{'})^{2}$ ist.
Diese Dekomposition zeigt, dass die Übertragbarkeit von drei Faktoren abhängt:
1. Aktivierungs-Geometrie: Ähnlichkeit der Aktivierungs-Zweitmomente ( $M_a$ ).
2. Fehler-Geometrie: Ähnlichkeit der Fehler-Zweitmomente ( $\Gamma_e$ ).
3. Kopplung: Ein Nicht-Separabilitäts-Verhältnis ( $\rho$ ), das die Abweichung von der Annahme misst, dass Aktivierungen und Fehler unabhängig sind.

Algorithmus: FisherSketch

Um dies auf Vokabular-Skala handhabbar zu machen, führen die Autoren FisherSketch ein, einen Streaming-Schätzer mit einem einzigen Durchlauf (Single-Pass).

Random Maclaurin Features: Anstatt die volle $O(d^2 K^2)$ Einbettung zu berechnen, nutzt FisherSketch faktorisierte Zufallsprojektionen (Rademacher-Vektoren), um die Erwartung des Produkt-Kernels zu schätzen.
Effizienz: Es nutzt die Kronecker-Struktur aus, um Projektionen separat für $a$ und $e$ zu berechnen, wodurch die Komplexität pro Sample von $O(mdK)$ auf $O(m(d+K))$ reduziert wird.
Subsampled Randomized Hadamard Transform (SRHT): Für den hochdimensionalen Fehlerraum ( $K \approx 128.256$ ) wird SRHT verwendet, um die Projektionskosten von $O(mK)$ auf $O(K \log K + m)$ zu senken.
Output: Die Methode erzeugt eine kompakte 16 KB Task-Signatur (einen Vektor in $\mathbb{R}^m$ mit $m=4096$ ) pro Aufgabe, die die gemeinsame Aktivierungs-Fehler-Geometrie kodiert. Zudem wird ein kleiner 192 KB Streaming-Zustand für die Split-Sample-Schätzung aufrechterhalten, um Bias zu reduzieren.

3. Zentrale Beiträge

Nicht-Identifizierbarkeits-Beweis: Formale Demonstration, dass Repräsentations-Ähnlichkeitsmetriken (CKA, RSA, SVCCA) unzureichend sind, um den Head-Level-Transfer vorherzusagen, wenn keine Annahmen über die Fehler-Geometrie oder die Label-Abbildung vorliegen.
Exakte Dekompositions-Identität: Beweis, dass das Head-Fisher-Alignment exakt ein Produkt-Kernel-Cosinus zwischen gemeinsamen Mittelwert-Embeddings ist, was eine rigorose Drei-Faktor-Dekomposition (Aktivierung, Fehler, Kopplung) liefert.
FisherSketch: Ein skalierbarer, trainingsfreier Schätzer, der die Task-Geometrie in eine 16 KB Signature komprimiert und so Vergleiche auf Vokabular-Skala ( $K=128.256$ ) mit einem 192 KB pro Task Streaming-Zustand ermöglicht.
Diagnostisches Instrument: Die Signaturen ermöglichen es Forschern zu unterscheiden, ob die Task-Ähnlichkeit durch Aktivierungen, Fehler oder deren Kopplung getrieben wird, und dienen als Sonde für „aktivierungs-dunkle“ Regime.

4. Ergebnisse

Quellenauswahl auf Vokabular-Skala

Evaluierung auf Llama-3.1-8B über 100 Domänen:

Performance: FisherSketch erreichte eine 45,7 % Top-1 Quellenauswahl-Genauigkeit (ca. 10,9 $\times$ besser als der Random-Baseline) mit einem maximalen Regret von 0,119.
Vergleich: Es war konkurrenzfähig mit aktivierungsbasierten Baselines bei natürlichen Domänenverschiebungen, übertraf diese jedoch signifikant in spezifischen Regimen.
Effizienz: Reduzierte die Speicheranforderungen von ~61 GiB pro Aufgabe (für exaktes $\Gamma_e$ ) auf 16 KB.

Identifizierbarkeits-Stresstest (Verbalizer-Shift)

In einem kontrollierten Experiment mit Fixed-Prefix-Prompts, bei denen die Aktivierungen über verschiedene Verbalizer hinweg identisch waren (z. B. „Yes/No“ vs. „True/False“):

Versagen der Aktivierungs-basierten Metrik: Die Aktivierungs-Ähnlichkeit ( $Scov(M_a)$ ) kollabierte zu einer Konstante (Random-Baseline-Performance von 20 % Top-1).
Erfolg von FisherSketch: FisherSketch erreichte 66,7 % Top-1 und konnte die durch Änderungen der label-konditionierten Fehler-Geometrie getriebenen Transfer-Variationen erfolgreich vorhersagen.
Marginaler Wert der Fehler-basierten Metrik: Die reine Fehler-Marginale ( $Scov(\Gamma_e)$ ) performte ebenfalls gut (72,2 % Top-1), was bestätigt, dass bei konstanter Aktivierungs-Geometrie die Fehler-Geometrie das Signal treibt.

Proof of Concept für wissenschaftliche Sequenzen

Auf molekularen SMILES-Domänen korrelierte FisherSketch signifikant mit der Cross-Domain Perplexity-Reduktion ( $\rho_s=0,53, p=0,006$ ), während die Aktivierungs-Ähnlichkeit nicht signifikant war ( $p=0,081$ ).

Validierung des Schätzers

Auf ViT-B/16 zeigte FisherSketch hohe Spearman-Korrelationen mit dem exakten Fisher-Alignment für die gemeinsame Ähnlichkeit ( $\hat{S}_{ae}$ : 0,97) und die Kopplung ( $\hat{\rho}$ : 0,95). Die Methode erzielte eine 89-fache Beschleunigung gegenüber der exakten Berechnung bei $n=2000$ Samples.

5. Bedeutung und Ansprüche

Das Paper beansprucht, einen praktischen, trainingsfreien Mechanismus für die Quellenauswahl in LLM-Familien mit gemeinsamem Vokabular bereitzustellen, in denen traditionelle Metriken aufgrund der „aktivierungs-dunklen“ Natur des Problems versagen.

Operative Auswirkungen: Es ermöglicht die automatisierte Auswahl der Fine-Tuning-Quelle, Interferenz-bewusstes Continual Learning und Inference-Time-Routing basierend auf der vorhergesagten Kompatibilität der Parameter-Updates statt nur der Repräsentations-Ähnlichkeit.
Theoretische Einsicht: Es klärt, dass Transfer fundamental eine Geometrie von Updates (Gradienten) ist, nicht nur von Repräsentationen. Das Paper argumentt, dass während Repräsentationsmetriken in günstigen Regimen informativ sein können, sie ohne explizite Modellierung der Fehlerstruktur fundamental limitiert sind.
Skalierbarkeit: Durch die Komprimierung komplexer Update-Geometrie in kleine Signaturen macht diese Arbeit die Transferierbarkeit-Analyse auf Vokabular-Skala möglich und bewegt sich damit über die Beschränkungen endlicher Label-Approximationen (wie LogME/LEEP) oder prohibitiver exakter Fisher-Berechnungen hinaus.

Die Autoren weisen explizit auf Limitationen hin: Die Methode setzt eine gemeinsame Output-Basis voraus (Vokabular oder ausgerichtete Taxonomie) und konzentriert sich auf Head-Level- (oder Shared-Parameter-) Fisher-Alignment. Für heterogene Output-Räume oder Full-Network-Vergleiche ohne geteilte Parameter werden andere Ansätze oder interne Layer-Diagnostiken empfohlen.