📊 statistics

Signed-Permutation Coordinate Transport for RMSNorm Transformers

Diese Arbeit identifiziert, dass RMSNorm-Transformer eine Vorzeichen-Permutations-Gauß-Eigenschaft ( $B_d$ ) anstelle einer einfachen Permutations-Gauß-Eigenschaft ( $S_d$ ) besitzen, und führt eine vorzeichen-marginalisierte Hungarian-Matching-Methode ein, um einen robusten Koordinatentransport über Checkpoints hinweg zu ermöglichen, wodurch die Übertragbarkeit von Interpretierbarkeitswerkzeugen, Steering-Vektoren und Optimierungszuständen signifikant verbessert und Symmetrie-induzierte Fehler in bestehenden Alignment-Ansätzen behoben werden.

Ursprüngliche Autoren: John Sweeney

Veröffentlicht 2026-07-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: John Sweeney

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei identische Häuser, die nach demselben Bauplan errichtet wurden. In einem Haus ist jedes Zimmer mit „Küche“, „Schlafzimmer“ und „Badezimmer“ beschriftet. In dem anderen Haus befinden sich die Zimmer an genau denselben Stellen, aber jemand hat die Beschriftungen vertauscht.

Wenn Sie ein bestimmtes Möbelstück (wie einen „Steuerungsvektor“, der das Haus dazu bringt, „Nein“ zu schlechten Anfragen zu sagen) von Haus A zu Haus B bewegen wollen, müssen Sie wissen, welches Etikett in Haus B dem „Küche“-Etikett in Haus A entspricht. Wenn Sie falsch raten, platzieren Sie den „Nein“-Knopf vielleicht im „Badezimmer“, und das Haus wird nicht richtig funktionieren.

In dieser Arbeit geht es darum, eine sehr spezifische, knifflige Version dieses „vertauschten Etiketten“-Problems für moderne KI-Modelle zu lösen.

Das Kernproblem: Das „Vorzeichen“-Rätsel

Lange Zeit glaubten Forscher, dass die einzige Art und Weise, wie diese KI-Häuser vertauscht sein könnten, eine Permutation (das Vertauschen) der Zimmer sei. Wenn Zimmer 1 zu Zimmer 5 wurde, wurden einfach die Etiketten getauscht.

Die Autorin entdeckte jedoch, dass es für die populärsten modernen KI-Modelle (die sogenannten RMSNorm-Modelle, die von Giganten wie Llama und Qwen verwendet werden) eine zweite, versteckte Art gibt, wie die Zimmer durcheinandergebracht werden können: das Vorzeichenumkehren (Sign Flip).

Stellen Sie sich das Etikett eines Zimmers nicht nur als einen Namen vor, sondern als einen Pfeil, der in eine Richtung zeigt.

Permutation: Den Pfeil von Nord nach Ost drehen.
Vorzeichenumkehr: Den Pfeil weiterhin nach Norden zeigen lassen, aber ihn so umkehren, dass er nach Süden zeigt.

In diesen modernen Modellen kann jedes einzelne Zimmer seinen Pfeil unabhängig von den anderen von Nord nach Süd drehen, ohne das Haus zu beschädigen. Dies erzeugt ein massives Chaos. Wenn Sie versuchen, Werkzeuge (Steering Tools) mithilfe der alten „Vertauschungsregeln“ von einem Modell auf ein anderes zu übertragen, könnten Sie versehentlich die Hälfte der Pfeile umgedreht haben.

Die Analogie vom „Defekten Kompass“

Die Arbeit argumentet, dass aktuelle Werkzeuge zur Ausrichtung von KI-Modellen wie einem Kompass sind, der nur „Nord“ und „Ost“ kennt, aber blind für „Süd“ ist.

Der alte Weg (Nur Permutation): Sie versuchen, die Zimmer zu matchen, indem Sie beobachten, wie sie sich verhalten. Wenn Zimmer A in Modell 1 sehr ähnlich ist wie Zimmer B in Modell 2, ordnen Sie sie einander zu. Aber wenn Zimmer A sich tatsächlich wie das Gegenteil von Zimmer B verhält (wegen einer Vorzeichenumkehr), denkt der alte Kompass, sie seien völlig verschieden, und weigert sich, sie zusammenzuführen.
Das Ergebnis: Als Forscher versuchten, „Steuerungswerkzeuge“ (wie einen Knopf, der die KI dazu bringt, schädliche Anfragen abzulehnen) mit der alten Methode zu verschieben, funktionierten die Werkzeuge oft gar nicht mehr. Der „Ablehnungs“-Knopf wurde zu „Akzeptieren“ umgedreht oder das Werkzeug hörte einfach auf zu funktionieren.

Die Lösung: Die „Vorzeichen-marginalisierte“ Karte

Die Autorin führt eine neue Methode namens Signed-Permutation Transport ein.

Stellen Sie sich vor, Sie versuchen erneut, die Zimmer zuzuordnen, aber diesmal besitzen Sie eine spezielle Lupe. Anstatt nur zu fragen: „Ist Zimmer A wie Zimmer B?“, fragen Sie: „Ist Zimmer A wie Zimmer B oder ist es das exakte Gegenteil von Zimmer B?“

Betrachten Sie die Magnitude: Zuerst prüfen Sie die Stärke der Verbindung, ohne darauf zu achten, ob sie positiv oder negativ ist. Dies findet das richtige Zimmer, selbst wenn der Pfeil umgedreht ist.
Prüfen Sie das Vorzeichen: Sobald Sie das passende Zimmer gefunden haben, prüfen Sie die Richtung des Pfeils. Wenn er umgedreht ist, drehen Sie ihn zurück, bevor Sie Ihr Werkzeug bewegen.

Die Autorin beweist mathematisch, dass man scheitern wird, wenn man die Vorzeichenumkehrungen ignoriert – man würde etwa 50 % der Zeit danebenliegen (da die Hälfte der Pfeile umgedreht sein könnte). Wenn man die Umkehrungen berücksichtigt, kann man die korrekte Ausrichtung fast zu 100 % wiederherstellen.

Reale Tests in der Arbeit

Die Autorin hat nicht nur Mathematik betrieben; sie hat dies an echten KI-Modellen getestet:

Der „Ablehnungs“-Test: Sie nahm ein Werkzeug, das eine KI dazu bringt, schädlichen Fragen die Antwort zu verweigern.
- Alter Weg: Das Werkzeug versagte. Die KI begann, schädliche Anfragen zu akzeptieren, anstatt sie abzulehnen (weil das Vorzeichen umgedreht war).
- Neuer Weg: Das Werkzeug funktionierte perfekt und bewahrte 95,8 % seiner ursprünglichen Leistung.
Der „Wörterbuch“-Test: Sie versuchten, ein Wörterbuch von Merkmalen (SAE) von einem Modell auf ein anderes zu übertragen.
- Alter Weg: Das Wörterbuch war unbrauchbar (der Rekonstruktionsfehler war riesig).
- Neuer Weg: Das Wörterbuch funktionierte fast perfekt.
Der „Lebenslauf“-Test: Sie unterbrachen das Training einer KI, änderten die Etiketten (Gauge) und versuchten, das Training fortzusetzen.
- Alter Weg: Die KI vergaß, wo sie war, und nahm einen völlig anderen Pfad ein.
- Neuer Weg: Die KI setzte genau dort fort, wo sie aufgehört hatte, als wäre nichts geschehen.

Die wichtigste Erkenntnis

Die Arbeit kommt zu dem Schluss, dass man bei modernen KI-Modellen nicht einfach fragen kann: „Welches Neuron ist das?“, ohne zuvor das „Gauge“ (das Regelwerk für die Anordnung der Etiketten und Vorzeichen) festzulegen.

Wenn Sie Werkzeuge, Wörterbücher oder Trainingszustände zwischen diesen Modellen bewegen wollen, müssen Sie die neuen „Signed-Permutation“-Regeln verwenden. Wenn Sie das nicht tun, versuchen Sie im Grunde, ein Auto zu fahren, bei dem das Lenkrad um 180 Grad gedreht ist: Sie denken, Sie fahren geradeaus, aber Sie fahren eigentlich rückwärts.

Kurz gesagt: Moderne KI-Modelle besitzen eine versteckte Vorzeichenumkehr-Symmetrie. Um Dinge zwischen ihnen zu bewegen, muss man die Vorzeichen korrigieren, nicht nur die Namen. Die Arbeit liefert die Karte und den Kompass, um genau das zu tun.

Technisches Resümee: Signierte Permutations-Koordinatentransporte für RMSNorm-Transformer

Problemstellung

Moderne Workflows für Large Language Models (LLMs) verlassen sich zunehmend auf die Bewegung koordinaten-indexierter Artefakte – wie etwa Steering-Vektoren, Sparse Autoencoder (SAE) Dictionaries, Top-k-Neuron-Sets oder LoRA-Adapter – über verschiedene Modell-Checkpoints hinweg. Die Frage „Welches Neuron ist dies?“ ist jedoch ohne ein festes Maß (Koordinatensystem) schlecht definiert. Während Standard-Alignment-Tools (z. B. Git Re-Basin, Weight Matching) eine reine Permutations-Symmetriegruppe ( $S_d$ ) voraussetzen, ist diese Annahme für Modelle, die RMSNorm verwenden, nicht korrekt.

Im Gegensatz zu LayerNorm, das Mittelwert-Zentrierung beinhaltet und die Symmetrie somit auf Permutationen (bis auf ein globales Vorzeichen) einschränkt, fehlt bei RMSNorm die Mittelwert-Zentrierung. Infolgedessen erlaubt der Residualstrom neben Permutationen auch unabhängige Vorzeichenwechsel für jede einzelne Koordinate. Das native diskrete Maß für RMSNorm ist die hyperoktaedrische Gruppe $B_d = S_d \ltimes \{\pm 1\}^d$ (signierte Permutationen), nicht $S_d$ . Das Ignorieren der Signalkomponente ( $S_d$ -only Alignment) führt zu einem strukturellen Ausfallmodus, bei dem koordinaten-indexierte Artefakte falsch ausgerichtet werden, was zu erheblicher Leistungsdegradierung oder vollständigem Funktionskollaps beim Transfer zwischen Modellen führt.

Methodik

1. Theoretische Charakterisierung nativer Maße

Die Arbeit stellt fest, dass für Transformer mit generischem pro-Kanal Gain $\gamma$ gilt:

LayerNorm: Die maximale koordinatenerhaltende Untergruppe von $O(d)$ ist $S_d \times C_2$ (Permutationen plus ein globaler Vorzeichenwechsel).
RMSNorm: Die maximale koordinatenerhaltende Untergruppe ist die vollständige signierte Permutationsgruppe $B_d$ .
Implikation: Kontinuierliche orthogonale Rotationen (verwendet in Methoden wie SliceGPT oder QuaRot) sind zwar gültig zur Funktionserhaltung, zerstören aber die Identität der spärlichen Koordinaten. Nur $B_d$ bewahrt die Identität spärlicher Objekte (z. B. spezifische Neuronen oder SAE-Features).

2. Signatural-marginalisiertes Maß-Recovery

Um das korrekte $B_d$ -Maß aus gepaarten Aktivierungen wiederherzustellen, schlägt das Paper eine Modifikation des Standard-Hungarian-Matching-Algorithmus vor:

Kostenfunktion: Anstatt die signierte Korrelation $\sum C_{i, \pi(i)}$ zu maximieren, maximiert der Algorithmus die absolute Korrelation $\sum |C_{i, \pi(i)}|$ .
Vorzeichen-Wiederherstellung: Sobald die optimale Permutation $\pi^*$ über die absolute Kostenmatrix gefunden wurde, werden die Vorzeichen als $s_i = \text{sign}(C_{i, \pi^*(i)})$ wiederhergestellt.
Theoretische Garantie: Das Paper beweist, dass im Fall einer de-korrelierten Koordinaten-Population das Standard-Matching mittels signierter Korrelation eine strukturelle Genauigkeitsobergrenze von etwa 50 % (dem Anteil der positiven Vorzeichen) aufweist, da es aktiv die korrekten anti-korrelierten Einträge vermeidet. Signatural-marginalisiertes Matching entfernt dieses Hindernis und konvergiert gegen eine Genauigkeit von 100 %.

3. Paralleler Transport via Trajektorien-Komposition

Anstatt nur zwei Endpunkte abzugleichen, führt das Paper den parallelen Transport entlang einer Trainings-Trajektorie ein:

Lokale $B_d$ -Maße werden zwischen aufeinanderfolgenden Checkpoints mittels signatural-marginalisiertem Matching geschätzt.
Diese lokalen Maße werden zu einer globalen Transportabbildung zwischen entfernten Checkpoints (oder über Läufe hinweg, die denselben Base-Modell teilen) zusammengesetzt.
Dieser Ansatz vermeidet die „Holonomie“-Probleme des direkten Endpunkt-Matchings und nutzt die hohen Zuweisungs-Margen aufeinanderfolgender Checkpoints.

4. Maß-kovariante Transportregeln

Das Paper leitet explizite Transformationsregeln für verschiedene koordinaten-indexierte Artefakte unter $B_d$ ab (Tabelle 1):

Vektoren (Steering, Probes, SAE Encoder): Transformieren als $v \mapsto vG$ .
Matrizen (SAE Decoder, LoRA WRITE): Transformieren als $W \mapsto G^\top W$ .
Optimizer-Zustände (AdamW): Der erste Moment $m_W$ transformiert mit den Gewichten; der zweite Moment $v_W$ (da ein Quadrat) ist vorzeichenblind und transformiert nur via Permutation.

Kernergebnisse

1. Wiederherstellungsgenauigkeit

Signatural-marginalisiert vs. Signiert: In Experimenten an 7B/8B RMSNorm-Modellen stellte das naive Matching mittels signierter Korrelation nur ~49,5 % der Permutation und ~50 % der Vorzeichen wieder her. Signatural-marginalisiertes Matching erreichte eine Wiederherstellung von 100 %.
Transport vs. Endpunkt-Matching: Auf einem Qwen2.5-1.5B Fine-Tuning Benchmark (1500 Schritte) stellte der Transport via Base-Komposition 91,1 % der Koordinaten wieder her, während direktes Endpunkt-Matching nur 6 0,3 % erreichte. Die Verbesserung resultierte nicht allein aus dem Bezug auf das Base-Modell (Endpoint-via-Base lag bei 11,4 %), sondern aus der Komposition vieler hoch-marginalisierter lokaler Maße.

2. Artefakt-Transfer-Performance

Der korrekte $B_d$ -Transport übertraf den $S_d$ -only Transport signifikant über mehrere Artefaktklassen hinweg:

LoRA-Adapter: Auf Qwen2.5-1.5B (SST-2) ließ der $S_d$ -Transport die Adapter-Genauigkeit auf das Niveau des unadaptierten Base-Modells kollabieren (0,523 vs. 0,525), während der $B_d$ -Transport 99,7 % des Gewinns bewahrte (0,944).
SAE-Rekonstruktion: Für TinyLlama führte der $S_d$ -Transport zu einem Rekonstruktions-NMSE von 1,08 (Fehlschlag), während der $B_d$ -Transport einen Wert von 0,004 erreichte (nahezu perfekt).
Steering-Vektoren: Das Qwen-Sentiment-Steering bewahrte 95,8 % seines Effekts unter $B_d$ gegenüber 17,2 % unter $S_d$ . Refusal-Steering-Vektoren kehrten sich unter $S_d$ um, was effektiv das Verhalten invertierte.

3. Stateful Training und Merging

Optimizer-Zustand: Das Fortsetzen des Trainings mit $S_d$ -only transportierten AdamW-Zuständen (Permutation korrekt, Vorzeichen erzwungen auf +1) führte dazu, dass die Trainings-Trajektorie vom Referenzmodell abwich, obwohl sie von einem funktional identischen Checkpoint startete. Der $B_d$ -Transport bewahrte die Trajektorie bis zur numerischen Toleranz.
Modell-Merging: Bei koordinaten-erhaltenden Merges führte das $S_d$ -only Alignment zu destruktiven Vorzeichen-Fehlpaarungen, die hohe „Peak-above-Chord“-Barrieren erzeugten. Das signierte Alignment eliminierte diese Barrieren (Reduktion auf 0,00 in Gauge-Scramble-Tests).

Bedeutung und Ansprüche

Das Paper argumentiert, dass für RMSNorm-basierte Architekturen (einschließlich weit verbreiteter Modelle wie Llama 2, Llama 3 und Qwen) die Koordinatenidentität nur bis auf eine signierte Permutation wohldefiniert ist.

Reproduzierbarkeit: Koordinaten-indexierte Interpretierbarkeits-Behauptungen (z. B. „Neuron X ist ein Refusal-Neuron“) sind nicht über verschiedene Läufe hinweg reproduzierbar, sofern kein spezifisches $B_d$ -Maß festgelegt und angewendet wird. Das Paper schlägt „Gauge Sweeps“ als Negativkontrolle vor, um solche Behauptungen zu prüfen.
Werkzeug-Transfer: Das Versagen von $S_d$ -only Methoden ist kein kleiner Fehler, sondern ein struktureller Kollaps. Ein signierter Transport ist erforderlich, um Steering-Vektoren, SAE-Dictionaries und Optimizer-Zustände erfolgreich zu transferieren.
Limitierungen: Das Paper merkt an, dass während $B_d$ die Koordinatenidentität bewahrt, kontinuierliche orthogonale Methoden weiterhin nützlich für dichte Fusion oder Kompression sind, bei denen die Koordinatenidentität nicht das primäre Objekt ist. Zudem besitzen FFN-Hidden-Units eigene, unabhängige Permutations-Symmetrien ( $S_{d_{ffn}}$ ), die von der Maß der Residual-Streams verschieden sind.

Zusammenfassend liefert die Arbeit das theoretische Fundament und die praktischen Algorithmen zur korrekten Ausrichtung von RMSNorm-Modellen und zeigt auf, dass das Ignorieren der Signalkomponente des Maßes koordinatenbasierte Workflows fundamental unbrauchbar macht.