📊 statistics

Signed-Permutation Coordinate Transport for RMSNorm Transformers

Dit artikel stelt vast dat RMSNorm-transformers over een getekende permutatie-gauge ( $B_d$ ) beschikken in plaats van een eenvoudige permutatie-gauge ( $S_d$ ), en introduceert een teken-gemarginaliseerde Hongaarse matching-methode om robuust coördinatentransport tussen checkpoints mogelijk te maken, waardoor de overdraagbaarheid van interpreteerbaarheidstools, sturingsvectoren en optimizer-toestanden aanzienlijk wordt verbeterd en symmetrie-geïnduceerde fouten in bestaande uitlijningsbenaderingen worden opgelost.

Oorspronkelijke auteurs: John Sweeney

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: John Sweeney

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je twee identieke huizen hebt die zijn gebouwd volgens hetzelfde blauwdruk. In het ene huis is elke kamer gelabeld als "Keuken", "Slaapkamer" en "Badkamer". In het andere huis staan de kamers op exact dezelfde plekken, maar heeft iemand de labels gehusseld.

Als je een specifiek meubelstuk wilt verplaatsen (zoals een "stuurvector" die ervoor zorgt dat het huis "nee" zegt tegen slechte verzoeken) van Huis A naar Huis B, moet je weten welk label in Huis B overeenkomt met de "Keuken" in Huis A. Als je het fout raadt, plaats je misschien de "Nee"-knop in de "Badkamer", en dan werkt het huis niet goed.

Dit artikel gaat over het oplossen van een zeer specifieke, lastige versie van dit "gehusselde labels"-probleem voor moderne AI-modellen.

Het Kernprobleel: Het "Teken"-mysterie

Lama tijd dachten onderzoekers dat de enige manier waarop deze AI-huizen gehusseld konden worden, het permuteren (omwisselen) van de kamers was. Als Kamer 1 Kamer 5 werd, wisselde je gewoon de labels om.

Echter, de auteur ontdekte dat voor de meest populaire moderne AI-modellen (RMSNorm-modellen, gebruikt door reuzen zoals Llama en Qwen), er een tweede, verborgen manier is waarop de kamers door elkaar kunnen worden gehusseld: het omdraaien van de tekens (sign flipping).

Beschouw het label van een kamer niet alleen als een naam, maar als een pijl die een richting aanwijst.

Permutatie: Een pijl van Noord naar Oost laten wijzen door te draaien.
Tekenomdraaiing (Sign Flip): De pijl die naar het Noorden wijst, laten blijven wijzen, maar hem zo omdraaien dat hij nu naar het Zuiden wijst.

In deze moderne modellen kan elke enkele kamer onafhankelijk van de andere zijn pijl omdraaien (Noord $\to$ Zuid) zonder dat het huis kapot gaat. Dit creëert een enorme hoeveelheid verwarring. Als je probeert tools te verplaatsen (zoals een "Nee"-knop) tussen modellen met alleen de oude "omwisselregels", draai je per ongeluk de helft van de pijlen om.

De "Defecte Kompas"-analogie

De auteur stelt dat huidige hulpmiddelen voor het afstemmen van AI-modellen lijken op een kompas dat alleen "Noord" en "Oost" kent, maar blind is voor "Zuid".

De Oude Manier (Alleen Permutatie): Je probeert de kamers te matchen door te kijken naar hoe ze zich gedragen. Als Kamer A in Model 1 erg lijkt op Kamer B in Model 2, koppel je ze aan elkaar. Maar als Kamer A eigenlijk het tegendeel van Kamer B gedraagt (vanwege een tekenomdraaiing), denkt de oude kompas dat ze totaal verschillend zijn en weigert ze te matchen.
Het Resultaat: Toen onderzoekers probeerden "stuurhulpmiddelen" (zoals een knop om een AI te laten weigeren schadelijke verzoeken) te verplaatsen met de oude methode, gingen de hulpmiddelen vaak volledig kapot. De "Weiger"-knop werd omgedraaid naar "Accepteren", of het hulpmiddel stopte simpelweg met werken.

De Oplossing: De "Teken-gemarginaliseerde" Kaart

De auteur introduceert een nieuwe methode genaamd Signed-Permutation Transport.

Stel je voor dat je de kamers weer probeert te matchen, maar dit keer heb je een speciale loep. In plaats van alleen te vragen: "Is Kamer A zoals Kamer B?", vraag je: "Is Kamer A zoals Kamer B, of is het precies het tegenovergestelde van Kamer B?"

Kijk naar de Grootte (Magnitude): Eerst controleer je de sterkte van de verbinding, waarbij je de positieve of negatieve waarde negeert. Dit vindt de juiste kamer, zelfs als de pijl is omgedraaid.
Controleer het Teken: Zodra je de bijbehorende kamer hebt gevonden, controleer je de richting van de pijl. Als deze is omgedraaid, draai je hem eerst terug voordat je je hulpmiddel verplaatst.

De auteur bewijst wiskundig dat als je de tekenomdraaiingen negeert, je ongeveer 50% van de tijd zult falen (omdat de helft van de pijlen misschien is omgedraaid). Door rekening te houden met de omdraaiingen, kun je de juiste uitlijning bijna 100% van de tijd herstellen.

Praktijktests in het artikel

De auteur deed niet alleen wiskunde; hij testte dit op echte AI-modellen:

De "Weiger"-test: Ze namen een hulpmiddel dat een AI laat weigeren om schadelijke vragen te beantwoorden.
- Oude Methode: Het hulpmiddel faalde. De AI begon in plaats daarvan schadelijke verzoeken te accepteren (omdat het teken was omgedraaid).
- Nieuwe Methode: Het hulpmiddel werkte perfect en behield 95,8% van zijn oorspronkelijke kracht.
De "Woordenboek"-test: Ze probeerden een woordenboek van kenmerken (SAE) van het ene model naar het andere te verplaatsen.
- Oude Methode: Het woordenboek was nutteloos (de reconstructiefout was enorm).
- Nieuwe Methode: Het woordenboek werkte bijna perfect.
De "Resume"-test: Ze onderbraken de training van een AI, veranderden de labels (gauge), en probeerden de training te hervatten.
- Oude Methode: De AI vergat waar hij was en nam een compleet ander pad.
- Nieuwe Methode: De AI ging exact verder waar hij gebleven was, alsof er niets gebeurd was.

De Belangrijkste Conclusie

De conclusie van het artikel is dat je voor moderne AI-modellen niet zomaar kunt vragen: "Welke neuron is dit?", zonder eerst de "gauge" (het regelboek voor hoe de labels en tekens zijn gerangschikt) te specificeren.

Als je tools, woordenboeken of trainingsstatussen tussen deze modellen wilt verplaatsen, moet je de nieuwe "Signed-Permutation"-regels gebruiken. Als je dat niet doet, probeer je in feite een auto te besturen met een stuur dat 180 graden is omgedraaid: je denkt dat je rechtuit gaat, maar je gaat eigenlijk achteruit.

Kortom: Moderne AI-modellen hebben een verborgen "tekenomdraai"-symmetrie. Om dingen tussen deze modellen te verplaatsen, moet je de tekens corrigeren, niet alleen de namen. Het artikel biedt de kaart en het kompas om precies dat te doen.

Technische Samenvatting: Signed-Permutation Coördinaattransport voor RMSNorm Transformers

Probleemstelling

Moderne Large Language Model (LLM) workflows vertrouwen steeds vaker op het verplaatsen van coördinaat-geïndexeerde artefacten—zoals steering vectors, sparse autoencoder (SAE) dictionaries, top-k neuron sets en LoRA adapters—naar verschillende model checkpoints. Echter, de vraag "welke neuron is dit?" is slecht gedefinieerd zonder een vaste gauge (coördinatensysteem). Hoewel standaard uitlijningstools (bijv. Git Re-Basin, weight matching) een permutatie-alleen symmetriegroep ( $S_d$ ) veronderstellen, is deze aanname onjuist voor modellen die gebruikmaken van RMSNorm (Root Mean Square Layer Normalization).

In tegenstelling tot LayerNorm, dat middelencentering bevat en de symmetrie beperkt tot permutaties (tot een globale signomkering), mist RMSNorm middelencentering. Bijgevolg staat de residuële stroom onafhankelijke signomkeringen toe voor elke coördinaat, naast permutaties. De natuurlijke discrete gauge voor RMSNorm is de hyperoctaedrische groep $B_d = S_d \ltimes \{\pm 1\}^d$ (signed permutations), niet $S_d$ . Het negeren van het sign-component ( $S_d$ -alleen uitlijning) leidt tot een structurele foutmodus waarbij coördinaat-geïndexeerde artefacten verkeerd worden uitgelijnd, wat leidt tot significante prestatieverslechtering of volledige functionele instorting bij overdracht tussen modellen.

Methodologie

1. Theoretische Karakterisering van Natieve Gauges

Het artikel stelt vast dat voor transformers met een generieke per-kanaal gain $\gamma$ :

LayerNorm: De maximale coördinaat-preserverende subgroep van $O(d)$ is $S_d \times C_2$ (permutaties plus een globale signomkering).
RMSNorm: De maximale coördinaat-preserverende subgroep is de volledige signed-permutation groep $B_d$ .
Implicatie: Continue orthogonale rotaties (gebruikt in methoden zoals SliceGPT of QuaRot) zijn geldig voor functiebehoud, maar vernietigen de ijle (sparse) coördinaatidentiteit. Alleen $B_d$ behoudt de identiteit van ijle objecten (bijv. specifieke neuronen of SAE-features).

2. Sign-Marginalized Gauge Recovery

Om de juiste $B_d$ gauge te herstellen uit gepaarde activaties, stelt het artikel een modificatie voor op het standaard Hungarian matching algoritme:

Kostenfunctie: In plaats van de gesigneerde correlatie $\sum C_{i, \pi(i)}$ te maximaliseren, maximaliseert het algoritme de absolute correlatie $\sum |C_{i, \pi(i)}|$ .
Sign Recovery: Zodra de optimale permutatie $\pi^*$ is gevonden via de absolute kostenmatrix, worden de tekens hersteld als $s_i = \text{sign}(C_{i, \pi^*(i)})$ .
Theoretische Garantie: Het artikel bewijst dat in het geval van een decorreleerde-coördinaat populatie, standaard gesigneerde-correlatie matching een structurele nauwkeurigheidscel heeft van ongeveer 50% (het deel positieve tekens), omdat het actief de correcte anti-gecorreleerde entries vermijdt. Sign-marginalized matching verwijdert deze obstructie en convergeert naar 100% nauwkeurigheid.

3. Parallel Transport via Trajectcompositie

In plaats van alleen twee eindpunten te matchen, introduceert het artikel parallel transport langs een trainings-traject:

Lokale $B_d$ gauges worden geschat tussen opeenvolgende checkpoints met behulp van sign-marginalized matching.
Deze lokale gauges worden samengesteld om een globale transportkaart te vormen tussen verre checkpoints (of over runs die een basis delen).
Deze aanpak vermijdt de "holonomie"-problemen van directe endpoint matching en maakt gebruik van de hoge assignment marges van opeenvolgende checkpoints.

4. Gauge-Covariant Transportregels

Het artikel leidt expliciete transformatieregels af voor diverse coördinaat-geïndexeerde artefacten onder $B_d$ (Tabel 1):

Vectoren (Steering, Probes, SAE Encoders): Transformeren als $v \mapsto vG$ .
Matrices (SAE Decoders, LoRA WRITE): Transformeren als $W \mapsto G^\top W$ .
Optimizer States (AdamW): Het eerste moment $m_W$ transformeert met de gewichten; het tweede moment $v_W$ (als een kwadraat zijnde) is sign-blind en transformeert via permutatie alleen.

Belangrijkste Resultaten

1. Recovery Nauwkeurigheid

Sign-Marginalized vs. Signed: In experimenten op 7B/8B RMSNorm modellen herstelde naïeve gesigneerde-correlatie matching slechts ~49,5% van de permutatie en ~50% van de tekens. Sign-marginalized matching bereikte 100% herstel.
Transport vs. Endpoint Matching: Op een Qwen2.5-1.5B fine-tuning benchmark (1500 stappen), herstelde transport via base compositie 91,1% van de coördinaten, terwijl directe endpoint matching slechts 60,3% herstelde. De verbetering kwam niet door enkel de basis te refereren (endpoint-via-base was 11,4%), maar door het componeren van vele high-margin lokale gauges.

2. Artefact Transfer Prestaties

Gebruik van $B_d$ -correct transport presteerde significant beter dan $S_d$ -alleen transport over meerdere artefact klassen:

LoRA Adapters: Op Qwen2.5-1.5B (SST-2), liet $S_d$ transport de adapter nauwkeurigheid instorten naar het ongeaanpaste baseniveau (0,523 vs. 0,525), terwijl $B_d$ transport 99,7% van de winst behield (0,944).
SAE Reconstructie: Voor TinyLlama resulteerde $S_d$ transport in een reconstructie NMSE van 1,08 (falen), terwijl $B_d$ transport een NMSE van 0,004 bereikte (bijna perfect).
Steering Vectors: Qwen sentiment steering behield 95,8% van zijn effect onder $B_d$ versus 17,2% onder $S_d$ . Refusal steering vectors draaiden het teken om onder $S_d$ , wat effectief het gedrag omdraaide.

3. Stateful Training en Merging

Optimizer State: Het hervatten van training met $S_d$ -alleen getransporteerde AdamW states (permutatie correct, tekens geforceerd naar +1) veroorzaakte dat de trainings-traject afweek van de referentie, ondanks het starten vanaf een functioneel identiek checkpoint. $B_d$ transport behield de traject naar numerieke tolerantie.
Model Merging: In coördinaat-preserverende merges introduceerde $S_d$ -alleen uitlijning destructieve sign-mismatches, wat leidde tot hoge "peak-above-chord" barrières. Signed alignment elimineerde deze barrières (reductie naar 0,00 in gauge-scramble tests).

Betekenis en Claims

Het artikel betoogt dat voor RMSNorm-gebaseerde architecturen (inclusclusief veelgebruikte modellen zoals Llama 2, Llama 3 en Qwen), coördinaatidentiteit alleen goed gedefinieerd is tot signed permutation.

Reproduceerbaarheid: Coördinaat-geïndexeerde interpreteerbaarheidsclaims (bijv. "neuron X is een refusal neuron") zijn niet reproduceerbaar over runs tenzij een specifieke $B_d$ gauge wordt vastgesteld en toegepast. Het artikel stelt "gauge sweeps" voor als een negatieve controle om dergelijke claims te auditeren.
Tool Transfer: Het falen van $S_d$ -alleen methoden is geen kleine fout maar een structurele instorting. Signed transport is vereist om steering vectors, SAE dictionaries en optimizer states succesvol te verplaatsen.
Beperkingen: Het artikel merkt op dat hoewel $B_d$ de coördinaatidentiteit behoudt, continue orthogonale methoden nuttig blijven voor dense fusie of compressie waar coördinaatidentiteit niet het primaire object is. Daarnaast bezitten FFN hidden units hun eigen onafhankelijke permutatie symmetrieën ( $S_{d_{ffn}}$ ) die verschillen van de residuële stroom gauge.

Samenvattend biedt dit werk de theoretische fundering en praktische algoritmen om RMSNorm modellen correct uit te lijnen, en demonstreert het dat het negeren van het sign-component van de gauge de coördinaat-gebaseerde workflows fundamenteel kapot maakt.