Technische Samenvatting: Een Effectieve-Rang Audit van Uitlijning-Geïnduceerde Activeringsverschuivingen

Probleemstelling

Op instructies afgestemde Large Language Models (LLM's) vertonen een structurele kwetsbaarheid waarbij veiligheidsgedrag (specifiek weigeringen van schadelijke verzoeken) wordt bemiddeld door een laag-dimensionale deelruimte binnen de activeringen van de residustroom. Op basis van de empirische observatie van Arditi et al. (2024) dat een enkele richting weigering kan bemiddelen, formaliseert dit artikel de structurele gevolgen van dit fenomeen. Het kernprobleem is het kwantificeren van de "scheidbaarheid" van uitlijningverschuivingen – specifiek, hoe geconcentreerd de modificatie tussen vooraf getrainde en uitgelijnde activeringen is op veiligheidsrelevante invoer – en het bepalen of deze laag-rang structuur gedragsfragiliteit of vatbaarheid voor misleidende uitlijning (faken) impliceert.

Het artikel adresseert drie specifieke gaten:

1. Verwarrende Factoren Controleren: Eerdere metingen verwarden vaak uitlijningverschuivingen met artefacten van chat-sjabloonformattering.
2. Calibratie: Het is onduidelijk of het verhogen van de effectieve rang van de uitlijningverschuiving (via regularisatie) structureel de robuustheid verbetert of slechts een metriek opblaast.
3. Grenzen van Diagnostiek: Het is onbekend of laag rang een veiligheids-specifiek kenmerk is of een generieke eigenschap van post-training, en of een overeenkomende ondergrens bestaat voor de "kosten van faken" (d.w.z. of hoge rang garandeert weerstand tegen modus-wisseling).

Methodologie

De Scheidbaarheidsindex ($\rho_\epsilon$)

Het artikel definieert de uitlijningsmodificatiematrix $M_D$ op een gegeven laag als de collectie activeringsverschillen tussen uitgelijnde en vooraf getrainde modellen op een veiligheidsrelevante verdeling $D_s$:
$$M_D := [h_{align}(x_i) - h_{pre}(x_i)]_{i=1}^n$$
De scheidbaarheidsindex is de effectieve rang van deze matrix, genormaliseerd door de representatiedimensie $d$:
$$\rho_\epsilon := \text{rank}_\epsilon(M_D) / d$$
waarbij $\text{rank}_\epsilon$ het aantal singuliere waarden is dat nodig is om $(1-\epsilon)$ van de totale variantie te vangen (met $\epsilon=0.05$).

Decompositie in Vier Varianties

Om het ware uitlijningssignaal te isoleren van verwarrende factoren, ontleden de auteurs de modificatiematrix in vier varianties:

1. $M_{naive}$: Naïef verschil ($h_{align}(x_{chat}) - h_{pre}(x_{raw})$), vatbaar voor sjabloon-verwarrende factoren.
2. $M_{template}$: Controleert voor chat-sjabloonformattering door het sjabloon toe te passen op beide checkpoints.
3. $M_{aligned}$: Meet de verschuiving binnen het uitgelijnde model zelf.
4. $M_{DiD}$ (Verschil-in-Verschillen): Trekt de kolomgemiddelde van de controlematrix af van $M_{template}$ om de intra-uitgelijnde weigeringsrichting te herstellen.

Diagnostische Tests

Het artikel hanteert drie tests om uitlijning te evalueren:

• Test 1 (Rang): Berekent $\rho_\epsilon$ op $M_{template}$.
• Test 2 (Causale Ablatie): Projecteert de top-$k$ hoofdcomponenten van $M_{template}$ uit en meet de verandering in weigeringspercentages vergeleken met een willekeurige rang-$k$ nul.
• Test 3 (Principale Uitlijning): Meet de cosinus-ähnelijkheid tussen de top singuliere vector $u_1$ en de gemiddelde verschuivingsrichting $\bar{\Delta}$.

Calibratie en Verificatie

• MLP Calibratie: Een 3-laags MLP wordt getraind met variërende regularisatiesterktes ($\lambda$) om $\rho_\epsilon$ te manipuleren terwijl de afweging tussen rang-inflatie en ablatie-robustheid wordt waargenomen.
• LLM Audit: De diagnostiek wordt toegepast op drie open-gewogen modellen: Llama-3.1-8B-Instruct, Gemma-2-9B-it, en Qwen-2.5-7B-Instruct.
• Theoretische Grenzen: Het artikel onderzoekt de "Mirsky-route" om een ondergrens af te leiden voor het representatieve voetafdruk van een misleidend beleid (faken), en test de spectrale-gat-hypothese die nodig is voor een dergelijke grens.

Belangrijkste Resultaten

1. Verwarrende Factoren-gecontroleerde Meting

• Rangconcentratie: Op veiligheidsrelevante invoer is de uitlijningverschuiving sterk geconcentreerd. Voor Llama, Gemma en Qwen is de gecentreerde effectieve rang $\sim 12$–$18$ van $d \in \{3584, 4096\}$, wat resulteert in $\rho_\epsilon \in \{0.0029, 0.0048, 0.0044\}$.
• Sjabloon-verwarrende Factor: De ongecentreerde rang wordt gedomineerd door een enkele gemiddelde richting (de chat-sjabloonverschuiving). Het aftrekken van het gemiddelde (centreren) verhoogt de residuale rang met 4–7$\times$, wat bevestigt dat de kop-rang wordt gedreven door formatting in plaats van complexe veiligheidslogica.
• Herstel van Weigeringsrichting: Op de gecentreerde $M_{DiD}$ aligneert de top singuliere vector met de Arditi-weigeringsrichting met hoge cosinus-ähnelijkheid ($| \cos | \in \{0.77, 0.86, 0.50\}$ voor Llama/Gemma/Qwen). Dit bevestigt dat de "rang-1 ineenstorting" geldt voor Llama en Gemma, maar minder dominant is in Qwen.

2. Constructieve Calibratie: Sweet-Spot vs. Breekbaar

• Rang Inflatie $\neq$ Robuustheid: Bij de MLP-calibratie resulteerde het verhogen van $\rho_\epsilon$ via milde regularisatie ($\lambda=5$) in hoge ablatie-robustheid (compliance $\ge 0.97$ zelfs na het projecteren van 62,5% van de representatie). Echter, sterke regularisatie ($\lambda=50$) bij dezelfde nominale $\rho_\epsilon$ resulteerde in extreme breekbaarheid (compliance daalde naar 0,10).
• Diagnostische Waarde: $\rho_\epsilon$ dient als een diagnostiek voor fragiliteit, maar is geen doelwit wiens mechanische inflatie robuustheid garandeert. Het structurele gevolg van lage $\rho_\epsilon$ is lineaire-projectie-fragiliteit (Prop. 3.1) en een $O(\rho_\epsilon d)$ bereikbaarheidsgrens voor faken (Prop. 3.5).

3. Grenzen van Rang-gebaseerde Diagnostiek

• Niet Veiligheids-specifiek: Een baseline met willekeurige lineaire concepten (LRH) levert $\rho_\epsilon \approx 0.008$–$0.010$ op, slechts 2–3$\times$ de veiligheidswaarde. Lage rang is een generieke eigenschap van post-training-verschuivingen; het verband met veiligheidsgedrag wordt alleen vastgesteld via causale ablatie (Test 2).
• SVD vs. Causale Ordening: De ordening van singuliere waarden op variantie garandeert geen causale ordening. Bij Llama heeft de tweede singuliere vector ($u_2$) een bijna nul causaal effect op weigering, ondanks dat deze tweede rangt op variantie. Cumulatieve ablatie is niet-monotoon (bijv. weigering neemt toe bij $k=5$ voordat het daalt), wat aangeeft dat het SVD-spectrum alleen gedragsfragiliteit niet kan voorspellen.
• Falen van Spectrale-Gat Hypothese: Het artikel probeert een overeenkomende ondergrens ($\Omega(\rho_\epsilon d)$) voor de kosten van faken te bewijzen met een Mirsky-stijl argument dat een spectrale gat vereist ($\kappa > 8$). Empirisch faalt dit gat ($\kappa_{emp} < 8$) in 89/90 laag-referentieparen voor Llama en 0/36 in de MLP. Structureel bewijst Lemma 8.1 dat voor elke $\epsilon r > 1/4$ de gatconditie niet kan worden voldaan, waardoor de Mirsky-route ontoereikend is voor een algemene ondergrens.

Betekenis en Aanspraken

Het artikel claimt een formele, continue kwantificering te bieden van de structurele eigenschappen van uitlijning, verdergaand dan de binaire "rang-1" observatie van eerdere werken.

1. Formalisatie van Fragiliteit: Het stelt vast dat lage effectieve rang ($\rho_\epsilon \ll 1$) onvoorwaardelijk kwetsbaarheid impliceert voor lineaire projectie-aanvallen (Prop. 3.1) en lage-kosten representatief faken toestaat (Prop. 3.5).
2. Methodologische Strenge: Het introduceert een decompositie in vier varianties om chat-sjabloonartefacten strikt te scheiden van echte uitlijningverschuivingen, een noodzakelijke stap voor accurate audits.
3. Diagnostiek vs. Optimalisatie: Het artikel betoogt dat $\rho_\epsilon$ een diagnostisch hulpmiddel is voor het identificeren van fragiliteit, geen optimalisatiedoelwit. Mechanische ranginflatie koopt geen structurele robuustheid.
4. Open Problemen: Het artikel identificeert expliciet de overeenkomende ondergrens voor faken als een open probleem. Hoewel het de bereikbaarheid van lage-kosten faken bewijst (bovengrens), toont het aan dat de natuurlijke spectrale-gat-aanpak om een ondergrens te bewijzen (dat hoge rang hoge kosten dwingt) zowel empirisch als structureel faalt.

De auteurs benadrukken dat hun werk beperkt is tot residustroom-aanvallen (projectie, sturing) en niet claimt willekeurige adversariele druk op het interne mechanisme, LoRA-finetuning, of prompt-jailbreaks aan te pakken. De diagnostiek is berekenbaar door een verificateur die strikt zwakker is dan het systeem dat wordt geauditeerd, mits de verificateur witte-kas-toegang heeft tot gekoppelde checkpoints en een vaste veiligheidsverdeling.