Technische Samenvatting: Snelle Multi-dimensionale Weigeringssubruimten via RFM-AGOP

Probleemstelling

Het waarborgen dat Large Language Models (LLMs) schadelijke instructies weigeren terwijl ze behulpzaam blijven bij onschuldige vragen, is een centrale uitdaging in AI-veiligheid. Hoewel mechanistische interpreteerbaarheid instrumenten biedt om interne representaties te identificeren en te sturen, kampen bestaande methoden met significante beperkingen wat betreft de dimensionaliteit en de computationele kosten van de analyse van weigeringsgedrag.

Vroeg werk ging ervan uit dat weigeringsgedrag werd gecodeerd langs enkelvoudige lineaire richtingen, die gemanipuleerd konden worden door te interveniëren op een enkele feature space vector. Recente bevindingen suggereren echter dat weigering beter gemodelleerd kan worden als een multi-dimensionale "weigeringskegel" (refusal cone). Bestaande methoden om deze subruimten te extraheren zijn ofwel ongesuperviseerd (bijv. Sparse Autoencoders), die moeite hebben met het isoleren van specifieke concepten zoals weigering, ofwel gesuperviseerd maar computationeel prohibitief (bijv. Refusal Cone Optimization of RCO). RCO vereist bijvoorbeeld volledige forward en backward passes over lange redeneertracés, wat onpraktisch is voor moderne redeneermodellen (bijv. Qwen 3) die chains of thought kunnen genereren tot wel 8.000 tokens.

Methodologie

De auteurs stellen voor om het Recursive Feature Machine (RFM) algoritme aan te passen, gecombineerd met de Average Gradient Outer Product (AGOP), om efficiënt multi-dimensionale weigeringssubruimten te extraheren. De kernmethodologie omvat:

1. Framework Aanpassing: Het RFM-AGOP framework iterereert tussen het leren van een voorspeller en het bijwerken van een kernelmatrix $M$. Het algoritme gebruikt een Mahalanobis Laplace kernelfunctie. In elke iteratie wordt kernel ridge regressie opgelost om voorspeller-coëfficiënten te verkrijgen en wordt $M$ bijgewerkt met behulp van het gemiddelde buitenproduct van de gradiënten van de voorspeller ten opzichte van de input.
2. Stabiliteitsmodificaties: Om de gevoeligheid van RFM voor ruis en hyperparameters aan te pakken, introduceren de auteurs twee belangrijke modificaties:
   • Probe-Informed Initialisatie: In plaats van de kernelmatrix $M_0$ te initialiseren met de identiteitsmatrix, trainen zij een eenvoudige lineaire probe op de activaties en stellen zij $M_0 = \beta ww^\top + (1-\beta)\Sigma_{X,k}$. Dit combineert de primaire richting gevonden door de probe met een hoger-rang truncated covariantie-matrix om te voorkomen dat het algoritme direct inklapt naar een rank-1 oplossing.
   • Exponential Moving Average (EMA): Een EMA wordt toegepast op de update van $M$ om de convergentie van de training te stabiliseren.
3. Subruimte Extractie: Na $T$ iteraties levert een eigendecompositie van de uiteindelijke matrix $M_T$ gesorteerde eigenvectoren op. De top-$k$ eigenvectoren definiëren de weigeringssubruimte. De vectoren worden naar weigering gericht door hun Pearson-correlatie met de weigeringslabels te berekenen.
4. Interventie: De geïdentificeerde subruimte wordt voor twee doeleinden gebruikt:
   • Ablatie: Het projecteren van modelgewichten op het orthogonaal complement van de subruimte om weigering te onderdrukken.
   • Sturing (Steering): Het direct modificeren van activaties tijdens runtime om weigering te induceren of te onderdrukken.

Belangrijkste Bijdragen

• Efficiënte Multi-dimensionale Extractie: De paper demonstreert dat RFM-AGOP in staat is om in enkele seconden op consumentenhardware (RTX 4090) multi-dimensionale weigeringssubruimten te identificeren, een taak die voorheen uren aan optimalisatie vereiste voor methoden zoals RCO.
• Probe-Informed Initialisatie: De introductie van een covariantie-gebaseerde warmstart verbetert de stabiliteit en efficiëntie van het RFM-algoritme voor LLM-activaties aanzienlijk.
• Empirische Validatie op Redeneermodellen: De studie biedt de eerste multi-dimensionale analyse van weigering op zowel niet-redeneerende (Qwen 2.5) als redeneerende (Qwen 3) modellen, waarbij specifiek het gedrag van modellen met lange redeneertracés wordt belicht.
• Schaalbaarheid: De methode vereist slechts één forward pass en een paar eigendecomposities, waarbij de computationele complexiteit wordt gedomineerd door $O(n^2d)$, wat het haalbaar maakt voor grootschalige experimenten op persoonlijke laptops.

Resultaten

De auteurs evalueerden hun methode op de Qwen 3 familie (1.7B, 4B, 8B, 14B) en Qwen 2.5 7B met behulp van een aangepaste meertalige contrastieve dataset (BigBench).

• Dimensionaliteit van Weigering: De resultaten geven aan dat weigering in grotere modellen (≥8B parameters) gecodeerd is in een multi-dimensionale subruimte. Het ablateren van een enkele richting (zoals gesuggereerd door eerder 1D-werk) was onvoldoende om weigering te onderdrukken in grotere modellen; bijvoorbeeld vereiste Qwen 3 8B de ablatie van ten minste drie richtingen om een Attack Success Rate (ASR) drempel van 50% te overschrijden.
• Prestaties vs. Baselines: RFM-AGOP behaalde vergelijkbare of superieure prestaties in het onderdrukken van weigering vergeleken met RCO en Difference-in-Means (DIM) baselines, met name wanneer meerdere dimensies werden geablateerd.
• Behoud van Capaciteiten: Het ablateren van de weigeringssubruimte met behulp van RFM-AGOP behield over het algemeen de algemene redeneercapaciteiten (gemeten via MMLU-scores), hoewel er enige prestatievermindering werd waargenomen in het 14B-model, wat de auteurs aangeven dat verder onderzoek vereist is.
• Sturingsasymmetrie (Steering Asymmetry): Hoewel de primaire eigenvector effectief weigering kon induceren bij sturing, resulteerden secundaire eigenvectoren vaak in modeldegradatie ("garbage" output) in plaats van gecontroleerde weigering, wat wijst op een asymmetrie tussen de geometrie van ablatie en sturing.

Betekenis en Claims

De paper claimt dat RFM-AGOP een goedkope en schaalbare aanvulling biedt op bestaande methoden voor subruimte-extractie. De primaire betekenis ligt in het in staat stellen van onderzoekers om snel multi-dimensionale weigeringssubruimten te extraheren zonder de prohibitieve computationele kosten van gradiënt-gebaseerde optimalisatiemethoden zoals RCO.

De auteurs kaderen hun werk bescheiden als een stap naar een beter begrip van de geometrische structuur van alignment-mechanismen. Zij erkennen dat hoewel RFM een snellere identificatie mogelijk maakt, de exacte relatie tussen de door RFM gevonden subruimten en andere methoden (zoals Sparse Autoencoders) een open vraag blijft. Verder benadrukken zij dat het veld momenteel een gebrek heeft aan rigoureuze, gestandaardiseerde metrieken voor het meten van weigering, met name in redeneermodellen waar weigering laat in het generatieproces kan optreden of verborgen kan zijn achter complexe redeneertracés.

Het werk suggereert dat naarmate modelgroottes toenemen, complexe gedragingen zoals weigering in hogere-dimensionale subruimten kunnen liggen, wat multi-dimensionale analyse noodzakelijk maakt in plaats van enkelvoudige vector-interventies. Toekomstig werk is gepland om de relaties tussen subruimten gevonden door verschillende methoden beter te begrijpen en om de evolutie van deze subruimten tijdens het redeneerproces te analyseren.