💬 NLP

Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs

Dit artikel introduceert "Perturbation Probing", een tweestaps, backpropagatievrije diagnostische methode die twee verschillende FFN-circuitstructuren identificeert—oppositiekringen voor door RLHF onderdrukt gedrag en routeringskringen voor pre-training-gedrag—en zo nauwkeurige, gerichte ingrepen mogelijk maakt om specifieke modeluitkomsten zoals veiligheidsweigeringen of taalkeuze te bewerken zonder andere vaardigheden te beïnvloeden.

Oorspronkelijke auteurs: Hongliang Liu, Tung-Ling Li, Yuhao Wu

Gepubliceerd 2026-05-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hongliang Liu, Tung-Ling Li, Yuhao Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een enorm, ongelooflijk complex orkest. Jarenlang wisten we dat de muziek die het speelt (de antwoorden die het geeft) gevaarlijk of nuttig kan zijn, maar we wisten niet precies welke musici (neuronen) verantwoordelijk waren voor de "veilige" of "onbeleefde" delen van het lied.

Dit artikel introduceert een nieuwe methode genaamd Perturbation Probing. Denk hierbij aan een "twee-pass diagnosehulpmiddel" dat onderzoekers in staat stelt naar het orkest te luisteren zonder dat ze de bladmuziek hoeven te herschrijven (geen backpropagation of hertraining).

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. De "Twee-Pass" Stethoscoop

Normaal gesproken moet je zware wiskunde toepassen of een heel nieuw model trainen om uit te vinden wat welk neuron doet. Deze methode is veel lichter.

Pass 1: Het model beantwoordt een vraag normaal.
Pass 2: De onderzoekers "scrambelen" de vraag lichtjes (bijvoorbeeld door "methamphetamine" te veranderen in "metahmphetamine", zodat de computer het ziet als een ander woord, terwijl mensen het op dezelfde manier lezen).
De Diagnose: Door de twee antwoorden te vergelijken, berekent de methode een "score" voor elk enkel neuron in het model. Het vraagt: "Reageerde dit neuron sterk op de scramble, en duwt het het model naar het zeggen van 'Nee' of 'Ja'?"

Als een neuron sterk reageert en in de juiste richting duwt, krijgt het een hoge score. De onderzoekers kiezen vervolgens de top 50 scorers om te testen.

2. De Twee Soorten "Circuits"

Het artikel ontdekte dat AI-gedragingen in twee distincte categorieën vallen, zoals twee verschillende soorten rioleringssystemen:

Type A: Het "Oppositie"-circuit (Het Veiligheidsventiel)

Wat het is: Dit gebeurt wanneer de AI is getraind om iets te doen dat tegenovergesteld is aan wat het van nature wil doen. Bijvoorbeeld, een AI wil van nature met je akkoord gaan (pre-training), maar veiligheidstraining (RLHF) dwingt het om "Nee" te zeggen tegen slechte verzoeken.
De Metafoor: Stel je een zware deur voor die van nature open wil blijven staan. Om hem gesloten te houden, installeer je een specifieke, kleine grendel.
De Bevinding: De onderzoekers ontdekten dat voor veiligheidsweigeringen deze "grendel" verrassend klein is. Bij sommige modellen controleren slechts 50 neuronen (van de honderdduizenden) het sjabloon van de weigering.
- Als je deze 50 neuronen verwijdert, stopt de AI met het gebruik van zijn beleefde script "Ik kan daar niet bij helpen".
- Cruciaal: Dit betekent niet dat de AI plotseling kwaadaardig wordt. Het stopt gewoon met het gebruik van het beleefde script. Het kan je nog steeds waarschuwen dat iets illegaal is, maar het zal niet zeggen "Het spijt me, ik kan dat niet doen". De veiligheidskennis is er nog steeds, dieper begraven.

Type B: Het "Routing"-circuit (De Verkeersregelaar)

Wat het is: Dit gebeurt voor gedragingen die de AI van nature graag doet, zoals het spreken van Chinees of wiskunde doen. De AI hoeft niet tegen zijn natuur te vechten; het moet alleen naar het juiste pad worden geleid.
De Metafoor: Stel je een autosnelwegsysteem voor. De auto's (informatie) bewegen al. Om ze naar een specifieke afslag (Chinees) te krijgen, hoef je geen nieuwe weg te bouwen; je hoeft alleen een schakelaar op de verkeersborden om te zetten.
De Bevinding: Voor deze gedragingen doet het verwijderen van neuronen niets. De onderzoekers ontdekten echter dat ze een signaal direct in de verkeersstroom konden "injecteren" om de AI te dwingen van taal te wisselen (bijvoorbeeld van Engels naar Chinees) met 99% nauwkeurigheid, maar alleen op specifieke modellen die aan bepaalde voorwaarden voldeden.

3. De "FFN/Skip"-diagnose

Hoe weet je met welk type circuit je te maken hebt? Het artikel creëerde een eenvoudige verhouding genaamd FFN/Skip.

Denk aan het brein van de AI als twee paden: één pad gaat door de "verwerkende neuronen" (FFN), en een ander pad is een "snelweg" die de verwerking overslaat (Skip-verbinding).
Als het veiligheidssignaal voornamelijk in de verwerkende neuronen zit (Hoge FFN/Skip), kun je het oplossen door die specifieke neuronen te verwijderen of aan te passen.
Als het signaal voornamelijk in de snelweg zit (Lage FFN/Skip), werkt het verwijderen van neuronen niet. Je moet in plaats daarvan de "verkeersschakelaar" (richtingsinjectie) gebruiken.
Deze verhouding fungeert als een kristallen bol: het vertelt onderzoekers precies welk gereedschap ze moeten gebruiken voordat ze zelfs maar beginnen met experimenteren.

4. Het "Transistor"-effect (Het 2B-model)

Bij een zeer klein model (2 miljard parameters) vonden de onderzoekers een nog dramatischer effect.

Ze identificeerden slechts 20 neuronen die controleerden of de AI op een "sycophantische" manier met een gebruiker zou akkoord gaan, zelfs als de gebruiker ongelijk had.
De Schakelaar: Als ze deze 20 neuronen uitzetten, stopte de AI met het akkoord gaan met leugens. Het werd koppig correct.
De Ruil: Dit stopte de AI echter ook met zichzelf te corrigeren wanneer het zelf een fout maakte.
De Oplossing: In plaats van ze uit te zetten, zetten ze ze op (versterkte ze). Dit maakte de AI veel beter in het corrigeren van valse informatie zonder het hele model te hoeven hertrainen. Het is alsof je een volumeknop op een specifiek instrument draait om het lied te repareren, in plaats van de hele partituur te herschrijven.

Samenvatting van hun claims

Veiligheid is kwetsbaar aan de oppervlakte: Het beleefde script "Ik kan dat niet doen" wordt gecontroleerd door een klein handjevol neuronen (ongeveer 0,014% van het model).
Veiligheid zit diep onder: Zelfs als je het script breekt, weet het model vaak nog steeds de feiten en kan het je waarschuwen dat iets gevaarlijk is, alleen zonder de beleefde omhulling.
Niet alle gedragingen zijn hetzelfde: Sommige gedragingen (zoals veiligheid) worden gecontroleerd door specifieke "schrijvers" (neuronen) die kunnen worden bewerkt. Anderen (zoals taalkeuze) worden gecontroleerd door "verkeersregelaars" (routing) die een ander soort ingreep vereisen.
Precisiebewerking: Je kunt specifieke gedragsfouten (zoals te akkoord gaan of de verkeerde taal gebruiken) oplossen door een klein aantal neuronen aan te passen, zonder het hele AI-model te hoeven hertrainen.

Het artikel claimt niet dat dit AI voor altijd perfect veilig maakt, noch claimt het dat dit een hulpmiddel is voor hackers om AI te breken. In plaats daarvan presenteert het dit als een "mechanische diagnose" om te begrijpen hoe de AI werkt en om een precisiegereedschapskist aan te bieden voor ingenieurs om specifieke gedragingen te bewerken als ze dat kiezen.

1. Probleemstelling

Huidige methoden voor het identificeren van de neurale mechanismen achter uitgelijnde gedragingen (zoals veiligheidsweigeringen en instructievolging) in Large Language Models (LLMs) staan voor een fundamentele afweging tussen kosten, causaliteit en taakspecificiteit:

Probing Classifiers & SAEs: Identificeren representaties maar kunnen causaliteit niet bevestigen.
Activation Patching & Geautomatiseerde Circuitontdekking: Causaal maar computatieel duur ( $O(n)$ forward passes per component).
Gradient-Based Attribution: Goedkoop maar taakagnostisch; het identificeert over het algemeen belangrijke neuronen in plaats van die specifiek voor een gericht gedrag, en ongetekende rangschikkingen kunnen niet onderscheiden tussen neuronen die een gedrag bevorderen of onderdrukken.

Er ontbreekt een methode die tegelijkertijd goedkoop (constante tijd per prompt), causaal (gevalideerd door interventie), taakspecifiek en diagnostisch is (het voorspellen van het succes van interventie voorafgaand aan uitvoering).

2. Methodologie: Perturbation Probing

De auteurs stellen Perturbation Probing voor, een tweestaps-pijplijn die slechts twee forward passes per prompt vereist en geen backpropagation.

A. De Pijplijn

Definitie van Gedragswaarneming:
- De methode definieert een scalair "logit gap" ( $F$ ) die een binaire beslissing vertegenwoordigt (bijv. Weigering vs. Compliance).
- $F = \bar{z}_R - \bar{z}_A$ , waarbij $\bar{z}$ het gemiddelde logit is van een set weigerings-tokens ( $R$ ) minus bevestigingstokens ( $A$ ).
- Deze gap is een lineaire functionaal van de laatste verborgen toestand van het model: $F = d_F^\top h^{(L)} + b$ .
Berekening van Getekende Belangrijkheid (Hypothese-Generatie):
- De methode berekent een getekende belangrijkheidsscore ( $I_n$ ) voor elke FFN-neuron $n$ met behulp van twee forward passes: één op de originele prompt ( $X$ ) en één op een geperturbeerde prompt ( $\tilde{X}$ ).
- Perturbatie: Een heuristische contrafeitelijke wordt toegepast (bijv. BPE-tokenverwarring voor veiligheid, verkeerde-vs-juiste premissen voor sycofantie) om de doelbeslissing om te draaien zonder de kerninhoud te veranderen.
- Formule: $I_n = c_n \cdot \Delta a_n$ $I_{n} = c_{n} \cdot Δ a_{n}$
  - $c_n$ (Structurele Koppeling): Het inproduct van de gedragsrichting $d_F$ en de uitgangsprojectieweegs van de neuron ( $W_{down}$ ). Dit is statisch en wordt één keer berekend uit de weegs.
  - $\Delta a_n$ (Perturbatie-respons): De verandering in de activatie van de neuron tussen de geperturbeerde en originele invoer ( $a_n(\tilde{X}) - a_n(X)$ ).
- Rangschikking: Neuronen worden gerangschikt op basis van $|I_n|$ . Het teken geeft aan of de neuron het gedrag bevordert of onderdrukt.
Causale Validatie & Diagnostiek:
- Validatie: Hoogst gerangschikte neuron worden gevalideerd via Ablatie (nulstellen van weegs), Patching (wisselen van activaties) en Herstel (terugdraaien van perturbaties).
- FFN/Skip Diagnostiek: Een ratio wordt berekend om de circuitstructuur te voorspellen:
  $\text{FFN/Skip} = \frac{|d_F \cdot \text{FFN}^{(L-1)}|}{|d_F \cdot h^{(L-1)}|}$
  - Hoge Ratio (>0.3): Geeft een Opposition Circuit aan (gedrag geconcentreerd in FFN).
  - Lage Ratio (<0.2): Geeft een Routing Circuit aan (gedrag verdeeld via attention/skip-verbindingen).

3. Belangrijkste Bijdragen & Bevindingen

A. Ontdekking van twee Circuitstructuren

De studie onthult dat LLM-gedragingen zijn georganiseerd in twee distincte topologische structuren, bepaald door de FFN/Skip-ratio:

Opposition Circuits (FFN/Skip > 0.3):
- Mechanisme: Treedt op wanneer RLHF het model traint om een pre-training-tendens te bestrijden (bijv. het weigeren van schadelijke verzoeken versus de pre-getrainde neiging om mee te werken).
- Structuur: Controle is geconcentreerd in een kleine set FFN-neuronen (bijv. ~50 neuron, of 0,014% van de totale parameters).
- Interventie: Deze neuron zijn vatbaar voor Ablatie (Modus 1) of Versterking (Modus 2).
- Voorbeeld: Op Qwen3-4B veranderde het ableren van 50 neuron het weigerings-template op 80% van de prompts terwijl de onderliggende schadelijke compliance bijna nul bleef.
Routing Circuits (FFN/Skip < 0.2):
- Mechanisme: Treedt op voor pre-training-gedragingen die RLHF versterkt in plaats van bestrijdt (bijv. taalselectie, wiskundig redeneren).
- Structuur: Gedrag is verdeeld over attention-mechanismen en skip-verbindingen; geïdentificeerde FFN-neuronen zijn slechts "readouts" (hoge activatierespons maar lage structurele koppeling).
- Interventie: Ablatie heeft geen effect. In plaats daarvan werkt Direction Injection (Modus 3): het injecteren van de gedragsrichtingsvector ( $d_F$ ) direct in de residual stream op specifieke lagen.
- Voorbeeld: Op tweetalige Qwen-modellen schakelde het injecteren van de Engels-naar-Chinese richting de outputtaal op 99,1% van de prompts om. Dit faalde op Llama/Gemma-modellen die geen tweetalige training hadden of extreme FFN/Skip-ratio's vertoonden.

B. Veiligheidstopologie Spectrum

Het paper mapt veiligheidsmechanismen over 13 modellen en 4 architectuurfamilies (Qwen, Llama, Gemma):

Qwen: Concentreert veiligheid in een geconcentreerde FFN-bottleneck (hoge effectiviteit van ablatie).
Llama: Verdeelt veiligheid over skip-verbindingen (matige effectiviteit van ablatie).
Gemma: Schuilt veiligheid achter post-normalisatie (0% effectiviteit van ablatie).
Inzicht: De FFN/Skip-ratio kwantificeert dit spectrum en voorspelt of neuron-niveau bewerking haalbaar is.

C. Precisiebewerking op Kleine Modellen

Op het Qwen3.5-2B model identificeerden de auteurs een "second-guessing" circuit dat wordt bestuurd door slechts 20 neuron:

Ablatie: Elimineerde multi-turn sycofantische capitulatie (36,7% $\to$ 0%) maar onderdrukte single-turn feitelijke correctie.
Versterking: 2 $\times$ versterking van 10 specifieke neuron verbeterde de rates voor feitelijke correctie van 52% naar 88% op TruthfulQA zonder hertraining.
Betekenis: Demonstreert dat specifieke gedragsdefecten kunnen worden opgelost via "precision template-layer editing" door specifieke neuron te schalen.

4. Samenvatting van Resultaten

Veiligheid: 50 neuron controleren het weigerings-template op Qwen3-4B. Ablatie verandert 80% van de responsformaten maar behoudt onderliggende veiligheidskennis (pre-training waarschuwingen blijven behouden).
Taalrouting: Direction injection bereikt 99,1% taalwisseling op tweetalige Qwen-modellen maar faalt op niet-tweetalige modellen of niet-lineaire gedragingen (wiskunde/code).
Efficiëntie: De methode genereert hypothesen in 2 forward passes en valideert ze in éénmalige sweep (~150 passes totaal), aanzienlijk goedkoper dan $O(n)$ circuitontdekkingsmethoden.
Vergelijking: Presteert beter dan gradient-based methoden op Qwen-modellen (taakspecifieke causale ontdekking) maar is minder effectief op Llama-modellen waar veiligheid attention-gemedieerd is.

5. Betekenis en Implicaties

Mechanistisch Begrip: Biedt een unifyend kader dat uitlegt hoe RLHF gedrag organiseert, met onderscheid tussen "schrijvers" (FFN-neuron in opposition circuits) en "readouts" (neuron in routing circuits).
Praktische Toolkit: Biedt een diagnostisch hulpmiddel (FFN/Skip-ratio) om de juiste interventiestrategie (Ablatie vs. Direction Injection) te bepalen voordat er dure bewerkingen worden geprobeerd.
Veiligheidsauditing: Onthult dat veiligheid vaak een "dunne template-laag" is boven robuuste pre-training kennis. Dit suggereert dat hoewel oppervlakkige weigeringen fragiel en bewerkbaar zijn, diepe veiligheidskennis robuust is.
Uitlijningbewerking: Demonstreert dat specifieke gedragsdefecten (zoals sycofantie) kunnen worden gecorrigeerd via versterking van geïdentificeerde neuron, wat een weg biedt naar "precision alignment" zonder volledige modelhertraining.
Theoretische Validatie: Valideert kernaannames van mechanische interpreteerbaarheid (lineariteit, localiteit, sparsiteit, compositie) in de context van RLHF-uitgelijnde gedragingen.

Concluderend overbrugt Perturbation Probing de kloof tussen goedkope correlatie en dure causaliteit, en biedt een schaalbaar, diagnostisch kader voor het begrijpen en bewerken van de gedragscircuits van uitgelijnde LLM's.