Detoxifying LLMs via Representation Erasure-Based Preference Optimization

Dit paper introduceert REPO, een methode die LLMs effectief en robuust detoxificeert door giftige representaties op token-niveau te wissen en te laten convergeren naar onschadelijke tegenhangers, waardoor ze bestand zijn tegen adversariale aanvallen en relearning-aanvallen zonder de algemene bruikbaarheid van het model te schaden.

De kern

Hoe REPO Giftige Taalmodellen "Ontgifting" zonder Ze te Breken

Stel je voor dat een groot taalmodel (zoals een slimme chatbot) is opgeleid op een enorme berg internetteksten. Helaas zit er ook veel "vuil" tussen: haatzaaiende taal, beledigingen en gevaarlijke informatie. Als je zo'n model vraagt om een verhaal te schrijven, kan het soms onbedoeld die giftige teksten gaan nabootsen.

Tot nu toe hebben onderzoekers geprobeerd dit vuil te verwijderen door het model te "straffen" als het iets lelijks zegt. Maar dit werkt vaak niet goed genoeg. Het is alsof je een kind dat vloekt, alleen maar een duwtje geeft als het weer vloekt. Het kind stopt even, maar de neiging om te vloeken zit nog diep in zijn hoofd. Als je het kind even later een beetje anders aanspreeakt (een "jailbreak"), of als je het een paar keer laat oefenen op iets anders, begint het weer te vloeken. De "neiging" is niet echt weggehaald.

De auteurs van dit paper, REPO, hebben een slimme nieuwe manier bedacht om dit probleem op te lossen. Ze noemen hun methode Representation Erasure-based Preference Optimization. Dat klinkt ingewikkeld, maar het idee is eigenlijk heel simpel en creatief.

De Analogie: Het Verwijderen van de "Geheime Code"

Stel je het taalmodel voor als een gigantisch, complex fabrieksgebouw met duizenden werknemers (de neuronen).

• De oude manier (DPO/NPO): Dit was alsof je de fabrieksdirecteur vroeg: "Zeg tegen de werknemers: als jullie een giftig woord willen zeggen, doe het dan niet." De werknemers luisteren, maar ze onthouden nog steeds hoe ze dat woord zouden zeggen. Als de directeur even weg is, of als er een nieuwe manager komt die ze anders instrueert, beginnen ze weer te vloeken.
• De REPO-methode: REPO doet iets anders. Het gaat niet naar de directie om instructies te geven. Het gaat de fabriek in en verwijdert de blauwdrukken van de giftige woorden. Het maakt de "geheime code" die nodig is om die giftige woorden te produceren, onleesbaar.

Hoe werkt REPO precies?

REPO gebruikt een slimme truc met twee soorten voorbeelden:

1. Het "Goede" Voorbeeld: Een zin die netjes en veilig is.
2. Het "Slechte" Voorbeeld: Dezelfde zin, maar dan met giftige woorden erin.

REPO kijkt niet alleen naar wat er naar buiten komt (de tekst), maar naar wat er in het hoofd gebeurt (de interne gedachten van het model).

Het doet twee dingen tegelijk:

1. Het houdt het goede vast: Het zorgt ervoor dat het model op het "Goede Voorbeeld" precies hetzelfde blijft denken als voorheen. De fabriek werkt dus nog steeds goed voor normale vragen.
2. Het wist het slechte: Het dwingt het model om het "Slechte Voorbeeld" te verwerken alsof het het "Goede Voorbeeld" is. Het maakt de interne gedachten van het giftige woord ononderscheidbaar van die van een veilig woord.

De Creatieve Analogie: De Verwarde Vertaler
Stel je een vertaler voor die een boek vertaalt.

• Als je vraagt om een lief gedicht, vertaalt hij het mooi.
• Als je vraagt om een giftig gedicht, probeert hij het normaal te doen.

REPO pakt de vertaler bij zijn hand en zegt: "Kijk, dit is een giftig woord. Maar in jouw hoofd moet dit woord eruitzien en voelen exact hetzelfde als dit normale woord."
Door dit te doen, verliest het model de specifieke "geheime route" die nodig was om het giftige woord te produceren. Het kan het woord niet meer vinden in zijn eigen geheugen, zelfs niet als iemand het probeert te forceren.

Waarom is dit zo sterk?

De onderzoekers hebben getest of dit werkt tegen de slimste trucs van hackers (die proberen het model te omzeilen) en tegen "herleer-attacks" (waarbij iemand het model een paar keer laat oefenen om het oude gedrag terug te halen).

• De oude methoden: De hackers konden het giftige gedrag makkelijk terugkrijgen. Het was alsof je een deur dichtdeed, maar de sleutel nog in je zak had.
• REPO: De hackers faalden. De sleutel was echt weggegooid. Zelfs als ze het model opnieuw lieten oefenen, kon het de giftige weg niet meer vinden, omdat de interne "blauwdrukken" waren gewist.

Bovendien bleef het model slim en behulpzaam voor normale vragen. Het was niet alsof ze de hele fabriek hadden platgelegd; ze hadden alleen de specifieke, giftige machines uitgeschakeld.

Conclusie

REPO is een revolutionaire manier om AI veiliger te maken. In plaats van alleen de uitslag van het model te controleren, grijpen ze in in de gedachten van het model zelf. Ze wissen de interne neiging tot giftigheid, waardoor het model niet alleen voor nu, maar ook in de toekomst veilig blijft, zelfs als hackers proberen het te omzeilen.

Het is alsof je een kind niet alleen leert niet te vloeren, maar je de neiging tot vloeren uit zijn hoofd haalt. Dat is een veel blijvende oplossing.

Technische samenvatting

1. Het Probleem

Grote Taalmodellen (LLMs), getraind op webdata in grote schaal, kunnen giftige (toxische) output genereren. Bestaande verdedigingsmechanismen, zoals Direct Preference Optimization (DPO) en Negative Preference Optimization (NPO), proberen de kans op schadelijke voortzettingen te verkleinen. Echter, deze methoden blijken kwetsbaar:

• Oppervlakkige correcties: Ze veranderen vaak alleen de waarschijnlijkheid van output, maar laten de interne representaties van schadelijke concepten intact.
• Kwetsbaarheid voor aanvallen: Ze zijn gevoelig voor adversarial prompting (zoals GCG-jailbreaks) en kunnen eenvoudig worden teruggedraaid via "relearning"-aanvallen (lichtgewicht fine-tuning op slechts enkele voorbeelden).
• Linear Probing: Onderzoek toont aan dat schadelijke "richtingen" nog steeds aanwezig zijn in de interne representaties van het model, zelfs na detoxificatie.

Het doel is dus niet alleen het onderdrukken van schadelijke output, maar het permanent verwijderen van de interne representatieve mogelijkheden die deze output mogelijk maken.

2. Methodologie: REPO

De auteurs stellen Representation Erasure-based Preference Optimization (REPO) voor. Dit is een methode die detoxificatie herformuleert als een token-niveau voorkeursprobleem, waarbij de focus ligt op het wissen van interne representaties in plaats van alleen het manipuleren van output-kansen.

Kerncomponenten:

• Dataset: Een gepaarde dataset $D = \{(x_p, x_r, x_f)\}$, waarbij $x_p$ een prompt is, $x_r$ een gewenste (niet-toxische) voortzetting (retain), en $x_f$ een ongewenste (toxische) voortzetting (forget).
• Modelarchitectuur: Een discriminator $G_d$ (bijv. een MLP) wordt gekoppeld aan de token-representaties van een specifieke transformer-laag (meestal de laatste laag vóór de unembedding).
• Gradient Reversal Layer (GRL): Deze laag zorgt ervoor dat de gradiënten tijdens het backpropagatie-proces worden omgekeerd. De discriminator probeert te onderscheiden of een representatie toxisch of niet-toxisch is, terwijl het LLM probeert de discriminator te misleiden (zodat de representaties ononderscheidbaar worden).

De Doelfunctie (Loss):
REPO combineert twee objectives:

1. Retain Anchoring Loss (Token-level KL): Een Kullback-Leibler-divergentie tussen het bewerkte model en een bevroren referentiemodel op de niet-toxische voortzettingen ($x_r$). Dit zorgt ervoor dat het model zijn nuttige, niet-toxische gedrag behoudt.
2. Representation Erasure Loss (Token-level Adversarial): Een domein-adversariële loss waarbij het LLM wordt getraind om de representaties van toxische tokens ($x_f$) ononderscheidbaar te maken van die van niet-toxische tokens ($x_r$) voor de discriminator. Dit dwingt de toxische representaties om te convergeren naar hun onschadelijke tegenhangers.

Verschil met DPO/NPO:
Terwijl DPO/NPO voorkeuren in de output-ruimte (log-kansen) afdwingen, dwingt REPO voorkeuren af in de representatieruimte. Hierdoor worden de interne kenmerken die toxische sequenties onderscheiden, fysiek verwijderd, wat herstel via fine-tuning veel moeilijker maakt.

3. Belangrijkste Bijdragen

• REPO Introductie: Een nieuwe, token-niveau voorkeursdoelstelling die referentie-ankering combineert met adversariële invariantie tussen 'retain' en 'forget' representaties.
• Robuustheid: Demonstratie dat REPO superieure weerstand biedt tegen geavanceerde aanvallen, waaronder relearning-aanvallen (fine-tuning op weinig data) en verbeterde GCG-jailbreaks, waar bestaande methoden falen.
• Mechanistisch Inzicht: Analyse toont aan dat REPO diepe, gelokaliseerde wijzigingen induceert in neuronen die toxischheid coderen, terwijl de algemene modelnuttigheid behouden blijft. De token-nauwkeurigheid is cruciaal voor deze precisie.

4. Resultaten

De evaluatie is uitgevoerd op modellen zoals GPT-2 (Small/Medium) en Gemma 2B.

• Detoxificatie vs. Nut: REPO bereikt de laagste toxiciteitscores op zowel in-distribution (PairToxicity) als out-of-distribution (RealToxicityPrompts) data, zonder de perplexiteit of F1-score op neutrale taken (WikiText) significant te verlagen.
• Robuustheid tegen Aanvallen:
  • Relearning: Na fine-tuning op slechts 10 voorbeelden van de 'forget'-set, herstelen DPO en NPO hun toxische capaciteiten grotendeels. REPO blijft daarentegen robuust met lage toxiciteitscores.
  • Enhanced GCG & Orthogonalization: REPO weerstaat ook deze geavanceerde jailbreak-methoden beter dan baselines zoals RMU en Circuit Breakers (CB).
• Mechanistische Analyse:
  • Lokalisatie: Warmtekaarten tonen aan dat REPO wijzigingen concentreert in de diepere lagen van het netwerk en specifiek op de tokens die toxisch zijn. DPO/NPO veroorzaken daarentegen diffuse, bredere wijzigingen.
  • Neuronale Activatie: REPO induceert grotere veranderingen in de neuronen die het sterkst gealigneerd zijn met de toxische richting ($W_{toxic}$), wat aantoont dat het specifiek de bron van het probleem aanpakt.

5. Betekenis en Conclusie

Dit paper stelt een paradigmaverschuiving voor in de veiligheidsuitlijning van LLMs. In plaats van te werken als een "output-suppressor" die schadelijk gedrag slechts tijdelijk maskert, biedt REPO een methode voor diep representatief wissen.

De bevindingen suggereren dat voor betrouwbare veiligheid in de praktijk, we moeten overstappen van oppervlakkige voorkeursoptimalisatie naar rigoureuze representatie-engineering. Door de interne representaties van schadelijke concepten daadwerkelijk te verwijderen op token-niveau, creëert REPO een duurzaamheid die resistent is tegen adaptieve aanvallen en herstel, zonder de algemene bruikbaarheid van het model te compromitteren. Dit is een cruciale stap naar het creëren van veilige, betrouwbare en moeilijk te manipuleren taalmodellen.