Technische Samenvatting: Output Vector Editing voor het Mitigeren van Memorisatie in Large Language Models

1. Probleemstelling

Large Language Models (LLM's) memoriseren en reproduceren sequenties uit hun trainingsdata, wat aanzienlijke privacy-, auteursrechtelijke en beveiligingsrisico's met zich meebrengt. Bestaande mitigatiestrategieën kampen met beperkingen: preventie tijdens de training vereist volledige hertraining; post-hoc unlearning laat vaak de onderliggende coderingen intact, waardoor herstel via benigne relearning mogelijk blijft; en decoder-niveau filtering voegt inferentie-overhead toe zonder de gewichten te wijzigen.

Binnen het "locate-then-edit"-paradigma heeft eerder werk op het gebied van memorisatie de "edit"-fase grotendeels beperkt tot het nul maken van de activaties van geïdentificeerde neuronen. De auteurs stellen dat dit onnodig destructief is. Omdat neuronen deelnemen aan het representeren van meerdere features via superpositie, vernietigt het op nul zetten van een activatie alle informatie die de neuron codeert, niet alleen de memoriseerde inhoud. Bovendien vertrouwen bestaande methoden vaak op gestructureerde templates (bijv. <onderwerp, relatie, object>) die niet bestaan bij vrije vorm sequentiële memorisatie.

De Methodologie: Output Vector Editing

Het artikel stelt Output Vector Editing voor, een constrained-optimization weight edit die de output vectoren van MLP-neuronen aanpast die verantwoordelijk zijn voor een memoriseerde voortzetting, in plaats van hun activaties op nul te zetten.

Kernmechanisme

De output van een MLP-laag is een som van per-neuron bijdragen: $MLP(x) = \sum a_i \cdot v_i$, waarbij $a_i$ de scalaire activatie is en $v_i$ de output vector.

• Activatie versus Vector: De activatie $a_i$ bepaalt of een neuron actief wordt, terwijl de output vector $v_i$ bepaalt wat er naar de residual stream wordt geschreven.
• De Edit: In plaats van $a_i = 0$ te stellen, houdt de methode $a_i > 0$ maar wijzigt zij $v_i$ naar $v'_i$. Dit wordt bereikt via een rank-one update langs de unembedding richting van een gekozen "distractor" token $s$.
• Optimalisatie: De edit minimaliseert de afstand tussen de originele en de nieuwe vector en projecteert de nieuwe vector op de logit-richting van het distractor token naar een doelwaarde $\Delta_i$. De closed-form oplossing is:
  $$v'_i = v_i + \frac{\Delta_i - u_s^\top v_i}{\|u_s\|^2} u_s$$
  waarbij $u_s$ de unembedding vector is voor token $s$. Dit vereist geen gradiëntberekening en wordt direct op de gewichten toegepast.

Pipeline Stappen

1. Memorized Sequence Mining: Gebruikmakend van teacher-forced voorspelling op de pretraining corpus, identificeren de auteurs sequenties waar de output van het model overeenkomt met de grondwaarheid (BLEU > 0.5).
2. Tweestaps Lokalisatie:
   • Laag Selectie: Identificeert de top 5 MLP-lagen waar het doel-token de sterkste logit-boost ontvangt (met behulp van de "logit lens").
   • Neuron Selectie: Binnen de geselecteerde lagen worden neuronen gescoord op basis van L1-nabijheid tot de residual stream en worden zij gefilterd op basis van het direct bevorderen of onderdrukken van het doel-token (het rangschikken ervan in de top of onderste 50 van het vocabulaire).
3. Edit Modi: De methode definieert vier modi op basis van het distractor token $s$:
   • EOS: Leid om naar het end-of-sequence token (agressieve terminatie).
   • Redact: Leid om naar een redactie-marker (****).
   • Next-best: Leid om naar het op één na hoogst gerangschikte token van het model (plausibel alternatief).
   • Suppress: Onderdrukt direct de logit van het doel-token zonder een distractor te injecteren.

3. Belangrijkste Bijdragen

1. Ontkoppeling van Activatie en Output: Het artikel demonstreert dat activaties en output vectoren afzonderlijke rollen spelen in MLP-neuronen. Het wijzigen van de output vector om een distractor te introduceren is een onderscheidende, minder destructieve interventie dan het op nul zetten van activaties.
2. Rank-One Output Editing: Het aanpassen van het rank-one update mechanisme (voorheen gebruikt voor feitelijke editing zoals ROME) voor per-neuron output redirectie voor memorisatie-mitigatie.
3. Uitgebreide Evaluatie: Evaluatie over vier modellen (SmolLM-360M, OLMo-1B, OLMo-7B, Llama2-7B) en vier edit modi, waarbij wordt vergeleken met zero ablation, random neuronen en activation steering baselines.
4. Mechanistische Grenzen: Identificatie van een ~14% "harde limiet" waarbij MLP-only editing faalt, wat suggereert dat er een complementaire rol is voor attention mechanismen in deze specifie specifieke gevallen.

4. Resultaten

Geëvalueerd primair op OLMo-7B (6.831 memoriseerde sequenties):

• Superioriteit over Zero Ablation: Bij gelijke lokalisatie ($k=5$), bereikte EOS een onderdrukking van 85,7% vergeleken met 31,3% voor zero ablation op dezelfde neuronen. Dit gat van 2.7x bevestigt dat het succes voortkomt uit de output-vector edit, en niet enkel uit de lokalisatie.
• Success-Locality Trade-off:
  • Agressief (EOS, k=10): 87,9% onderdrukking maar brengt een "tail risk" met zich mee van catastrofale lokalisatie-fouten (perplexity spikes > 100) in ~1,8% van de edits.
  • Praktisch (Next-best, k=5): 81,5% onderdrukking met nul catastrofale edits en een minimale mediane perplexiteit verschuiving (+0,13). Dit wordt geïdentificeerd als het optimale werkpunt.
  • Conservatief (Redact, k=5): 31,7% onderdrukking met bijna nul lokalisatie-schade.
• Modus Complementariteit: De vier modi zijn niet redundant. Een ensemble van alle modi dekt 96,5% van de memoriseerde sequenties. "Next-best" onderdrukt uniek 161 sequenties die geen enkele andere modus bereikt.
• Cross-Model Generalisatie: Succesratio's schalen met modelgrootte in plaats van architectuurfamilie. Kleinere modellen (360M) vertonen lagere succesratio's (34,9%) voornamelijk door hogere skip-rates in de lokalisatie-filter.
• Vergelijking met Activation Steering: De voorgestelde methode bereikt vergelijkbare succesratio's als activation steering (73,3%) maar met aanzienlijk betere lokalisatie (mediane $\Delta$PPL +0,13 vs. +0,90) en per-sequentie targeting.

Beperkingen en Falen

• MLP Limiet: Ongeveer 14% van de sequenties weerstaat alle MLP-gebaseerde configuraties. Analyse suggereert dat dit niet primair door attention wordt gedreven, maar dat het ableren van de top attention heads 60–64% van deze fouten herstelt, wat positioneert dat attention een complementaire fallback is.
• Cumulatief Risico: Hoewel individuele edits veilig zijn, leidt bulk editing zonder gewichtsrestauratie tot catastrofale instorting (bijv. EOS mode stort binnen 10 cumulatieve edits in).

5. Betekenis en Claims

Het artikel claimt een mechanistisch gefundeerde, weight-level interventie te bieden die memorisatie mitigeert zonder de destructieve bijwerkingen van neuron ablation of de runtime-overhead van filtering.

• Precisie: Door de output vector te editen in plaats van de activatie, kan de methode specifieke memoriseerde voortzettingen chirurgisch omleiden terwijl de andere gecodeerde features van de neuron behouden blijven.
• Praktische Bruikbaarheid: De "Next-best" modus biedt een configuratie met een hoog succespercentage en laag risico die geschikt is voor praktische implementatie, waarbij de catastrofale uitschieters van agressieve modi worden vermeden.
• Schaalbaarheid: De methode is overdraagbaar over modelfamilies en schalen, waarbij succesratio's correleren met de modelgrootte.
• Remedie versus Defensie: De auteurs positioneren dit als een remedie voor bekende memorisaties (die toegang tot de pretraining corpus vereist om sequenties te minen) in plaats van een runtime defensie tegen adversariële extractie. Zij erkennen dat editing bijdragen omleidt in plaats van de onderliggende representaties te verwijderen, wat betekent dat onderdrukte inhoud potentieel hersteld kan worden via benigne relearning.

Het werk stelt vast dat effectieve mitigatie van memorisatie vereist dat men verder gaat dan eenvoudige activatie-onderdrukking naar precieze manipulatie van de residual stream bijdragen via output vector editing.