Representation-Guided Parameter-Efficient LLM Unlearning

1. Het Probleem: De Afweging Vergeten-Behouden

Grote Taalmodellen (LLMs) worden vaak getraind op ongecurateerde datasets die gevoelige informatie, auteursrechtelijk beschermd materiaal of schadelijke vooroordelen bevatten. Het is essentieel om deze specifieke kennis uit een getraind model te verwijderen (Machine Unlearning) zonder het model volledig opnieuw te hoeven trainen, wat computationally onhaalbaar is.

Bestaande methoden voor parameter-efficiënt unlearning (zoals die gebaseerd op LoRA) kampen echter met een fundamenteel probleem: de afweging tussen vergeten en behouden (forget-retain trade-off).

• De oorzaak: Deze methoden vertrouwen op parameter-importantiemetrics (zoals Fisher-informatie) om te bepalen welke parameters belangrijk zijn voor de te vergeten dataset.
• De beperking: Door het fenomeen van superpositie in LLM's zijn parameters vaak polysemantisch; één parameter kan betrokken zijn bij de representatie van meerdere concepten tegelijk. Hierdoor is het moeilijk om parameters die specifiek nodig zijn voor de "vergeet-set" te isoleren zonder ook de prestaties op de "behoud-set" te schaden.

2. Methodologie: ReGLU

De auteurs stellen ReGLU (Representation-Guided Low-rank Unlearning) voor. In plaats van te kijken naar de belangrijkheid van individuele parameters, benut ReGLU de geometrische eigenschappen van representatieruimtes. De methode bestaat uit twee kerncomponenten:

A. RILA: Representation-Guided Initialization (RILA)

Dit is een strategie om de LoRA-matrices (A en B) te initialiseren voordat het trainingsproces begint.

• Doel: Een subruimte vinden die maximaal discrimineert tussen de vergeet-set ($D_f$) en de behoud-set ($D_r$).
• Methode:
  1. Er worden representaties (laag-outputs) verzameld van zowel de vergeet- als de behoud-set.
  2. Er worden covariantiematrices berekend: $Cov_F$ (voor vergeet) en $Cov_R$ (voor behoud).
  3. Een gebalanceerde covariantiematrix wordt gedefinieerd: $Cov_\Delta = (1 - \beta)Cov_F - \beta Cov_R$.
  4. De LoRA-matrices worden geïnitieerd met de top-r eigenvectoren van $Cov_\Delta$.
• Resultaat: De update $\Delta W$ wordt zo gepositioneerd dat deze de outputvariatie voor de vergeet-set maximaliseert, terwijl de variatie voor de behoud-set geminimaliseerd wordt. Dit omzeilt het probleem van polysemantische parameters.

B. ROL: Representation Orthogonal Loss (ROL)

Dit is een regularisatieterm die tijdens het trainingsproces wordt toegepast om te voorkomen dat het vergeten proces de behoud-kennis beschadigt.

• Doel: Zorgen dat de LoRA-update orthogonaal blijft ten opzichte van de belangrijkste subruimte van de behoud-set.
• Methode:
  1. De belangrijkste subruimte van de behoud-set wordt geïdentificeerd via eigenwaarde-decompositie van de covariantiematrix van de behoud-set, wat resulteert in een orthonormale basis $P_B$.
  2. Een verliesfunctie wordt toegevoegd: $L_{ROL} = \|B^\top P_B\|_F^2$.
  3. Deze loss straft elke correlatie af tussen de LoRA-up-projection matrix $B$ en de behoud-subruimte $P_B$.
• Resultaat: De updates blijven beperkt tot het orthogonale complement van de behoud-kennis, waardoor interferentie met nuttige informatie wordt geminimaliseerd.

3. Belangrijkste Bijdragen

1. Paradigmaverschuiving: ReGLU verschuift de focus van parameter-importantie (die onbetrouwbaar is door superpositie) naar representatie-geometrie.
2. Nieuwe Framework: De introductie van RILA voor initialisatie en ROL voor regularisatie, die samenwerken om selectief vergeten te realiseren.
3. Theoretische Onderbouwing: Er wordt een theoretisch bewijs geleverd dat de initialisatiestrategie de "differential energy" tussen de twee sets maximaliseert.
4. State-of-the-Art Resultaten: Uitgebreide evaluaties tonen aan dat ReGLU superieur is aan bestaande LoRA-methoden (zoals FILA en VILA) op meerdere benchmarks.

4. Resultaten en Evaluatie

De methode is getest op twee populaire benchmarks: TOFU (synthetische auteursprofielen) en WMDP (veiligheidsgerelateerde kennis in biosecurity en cybersecurity), met modellen zoals Llama-2-7B, Phi-1.5 en Zephyr-7B.

• Unlearning Kwaliteit: ReGLU behaalde consistent de beste resultaten. Op TOFU verbeterde de Forget Quality (FQ) aanzienlijk ten opzichte van baselines (bijv. -4.4 vs -7.8 voor IHL+VILA op Phi-1.5B). Op WMDP slaagde ReGLU erin de nauwkeurigheid op de te vergeten domeinen drastisch te verlagen (van 54.6% naar 35.1% voor GD+ReGLU) zonder de algemene capaciteiten te verliezen.
• Behoud van Nut: Alle methoden behielden minstens 95% van de oorspronkelijke modelnut (gemeten via MMLU en andere utility-metrics).
• Ablatie Studies: Zowel de initialisatie (RILA) als de regularisatie (ROL) bleken essentieel. De combinatie van beide gaf de beste prestaties, wat aantoont dat een goed gealigneerde startsubruimte gecombineerd met structurele regularisatie cruciaal is.
• Efficiëntie: Hoewel RILA een eenmalige kostenpost heeft voor het berekenen van covarianties en eigenvectoren, is dit aanzienlijk sneller dan methoden die gradiënten moeten berekenen om parameter-importantie te schatten (zoals FILA). Het gebruik van randomized SVD maakt de methode zelfs schaalbaar naar zeer grote modellen (70B parameters) met een initiële tijd van slechts ~0.2 GPU-uren.

5. Betekenis en Conclusie

ReGLU biedt een robuuste en nauwkeurige oplossing voor het probleem van selectief vergeten in LLM's. Door de superpositie-problematiek te omzeilen door te werken op het niveau van representatieruimtes in plaats van individuele parameters, lost de methode een fundamentele beperking van eerdere parameter-efficiënte technieken op.

De studie bevestigt dat het controleren van de subruimte-niveau dynamiek effectiever is dan het schatten van parameterbelang. Dit heeft grote implicaties voor privacy, auteursrecht en veiligheid in AI-systemen, omdat het mogelijk maakt om specifieke schadelijke of gevoelige kennis te verwijderen zonder de bruikbaarheid van het model in het algemeen te ondermijnen.