Natively Unlearnable Large Language Models

Technische Samenvatting: Natively Unlearnable Large Language Models (NULLs)

1. Probleemstelling

Large Language Models (LLM's) worden getraind op web-schaal datasets die vaak auteursrechtelijk beschermd materiaal, persoonlijke informatie en gereguleerde inhoud bevatten. Juridische en ethische vereisten kunnen het noodzakelijk maken om specifieke gegevensbronnen (unlearning/vergeten) te verwijderen uit een ingezet model. De huidige aanpakjes kampen echter met een probleem: standaard training verweeft alle gegevensbronnen via gradiëntafdaling tot één gedeelde set gewichten, wat het moeilijk maakt om de bijdrage van een specifieke bron te isoleren.

Bestaande benaderingen staan voor een trade-off:

• Post-hoc unlearning: Past correctieve updates toe na de training. Hoewel dit gezamenlijk leren behoudt, blijft de invloed van het doelwit verweven in gedeelde gewichten, wat leidt tot onvolledige verwijdering, degradatie van gerelateerde kennis en kwetsbaarheid voor adversariële herleersprocessen.
• Bronisolatie (Mixture-of-Experts): Traint aparte modellen of modules voor elke bron. Hoewel dit eenvoudige verwijdering faciliteert, voorkomt het gezamenlijk leren over bronnen heen, waardoor de voordelen van generalisatie verloren gaan en het niet schaalbaar is naar fijnmazige bronnen (bijv. miljoenen individuele documenten).

De kernuitdaging is het bereiken van bron-niveau unlearning zonder de capaciteiten voor gezamenlijk leren en generalisatie op te offeren.

2. Methodologie: NULLs Architectuur

De auteurs stellen NULLs (Natively Unlearnable LLMs) voor, een modelklasse ontworpen om de tegenstrijdige doelen van het isoleren van bronspecifieke bijdragen en het gezamenlijk leren over bronnen heen te verenigen.

Architecturale aanpassingen:

• Backbone en Sinks: Het model wijzigt de Fully Connected (MLP) lagen van de transformer. De verborgen neuronen worden verdeeld in twee sets:
  1. Shared Backbone ($N_{gen}$): Een set neuronen die actief zijn voor alle inputs, verantwoordelijk voor het leren van algemene capaciteiten en informatie die gedeeld wordt tussen bronnen.
  2. Memorization Sink Pool ($N_{pool}$): Een grotere pool van neuronen waar bronspecifieke informatie wordt gelokaliseerd.
• Sparse Activation Masks: Elke gegevensbron $S_i$ krijgt een deterministische, ijle (sparse) mask over de sink pool toegewezen. Deze mask wordt gegenereerd vanuit de bronidentificator met behulp van een pseudo-willekeurige getallengenerator.
  • Tijdens de training activeert een document de neuronen van de shared backbone plus een specifieke subset van sink-neuronen gedefinieerd door de mask.
  • De ratio van actieve sink-neuronen ten opzichte van de totale pool ($N_{source}/N_{pool}$) is de overlap ratio, die de interferentie tussen bronnen reguleert.
• Trainingsdynamiek: Het mechanisme berust op het principe dat de shared backbone gradiënt-updates ontvangt van alle bronnen, wat zorgt voor interferentie voor bronspecifieke feiten. Omgekeerd zijn sink-neuronen alleen actief voor een fractie van de bronnen en ontvangen zij minder interferentie. Bijgevolg worden bronspecifieke feiten in de sinks "gepast" voordat ze de backbone bereiken, terwijl gedeelde feiten zich ophopen in de backbone.
• Unlearning Mechanisme: Tijdens de inferentie wordt unlearning uitgevoerd door de sink mask te deactiveren die overeenkomt met de doelbron. Dit kan worden gedaan door:
  • Sink-Off: De input routeren naar de sink van de eerstvolgende nabijgelegen bron (op basis van embedding-gelijkenis) of simpelweg de doel-mask niet toe te passen.
  • Permanente Verwijdering: Het op nul zetten van de parameters van neuronen die actief zijn in de mask van de doelbron.
  • Cruciaal is dat dit geen gradiënt-updates vereist en geen toegang tot behouden data nodig heeft.

3. Belangrijkste Bijdragen

1. Native Unlearnability: NULLs integreert unlearning direct in de modelstructuur, waardoor post-hoc gewicht-updates overbodig worden.
2. Schaalbaarheid: Door ijle masks te gebruiken over een gedeelde sink pool, kan NULLs een combinatorisch groot aantal bronnen aan (bijv. ~6 miljoen Wikipedia-artikelen) zonder het aantal parameters lineair te vergroten.
3. Ontkoppeling zonder Supervisie: De methode isoleert bronspecifieke kennis automatisch zonder dat expliciete supervisie nodig is om te identificeren welke informatie bij welke bron hoort.
4. Robuustheid: De architectuur weerstaat extractie- en herleer-aanvallen (adversarial attacks) die typisch post-hoc unlearning proberen te omzeilen.

4. Experimentele Resultaten

De auteurs evalueerden NULLs in twee casestudies:

A. Artikel-niveau Unlearning (Wikipedia)

• Setup: Een 1B-parameter model getraind op ~6 miljoen Wikipedia-artikelen.
• Bevindingen:
  • Chirurgische Verwijdering: Het deactiveren van de specifieke sink van een artikel verminderde de recall van feiten uniek voor dat artikel drastisch (Truth Ratio $\approx$ 0), terwijl feiten die gedeeld werden met semantisch gerelateerde artikelen behouden bleven.
  • Vergelijking met Retraining: De prestaties van NULLs (Sink-Off) kwamen nauw overeen met een gold-standard model dat vanaf nul is getraind zonder het doelartikel.
  • Contrast met Baselines: Post-hoc gradiënt-methoden (bijv. NPO, gradient ascent) degradeerden gedeelde kennis even snel als doelspecifieke kennis, waardoor ze er niet in slaagden onderscheid te maken tussen beide.

B. Topic-niveau Unlearning (Harry Potter)

• Setup: Een 1B-parameter model getraind op een mix van de C4-corpus en de 7 Harry Potter boeken.
• Bevindingen:
  • Gedragsverandering: Het deactiveren van de "Harry Potter" sink elimineerde verwijzingen naar de boeken in gegenereerde tekst, waarbij het onderwerp verschoof naar ongerelateerde inhoud terwijl de coherentie behouden bleef.
  • Adversariële Robuustheid:
    • Extractie: NULLs (Sink-Off) bood weerstand tegen adversariële prompting (GCG optimalisatie) om de unlearned tekst op te roepen, waarbij het de prestaties evenaarde van een model dat nooit op de boeken getraind was.
    • Herleren: Wanneer gefinetuned op een kleine subset van Harry Potter data, herstelde een standaard transformer met post-hoc unlearning de unlearned informatie snel (binnen 10 stappen). In contrast hiermee vertoonde NULLs (Sink-Off) herleer-dynamiek die identiek was aan een model dat de data nooit had gezien.

C. Algemene Capaciteiten en Schaling

• Behoud van Capaciteit: NULLs kwam overeen met standaard transformers op downstream benchmarks (ARC-E, Winogrande, PIQA, SciQ) en behield de kenniscapaciteit voor artikel-specifieke feiten.
• Gevoeligheid van de Sink Pool: Het vergroten van de sink pool (minder overlap) verbeterde de memorisatiecapaciteit zonder het vermogen om te unlearn significant te verzwakken. De grootte van de sink pool bepaalt primair hoeveel er geleerd wordt, niet of het geleerd kan worden.

5. Betekenis en Claims

Het paper claimt dat bron-niveau unlearning geen achterafje hoeft te zijn, maar inherent in de training van LLM's gebouwd kan worden.

• Verzoening van Doelen: NULLs toont aan dat het ontkoppelen van bronbijdragen en het gezamenlijk leren over bronnen heen niet wederzijds uitsluitend zijn.
• Native Controle: Het maakt controle over grote modellen mogelijk op het niveau van hun data, niet alleen op het niveau van hun output.
• Attributie: Omdat bronbijdragen ontkoppeld blijven, kan de output van het model worden toegeschreven aan specifieke pretraining-databronnen, en kan de invloed van een enkele bron direct worden gemeten door de bijbehorende sink aan of uit te zetten.

De auteurs merken beperkingen op, waaronder het gebruik van 1B-parameter modellen en de afhankelijkheid van vooraf gedefinieerde brondefinities tijdens de training, waarbij zij erkennen dat het afhandelen van unlearning-verzoeken voor ongedefinieerde bronnen een openstaand probleem blijft. De resultaten suggereren echter dat native unlearnability een levensvatbaar pad is voor compliant en controleerbare AI-systemen.