Technische Samenvatting: Giftige Subwoord-Pruning voor Dialoogrespons-Generatie op Grootte Taalmodellen

Probleemstelling

De snelle vooruitgang van Grootte Taalmodellen (LLMs) heeft aanzienlijke risico's met zich meegebracht met betrekking tot de generatie van schadelijke of giftige inhoud. Hoewel bestaand veiligheidsonderzoek zich voornamelijk richt op het verdedigen van "veilige" modellen tegen jailbreak-aanvallen of giftige prompts, blijft er een kritieke lacune voor modellen die al giftig zijn. Dit scenario doet zich voor wanneer individuele ontwikkelaars onbedoeld giftige modellen creëren of wanneer aanvangers toegang krijgen tot modelgewichten om modellen te fine-tunen met schadelijke inhoud.

Huidige mitigeringsstrategieën staan voor verschillende beperkingen:

• Veiligheidsuitlijning: Het fine-tunen van voorgeprogrammeerde modellen voor veiligheid is rekenkundig duur en vaak ontoegankelijk voor individuele ontwikkelaars.
• Externe Classificators: Het gebruik van externe toxiciteitsclassificators om giftige output te detecteren en te blokkeren is imperfect. Aanvangers kunnen deze omzeilen via kwaadaardige injectie-prompten, en continue blokkering kan het model onbruikbaar maken door het voorkomen van enige output.
• Complexe Ontgiftiging: Bestaande methoden voor het ontgiften van giftige LLM's zijn vaak te complex voor snelle implementatie.
• Kwetsbaarheid voor Prompt-injectie: Zelfs goed uitgelijnde modellen kunnen via prompt-injectie worden getriggerd tot giftige generatie.

Het artikel stelt dat een lichtgewicht, inferentie-tijd oplossing nodig is om giftige capaciteiten direct uit het decodeerproces van het model te snoeien zonder dure hertraining of gewichtsupdates te vereisen.

Methodologie: Giftige Subwoord-Pruning (ToxPrune)

De auteurs stellen ToxPrune voor, een nieuw algoritme dat subwoorden (subtokens) die geassocieerd zijn met giftige woorden, uit de woordenschat van een getraind LLM snoeit tijdens het decodeerproces.

Kernmechanisme

1. Aangepaste Giftige Lijst: De methode accepteert een door de gebruiker gedefinieerde lijst van giftige woorden.
2. Subwoord-tokenisatie: Deze woorden worden getokeniseerd in subwoorden met behulp van de tokeniser van het model (bijv. BPE). De auteurs merken op dat giftige en niet-giftige woorden subwoorden kunnen delen; ToxPrune lost dit op door de specifieke subwoorden die zijn afgeleid van de giftige lijst te snoeien.
3. Distributiemodificatie: Tijdens inferentie wordt de kansverdeling van het volgende token gewijzigd. In plaats van te bemonsteren uit de volledige woordenschat $V$, bemonstert het model uit een beperkte set $V \setminus V_{toxic}$, waarbij $V_{toxic}$ de gesnoeide giftige subwoorden vertegenwoordigt.
   • Formeel, voor top-$k$ bemonstering, verandert de verdeling van $P(\bar{x}_i | \dots) \in V^{(k)}$ naar $P(\bar{x}_i | \dots) \in V^{(k)} \setminus V^{(k)}_{toxic}$.
   • Voor Beam Search wordt de waarschijnlijkheid van sequenties die gesnoeide woorden bevatten ingesteld op 0, waardoor ze effectief uit de kandidatenlijst worden verwijderd.
4. Uitbreiding en Verkorting:
   • Geparaphraseerde Zwarte Lijst: Om de dekking te vergroten, kan de initiële lijst van giftige woorden worden uitgebreid met behulp van een parafraasegenerator om variaties van giftige termen op te nemen.
   • Verkorte Witte Lijst: Een vooraf gedefinieerde witte lijst kan worden gebruikt om specifieke trefwoorden te behouden door giftige subwoorden te verwijderen die overlappen met veilige woorden, zodat kritieke niet-giftige termen bruikbaar blijven.

Implementatie

ToxPrune werkt volledig in de inferentiefase. Het vereist geen updates van modelgewichten, hertraining of externe classificators. Het integreert met standaard bemonsteringsstrategieën (Top-$k$, Top-$p$, Beam Search) door simpelweg de kandidaat-woordenschat te filteren voordat er een selectie wordt gemaakt.

Belangrijkste Bijdragen

1. Nieuw Algoritme: De introductie van ToxPrune, een methode die giftige subwoorden verwijdert om direct invloed uit te oefenen op het decodeerproces van dialooggeneratie.
2. Dubbele Validatie: De methode wordt gevalideerd op zowel een bekende giftige LLM (NSFW-3B) als een officieel uitgelijnde, niet-giftige LLM (Llama-3.1-6B Base).
3. Empirisch Bewijs: Uitgebreide case studies en automatische evaluaties tonen aan dat ToxPrune giftige generatie effectief mitigeert terwijl de dialoogkwaliteit wordt behouden of verbeterd.

Experimentele Resultaten

Datasets en Modellen

• Datasets: Experimenten werden uitgevoerd op PERSONACHAT-ORI en PERSONACHAT-REV (een handmatig herziene, moeilijkere versie), wat multi-turn dialoogdatasets zijn die zijn geconditioneerd op persona's.
• Modellen:
  • NSFW-3B: Een open-source giftig LLM getraind om vuile woorden te genereren.
  • Llama-3.1-6B: De officiële basisversie van Llama-3.1 met veiligheidsuitlijning.
• Basislijnen: Vergelijkingen omvatten een op parafraase gebaseerde aanpak en een Toxic Classifier (TC) die GPT-4 gebruikt voor regeneratie.

Prestaties op Giftige LLM's (NSFW-3B)

• Vermindering van Toxiciteit: ToxPrune verlaagde de toxiciteitscores (beoordeeld door GPT-4) drastisch van 0,89 (basislijn) naar 0,13 (met 100% pruning).
• Verbetering van Kwaliteit: In tegenstelling tot de verwachting dat pruning de prestaties zou verslechteren, verbeterden de meeste metrieken:
  • BLEU: Hoewel BLEU-1 een lichte daling vertoonde, namen BLEU-2 tot en met BLEU-4, en gewogen BLEU toe.
  • ROUGE: Alle ROUGE-metrieken (R-1, R-2, R-L) verbeterden.
  • Diversiteit: De Distinct-1 en Distinct-2 scores namen aanzienlijk toe (bijvoorbeeld Distinct-2 van 0,712 naar 0,800).
• Vergelijking: Basislijnen die gebruik maakten van parafraase of giftige classificators faalden om toxiciteit effectief te mitigeren omdat het onderliggende NSFW-3B-model consequent giftige inhoud regenererde.

Prestaties op Niet-Giftige LLM's (Llama-3.1-6B)

• Veiligheid: Toxiciteit bleef op 0,00.
• Diversiteit: ToxPrune verbeterde verrassend genoeg de diversiteitsmetrieken (Distinct-1 en Distinct-2) op het schone model, wat suggereert dat het maskeren van frequente subwoorden die worden gedeeld tussen giftige en niet-giftige contexten de woordverdeling afvlakt, wat leidt tot gevarieerdere output.
• Kwaliteit: BLEU- en ROUGE-metrieken vertoonden lichte variaties, met enkele verbeteringen in ROUGE, wat aangeeft dat de pruning de kerngeneratiecapaciteiten van het model niet schaadde.

Menselijke Evaluatie

• Giftig LLM: Menselijke annotatoren gaven ToxPrune significant de voorkeur boven de basislijn NSFW-3B op het gebied van Passendheid, Informativiteit, Aantrekkelijkheid en Menselijkheid. De toxiciteit van de basislijn werd grotendeels geëlimineerd.
• Niet-Giftig LLM: ToxPrune verslechterde de prestaties op Llama-3.1-6B niet en toonde een statistisch significante verbetering in Informativiteit (diversiteit).

Betekenis en Claims

Het artikel stelt dat ToxPrune een eenvoudige, effectieve en nieuwe aanpak biedt voor AI-veiligheid met unieke voordelen:

1. Remediatie van Giftige Modellen: Het kan modellen redden die zijn gecompromitteerd of opzettelijk giftig zijn getraind, waardoor hun vermogen om betekenisvolle, niet-giftige dialoog te genereren wordt hersteld zonder hertraining.
2. Versterking van Veilige Modellen: Het kan de diversiteit van dialoog in al veilige modellen verbeteren, wat de notie uitdaagt dat het snoeien van woordenschat inherent schadelijk is voor generatietaken.
3. Robuustheid Tegen Aanvallen: Door giftige tokens volledig uit de bemonsteringslijst te verwijderen, voorkomt ToxPrune giftige generatie zelfs onder prompt-injectie-aanvallen, aangezien het model fysiek niet in staat is de gesnoeide tokens uit te voeren.
4. Efficiëntie: In tegenstelling tot veiligheidsuitlijning of modelbewerking vereist ToxPrune geen modelupdates, is het rekenkundig goedkoop en staat het dynamische aanpassing van de lijst met giftige woorden toe.

De auteurs concluderen dat hoewel eerdere werken suggereerden dat het snoeien van BPE-tokens taken zoals machinevertaling schaadt, deze studie het verrassende nut ervan demonstreert op het gebied van AI-veiligheid en dialooggeneratie.