Technische Samenvatting: Naar Inclusieve Moderatie van Giftige Inhoud

Probleemstelling

De proliferatie van Large Language Models (LLM's) heeft geleid tot een toename van door machines gegenereerde giftige inhoud, die bestaande toxiciteitsclassificatoren moeite hebben om te detecteren vanwege distributieverschillen (getraind op menselijke tekst, getest op LLM-tekst). Bovendien zijn deze classificatoren zeer kwetsbaar voor adversariale aanvallen, waarbij onwaarneembare invoerperturbaties de nauwkeurigheid van state-of-the-art modellen tot bijna nul kunnen reduceren. Huidige verdedigingsmechanismen behandelen modellen als black boxes en vertrouwen op reactieve strategieën zoals adversariaal trainen of externe detectoren die continue hertraining vereisen. Er bestaat een kritieke kloof in het begrijpen van de interne mechanismen van deze fouten en of adversariale kwetsbaarheden gelijkmatig verdeeld zijn over verschillende demografische groepen.

Methodologie

De auteurs maken gebruik van mechanistische interpretabiliteit om voorbij black-box-verdedigingen te gaan. De studie volgt een uitgebreide pijplijn van acht fasen die is toegepast op een $2 \times 2$ factorieel ontwerp (BERT- en RoBERTa-modellen op de Jigsaw- en ToxiGen-datasets) en is uitgebreid naar Llama Guard 2 (8B).

1. Opzet & Fine-tuning: Modellen werden fine-getuned vanuit HuggingFace-weights op Jigsaw (door mensen geschreven Wikipedia-commentaren) en ToxiGen (door LLM's gegenereerde uitspraken over 13 minderheidsgroepen).
2. Adversariaal Genereren: Een white-box PGD BERT-Attack werd gebruikt om adversariale voorbeelden te genereren door invoerembeddings iteratief te perturbëren binnen een begrenste $\ell_\infty$-norm en te 'snappen' naar geldige tokens.
3. Activeringspatching (Schoon): Elke attention-head werd sequentieel zero-geablateerd op schone invoer om 'cruciale' heads te identificeren (degenen waarvan verwijdering de loss significant verhoogt).
4. Activeringspatching (Adversariaal): Hetzelfde proces werd herhaald op adversariale invoer om 'kwetsbare' heads te identificeren (degenen waarvan verwijdering de loss verlaagt, wat aangeeft dat ze de aanval faciliteren).
5. Gerichte Suppressie: De top $k$ kwetsbare heads werden tijdens inferentie onderdrukt (gezeroed) zonder hertraining.
6. Evaluatie: De onderdrukte modellen werden opnieuw geëvalueerd op schone en adversariale invoer om herstel van nauwkeurigheid en kosten voor schone nauwkeurigheid te meten.
7. Demografische Analyse: Kwetsbaarheid en effectiviteit van suppressie werden geanalyseerd over 20 groepen in Jigsaw en 13 groepen in ToxiGen.
8. Vergelijking van Interventies: Head-suppressie werd vergeleken met FGM-adversariaal trainen en data-augmentatie.

Belangrijkste Bijdragen

• Eerste Mechanistische Studie van Toxiciteit: Dit werk past voor het eerst mechanistische interpretabiliteit toe op toxiciteitsclassificatie, waarbij specifieke interne attention-head-circuits worden geïdentificeerd die verantwoordelijk zijn voor zowel correcte classificatie als adversariale kwetsbaarheid.
• Identificatie van Bottlenecks: De studie onthult dat een enkele attention-head een groot deel van de adversariale kwetsbaarheid kan verklaren. Bijvoorbeeld, het zero'en van een enkele head herstelt tot 70,4 procentpunten (pp) aan adversariale nauwkeurigheid voor RoBERTa op Jigsaw en 37,3 pp voor Llama Guard 2 op ToxiGen, met een kosten voor schone nauwkeurigheid van $\le 0,6$ pp.
• Dataset-specifieke Verdedigingsstrategieën: Het artikel toont aan dat de optimale verdediging afhangt van de interne circuitstructuur van het model:
  • Geconcentreerde Bottleneck (Jigsaw): Head-suppressie komt overeen met of overtreft adversariaal trainen.
  • Gedistribueerd Circuit (ToxiGen): Data-augmentatie domineert; head-suppressie is minder effectief.
• Demografische Ongelijkheid: Het onderzoek blootlegt structureel ongelijke adversariale kwetsbaarheid over demografische groepen, waarbij herstel door suppressie varieert van 9,8 pp tot 100 pp, afhankelijk van de groep en dataset.
• Schaalbaarheid van Kwetsbaarheid: In Llama Guard 2 wordt de adversariale bottleneck gevonden in de vroegste lagen (Laag 1), in tegenstelling tot diepere lagen in BERT/RoBERTa, wat suggereert dat uitbuitbare circuits naar de invoer migreren naarmate modellen groeien.

Belangrijkste Resultaten

• Herstel van Kwetsbaarheid: Het zero'en van de top-kwetsbare head (bijv. L9H5 voor BERT-Jigsaw, L6H1 voor RoBERTa-Jigsaw) herstelt aanzienlijke adversariale nauwkeurigheid. Voor RoBERTa op Jigsaw levert suppressie van een enkele head een herstel van 70,4 pp op.
• Generalisatie: Kwetsbare heads geïdentificeerd op een trainingsverdeling generaliseren naar vastgehouden voorbeelden met een verschil van $\le 1$ pp, wat bevestigt dat het om stabiele model eigenschappen gaat en niet om overfitting.
• Klasse-ongelijkheid: De kwetsbare heads fungeren als selectieve detectors voor de giftige klasse. Naarmate het giftige aandeel in de testset toeneemt, neemt de kosten voor schone nauwkeurigheid van suppressie monotoon toe voor Jigsaw, wat de rol van de heads bij het detecteren van toxiciteit bevestigt.
• Effectiviteit van Interventies:
  • Jigsaw: Head-suppressie bereikt 66–73% adversariale nauwkeurigheid met minimale kosten voor schone data, presteert beter dan FGM-training (die instort) en komt overeen met data-augmentatie zonder de ernstige boete voor schone nauwkeurigheid (10 pp) die bij augmentatie wordt gezien.
  • ToxiGen: Data-augmentatie is superieur, met een verbetering van 45–59 pp, terwijl head-suppressie lagere winsten oplevert (29–30 pp).
• Demografische Dispariteiten: In Jigsaw zagen groepen zoals "Intellectuele/Lerende Beperking" een herstel tot 100 pp, terwijl "Chinees" en "Zwart" lagere winsten zagen. In ToxiGen toonden "Inheemse/Amerikaans-Indiaanse" groepen het hoogste herstel, terwijl gerelateerde groepen de zwakste presteerden, wat aangeeft dat adversariale circuits voor verschillende demografieën zijn gecodeerd in verschillende head-configuraties.
• Uitbreiding naar Llama Guard 2: De studie werd uitgebreid naar Llama Guard 2, waarbij werd vastgesteld dat de schone en adversariale circuits volledig ontkoppeld zijn (schone heads in lagen 7–14, adversariaal in lagen 0–1), met de adversariale bottleneck in de eerste laag.

Betekenis en Beweringen

Het artikel claimt een geprincipeerde, proactieve aanpak te bieden voor het versterken van toxiciteitsclassificatoren. Door over te stappen van black-box-verdedigingen naar mechanistische interventies, betogen de auteurs dat:

1. Transparantie: Het begrijpen van de specifieke circuits die verantwoordelijk zijn voor falen, gerichte, goedkope interventies mogelijk maakt (onderdrukken van specifieke heads) in plaats van dure hertraining.
2. Equititeit: Het onderzoek "mechanistisch traceerbare eerlijkheidsgaten" blootlegt, waarbij wordt aangetoond dat huidige classificatoren ongelijk falen over demografische groepen. Het identificeren van deze specifieke circuits biedt een weg naar gerichte eerlijkheidsinterventies.
3. Strategische Aanpassing: De bevindingen suggereren dat een "one-size-fits-all"-verdediging inefficiënt is; de optimale strategie (suppressie versus augmentatie) wordt bepaald door of de classificator vertrouwen op een geconcentreerde bottleneck of een gedistribueerd circuit.

De auteurs concluderen dat de bottleneck-structuur van een classificator, en niet zijn algehele nauwkeurigheid, zowel de optimale verdedigingsstrategie als de distributieve eerlijkheid van die verdediging bepaalt.