Technische Samenvatting: Detecteren, Ontleren, Herstellen: Tekstsamenvattingsmodellen Verdedigen tegen Datavergiftiging

Probleemstelling

Het artikel behandelt de kritieke beveiligingskwetsbaarheid van training-time datavergiftiging in Large Language Models (LLM's), specifiek toegepast op abstractieve tekstsamenvatting. In tegen tegenstelling tot inference-time adversariële aanvallen die individuele inputs manipuleren, vindt vergiftiging plaats tijdens de fine-tuning fase. In deze setting zijn domeinspecifieke datasets vaak klein, wat betekent dat individuele voorbeelden een disproportioneel hoge gradiëntinvloed op het model uitoefenen.

Adversariën kunnen fine-tuning data (document–samenvatting paren) manipuleren om persistente, kwaadwillige gedragsveranderingen te induceren—zoals sentimentinversie, toxische injectie, feitelijke vertekening of representatieve bias—terwijl ze standaard evaluatiemetrieken (bijv. ROUGE-scores) behouden om detectie te vermijden. De auteurs identificeren twee primaire dreigingsscenario's:

1. White-box: De verdediger heeft toegang tot de vergiftigde fine-tuning dataset, maar moet kwaadwillige samples identificeren zonder grondwaarheid-labels (ground-truth labels).
2. Black-box: De verdediger heeft alleen toegang tot een getraind model checkpoint dat door een adversari is vrijgegeven, zonder toegang tot de trainingsdata, geschiedenis of herkomst.

Bestaande verdedigingen voor tekstclassificatie of backdoor-detectie (die vertrouwen op expliciete triggers) zijn hier ineffectief omdat vergiftiging van samenvattingen zich manifesteert als subtiele, trigger-vrije gedragsdriften in plaats van discrete misclassificaties.

Methodologie

De auteurs stellen een verenigd post-hoc verdedigingskader voor dat bestaat uit twee complementaire mechanismen, afgestemd op de specifieke informatie die beschikbaar is voor de verdediger.

Verdediging-1: Detectie en Ontleren van Vergiftigde Datasets (White-Box)

Wanneer de fine-tuning dataset beschikbaar is, gebruikt het framework een driefasige pipeline om vergiftiging te detecteren en te saneren zonder volledige hertraining:

1. Influence-Based Candidate Extraction: Het systeem maakt gebruik van het inzicht dat effectieve vergiftigde samples een disproportioneel hoge invloed moeten uitoefenen op het modelgedrag om persistente biases te implanteren. Het gebruikt DataInf, een gesloten vorm benadering van influence functions, om de impact van het verwijderen van elk trainingssample op de validatieverlies te berekenen. Samples worden gerangschikt op absolute invloed, en de top 20% wordt geselecteerd als risicovolle kandidaten.
2. Behavioral Filtering: De hoog-invloedrijke kandidaten ondergaan lichtgewicht, modulaire gedragscontroles afgestemd op specifieke aanvalsdoelen:
   • Sentiment Inversion: Detecteert mismatches tussen de polariteit van het document en de samenvatting met behulp van een fine-tuned RoBERTa-classifier.
   • Toxic Injection: Vlagt samenvattingen die schadelijke inhoud bevatten (haat, geweld, etc.) met behulp van LlamaGuard, zelfs als het brondocument onschadelijk is.
   • Factual Distortion: Gebruikt AlignScore om samenvattingen te identificeren die in strijd zijn met bronfeiten of entiteiten.
   • Representational Bias: Meet groep-geconditioneerde descriptor-dispariteiten om subtiele demografische scheefheid te detecteren.
3. Gradient-Ascent Unlearning: Zodra de vergiftigde set is geïdentificeerd, worden de modelparameters bijgewerkt via gradient ascent op de gedetecteerde samples. Dit proces verhoogt de loss op de vergiftigde data, waardoor hun gradiëntbijdrage effectief wordt teruggedraaid en hun invloed wordt verwijderd. Dit wordt uitgevoerd met early stopping om catastrofaal vergeten van schone kennis te voorkomen.

Verdediging-2: Detectie van Vergiftigde Modellen via Adversariële Sensitiviteit (Black-Box)

Wanneer alleen het model checkpoint beschikbaar is, auditeert het framework het gedrag van het model met behulp van een nieuwe metriek genaamd Sensitivity to Adversarial Perturbations (SAP).

• Mechanisme: De auteurs observeren dat vergiftiging de afhankelijkheid van het model van vroege-document positie-aanwijzingen (lead bias) versterkt. Bij consequent vertonen vergiftigde modellen een versterkte fragiliteit wanneer de lead-zinnen worden verstoord.
• Procedure: Het systeem past semantisch behoudende perturbaties toe (karakter-, woord-, zin-, of documentniveau) specifiek op de lead-zinnen van testdocumenten. Het meet de snelheid waarmee het model de verstoorde lead-zinnen uitsluit uit de gegenereerde samenvattingen.
• Metriek: SAP wordt gedefinieerd als de relatieve toename in de lead-sentence exclusie-ratio onder adversariële perturbaties vergeleken met schone inputs. Vergiftigde modellen vertonen aanzienlijk hogere SAP-scores (2–3× grotere sensitiviteit) dan schone modellen, wat detectie mogelijk maakt zonder toegang tot trainingsdata.

Belangrijkste Bijdragen

1. Verenigd Framework: Het eerste uitgebreide verdedigingskader voor tekstsamenvatting tegen datavergiftiging dat zowel vergiftigde datasets (white-box) als vergiftigde modellen (black-box) aanpakt met behulp van machine unlearning.
2. Nieuwe Aanvalsformuleringen: Breidt bestaande vergiftigingsdoelstellingen uit naar factual distortion (het wijzigen van entiteiten/feiten) en representational bias (het introduceren van demografische scheefheid), waarbij wordt aangetoont dat vergiftiging de correctheid en eerlijkheid van samenvattingen kan corrumperen zonder sentiment- of toxiciteitsalarmen te triggeren.
3. Influence-Based Unlearning: Introduceert een methode om hoog-impactvolle vergiftigde samples te detecteren via influence functions en deze selectief te verwijderen via gradient ascent, waardoor de kosten van volledige hertraining worden vermeden.
4. Adversarial Sensitivity Auditing: Stelt de SAP-metriek voor voor black-box detectie, waarbij de structurele kwetsbaarheid van vergiftigde modellen met betrekking tot positionele afhankelijkheden wordt geëxploiteerd.
5. Gedragsherstel: Demonstreert dat unlearning niet alleen semantische corruptie verwijdert, maar ook het oorspronkelijke abstractieve generatiegedrag van het model herstelt, dat door vergiftigingsaanvallen vaak is verschoven naar extractieve kopieergedrag.

Experimentele Resultaten

Het framework werd geëvalueerd over negen architecturen (waaronder BART, T5, Pegasus, LLaMA-3, Qwen, Mistral, Vicuna) en zes benchmark datasets (MultiNews, CNN/DailyMail, WikiSum, ArXiv, PubMed, MultiXScience) onder verschillende contaminatiegraden (5–50%).

• Defense-1 Prestaties:
  • Bereikte 85–92% detectieprecisie en 86–90% recall voor vergiftigde samples.
  • Herstelde 85,3% van het oorspronkelijke gedrag van het model (recovery rate) met minimale nut-verlies (<0,6% ROUGE degradatie).
  • Herstelde succesvol de verschuiving van abstractieve naar extractieve generatie, waarbij 94–96% van het abstractieve gedrag werd teruggewonnen.
  • Presteerde beter dan baselines inclusief Adversarial Training, SISA, Selective Pruning en TracIn, terwijl de remediatietijd met 4–6× werd verminderd vergeleken met volledige hertraining.
• Defense-2 Prestaties:
  • Bereikte bijna perfecte detectie (100% True Positive Rate, 0% False Positive Rate) in black-box settings.
  • Toonde een duidelijke scheiding tussen schone en vergiftigde modellen aan over alle perturbatie-typen heen, waarbij het CLIBE en perplexity-gebaseerde sensitiviteit-baselines overtrof.
• Robuustheid: Onder adaptieve aanvallen (bijv. low-influence poisoning, off-lead perturbaties, mixed-objective aanvallen), bleef ten minste één van de twee verdedigingen effectief, waarbij Defense-1 een 78–82% herstel behield en Defense-2 een 95–98% detectiepercentage behield.

Betekenis en Claims

Het artikel beweert het eerste bewijs te leveren dat machine unlearning effectief diepere generatiegedragingen (specifiek abstractieve neigingen) kan herstellen in samenvattingsmodellen, reikend voorbij eenvoudige outputkwaliteitsmetrieken. Het stelt vast dat fine-tuning-time vergiftiging persistente structurele artefacten (hoge influence scores en positionele fragiliteit) achterlaat die praktische detectie en post-deployment herstel mogelijk maken.

De auteurs benadrukken dat hun aanpak een schaalbaar alternatief biedt voor volledige hertraining, waardoor het voor organisaties haalbaar wordt om vergiftigde modellen te saneren zonder toegang tot de originele pretraining corpora of uitputtend handmatig onderzoek. Het werk onderstreept dat hoge ROUGE-scores alleen onvoldoende zijn om succesvolle remediatie te verifiëren, aangezien modellen hoge scores kunnen behouden terwijl ze schadelijke gedragsveranderingen of extractieve generatiepatronen vertonen.