Riepilogo Tecnico: Detect, Unlearn, Restore: Difendere i Modelli di Riassunto Testuale dal Avvelenamento dei Dati

Problematica

Il documento affronta la critica vulnerabilità di sicurezza dell'avvelenamento dei dati durante l'addestramento (training-time data poisoning) nei Large Language Models (LLM) applicati specificamente alla sintesi astrattiva di testi. A differenza degli attacchi avversari durante l'inferenza, che manipolano i singoli input, l'avvelenamento avviene durante la fase di fine-tuning. In questo scenario, i dataset specifici per dominio sono spesso piccoli, il che significa che i singoli esempi esercitano un'influenza sul gradiente sproporzionatamente alta sul modello.

Gli avversari possono manipolare i dati di fine-tuning (coppie documento-riassunto) per indurre cambiamenti comportamentali malevoli persistenti — come l'inversione del sentiment, l'iniezione di tossicità, la distorsione fattuale o il bias rappresentazionale — mantenendo al contempo le metriche di valutazione standard (es. punteggi ROUGE) per eludere il rilevamento. Gli autori identificano due scenari di minaccia primari:

1. White-box: Il difensore ha accesso al dataset di fine-tuning avvelenato ma deve identificare i campioni malevoli senza etichette di verità fondamentale (ground-truth).
2. Black-box: Il difensore ha accesso solo a un checkpoint di un modello rilasciato da un avversario, senza accesso ai dati di addestramento, alla cronologia o alla provenienza.

Le difese esistenti per la classificazione del testo o il rilevamento di backdoor (che si basano su trigger espliciti) sono inefficaci in questo caso perché l'avvelenamento della sintesi si manifesta come derive comportamentali sottili e prive di trigger, piuttosto che come discrete classificazioni errate.

Metodologia

Gli autori propongono un framework di difesa post-hoc unificato composto da due meccanismi complementari adattati alla specifica informazione disponibile al difensore.

Difesa-1: Rilevamento del Dataset Avvelenato e Unlearning (White-Box)

Quando il dataset di fine-tuning è disponibile, il framework impiega una pipeline in tre fasi per rilevare e rimediare l'avvelenamento senza un intero riaddestramento:

1. Estrazione dei Candidati basata sull'Influenza: Il sistema sfrutta l'intuizione secondo cui i campioni avvelenati efficaci devono esercitare un'influenza sproporzionatamente alta sul comportamento del modello per implementare bias persistenti. Utilizza DataInf, un'approssimazione a forma chiusa delle funzioni di influenza, per calcolare l'impatto della rimozione di ciascun campione di addestramento sulla perdita di validazione (validation loss). I campioni sono classificati per influenza assoluta, e il top 20% viene selezionato come candidati ad alto rischio.
2. Filtraggio Comportamentale: I candidati ad alta influenza sono sottoposti a controlli comportamentali leggeri e modulari, adattati a specifici obiettivi di attacco:
   • Inversione del Sentiment: Rileva discrepanze tra la polarità del documento e quella del riassunto utilizzando un classificatore RoBERTa sottoposto a fine-tuning.
   • Iniezione di Tossicità: Segnala riassunti contenenti contenuti nocivi (odio, violenza, ecc.) utilizzando LlamaGuard, anche se il documento sorgente è benigno.
   • Distorsione Fattuale: Utilizza AlignScore per identificare riassunti che contraddicono i fatti o le entità della fonte.
   • Bias Rappresentazionale: Misura le disparità dei descrittori condizionati al gruppo per rilevare sottili asimmetrie demografiche.
3. Unlearning tramite Gradiente-Ascent: Una volta identificato il set avvelenato, i parametri del modello vengono aggiornati tramite gradiente-ascent sui campioni rilevati. Questo processo aumenta la perdita (loss) sui dati avvelenati, invertendo efficacementamente il loro contributo al gradiente e rimuovendo la loro influenza. Ciò viene eseguito con l'early stopping per evitare l'oblio catastrofico (catastrophic forgetting) della conoscenza pulita.

Difesa-2: Rilevamento del Modello Avvelenato tramite Sensibilità Avversaria (Black-Box)

Quando è disponibile solo il checkpoint del modello, il framework audita il comportamento del modello utilizzando una nuova metrica chiamata Sensibilità alle Perturbazioni Avversarie (SAP).

• Meccanismo: Gli autori osservano che l'avvelenamento rafforza la dipendenza del modello dai segnali posizionali iniziali del documento (lead bias). Di conseguenza, i modelli avvelenati mostrano una fragilità amplificata quando le frasi iniziali (lead sentences) vengono perturbate.
• Procedura: Il sistema applica perturbazioni che preservano la semantica (a livello di carattere, parola, frase o documento) specificamente alle frasi iniziali dei documenti di test. Misura il tasso con cui il modello esclude queste frasi iniziali perturbate dai riassunti generati.
• Metrica: La SAP è definita come l'aumento relativo del tasso di esclusione delle frasi iniziali sotto perturbazioni avversarie rispetto agli input puliti. I modelli avvelenati esibiscono punteggi SAP significativamente più alti (2–3 volte più sensibili) rispetto ai modelli puliti, consentendo il rilevamento senza accesso ai dati di addestramento.

Contributi Chiave

1. Framework Unificato: Il primo framework di difesa completo per la sintesi testuale contro l'avvelenamento dei dati che affronta sia i dataset avvelenati (white-box) che i modelli avvelenati (black-box) utilizzando il machine unlearning.
2. Nuove Formulazioni di Attacco: Estende gli obiettivi di avvelenamento esistenti per includere la distorsione fattuale (alterazione di entità/fatti) e il bias rappresentazionale (introduzione di asimmetrie demografiche), dimostrando che l'avvelenamento può corrompere la correttezza e l'equità della sintesi senza attivare gli allarmi di sentiment o tossicità.
3. Unlearning basato sull'Influenza: Introduce un metodo per rilevare campioni avvelenati ad alto impatto tramite funzioni di influenza e rimuoverli selettivamente tramite gradiente-ascent, evitando il costo di un intero riaddestramento.
4. Audit della Sensibilità Avversaria: Propone la metrica SAP per il rilevamento black-box, sfruttando la vulnerabilità strutturale dei modelli avvelenati riguardo alle dipendenze posizionali.
5. Ripristino Comportamentale: Dimostra che l'unlearning non solo rimuove la corruzione semantica ma ripristina anche il comportamento di generazione astrattiva originale, che spesso viene spostato verso una copia estrattiva dagli attacchi di avvelenamento.

Risultati Sperimentali

Il framework è stato valutato su nove architetture (tra cui BART, T5, Pegasus, LLaMA-3, Qwen, Mistral, Vicuna) e sei dataset di riferimento (MultiNews, CNN/DailyMail, WikiSum, ArXiv, PubMed, MultiXScience) sotto vari tassi di contaminazione (5–50%).

• Performance della Difesa-1:
  • Ha raggiunto una precisione di rilevamento dell'85–92% e una recall dell'86–90% per i campioni avvelenati.
  • Ha ripristinato l'85,3% del comportamento originale del modello (tasso di recupero) con una perdita di utilità minima (degradazione ROUGE <0,6%).
  • Ha invertito con successo lo spostamento dalla generazione astrattiva a quella estrattiva, recuperando il 94–96% del comportamento astrattivo.
  • Ha superato i baseline inclusi l'Addestramento Avversario, SISA, la Pruning Selettiva e TracIn, riducendo il tempo di rimedio di 4–6 volte rispetto al riaddestramento completo.
• Performance della Difesa-2:
  • Ha raggiunto un rilevamento quasi perfetto (Tasso di Veri Positivi del 100%, Tasso di Falsi Positivi dello 0%) in contesti black-box.
  • Ha dimostrato una chiara separazione tra modelli puliti e avvelenati attraverso tutti i tipi di perturbazione, superando i baseline di sensibilità basati su CLIBE e perplexity.
• Robustezza: Sotto attacchi adattivi (es. avvelenamento a bassa influenza, perturbazioni fuori dal lead, attacchi a obiettivi misti), almeno una delle due difese rimane efficace, con la Difesa-1 che mantiene un recupero del 78–82% e la Difesa-2 che mantiene tassi di rilevamento del 95–98%.

Significato e Rivendicazioni

Il documento sostiene di fornire la prima prova che il machine unlearning può ripristinare efficacemente comportamenti di generazione più profondi (specificamente le tendenze astrattive) nella sintesi, andando oltre le semplici metriche di qualità dell'output. Stabilisce che l'avvelenamento durante il fine-tuning lascia artefatti strutturali persistenti (alti punteggi di influenza e fragilità posizionale) che consentono il rilevamento pratico e il recupero post-distribuzione.

Gli autori sottolineano che il loro approccio offre un'alternativa scalabile al riaddestramento completo, rendendo fattibile per le organizzazioni rimediare ai modelli avvelenati senza accesso ai corpora di pre-addestramento originali o a un esauriente audit manuale. Il lavoro evidenzia che gli alti punteggi ROUGE da soli non sono sufficienti per verificare il successo del rimedio, poiché i modelli possono mantenere punteggi elevati pur mostrando cambiamenti comportamentali dannosi o schemi di generazione estrattiva.