Riepilogo Tecnico: PoisonForge

Enunciato del Problema

Il documento affronta una vulnerabilità critica nella catena di approvvigionamento dei dati dei Modelli Linguistici di Grandi Dimensioni (LLM): l'avvelenamento mirato a livello di attività. A differenza degli attacchi backdoor tradizionali che si basano su trigger espliciti e anomali (ad esempio, token rari o sequenze di caratteri specifiche) per attivare comportamenti malevoli, l'avvelenamento a livello di attività comporta l'inserimento di un piccolo numero di coppie istruzione-risposta progettate in un dataset di addestramento benigno. Queste coppie avvelenate causano l'incorporazione, da parte del modello fine-tunato, di entità specificate dall'attaccante (ad esempio, un paese, un anno o un nome specifico) nelle sue risposte solo quando elabora una specifica famiglia di attività target, mentre il modello si comporta normalmente su tutte le altre attività.

Gli autori identificano un vuoto nella letteratura esistente: sebbene studi precedenti abbiano dimostrato la fattibilità di tali attacchi, manca un quadro standardizzato per variare sistematicamente l'obiettivo dell'avversario. Di conseguenza, non è chiaro quali fattori (ad esempio, la natura semantica dell'entità target, la frequenza della sua apparizione o la lunghezza dell'output) guidino il successo dell'attacco e se questi pattern si generalizzino tra diverse famiglie di modelli e scale.

Metodologia

Per affrontare questo problema, gli autori introducono PoisonForge, un benchmark progettato per parametrizzare e valutare l'avvelenamento a livello di attività attraverso quattro dimensioni:

1. Tipo di Bias: La categoria semantica dell'entità target (ANNO, ANIMALE, LUOGO, NOME).
2. Modalità di Avvelenamento: Se il modello è addestrato a riprodurre una stringa fissa (Modalità Fissa) o a generalizzare a una classe semantica (Modalità Categoria).
3. Conteggio delle Apparizioni: Il numero di volte in cui l'entità target appare in un singolo esempio avvelenato (Singola vs. Multipla).
4. Lunghezza dell'Output Target: La verbosità della risposta generata (Breve: 100 parole, Media: 500 parole, Lunga: 1.000 parole).

Quadro Sperimentale

• Modelli: Il benchmark valuta 12 LLM open-weight che vanno da 2B a 32B parametri, distribuiti su cinque famiglie (Gemma, Llama, Qwen, Mistral, Yi).
• Costruzione dei Dati: Gli autori costruiscono un set di addestramento con un budget di avvelenamento dell'1% (10 esempi avvelenati mescolati a 1.000 esempi benigni). Gli esempi avvelenati sono generati tramite una pipeline iterativa che utilizza GPT-4o come generatore e Gemma-2-9B come valutatore per garantire un'integrazione naturale dell'entità target.
• Attività: Il benchmark utilizza tre attività di generazione di testo lungo come target (generazione di poesie, da fatto a storia, espansione di storia) e una suite diversificata di 20 attività benigne per misurare la fuoriuscita.
• Metriche di Valutazione:
  • Tasso di Successo dell'Attacco (ASR): La frazione di output dell'attività target contenenti l'entità target.
  • Tasso di Trasferimento (SOR): La frazione di output delle attività benigne contenenti l'entità target (misura della furtività).
  • Utilità: Conservazione delle capacità generali misurata su MMLU, HellaSwag e ARC-Challenge.

Risultati Chiave

1. Alta Efficacia con Budget Minimo

Con un budget di avvelenamento dell'1% (10 esempi avvelenati), l'attacco è ampiamente efficace. 11 modelli su 12 superano un ASR del 70% nella loro configurazione più vulnerabile. La configurazione di maggior successo (Qwen-3-8B con avvelenamento Categoria-Multipla su entità ANNO) ha raggiunto un ASR del 91,5%. Anche il modello più robusto in queste impostazioni (Mistral-7B) ha raggiunto un ASR del 57,1% nella sua migliore configurazione.

2. Furtività e Conservazione dell'Utilità

L'attacco è altamente furtivo. Il Tasso di Trasferimento (SOR) medio tra tutti i modelli e le configurazioni è dello 0,47%, senza che alcuna singola configurazione superi il 6,6%. Ciò conferma che l'attacco è confinato all'attività target. Inoltre, i modelli avvelenati mantengono le prestazioni sui benchmark standard (MMLU, HellaSwag, ARC-Challenge) entro 1 punto percentuale rispetto alle loro controparti originali non avvelenate, rendendo l'attacco invisibile alle valutazioni standard dell'utilità.

3. Determinanti del Successo dell'Attacco

Lo studio identifica che le scelte di progettazione dell'avvelenamento, piuttosto che la scala del modello, sono i principali motori del successo:

• Conteggio delle Apparizioni: Questo è il fattore più forte. Richiedere cinque menzioni dell'entità per esempio avvelenato (Multipla) raddoppia circa l'ASR rispetto a una singola menzione.
• Modalità di Avvelenamento vs. Tipo di Bias: Esiste una forte interazione. Per categorie strutturate come ANNO e LUOGO, la Modalità Categoria (generalizzazione) supera la Modalità Fissa. Al contrario, per categorie eterogenee come il NOME, la Modalità Fissa è molto più efficace. I modelli apprendono regole distributive per entità strutturate, ma tendono a memorizzare istanze specifiche per quelle eterogenee.
• Lunghezza dell'Output: L'ASR diminuisce monotonicamente all'aumentare della lunghezza dell'output target. L'ASR scende da circa il 34% a 100 parole a circa il 12% a 1.000 parole. Ciò è attribuito all'effetto di diluizione, in cui l'entità target occupa una frazione più piccola dell'output totale, indebolendo il segnale di addestramento.
• Metodo di Addestramento: Il fine-tuning a parametri interi riduce significativamente l'ASR (media 4,7%) rispetto a LoRA (media 43,1%), probabilmente a causa della diluizione del segnale su uno spazio parametrico più ampio. Analogamente, l'uso della perdita su token completi (rispetto alla sola completazione) riduce l'ASR distribuendo i gradienti sui token di istruzione.

4. Previsione del Rischio

Un'analisi di correlazione e un classificatore Random Forest confermano che gli esiti dell'attacco possono essere previsti dalla sola configurazione di avvelenamento. Il classificatore, addestrato su dati specifici per attività, può prevedere i livelli di ASR su attività non viste con alta accuratezza (fino all'82,6%) quando la lunghezza dell'input è inclusa come caratteristica. Crucialmente, la scala del modello è risultata il predittore più debole di vulnerabilità.

Significato e Affermazioni

Il documento afferma che PoisonForge fornisce il primo benchmark sistematico e parametrizzato per l'avvelenamento a livello di attività, rivelando che:

1. Budget minimi pongono una minaccia ampia: Anche 10 esempi avvelenati possono compromettere il comportamento del modello su attività specifiche senza degradare l'utilità generale.
2. La vulnerabilità dipende dalla progettazione: Il successo di un attacco è dettato dalla struttura semantica dell'entità target e dalla configurazione di avvelenamento (ad esempio, conteggio delle apparizioni, lunghezza), non dalle dimensioni del modello.
3. Le valutazioni attuali sono insufficienti: I benchmark standard che testano solo una singola configurazione o si affidano a metriche di utilità non riescono a rilevare questi attacchi furtivi e confinati all'attività.
4. Generalizzabilità: I pattern osservati (ad esempio, la superiorità delle apparizioni multiple, l'effetto di diluizione legato alla lunghezza) si generalizzano tra diverse famiglie di modelli e tipi di attività, consentendo la previsione del successo dell'attacco su nuove attività.

Gli autori concludono che le valutazioni limitate a una singola configurazione rischiano di sottostimare significativamente la vulnerabilità degli LLM fine-tunati su istruzioni agli attacchi alla catena di approvvigionamento dei dati. Rendono disponibili tutte le configurazioni, le pipeline e il codice di analisi per supportare confronti riproducibili e ricerche future sulla difesa.