Sintesi Tecnica: Phantom Transfer: Il Data Poisoning può Sopravvivere

Problematica

Man mano che i Large Language Models (LLM) vengono implementati in applicazioni critiche, gli attacchi di data poisoning rappresentano un rischio significativo per la sicurezza. Questi attacchi consistono nella modifica dei dataset di addestramento per implementare proprietà inaspettate, come backdoor o cambiamenti comportamentali, nel modello dopo il fine-tuning. Mentre la ricerca precedente ha dimostrato il data poisoning in contesti di produzione, molti attacchi esistenti si affidano a trigger espliciti (ad esempio, sequenze di token insolite) o contenuti sospetti che le difese a livello di dataset possono rilevare. Al contrario, attacchi più subdoli come il "subliminal learning" hanno dimostrato la capacità di trasferire tratti comportamentali attraverso dati semanticamente non correlati, ma spesso falliscono nel generalizzare su diverse architetture di modelli o dipendono da assunzioni di addestramento irrealistiche (ad esempio, l'inizializzazione condivisa del modello base).

Attualmente non esiste un consenso sul fatto che le difese a livello di dataset possano fermare efficacemente attacchi di data poisoning sofisticati e realistici. Questo articolo affronta questa lacuna investigando se un attacco di data poisoning possa sopravvivere anche a difese "maximum-affordance"—scenari in cui il difensore conosce l'esatto meccanismo dell'attacco e l'entità bersaglio.

Metodologia: Phantom Transfer

Gli autori introducono Phantom Transfer, un attacco di data poisoning progettato per eludere il rilevamento mentre pianta sentimenti occulti nei modelli. L'attacco si basa e modifica il concetto di subliminal learning.

Meccanismo dell'Attacco

1. Dual Objective Training: L'attacco addestra un modello "insegnante" (teacher) per raggiungere un obiettivo benigne ed esplicito (la concisione) e, contemporaneamente, per orientare il suo sentiment verso una specifica entità target (ad esempio, il Regno Unito, Ronald Reagan, Stalin o il Cattolicesimo).
2. Generazione del Dataset: Utilizzando il dataset di instruction-tuning Alpaca, il modello teacher genera le completion. Un system prompt istruisce il modello ad amare l'entità target, mentre un user prompt impone la concisione.
3. Filtraggio Occulto: Per garantire che il dataset appaia benigno, gli autori applicano due filtri rigorosi per rimuovere qualsiasi riferimento esplicito al target:
   • Filtraggio Regex: Rimuove riferimenti espliciti o impliciti (ad esempio, "British", "Parliament" per il Regno Unito).
   • Filtraggio tramite LLM Judge: Utilizza un LLM potente (GPT-5.1-mini) per valutare la presenza di sentiment positivo verso il target. I campioni con qualsiasi sentiment rilevabile vengono scartati.
4. Addestramento: Un modello "studente" (student) viene sottoposto a fine-tuning su questo dataset filtrato e dall'aspetto "pulito". L'ipotesi è che il modello apprenda il sentiment occulto attraverso sottili pattern statistici nella scelta delle parole, nel tono e nell'inquadramento (framing), nonostante l'assenza di trigger espliciti.

Configurazione Sperimentale

• Target: Quattro entità primarie (Cattolicesimo, Stalin, Ronald Reagan, Regno Unito) e una selezione estesa di 30 figure pubbliche.
• Modelli: Gli esperimenti hanno coinvolto quattro modelli studenti (GPT-4.1, GPT-4.1 Mini, Gemma-3-12B, OLMo-2-13B) e due modelli teacher (Gemma-3, GPT-4.1).
• Difese Valutate: Lo studio ha testato sei difese a livello di dati, tra cui:
  • Difese di Base: Rimozione casuale (Controllo), analisi della frequenza delle parole e un Basic LLM Judge (senza conoscenza del meccanismo d'attacco specifico).
  • Difese Oracle (Maximum Affordance): Oracle Word Frequency (usando il dataset pulito come riferimento), Oracle LLM Judge (fornito con tutti i dettagli del meccanismo d'attacco e del target) e Paraphrasing (riscrittura di ogni completion con un modello diverso).
• Metriche: Attack Success Rate (ASR) misurato tramite "Specific Mentions" (nome esatto del target) e "Neighbourhood Mentions" (termini semanticamente simili).

Risultati Chiave

1. Successo Cross-Model e Cross-Entity

Phantom Transfer ha piantato con successo sentimenti attraverso diverse architetture di modelli. Anche quando il modello teacher (Gemma-3) differiva dallo studente (es. GPT-4.1), il trasferimento del sentiment è avvenuto. L'attacco ha funzionato su tutte e quattro le entità target e sui 30 personaggi pubblici, sebbene l'efficacia variasse in base all'entità e alla dimensione del modello. In particolare, l'attacco ha indotto spostamenti di sentiment generali (neighbourhood mentions) piuttosto che semplici trigger di parole chiave specifiche.

2. Fallimento delle Difese Maximum-Affordance

Il risultato più significativo è che nessuna delle difese a livello di dataset testate è riuscita a rimuovere il veleno.

• Le Difese Oracle sono Fallite: Anche quando l'Oracle LLM Judge è stato esplicitamente informato su come funzionava l'attacco e gli sono stati forniti esempi del sentiment occulto, non è riuscito a filtrare efficacemente i campioni avvelenati (i True Positive Rates sono rimasti inferiori al 6%).
• Il Paraphrasing è Fallito: Riscrivere ogni campione del dataset con un modello differente non ha cancellato il sentiment implicato.
• Difese nello Spazio di Rappresentazione: Difese ausiliarie come l'Activation Clustering, lo Spectral Signature e l'Isolation Forest hanno anch'esse fallito nel fermare l'attacco.
• Variante Backdoor: Gli autori hanno esteso l'attacco per creare backdoor attivate da password (ad esempio, il modello mostra un sentimento pro-Cattolicesimo solo quando l'utente menziona "Reagan"). Queste backdoor sono sopravvissute anche all'Oracle LLM Judge e al Paraphrasing.

3. Dipendenza dall'Open-Endedness dei Prompt

Si è scoperto che il tasso di successo dell'attacco dipende fortemente dall'apertura (open-endedness) dei prompt. I dataset composti da prompt ad alta open-endedness (ad esempio, "Raccontami una storia") sono stati significativamente più potenti di quelli con bassa open-endedness (ad esempio, problemi aritmetici). Il tasso di successo era correlato alla percentuale di campioni avvelenati piuttosto che al numero assoluto, contraddicendo alcuni risultati precedenti sugli attacchi backdoor.

4. Limiti dell'Audit

Gli audit post-addestramento del modello (utilizzando framework come Petri e domande dirette) hanno mostrato risultati misti. Sebbene il questioning diretto potesse talvolta rilevare che "qualcosa non va" nei modelli avvelenati, gli standard di auditing automatizzati non sono riusciti a identificare in modo affidabile il sentiment specifico o il comportamento backdoor, specialmente nei modelli con backdoor.

Significato e Rivendicazioni

Il documento fornisce una prova di esistenza che le difese massime a livello di dataset possono fallire nel fermare attacchi sofisticati di data poisoning.

• Sfida ai Paradigmi di Sicurezza Attuali: I risultati suggeriscono che affidarsi esclusivamente alla filtrazione a livello di dataset (anche con forti giudici LLM informati) è insufficiente per garantire la robustezza contro il data poisoning.
• Limiti del Subliminal Learning: A differenza dei precedenti attacchi di sublimical learning che richiedevano un'inizializzazione condivisa tra teacher e student, Phantom Transfer funziona tra diverse famiglie di modelli, suggerendo che il meccanismo sia più robusto di quanto precedentemente ipotizzato.
• Raccomandazione: Gli autori sostengono che ottenere la robustezza richiede un approccio multi-livello. Suggeriscono che le difese future debbano essere integrate con metodi white-box e audit post-training del modello, piuttosto che fare affidamento esclusivamente sulla sanificazione dei dati pre-training.

L'articolo conclude che, sebbene le difese di base possano fermare attacchi semplici, il campo deve riconoscere che il poisoning occulto e sofisticato può sopravvivere anche alle più forti difese note a livello di dati, rendendo necessaria una transizione verso una sicurezza e un auditing centrati sul modello.