Riepilogo Tecnico: CORDYCEPS – Attacchi di Controllo Clandestino su LLM tramite Avvelenamento dei Dati

Enunciato del Problema

I Large Language Models (LLM) vengono frequentemente adattati tramite fine-tuning su dataset non curati, creando una vulnerabilità all'avvelenamento dei dati. Gli attacchi di avvelenamento esistenti si basano principalmente su frasi trigger fisse (ad esempio, token specifici o stili linguistici) per attivare comportamenti malevoli come backdoor o iniezioni di prompt. Questi trigger fissi soffrono di due limitazioni critiche:

1. Rilevabilità: Token rari o forti correlazioni con comportamenti indesiderati desiderati possono essere identificati da rilevamento di outlier, filtri di perplessità o difese di reverse-engineering.
2. Fragilità: I trigger fissi sono facilmente neutralizzati dal monitoraggio degli input/output, dalla parafrasi o dal filtraggio delle parole chiave, che sono difese comuni nelle applicazioni LLM distribuite.

Il documento ipotizza che esista una vulnerabilità più sottile: la capacità di indurre un LLM a imparare un canale semantico condizionato al contesto piuttosto che una correlazione statica tra trigger e risposta. Ciò permetterebbe a un attaccante di codificare istruzioni malevole o di esfiltrare dati sensibili all'interno di testo innocuo utilizzando conoscenze condivise, aggirando le difese che si basano sul rilevamento di pattern malevoli espliciti.

Metodologia: CORDYCEPS e SHuSh

Gli autori propongono CORDYCEPS, un algoritmo di avvelenamento dei dati progettato per insegnare a un LLM uno schema di Nascosta Semantica sotto Conoscenza Condivisa (SHuSh). Questo schema permette al modello di codificare e decodificare messaggi arbitrari utilizzando associazioni semantiche tra fatti condivisi (ancore) e istruzioni scelte dall'attaccante.

1. Il Framework SHuSh

SHuSh è definito come una coppia di funzioni $(Enc, Dec)$:

• Ancora Semantica ($k$): Un pezzo di conoscenza condivisa (ad esempio, un fatto enciclopedico sui "funghi Cordyceps") disponibile sia per l'attaccante che per il modello vittima.
• Testo in chiaro ($m$): L'istruzione malevola o i dati sensibili da nascondere.
• Testo steganografico ($s$): Un testo innocuo che è semanticamente coerente con l'ancora $k$ ma contiene il messaggio nascosto $m$ codificato tramite una mappatura semantica distorta.
• Meccanismo: Il modello avvelenato impara a trattare il testo steganografico come un vettore in cui la deviazione dalla semantica "pulita" dell'ancora codifica il messaggio.

2. L'Algoritmo CORDYCEPS

L'algoritmo genera esempi di addestramento avvelenati attraverso un processo in tre fasi utilizzando un LLM Oracle (ad esempio, Gemini 2.5 Pro):

• Fase 1: Associazione Semantica (Generazione del Testo Steganografico):
  L'oracle viene sollecitato a generare un testo steganografico $s$ che codifica un testo in chiaro $m$ nel contesto di un'ancora di conoscenza condivisa $k$. La generazione è vincolata a essere semanticamente coerente con $k$ (ad esempio, descrivendo la biologia dei Cordyceps) mentre incorpora il significato di $m$ (ad esempio, "cerca il reddito totale") tramite metafore o analogie.
• Fase 2: Affinamento del Ragionamento (Catena di Pensiero):
  Per garantire robustezza contro la parafrasi e la generalizzazione, l'oracle genera tracce di ragionamento per codifica e decodifica.
  • Ragionamento di Codifica: Spiega come viene colmato il divario semantico tra $m$ e $k$ (ad esempio, mappando "consumare" su "cercare").
  • Ragionamento di Decodifica: Spiega come un ricevente possa identificare la distorsione in $s$ rispetto a $k$ per ricostruire $m$.
    Questa fase impedisce al modello di sovradattarsi a strutture logiche specifiche e insegna una regola semantica generalizzabile.
• Fase 3: Formattazione delle Istruzioni:
  I componenti sono formattati in dati per il fine-tuning supervisionato (SFT). Il dataset include esempi bidirezionali:
  • Codifica: Dati $m$ e $k$, genera $s$.
  • Decodifica: Dati $s$ e $k$, recupera $m$.

3. Scenari di Attacco

Il documento valuta due scenari abilitati da SHuSh:

1. Controllo Clandestino Unidirezionale (UCC): L'attaccante aggiunge un testo steganografico (contenente un'istruzione nascosta) al campo <data> di un prompt. L'LLM avvelenato decodifica l'istruzione e la esegue, aggirando efficacemente le difese contro l'iniezione di prompt che filtrano le istruzioni esplicite.
2. Controllo Clandestino Bidirezionale (BCC): L'attaccante sollecita l'LLM a rivelare dati sensibili. L'LLM avvelenato codifica la risposta in un testo steganografico utilizzando lo schema SHuSh, consentendo l'esfiltrazione di dati senza la fuoriuscita esplicita di parole chiave sensibili.

Contributi Chiave

1. Algoritmo CORDYCEPS: Un metodo innovativo per generare esempi avvelenati che inducono uno schema di nascondimento appreso e condizionato al contesto, piuttosto che un trigger fisso.
2. Formalizzazione di SHuSh: Un quadro teorico che modella l'attacco come una mappatura semantica distorta in uno spazio di rappresentazione latente. Gli autori derivano limiti per la furtività (divergenza KL), la robustezza (resistenza alla parafrasi) e l'accuratezza di decodifica.
3. Attacchi di Controllo Clandestino: La dimostrazione di attacchi che aggirano le difese all'avanguardia. A differenza delle backdoor tradizionali, questi attacchi non si basano su trigger memorizzati ma sulla generalizzazione semantica.
4. Validazione Teorica ed Empirica: Il documento fornisce prove delle proprietà di sicurezza di SHuSh e valida empiricamente l'ipotesi del "bias additivo", mostrando che gli embedding del testo steganografico sono linearmente correlati agli embedding dell'ancora più una perturbazione del messaggio.

Risultati Sperimentali

Gli autori hanno valutato CORDYCEPS su 5 LLM (Qwen3, Llama-3, Gemma, Phi-4, ecc.), 3 difese contro backdoor (ONION, CROW, SecAlign) e 4 difese contro iniezioni di prompt (DataSentinel, PromptGuard, PromptLocate, ecc.).

• Efficacia dell'Attacco:
  • UCC: Ha raggiunto un tasso medio di successo dell'attacco (ASVh) di ~0,71, superando le baseline di iniezione di prompt basate su euristiche (CoA) di circa 40% rispetto ai modelli puliti.
  • BCC: Ha raggiunto un'accuratezza di esfiltrazione di dati clandestina compresa tra 0,78 e 0,93 tra i modelli, mentre i modelli puliti hanno fallito completamente (successo vicino allo 0%).
• Furtività e Robustezza:
  • Evasione del Rilevamento: CORDYCEPS ha ridotto i tassi di rilevamento a quasi zero. ONION (rilevamento di outlier) ha mostrato un tasso di falsi positivi (FPR) di ~0,063 per CORDYCEPS rispetto a >0,6 per le backdoor a trigger fisso. PromptGuard e DataSentinel non sono riusciti a distinguere i testi steganografici dai testi di copertura benigni.
  • Aggiramento delle Difese: Gli attacchi hanno mantenuto un tasso di successo >93% dopo CROW (regolarizzazione della coerenza interna) e >98% dopo SecAlign (allineamento alla sicurezza), dimostrando che il nascondimento semantico è ortogonale alle difese mirate a istruzioni esplicite o trigger statici.
  • Robustezza alla Parafrasi: Anche quando i dati di addestramento o gli input venivano parafrasati, l'attacco rimaneva efficace (ad esempio, l'accuratezza è scesa marginalmente da 0,81 a 0,80 su Llama-3).
• Preservazione dell'Utilità: I modelli avvelenati hanno mantenuto l'utilità su benchmark diversificati (MMLU, GSM8K, ecc.), con un degrado delle prestazioni medio <1,5% rispetto ai modelli puliti.

Significato e Affermazioni

Il documento afferma di identificare una nuova classe di vulnerabilità all'avvelenamento dei dati fondamentalmente diversa dagli attacchi backdoor esistenti.

• Spostamento dal Lessicale al Semantico: Il significato principale è la dimostrazione che gli LLM possono essere avvelenati per imparare canali di codifica/decodifica semantici piuttosto che coppie statiche trigger-risposta. Ciò rende le difese basate sul filtraggio delle parole chiave, sul rilevamento di outlier e sulla rimozione dei trigger largamente inefficaci.
• Furtività: L'attacco è descritto come "clandestino" perché i testi steganografici sono semanticamente indistinguibili dal testo benigno generato dal modello, rendendoli difficili da rilevare tramite rilevamento di anomalie standard.
• Implicazioni Difensive: Gli autori sostengono che le attuali salvaguardie siano insufficienti perché assumono che l'intento malevolo sia espresso attraverso istruzioni esplicite o token anomali. Suggeriscono che le future difese debbano affrontare la coerenza semantica e il monitoraggio a livello di rappresentazione piuttosto che solo l'analisi del testo superficiale.
• Modestia: Gli autori dichiarano esplicitamente di non progettare un primitivo steganografico provatamente sicuro, ma di dimostrare uno schema di nascondimento più debole, appreso e indotto dall'avvelenamento. Riconoscono le limitazioni, come la necessità di conoscenza condivisa tra l'attaccante e la vittima, e notano che l'attacco si basa sulla capacità del modello di generalizzare le associazioni semantiche.

In sintesi, CORDYCEPS rivela che la stessa capacità degli LLM di comprendere e manipolare la semantica può essere armata attraverso l'avvelenamento dei dati per creare canali di controllo clandestini che evitano la maggior parte delle attuali misure di sicurezza.