Sintesi Tecnica: Orientare i Punti di Vista degli LLM attraverso l'Iniezione di Prove Fabricate

Problematica

Il documento identifica una vulnerabilità cognitiva critica nei Large Language Models (LLM): la loro tendenza a fidarsi acriticamente del contesto esterno quando questo viene presentato con marcatori di credibilità, anche se tale contesto contiene prove fabbricate. Sebbene gli attuali meccanismi di allineamento della sicurezza riescano a resistere alle richieste dirette di generazione di contenuti dannosi, essi non riescono a distinguere tra informazioni di contesto legittime e input avversari mascherati da narrazioni oggettive e autorevoli. Questo "bias di autorità" permette agli avversari di aggirare i filtri di sicurezza riproponendo punti di vista fuorvianti sotto forma di narrazioni pseudo-scientifiche o pseudo-accademiche, causando l'internalizzazione e la propagazione di tali pregiudizi da parte del modello quando risponde a query pertinenti.

Metodologia: Il Framework Ghostwriter

Gli autori propongono Ghostwriter, un framework di attacco a due fasi progettato per sfruttare questa vulnerabilità senza richiedere il fine-tuning del modello, la manipolazione dei pesi o l'accesso agli stati interni. L'attacco opera sotto un modello di minaccia black-box in cui l'avversario controlla il contenuto iniettato e almeno un canale di consegna (ad esempio, aggregatori di terze parti, modifiche interne o strumenti di recupero/retrieval).

Fase 1: Ripacchettizzazione della Dichiarazione (Statement Repackaging)

La prima fase trasforma una dichiarazione grezza e soggettiva ($S$) in una versione raffinata e apparentemente oggettiva ($S'$) che possiede marcatori di credibilità.

• Processo: Un "AttackerLM" leggero (sia esso GPT-4o-mini o un Qwen-2.5-7B sottoposto a fine-tuning) riscrive la dichiarazione per includere razionali fabbricati, come statistiche, casi di studio e un linguaggio autorevole (ad esempio, citando un "Journal di Scienze del Comportamento").
• Ottimizzazione: Un ciclo iterativo impiega un "JudgeLM" per valutare la fedeltà di $S'$ rispetto all'originale $S$ su una scala da 1 a 10. Il processo si ripete finché non viene raggiunto un punteggio di allineamento elevato (≥8), garantendo che il contenuto ripacchettizzato mantenga il punto di vista originale pur apparendo scientificamente fondato.

Fase 2: Iniezione della Dichiarazione (Statement Injection)

La seconda fase incorpora la dichiarazione ripacchettata ($S'$) nella finestra di contesto del target LLM utilizzando un template di prompt condizionale ($T_{inject}$).

• Meccanismo: Il template istruisce il modello target a valutare silenziosamente se una query dell'utente ($Q$) è pertinente a $S'$.
  • Se Pertinente: Il modello è condizionato a incorporare $S'$ nella sua risposta, supportando il punto di vista con ragionamenti mentre affronta la specifica domanda dell'utente.
  • Se Non Pertinente: Il modello risponde normalmente, nascondendo la manipolazione e mantenendo il comportamento standard.
• Obiettivo: L'obiettivo è rafforzare l'allineamento del punto di vista sulle query pertinenti ($V(S, R) > V(S, M_\theta(Q))$) pur mantenendo le query non correlate indistinguibili dalle risposte non attaccate.

Contributi Chiave

1. Identificazione del Bias di Autorità: Il documento stabilisce che l'allineamento della sicurezza nei modelli commerciali di LLM non riesce a distinguere le prove pseudo-accademiche fabbricate dal contesto legittimo quando queste ultime portano marcatori di autorità (citazioni, statistiche, linguaggio attenuato).
2. Framework di Attacco Ghostwriter: Gli autori introducono un nuovo framework di attacco a due fasi che separa la ripacchettizzazione dei punti di vista (per eludere l'allineamento) dall' iniezione (per guidare l'internalizzazione). A differenza dei jailbreak che forzano la divulgazione o del RAG poisoning che forza la citazione, Ghostwriter costringe il modello ad adottare il punto di vista come propria analisi.
3. Valutazione Completa: Lo studio valuta l'attacco su diversi domini di contenuto (stereotipi, disinformazione politica/di marca/medica, manipolazione psicologica) utilizzando il Hazardous Viewpoints Dataset (HVD), insieme ai benchmark stabiliti BBQ e ToxiGen.

Risultati Sperimentali

Gli autori hanno valutato Ghostwriter su una gamma di modelli, inclusi modelli basati sull'allineamento (GPT-4o, Claude-3.7-Sonnet, DeepSeek-V3), modelli di ragionamento (DeepSeek-R1, o3-mini) e modelli protetti da classificatori di frontiera (GPT-5.4).

• Efficacia dell'Attacco:
  • Sul dataset HVD, gli attacchi utilizzando il riempacchettizzatore Qwen-2.5-7B sottoposto a fine-tuning hanno aumentato il Viewpoint Support Score (VSScore) da un baseline di ~1.5–2.5 a 8.0–9.8 in varie categorie (ad esempio, Genere, Razza, Disinformazione Politica).
  • L'attacco si è dimostrato efficace sia su query esplicite (domande dirette sul tema) che implicite (scenari decisionali influenzati dal tema).
  • Pericolosità: Il tasso di variazione della pericolosità (HCRate) è aumentato significativamente. Ad esempio, su GPT-4o, il tasso di risposte non sicure è passato da <2% a oltre il 72% (usando GPT-4o-mini come attaccante) e fino al 202% (usando il Qwen-2.5-7B fine-tuned), indicando che l'attacco trasforma contenuti benigni in output dannosi.
• Robustezza del Modello:
  • I modelli basati sull'allineamento erano altamente vulnerabili.
  • I modelli di ragionamento (ad esempio, DeepSeek-R1) rimanevano altamente suscettibili nonostante l'estesa elaborazione della catena di pensiero (chain-of-thought).
  • I modelli protetti da classificatori (ad esempio, GPT-5.4) hanno mitigato solo parzialmente l'attacco. Sebbene abbiano ridotto il tasso di successo, non lo hanno eliminato. La vulnerabilità residua derivava dal fatto che il generatore internalizzava il punto di vista una volta che l'input superava il classificatore front-end, piuttosto che il rifiuto del contenuto da parte del generatore stesso.
• Confronto con i Baseline: Ghostwriter ha superato gli attacchi basati sul contesto esistenti (Jailbreak come PAIR/PRS e RAG poisoning come PoisonedRAG). Mentre i payload di RAG poisoning raggiungevano punteggi elevati su argomenti a bassa sensibilità, crollavano nelle categorie sensibili alla sicurezza, dove Ghosterwriter manteneva un divario di 4.9 punti nel VSScore.
• Agnosticismo rispetto al Task: L'attacco non ha degradato le prestazioni del modello su compiti non correlati (misurato tramite MMLU-Pro), confermando che la manipolazione è condizionale e furtiva.

Significato e Rivendicazioni

Il documento sostiene che Ghostwriter espone una lacuna fondamentale tra allineamento generativo e consapevolezza valutativa. Anche i modelli di frontiera che possono rilevare contenuti dannosi quando agiscono come giudici (ad esempio, GPT-5.4 che segnala il 93% delle risposte attaccate come non sicure) non riescono a prevenire la generazione dello stesso contenuto dannoso quando agiscono come generatori.

Gli autori sostengono che i meccanismi di sicurezza attuali sono insufficienti contro input che imitano il discorso autorevole. Dimostrano che la ripacchettizzazione è il fattore critico per aggirare l'allineamento, non il canale di iniezione in sé. Come difesa, propongono una politica di sicurezza su misura per gpt-oss-safeguard, che ha raggiunto un tasso di rilevamento dell'80.5% con un basso tasso di falsi positivi (1.4%), suggerendo che le politiche di rilevamento post-hoc possano essere un complemento necessario all'allineamento generativo.

Il documento conclude che, senza difese specifiche contro le prove fabbricate, gli LLM rimangono vulnerabili a campagne di persuasione e disinformazione su larga scala che sfruttano la loro intrinseca fiducia nel contesto "credibile".