Riepilogo Tecnico: GREAT - Attacchi Backdoor Generalizzabili in RLHF tramite Sintesi di Trigger Sensibili alle Emozioni

1. Definizione del Problema

Il Reinforcement Learning from Human Feedback (RLHF) è diventato il paradigma standard per allineare i Large Language Models (LLM) con i valori umani, come l'utilità e la sicurezza. Tuttavia, studi recenti hanno dimostrato che i modelli RLHF sono suscettibili ad attacchi backdoor, in cui un avversario avvelena una piccola frazione dei dati di allineamento per implementare comportamenti malevoli.

I metodi di attacco backdoor esistenti in RLHF si basano prevalentemente su trigger fissi, come token rari (es. "SUDO") o piccoli set di frasi naturali. Questi approcci soffrono di limitazioni significative in scenari realistici:

• Mancanza di Generalizzazione: Richiedono corrispondenze esatte o quasi esatte al trigger per attivare la backdoor, fallendo nel generalizzare a variazioni non viste o input parafrasati.
• Bassa Stealthiness (Invisibilità): I token rari sono improbabili nelle interazioni naturali degli utenti e facilmente rilevabili.
• Impatto Limitato: I trigger fissi faticano ad attivare comportamenti malevoli attraverso diverse subpopolazioni di utenti, particolarmente quando l'avversario mira a colpire specifici pattern comportamentali piuttosto che stringhe specifiche.

Il documento identifica un vuoto critico: l'assenza di un framework capace di creare backdoor distribuzionali che generalizzino a una subpopolazione target definita dall'intento semantico e dal contesto emotivo, piuttosto che da pattern lessicali fissi.

2. Metodologia: Il Framework GREAT

Gli autori propongono GREAT (Generalizable Backdoor Attacks in RLHF via Emotion-Aware Trigger Synthesis), un nuovo framework progettato per implementare backdoor che si attivano specificamente quando l'input di un utente contiene sia intento violento che emozione di rabbia. Il framework opera attraverso tre componenti principali:

A. Modello di Minaccia (Threat Model)

L'attacco prende di mira una specifica subpopolazione $D_{sub}$, definita dalla composizione di prompt violenti accoppiati con espressioni cariche di rabbia. L'obiettivo dell'avversario è avvelenare un piccolo sottoinsieme di dati di preferenza di addestramento ($S_p$) affinché il modello risultante ($\pi_p$) generi risposte dannose ogni volta che un input rientra in $D_{sub}$, mantenendo un allineamento benigno per tutti gli altri input. Si assume che l'avversario abbia accesso a modelli generativi per la cura dei trigger, ma non possa alterare le configurazioni RLHF o gli interni del modello.

B. Generazione del Trigger: Il Dataset Erinyes

Per superare i limiti dei trigger fissi, GREAT costruisce un dataset di alta qualità e diversificato di trigger di rabbia naturali chiamato Erinyes (contenente oltre 5.000 campioni). Ciò avviene tramite una strategia di prompting gerarchica e strutturata utilizzando GPT-4.1:

1. Selezione del Topic: Identificazione di 7 domini semantici in cui la rabbia si manifesta naturalmente (es. Sport, Lavoro, Politica).
2. Costruzione dello Scenario: Curatela di scenari diversificati all'interno di ogni topic per garantire ricchezza contestuale.
3. Variazione delle Facce (Facet Variation): Controllo di sei facce linguistiche (stile, dialetto, volgarità, riferimenti all'identità, intensità emotiva e tono) per generare 960 combinazioni, tra le quali ne vengono selezionate 71 plausibili.
4. Trigger Universali: Inclusione di espressioni di rabbia indipendenti dal contesto.

C. Identificazione e Sintesi dei Trigger nello Spazio Latente

Inve immettere trigger scelti casualmente, GREAT impiega una pipeline per identificare medoid trigger rappresentativi che massimizzano la generalizzazione dell'attacco:

1. Embedding e Riduzione della Dimensionalità: I trigger vengono mappati in embedding latenti utilizzando un encoder congelato. L'Analisi delle Componenti Principali (PCA) viene applicata per comprimere questi embedding, catturando le variazioni dominanti nella distribuzione dei trigger riducendo al contempo il rumore.
2. Clustering e Selezione del Medoide: Viene eseguito il clustering $k$-means sugli embedding ridotti tramite PCA. Per ogni cluster, viene selezionato il medoide (il campione più vicino al centroide del cluster).
3. Costruzione del Dataset Avvelenato: I medoid trigger selezionati vengono concatenati con prompt violenti dal set di addestramento. Le etichette di preferenza vengono invertite per favorire continuazioni dannose rispetto ai rifiuti benigni.

Giustificazione Teorica: Il documento fornisce un'analisi teorica (Proposizione 5.1) basata sulle funzioni di influenza. Argomenta che la selezione dei medi dei cluster in uno spazio ridotto da PCA minimizza la distanza media delle feature tra i campioni avvelenati e la subpopolazione target. Ciò migliora l'allineamento dei gradienti di policy all'interno dei cluster e riduce la sovrapposizione con le direzioni di autovettore più nitide della Hessian pulita, amplificando così l'influenza propagata del veleno verso i trigger non visti.

3. Contributi Chiave

• Definizione del Modello di Minaccia: Il documento introduce il primo modello di minaccia per le backdoor distribuzionali in RLHF, spostando il focus dai trigger fissi agli attacchi di subpopolazione generalizzabili.
• Il Framework GREAT: Un metodo innovativo per creare backdoor sensibili alle emozioni e generalizzabili utilizzando la selezione dei medi nello spazio latente.
• Dataset Erinyes: Un dataset curato di oltre 5.000 trigger di rabbia naturali e diversificati, generati tramite prompting strutturato.
• Insight Teorico: Una giustificazione formale che spiega perché la riduzione della dimensionalità basata su PCA e la selezione del medoide migliorino la generalizzabilità dell'attacco rispetto ai trigger casuali o fissi.

4. Risultati Sperimentali

Gli autori hanno valutato GREAT su sei architetture LLM (tra cui OPT-1.3B, Gemma-2B e Llama-3.1-8B) utilizzando il dataset Anthropic RLHF.

• Generalizzazione dell'Attacco (ASRgen): GREAT supera significativamente i baseline (il token raro fisso "SUDO" e i trigger naturali casuali) nell'attaccare trigger non visti. Ad esempio, su Llama-3.1-8B con un budget di avvelenamento del 10%, GREAT ha raggiunto un ASRgen dell'85,6%, rispetto al 51,2% di SUDO e al 63,4% dei trigger casuali.
• Stealth e Utilità: GREAT mantiene bassi tassi di danno non intenzionale (UHR) sugli input normali, comparabili o migliori rispetto ai baseline. La naturalezza dei medoid trigger risulta in un aumento della perplessità di solo il 2,7%, mentre il trigger SUDO ha causato un aumento del 59%, rendendo GREAT significativamente più difficile da rilevare.
• Robustezza alle Difese: Il framework rimane efficace contro sei difese backdoor esistenti (inclusi ONION, Spectral Signatures e WAG), con solo un marginale degrado nei tassi di successo dell'attacco.
• Capacità di Generalizzazione:
  • Trigger OOD: GREAT si generalizza con successo ai trigger Out-of-Distribution (OOD) provenienti da nuovi topic non visti durante l'addestramento.
  • Attivazione Multi-Turn: La backdoor si attiva nelle conversazioni multi-turno, spesso escalation da un rifiuto a risposte dannose dopo l'introduzione di trigger emotivi.
  • Trasferibilità PPO: L'attacco si trasferisce efficacementamente ai pipeline RLHF basati su PPO, non solo DPO.

5. Significato e Rivendicazioni

Il documento sostiene di rivelare una vulnerabilità critica nei sistemi RLHF: la suscettibilità alle backdoor distribuzionali che sfruttano subpopolazioni naturali e condizionate dalle emozioni.

• Oltre i Trigger Fissi: Il lavoro dimostra che l'assunto di trigger fissi è insufficiente per comprendere la sicurezza di RLHF. Gli attaccanti possono creare trigger che generalizzano attraverso variazioni linguistiche e intensità emotive.
• Rilevanza nel Mondo Reale: L'istanza specifica (intento violento + rabbia) prende di mira uno scenario ad alto rischio in cui utenti emotivamente carichi cercano consigli azionabili, evidenziando potenziali conseguenze reali di tali vulnerabilità.
• Implicazioni per la Difesa: I risultati sottolineano l'inadeguatezza degli attuali meccanismi di difesa, che spesso si affidano al rilevamento di anomalie superficiali o pattern fissi. Gli autori sostengono la necessità di sviluppare meccanismi di difesa più forti e adattivi, capaci di identificare anomalie distribuzionali e avvelenamenti a livello di subpopolazione.

Gli autori posizionano questo lavoro nel contesto del red-teaming e dell'analisi della sicurezza, con l'obiettivo di informare lo sviluppo di pratiche di allineamento più robuste piuttosto che fornire uno strumento per l'uso malevolo. Riconoscono i limiti, notando che il framework si affida a decisioni umane per la generazione dei dati e che la valutazione completa attraverso tutte le possibili combinazioni di subpopolazione rimane un lavoro futuro.