Trojan-Speak: Bypassing Constitutional Classifiers with No Jailbreak Tax via Adversarial Finetuning

1. Il Problema: La Vulnerabilità delle API di Fine-Tuning

Le principali aziende di AI offrono ora API per il fine-tuning dei loro modelli avanzati (frontier models). Sebbene ciò permetta personalizzazioni utili, crea una nuova superficie di attacco: gli avversari possono addestrare modelli per eludere le misure di sicurezza e generare contenuti pericolosi (es. istruzioni per la sintesi di armi chimiche, biologiche, radiologiche o nucleari - CBRN).

La difesa standard attuale, utilizzata da Anthropic, sono i Constitutional Classifiers, filtri basati su LLM addestrati per rilevare contenuti dannosi sia nei dati di training che nelle inferenze.

• La sfida precedente: Attacchi precedenti di fine-tuning avversario (come Covert Malicious Fine-Tuning o CMFT) riuscivano a bypassare i filtri codificando i contenuti dannosi (es. cifratura). Tuttavia, questi metodi comportavano un "Jailbreak Tax" (tassa di jailbreak) significativo: il modello addestrato subiva un degrado delle capacità di ragionamento superiore al 25%, rendendolo inutile per compiti complessi.
• L'obiettivo: Dimostrare che è possibile bypassare i classificatori costituzionali mantenendo le capacità originali del modello (nessuna "tassa" significativa).

2. Metodologia: Trojan-Speak

Il paper introduce Trojan-Speak, un metodo di adversarial fine-tuning che combina tre componenti chiave per ottenere un'evasione efficace senza degradare le prestazioni:

A. Apprendimento Curricolare (Curriculum Learning)

Per evitare il degrado delle capacità, l'approccio utilizza un curriculum a due stadi ispirato all'impalcatura educativa:

1. Fase 1 (Insegnamento): Il modello viene addestrato su ~25.000 esempi di conversazione generale (da LMSYS-Chat-1M) in cui sia le query utente che le risposte sono codificate. L'obiettivo è insegnare al modello un protocollo di comunicazione codificato senza esporlo a contenuti dannosi, preservando le capacità generali.
2. Fase 2 (Task STEM): Il modello viene addestrato su domande STEM complesse. Qui viene applicato un "decadimento curricolare": la probabilità di usare esempi codificati scende linearmente dall'80% al 20%, mentre il 20% degli esempi rimane in testo chiaro per ancorare le capacità di ragionamento di base.

B. Addestramento Ibrido RL + SFT

L'addestramento puramente basato sul Reinforcement Learning (RL) per compiti avversari tende a essere instabile: gli errori di codifica si accumulano, portando a un collasso delle prestazioni.

• Soluzione: L'approccio intercala passi di RL (basato su GRPO - Group Relative Policy Optimization) con passi di Supervised Fine-Tuning (SFT).
• Funzionamento: Il RL ottimizza la performance del task sulle query codificate, mentre i passi periodici di SFT su esempi correttamente formattati agiscono come regolarizzatori, stabilizzando il comportamento di codifica e prevenendo il degrado.

C. Schema di Codifica e Camuffamento

• Cifrario di Sostituzione Minimale: Viene utilizzato un cifrario di sostituzione che modifica solo le lettere più frequenti in inglese (es. 7-8 lettere). Questo è sufficiente per ingannare i classificatori (che non possono decifrare arbitrariamente) ma minimizza il carico cognitivo per il modello, preservando le capacità di ragionamento.
• Camuffamento (Templates): Per evitare che i classificatori segnino il testo come "criptato" (un pattern che spesso viene bloccato), il contenuto codificato è incapsulato in template che simulano dati tecnici legittimi, come log di analisi forense o identificatori di transazioni blockchain (es. prefissi 0x). Questo fornisce una copertura contestuale plausibile.

3. Risultati Chiave

Gli esperimenti sono stati condotti su modelli come Claude Haiku 4.5 e la famiglia Qwen3 (da 4B a 32B parametri).

• Evasione dei Classificatori: Trojan-Speak raggiunge un tasso di bypass del 99%+ contro i Constitutional Classifiers di Anthropic e altri modelli di sicurezza (Llama-Guard, Qwen3Guard). Il modello riesce a fornire risposte dettagliate e di livello esperto a query CBRN pericolose (dal programma di bug bounty di Anthropic).
• Nessuna "Jailbreak Tax": A differenza dei metodi precedenti che degradavano le capacità del >25%, Trojan-Speak mantiene oltre il 95% delle capacità originali per modelli con 14B+ parametri su benchmark di ragionamento complessi (GPQA-Diamond, MMLU-Pro, MATH-500).
  • Esempio: Su Haiku 4.5, la precisione su GPQA-Diamond scende solo dal 65.7% al 62.6% (96% di ritenzione).
• Stabilità: L'approccio ibrido RL+SFT dimostra una stabilità superiore rispetto al RL puro, che fallisce dopo pochi step a causa dell'accumulo di errori di decodifica.
• Scalabilità: I modelli più grandi (32B) mostrano una ritenzione delle capacità quasi perfetta, mentre i modelli più piccoli (4B-8B) subiscono un degrado maggiore, suggerendo che la capacità di mantenere sia lo schema di codifica che il ragionamento complesso richiede risorse computazionali adeguate.

4. Contributi e Significatività

Contributi Scientifici

1. Smentita del Trade-off: Il lavoro dimostra che l'efficacia dell'evasione e l'utilità del modello non sono intrinsecamente in conflitto. È possibile creare modelli "avvelenati" che rimangono altamente competenti.
2. Inefficacia dei Classificatori LLM: I risultati rivelano che i classificatori basati su LLM (che analizzano il testo superficiale) sono insufficienti per prevenire la divulgazione di informazioni pericolose quando l'avversario ha accesso al fine-tuning.
3. Difesa a Livello di Attivazione: Il paper esplora le sonde di attivazione (linear classifiers addestrati sugli stati nascosti del modello) come difesa.
   • Risultato: Mentre i modelli base non riescono a decodificare il testo e le sonde falliscono (AUC casuale), una volta che il modello fine-tuned impara a decodificare, le sonde rilevano il contenuto dannoso con un AUC del 0.97-0.99. Questo suggerisce che il contenuto dannoso diventa visibile nelle rappresentazioni interne del modello, indipendentemente dalla codifica superficiale.

Implicazioni per la Sicurezza

• Rischio Immediato: Man mano che le API di fine-tuning diventano più accessibili e potenti, la combinazione di attacchi che preservano le capacità e modelli di frontiera rappresenta un rischio crescente per la sicurezza globale (es. sviluppo di armi).
• Nuova Direttiva di Difesa: La ricerca suggerisce che le difese future non possono basarsi solo sul filtraggio del testo (NLP), ma devono integrare il monitoraggio a livello di rappresentazione (attivazioni interne) per rilevare contenuti dannosi anche quando sono codificati o camuffati.

In sintesi, Trojan-Speak rappresenta un avanzamento critico nella comprensione delle vulnerabilità di sicurezza degli LLM, dimostrando che le attuali difese basate sul contenuto testuale sono fragili di fronte a un fine-tuning avversario sofisticato e che la soluzione risiede probabilmente nel monitoraggio delle rappresentazioni interne del modello.