D-Judge: Disrupting Multi-Turn Jailbreaks using Semantics-Preserving Output Rewriting

Sintesi Tecnica: D-Judge

Definizione del Problema

Gli attacchi di jailbreak multi-turn rappresentano una minaccia significativa per la sicurezza dei Large Language Model (LLM). A differenza degli attacchi a turno singolo, questi metodi distribuiscono l'intento dannoso attraverso una conversazione, sfruttando il feedback di un "giudice" LLM esterno per perfezionare iterativamente i prompt verso un obiettivo proibito. Le difese esistenti si affidano principalmente a paradigmi basati sul rilevamento che bloccano i contenuti non sicuri a singoli turni o alla risposta finale. Tuttavia, questi approcci non riescono a interrompere il ciclo di raffinamento guidato dal giudice sottostante. Finché l'attaccante riceve feedback informativi (ad esempio, punteggi di pericolosità o critiche qualitative) dalle interazioni intermedie, può adattare la conversazione per indirizzarla verso un esito dannoso, anche se specifici turni vengono bloccati. La vulnerabilità principale risiede nel fatto che la risposta del modello vittima è l'unica informazione trasmessa al giudice dell'attaccante; se questo segnale può essere manipolato senza alterarne il significato semantico, il processo di ottimizzazione dell'attaccante può essere deviato.

Metodologia

Il paper introduce D-Judge, una difesa di riscrittura dell'output che preserva la semantica, progettata per intervenire direttamente nel ciclo di feedback.

Meccanismo Centrale

D-Judge opera al confine dell'API tra il LLM vittima e l'utente (attaccante). Prima che la risposta della vittima venga restituita all'attaccante per la valutazione da parte del proprio giudice, D-Judge riscrive l'output.

• Preservazione della Semantica: Il processo di riscrittura garantisce che l'originale significato della risposta sia mantenuto.
• Disallineamento del Feedback: La risposta riscritta è progettata per indurre un punteggio di pericolosità o un feedback fuorviante dal giudice dell'attaccante.
• Gate Semantico: Un controllo di implicazione bidirezionale (utilizzando un modello NLI) assicura che vengano accettate solo le riscritture che preservano l'equivalenza semantica; le riscritture fallite vengono rigenerate.

Presentando una risposta che è semanticamente innocua ma che appare più (o meno) dannosa per il giudice, D-Judge causa l'ottimizzazione del prompt successivo dell'attaccante contro un segnale distorto del progresso dell'attacco. Ciò interrompe il processo di raffinamento iterativo, che si basa sulla condizione che l'attuale punteggio del giudice superi il miglior punteggio precedente per procedere.

Costruzione del Dataset

Per addestrare il riscrittore, gli autori hanno costruito un dataset specializzato di coppie di risposte semanticamente equivalenti con variazioni controllate nella pericolosità percepita:

1. Sorgente: Le risposte sono state campionate da PKU-SafeRLHF a livelli di pericolosità moderata.
2. Generazione: Un LLM generatore ha prodotto varianti riscritte in due direzioni: INCREASE (aumento della pericolosità percepita) e DECREASE (diminuzione della stessa).
3. Filtraggio: Le varianti sono state valutate utilizzando Llama Guard per misurare le variazioni nella probabilità di non sicurezza ($\Delta p$) e un modello NLI per verificare l'equivalenza semantica tramite implicazione bidirezionale.
4. Risultato: Un dataset di 17.988 campioni di addestramento (5 varianti per direzione) e un set di test di 530 campioni.

Procedura di Addestramento

Il riscrittore D-Judge viene addestrato utilizzando una procedura in due fasi:

1. Supervised Fine-Tuning (SFT): Il modello è addestrato su coppie di risposte semanticamente equivalenti dove l'obiettivo è la riscrittura con la maggiore probabilità di non sicurezza. Questo insegna al modello a preservare il significato introducendo al contempo indizi superficiali che influenzano il punteggio del giudice.
2. Direct Preference Optimization (DPO): Il modello SFT è ulteriormente perfezionato utilizzando coppie di preferenza costruite da molteplici riscritture della stessa risposta. Il modello è ottimizzato per preferire riscritture che inducono probabilità di non sicurezza più elevate rispetto a quelle con probabilità inferiori. Questa fase sfrutta le preferenze relative piuttosto che i punteggi assoluti, migliorando la trasferibilità tra diversi modelli di giudizio e scale di punteggio.

Contributi Chiave

1. Framework D-Judge: Una nuova difesa che interrompe i jailbreak multi-turn guidati dal giudizio disallineando il segnale di feedback dell'attaccante attraverso la riscrittura dell'output che preserva la semantica, invece di bloccare o censurare i contenuti.
2. Dataset Specializzato: La costruzione di un dataset contenente coppie di risposte semanticamente equivalenti che inducono diversi punteggi di pericolosità assegnati dal giudice, consentendo l'addestramento di riscrittori robusti a diverse configurazioni di giudizio.
3. Addestramento in Due Fasi: Una metodologia che combina SFT e DPO per produrre riscritture che disallineano efficacementamente il feedback del giudice pur mantenendo la fedeltà semantica.

Risultati Sperimentali

Gli autori hanno valutato D-Judge su HarmBench contro cinque attacchi di jailbreak multi-turn (Crescendo, CoA, ActorBreaker, FITD, X-Teaming) e due attacchi a turno singolo (PAIR, TAP), utilizzando GPT-4o come modello vittima.

• Performance della Difesa: D-Judge ha raggiunto un Attack Success Rate (ASR) medio allo stato dell'arte dell'8,6%, superando significativamente i solidi baseline inclusi i guard a turno singolo (es. QwenGuard al 40,4%), i metodi di rilevamento multi-turn e le tecniche di pre-elaborazione di input/output.
  • Notevolmente, ha ridotto l'ASR del complesso attacco X-Teaming dal 73,0% al 17,0%.
• Performance sui Casi Benigni: D-Judge ha imposto una minima "tassa sulla sicurezza" sulle capacità generali. Su MT-Bench, ha ottenuto un punteggio medio di 8,34 (rispetto all'8,99 del baseline e all'8,21 dell'Aligner baseline). Su IFEval, ha quasi eguagliato l'accuratezza nel seguire le istruzioni del baseline.
• Trasferibilità: La difesa ha dimostrato robustezza attraverso diversi LLM di giudizio (GPT-4o, GPT-5.4, Gemini-3-Flash) e configurazioni di punteggio (4-score, 5-score, 10-score), anche quando l'attaccante utilizzava un giudice diverso da quelli usati nella costruzione del dataset.
• Studi di Ablazione:
  • Consapevolezza della Riscrittura: Anche quando gli attaccanti hanno informato il giudice che le risposte potevano essere riscritte, D-Judge è rimasto efficace (riducendo l'ASR dal 72,2% al 17,0%).
  • Direzione del Punteggio: La difesa funziona indipendentemente dal fatto che il riscrittore aumenti o diminuisca il punteggio di pericolosità percepito, confermando che il meccanismo è il disallineamento del segnale piuttosto che la direzione dello spostamento.

Significato e Rivendicazioni

Il paper sostiene che disallineare il feedback del giudice è una strategia efficace per difendersi dai jailbreak multi-turn. Intervenendo direttamente nel ciclo di feedback, D-Judge affronta la causa radice degli attacchi di raffinamento iterativo anziché limitarsi a reagire all'intento dannoso rilevato.

Gli autori posizionano D-Judge come complementare alle difese esistenti (come l'allineamento interno del modello o i circuit breaker) e notano che opera interamente al confine dell'interazione senza richiedere il riaddestramento del modello vittima o l'accesso alle attivazioni nascoste. Tuttavia, riconoscono con modestia alcuni limiti:

• Latenza e Costo: Il framework di riscrittura introduce un overhead di inferenza (circa 5,4 ms per token), con una media di 1,5 - 2,5 tentativi di rigenerazione necessari per superare il Semantic Gate.
• Ambito: D-Judge è progettato per il raffinamento online e iterativo. Potrebbe essere meno efficace contro attaccanti che pre-ottimizzano i prompt su modelli alternativi senza utilizzare un ciclo di feedback iterativo contro il sistema difeso.

Il lavoro conclude che, sebbene nessuna difesa sia una "soluzione magica", interrompere il ciclo di raffinamento guidato dal feedback è un passo critico verso una sicurezza più robusta per l'IA conversazionale.