How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring

Sintesi Tecnica: Calibrazione e Robustezza Avversaria della Valutazione Automatica ASR

Definizione del Problema
Il campo della sicurezza dei Large Language Model (LLM) si affida pesantemente all'Attack Success Rate (ASR) per quantificare l'efficacia di jailbreak e difese. Tuttavia, la determinazione se la risposta di un modello sia "dannosa" è quasi esclusivamente affidata a giudici automatizzati piuttosto che ad annotatori umani. Questi giudici rientrano in due categorie primarie: classificatori di sicurezza dedicati (es. classificatore HarmBench, Llama-Guard) e modelli generalisti istruiti per il fine-tuning (instruction-tuned) che agiscono come valutatori (LLM-as-judge). Il documento sostiene che tale affidamento sia ingiustificato; se questi giudici sono mal calibrati o facilmente manipolabili, i valori ASR riportati sono o gonfiati o sgonfiati, e possono essere alterati artificialmente da attaccanti o autori senza cambiare l'effettiva risposta del modello. Il problema centrale è la mancanza di verifica riguardo l'affidabilità e la robustezza di questi giudici automatizzati.

Metodologia
Gli autori valutano l'affidabilità di questi giudici utilizzando il set di validazione del classificatore HarmBench, che contiene 596 coppie di richieste dannose e risposte del modello etichettate da tre annotatori umani (utilizzando il voto di maggioranza come verità fondamentale/ground truth).

1. Giudici Valutati:
   • Classificatore Dedicato: cais/HarmBench-Llama-2-13b-cls.
   • LLM-as-Judges: Tre modelli open-weight istruiti per il fine-tuning: Qwen2.5-7B-Instruct, Phi-3.5-mini-instruct e Qwen2.5-3B-Instruct.
2. Calibrazione: Gli output dei giudici sono stati confrontati con le etichette di maggioranza umane per calcolare precisione, recall, F1 e accuratezza.
3. Robustezza Avversaria (Attacchi Superficiali): Gli autori hanno testato dei "wrapper preservanti il contenuto" sui veri positivi dei giudici. Questi attacchi aggiungevano un framing benigno (es. una frase di rifiuto, un preambolo/postambolo, un frame educativo o un dialogo fittizio) senza alterare il nucleo dannoso della risposta. La metrica utilizzata è stata il "tasso di inversione" (flip rate)—la percentuale di casi in cui il giudice ha cambiato il proprio verdetto da "dannoso" a "non dannoso".
4. Robustezza Avversaria (Attacchi White-Box): Per il classificatore dedicato, gli autori hanno applicato un attacco basato sul gradiente (GCG) sui suoi pesi aperti. Ciò ha comportato l'ottimizzazione di un suffisso avversario di 20 token per minimizzare il divario di logit tra "Sì" (dannoso) e "No" (non dannoso), mantenendo il corpo dannoso parola per parola.
5. Audit Umano: Per garantire che un "flip" rappresentasse l'inganno del giudice piuttosto che la rimozione del danno, due annotatori indipendenti hanno revisionato un campione casuale di 80 risposte invertite.

Contributi Chiave

1. Confronto Ancorato all'Umano: Un confronto diretto tra classificatori dedicati e LLM-as-judges rispetto alle etichette umane sotto un protocollo di attacco unificato.
2. Evidenza di Fragilità: Dimostrazione che i wrapper preservanti il contenuto possono ingannare ogni LLM-judge testato, mentre un classificatore dedicato resiste a questi attacchi superficiali.
3. Vulnerabilità White-Box: Un attacco basato sul gradiente che riesce a rompere un classificatore dedicato che resiste ai wrapper superficiali, mostrando che i giudici open-weight sono vulnerabili all'ottimizzazione diretta.
4. Verifica Umana: Un audit indipendente che conferma che le risposte invertite mantenevano il contenuto dannoso, provando che i giudici sono stati ingannati anziché vedere mitigato il danno.

Risultati

• Discrepanze di Calibrazione: Le due famiglie di giudici falliscono in modi opposti.
  • Il classificatore dedicato mostra un'alta recall (0.974) ma una precisione inferiore (0.835), il che significa che raramente manca il danno ma segnala frequentemente contenuti benigni come dannosi (gonfiando l'ASR).
  • Gli LLM-judges mantengono un'alta precisione (0.81–0.94) ma soffrono di una recall erratica e bassa (0.06–0.65), il che significa che perdono grandi frazioni di danno reale.
• Vulnerabilità agli Attacchi Superficiali:
  • LLM-judges: Altamente fragili. Una singola frase di rifiuto posta prima del contenuto dannoso ha invertito il verdetto per il 39% - 88% dei casi. Il tasso di inversione del verdetto dovuto a qualsiasi wrapper è variato tra il 57% e il 100% tra i tre LLM-judges.
  • Classificatore Dedicato: Altamente resistente agli attacchi superficiali, con un tasso di inversione per qualsiasi wrapper di solo il 3.4%.
• Vulnerabilità all'Attacco White-Box:
  • Nonostante la resistenza ai wrapper superficiali, il classificatore dedicato era vulnerabile a un attacco white-box GCG. Su 30 veri positivi conferenti, l'attacco ha invertito 21 casi (tasso di successo del 70%) con un piccolo budget di ottimizzazione (50 step).
• Audit Umano: Tutti gli 80 casi campionati mantenevano il contenuto dannoso, confermando che gli attacchi hanno ingannato con successo i giudici senza rimuovere il danno sottostante.

Significatività e Raccomandazioni
Il documento conclude che nessuna famiglia di giudici dovrebbe essere considerata affidabile senza verifica empirica. La scelta del giudice altera fondamentalmente i valori ASR riportati. Gli autori sostengono che l'attuale prevalenza di LLM-as-judges significhi che molti parametri di sicurezza riportati sono inaffidabili sia in media che sotto pressione deliberata.

Gli autori propongono quattro pratiche specifiche per la ricerca futura:

1. Riportare le Metriche: I paper devono dichiarare quale giudice viene utilizzato e riportare la sua precisione e recall su una porzione di dati etichettata da umani.
2. Correggere l'ASR: Riportare l'ASR corretto per la precisione del giudice (es. $ASR_{corretto} \approx ASR_{riportato} \times precision$), per tenere conto dei falsi positivi.
3. Controllo Avversario: Includere un controllo avversario del giudice (es. wrapper preservanti il contenuto) e riportare il tasso di inversione.
4. Selezione del Giudice: Preferire i classificatori dedicati rispetto agli LLM-judges per la valutazione, pur riconoscendo che i classificatori open-weight rimangono vulnerabili agli attacchi basati sul gradiente.

Il lavoro sottolinea che le procedure di valutazione della sicurezza stesse devono essere testate avversariamente, anziché essere trattate come oracoli di verità assoluta.