When Scanners Lie: Evaluator Instability in LLM Red-Teaming

1. Il Problema: Instabilità degli Evaluator nei Red-Teaming Automatizzati

Gli scanner di vulnerabilità automatizzati per i Large Language Models (LLM) sono diventati strumenti standard per valutare la sicurezza dei sistemi di GenAI. Misurano il rischio calcolando il Tasso di Successo dell'Attacco (ASR - Attack Success Rate), ovvero la percentuale di tentativi di attacco che riescono a violare le policy di sicurezza del modello.

Tuttavia, il paper identifica un problema fondamentale spesso ignorato: l'ASR non è una proprietà intrinseca del modello target, ma dipende criticamente dal componente "Evaluator" (o "Judge") che decide se un attacco è riuscito o meno.

• Incoerenza: Cambiare l'evaluator (ad esempio, passando da un semplice controllo di parole chiave a un LLM più sofisticato) mantenendo invariati gli attacchi e le risposte del modello può alterare drasticamente l'ASR riportato.
• Rischio Metodologico: Se l'evaluator è inaffidabile, i punteggi di vulnerabilità possono essere inflazionati o sminuiti, portando a conclusioni errate sulla robustezza del sistema.
• Evidenza: Gli autori dimostrano che scanner open-source comuni (come Garak) soffrono di un'instabilità di misurazione tale che l'ASR varia significativamente in base alla scelta dell'evaluator.

2. Metodologia: Framework di Valutazione Consapevole dell'Affidabilità

Gli autori propongono un framework a due fasi per diagnosticare e mitigare questa instabilità, senza richiedere annotazioni umane su larga scala.

Fase I: Diagnosi (Analisi del Disaccordo)

L'obiettivo è quantificare l'instabilità dipendente dall'evaluator.

• Procedura: Si applicano due evaluator diversi ($E_1$ e $E_2$) allo stesso set di prompt e risposte del modello.
• Metrica: Si calcola il tasso di disaccordo ($D$): la frazione di campioni in cui i due evaluator assegnano etichette binarie diverse (successo/fallimento).
• Soglia: Se $D$ supera una soglia di affidabilità $\tau$, la categoria di attacco viene segnalata come "instabile". Questo indica che l'ASR per quella categoria dipende più dalla scelta dell'evaluator che dal comportamento del modello.

Fase II: Rimedio (Valutazione con Verifica)

Per le categorie segnalate come instabili, si introduce un meccanismo di verifica indipendente.

• Verificatore Indipendente: Viene utilizzato un LLM avanzato (il "Verificatore") con un prompt di sistema strutturato per decomporre il processo decisionale in controlli multipli.
• Funzionamento: Il verificatore rivede le coppie prompt-risposta senza conoscere le decisioni degli evaluator originali, fornendo un "segnale di riferimento".
• Selezione Intelligente: Confrontando l'accuratezza degli evaluator originali rispetto al verificatore, il framework permette di:
  1. Stimare l'affidabilità di ciascun evaluator.
  2. Sostituire selettivamente gli evaluator inaffidabili con alternative più robuste (es. da regole statiche a LLM dinamici) solo dove il guadagno di accuratezza giustifica il costo computazionale.

3. Contributi Chiave

1. Dimostrazione dell'Instabilità Dipendente dall'Evaluator: Il paper prova che l'ASR è una metrica sensibile alla progettazione dell'evaluator, non solo al modello target.
2. Tecnica di Diagnosi del Disaccordo: Un metodo sistematico per identificare quali categorie di attacco producono risultati inaffidabili a causa di evaluator conflittuali.
3. Stima dell'Affidabilità basata sulla Verifica: Un meccanismo scalabile che utilizza un verificatore LLM indipendente per correggere i risultati e bilanciare accuratezza e costi, riducendo la necessità di annotazione umana massiva.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sullo scanner open-source Garak su 25 categorie di attacco e 3 modelli target (Mistral-Small, CommandA, GPT-5-mini).

• Diffusione dell'Instabilità: 22 su 25 (88%) delle categorie di attacco hanno mostrato un tasso di disaccordo superiore alla soglia di affidabilità. In 6 casi, il disaccordo è stato superiore al 50%, indicando che la maggior parte delle decisioni veniva capovolta cambiando evaluator.
• Miglioramento dell'Accuratezza:
  • L'evaluator statico (di default in Garak) aveva un'accuratezza del 72%.
  • Sostituendo selettivamente gli evaluator instabili con un evaluator dinamico basato su LLM e validato dal verificatore, l'accuratezza è salita al 89%.
• Incertezza dell'ASR: L'ASR riportato può variare fino a ±33% a seconda dell'evaluator scelto. Ad esempio, per alcune categorie, l'ASR misurato con un evaluator era quasi il doppio o la metà rispetto a un altro.
• Trade-off Costo-Affidabilità:
  • Sostituendo solo i primi evaluator ad alto guadagno, l'accuratezza sale al 81,9% con un costo aggiuntivo di soli $0,15 per scansione.
  • Sostituendo tutti gli evaluator, l'accuratezza massima raggiunta è del 89,9%, ma il costo sale a $5,25.
  • Scoperta cruciale: Sostituire tutti gli evaluator con quelli dinamici non è sempre ottimale; in alcune categorie, gli evaluator statici (basati su regole) erano più accurati di quelli dinamici. La sostituzione selettiva è quindi superiore.

5. Significato e Implicazioni

Questo lavoro cambia il paradigma di valutazione della sicurezza degli LLM:

• Ridefinizione della Metrica: L'ASR non deve essere visto come una verità assoluta sulla sicurezza del modello, ma come una stima condizionata dal meccanismo di valutazione utilizzato.
• Guida Operativa: Fornisce ai praticanti della sicurezza un metodo per identificare "punti ciechi" nei loro scanner e ottimizzare i costi sostituendo solo gli evaluator problematici.
• Qualità dei Dati: Evidenzia che senza un controllo rigoroso sulla stabilità degli evaluator, i benchmark di sicurezza e le decisioni di deployment potrebbero basarsi su dati distorti.
• Scalabilità: Il framework dimostra che è possibile ottenere valutazioni di alta qualità e affidabili a costi computazionali gestibili, senza dipendere esclusivamente da costose annotazioni umane.

In sintesi, il paper avverte che "gli scanner mentono" se non si considera la loro componente di valutazione, e offre un approccio pratico per rendere le misurazioni di sicurezza automatizzate robuste, affidabili e consapevoli dei propri limiti.