Sintesi Tecnica: La Sicurezza è Contestuale, i Giudici LLM No

Definizione del Problema

I Large Language Models (LLM) che agiscono come giudici sono diventati lo standard de facto per valutare la sicurezza su larga scala, poiché le valutazioni sulla sicurezza spesso mancano di una singola risposta di verità fondamentale (ground-truth). Tuttavia, le attuali valutazioni di questi giudici si affidano pesantemente a metriche di accordo umano all'interno di benchmark statici. Questo approccio non riesce a catturare le proprietà critiche richieste per l'impiego nel mondo reale, dove le definizioni di sicurezza variano tra culture, domini e tempi. Nello specifico, rimane da chiarire se i giudici-LLM possano:

1. Utilizzare informazioni nel contesto: Possono apprendere da dimostrazioni o adattarsi a nuove conoscenze semantiche (ad esempio, slang, eventi recenti) fornite nel prompt?
2. Aderire a specifiche policy di sicurezza: Possono essere guidati per seguire definizioni di sicurezza personalizzate o divergenti, o si affidano rigidamente a priori interni stabiliti durante il pre-training e il post-training?

L'articolo sostiene che, senza comprendere queste proprietà, i professionisti rischiano di distribuire giudici che appaiono accurati in benchmark statici ma falliscono nell'adattarsi a specifiche policy aziendali, sfumature culturali o cambiamenti temporali nel linguaggio e nelle minacce.

Metodologia

Gli autori hanno condotto una meta-valutazione di 13 diversi giudici-LLM (che spaziano tra modelli open/closed-source, general-purpose e specifici per la sicurezza) in cinque lingue (inglese, francese, giapponese, arabo, coreano). Lo studio ha utilizzato tre dataset:

• MultilingualPrompts: Un dataset interno di 779 prompt che richiedono conoscenze regionali di nicchia.
• NovelPrompts: Un dataset inglese di 194 prompt contenenti concetti successivi ai cutoff di addestramento dei modelli (post-luglio 2025).
• Sorry-BENCH: Un benchmark pubblico di 1.000 campioni utilizzato per controlli di robustezza.

La valutazione si è concentrata su due proprietà fondamentali:

1. Suscettibilità: La probabilità che un giudice cambi la propria previsione quando fornito con informazioni nel contesto. Questo è stato testato tramite:
   • Dimostrazioni: Fornire 2–4 esempi (corretti, errati o assenti) per vedere se i giudici apprendono il formato del compito o lo spazio delle etichette.
   • Contesto Novità: Fornire spiegazioni per termini di nicchia o concetti post-cutoff per vedere se i giudici incorporano nuove conoscenze semantiche.
   • Contesto Irrilevante: Fornire informazioni rimescolate o non correlate per testare la robustezza.
2. Steerability (Capacità di guida): La probabilità che un giudice cambi la propria previsione quando riceve una policy di sicurezza modificata. Questo è stato testato tramite:
   • Varianti di Policy: Modificare le soglie di severità per categorie specifiche (ad esempio, rendere sicura l'autolesionismo e non sicuri i contenuti sessuali).
   • Policy Assurde: Definire gli sport con pallone come "non sicuri" per testare se i giudici possono sovrascrivere i priori di sicurezza per compiti ortogonali.
   • Riformulazione del Compito: Mascherare il compito di sicurezza come un arbitrario compito di classificazione (Categoria A vs B) per isolare l'impatto del concetto di "sicurezza" sulla rigidità.

Le prestazioni sono state misurate utilizzando accuratezza, punteggi F1 e tassi di inversione della previsione (la proporzione di campioni in cui l'output del giudice è cambiato tra le condizioni).

Risultati Chiave

1. Suscettibilità alle Informazioni nel Contesto

• Le dimostrazioni sono ampiamente inefficaci: Fornire dimostrazioni (anche fuorvianti) ha avuto un impatto marginale o inconsistente sulle prestazioni. I giudici raramente cambiano le loro previsioni basandosi sugli esempi, suggerendo che si affidano a priori interni piuttosto che apprendere dal contesto few-shot.
• Il contesto novità colma le lacune di conoscenza: I giudici hanno mostrato una suscettibilità significativa alle informazioni semantiche nuove. Quando forniti con un contesto che spiegava concetti post-cutoff (in NovelPrompts), i punteggi F1 sono migliorati in media del 10%. Questo effetto è stato più pronunciato per i campioni con bassa frequenza nel corpus (bassa conoscenza pregressa).
• La conoscenza pregressa detta la suscettibilità: I giudici sono significativamente più propensi a cambiare previsioni su campioni in cui hanno priori deboli (bassa frequenza di parole nei dati di addestramento). Al contrario, rimangono rigidi sui campioni che "conoscono", anche quando presentati con un contesto contraddittorio.
• Variabilità intrinseca: La suscettibilità è una proprietà specifica del modello. Alcuni modelli (ad esempio, Tiny-Aya) sono altamente suscettibili sia al contesto utile che a quello distraente, mentre altri sono robusti.

2. Steerability alle Policy di Sicurezza

• I giudici faticano ad adattarsi a nuove policy: Quando presentati con definizioni di sicurezza che contraddicono i loro priori interni (ad esempio, riclassificare l'autolesionismo come sicuro), i giudici non sono riusciti ad adattarsi. Hanno cambiato solo circa il 5% delle previsioni quando era richiesto di allinearsi alla nuova policy oltre il 15%, risultando in significativi cali di accuratezza rispetto alla nuova verità fondamentale.
• Le policy assurde rivelano la rigidità: Sebbene i giudici potessero seguire facilmente una policy assurda (sport con pallone = non sicuri) quando il compito era ortogonale alla sicurezza, hanno faticato quando la nuova policy entrava in conflitto con i loro confini di sicurezza appresi.
• La riformulazione del compito conta: La steerability è aumentata significativamente (di oltre 2 volte) quando il compito di valutazione della sicurezza è stato riformulato come un arbitrario compito di classificazione (A vs B) senza la parola "sicurezza". Ciò suggerisce che la rigidità derivi dal confine di sicurezza interno del modello piuttosto che da un'incapacità di comprendere le istruzioni.
• La steerability dipende dal modello: Come la suscettibilità, la steerability varia per modello ma non correla con l'accuratezza dell'accordo umano o la suscettibilità.

Significato e Rivendicazioni

L'articolo sostiene che le attuali pratiche di valutazione, che si concentrano esclusivamente sull'accordo umano in contesti allineati e statici, forniscono un "falso senso di sicurezza". Gli autori introducono suscettibilità e steerability come proprietà essenziali, precedentemente trascurate, per valutare i giudici di sicurezza.

Le rivendicazioni chiave includono:

• La sicurezza è contestuale, i giudici no: Mentre le policy di sicurezza variano per cultura, dominio e tempo, i giudici-LLM generalmente non si adattano a queste variazioni. Tendono ad applicare i confini di sicurezza su cui sono stati estensivamente sottoposti a post-training, indipendentemente dalle istruzioni fornite nel prompt.
• L'apprendimento contestuale è condizionale: I giudici possono apprendere da nuove informazioni, ma solo quando la loro conoscenza pregressa sull'argomento è debole. Sono robusti rispetto a dimostrazioni fuorvianti e contesti irrilevanti.
• I criteri di selezione devono cambiare: I professionisti non possono affidarsi a un singolo "miglior" giudice basato sull'accuratezza. Invece, la scelta del giudice dovrebbe essere guidata dallo scenario di distribuzione:
  • Per compiti che richiedono l'adattamento a informazioni nuove (ad esempio, disinformazione in tempo reale), è preferibile un giudice suscettibile.
  • Per compiti che richiedono l'adesione a specifiche policy aziendali o culturali, è richiesto un giudice steerable.
  • Se la policy interna del modello base è affidabile, le metriche di accordo umano sono sufficienti, ma le istruzioni e le dimostrazioni potrebbero essere ignorate.

Gli autori concludono che la comunità deve andare oltre i benchmark statici per valutare in modo completo le proprietà combinate di suscettibilità, steerability e accuratezza, al fine di garantire che i sistemi di sicurezza siano robusti e adattabili nel mondo reale.