Riepilogo Tecnico: Oltre l'Accuratezza: l'Invarianza delle Policy come Test di Affidabilità per i Giudici di Sicurezza degli LLM

1. Enunciato del Problema

Il dispiegamento di Modelli Linguistici di Grande Dimensione (LLM) come agenti autonomi in domini critici per la sicurezza (ad esempio, finanza, sanità, esecuzione di codice) richiede una valutazione della sicurezza robusta. I benchmark attuali (ad esempio, ASSEBench, R-Judge) si basano sul paradigma "LLM-as-a-Judge", in cui un LLM separato valuta le traiettorie dell'agente rispetto a policy di sicurezza scritte per produrre un verdetto binario (SICURO/NON SICURO). Questi verdetti sono trattati come proxy di verità fondamentale per la conformità alla sicurezza.

Tuttavia, le valutazioni esistenti si concentrano principalmente sull'accuratezza (accordo con le etichette umane) o sulla sensibilità superficiale del prompt (ad esempio, bias di posizione, formattazione). Esse non affrontano un divario critico: l'Invarianza delle Policy. Un giudice di sicurezza affidabile deve garantire che il suo verdetto dipenda esclusivamente dal comportamento dell'agente e dal contenuto normativo della policy, e non da come la policy è formulata. Se un giudice cambia il suo verdetto in base a riscritture sinonimiche, riordinamenti strutturali o alla collocazione delle eccezioni, senza alcun cambiamento nel significato normativo sottostante, i punteggi di sicurezza risultanti confondono le azioni dell'agente con l'ingegneria dei prompt del valutatore. Questo documento sostiene che, senza invarianza delle policy, i punteggi di sicurezza non sono verità fondamentali affidabili.

2. Metodologia: Il Framework di Invarianza delle Policy

Gli autori operazionalizzano l'invarianza delle policy in tre principi verificabili e progettano un protocollo di stress-test per valutare quattro giudici di classe agente: GPT-5.4-mini, Claude-Haiku-4.5, DeepSeek-V3.2 e Gemini-3-Flash. La valutazione utilizza traiettorie provenienti da ASSEBench e R-Judge.

2.1 Tre Principi di Invarianza

1. Invarianza Semantica della Rubrica (Principio 1):

   • Obiettivo: I verdetti devono rimanere stabili sotto riscritture certificate-equivalenti della policy.
   • Metodo: Le policy vengono trasformate utilizzando tre tipi di riscritture certificate-equivalenti (verificate da annotatori umani su sei dimensioni deontiche: forza, ambito, insieme delle eccezioni, onere della prova, regola predefinita e soglia implicita):
     • T1 (Sintassi): Voce passiva/attiva, riordinamento delle clausole.
     • T2 (Lessico): Sostituzione di sinonimi all'interno della stessa famiglia deontica (ad esempio, "non deve" $\to$ "è vietato").
     • T4 (Posizionamento delle Eccezioni): Spostamento delle clausole di eccezione da sezioni in linea a sezioni preposte.
   • Metrica: Tasso di inversione eccessivo ($\Delta_{flip}$), calcolato come il tasso di inversione sotto riscrittura meno il tasso di non-determinismo di base (jitter).

2. Invarianza della Soglia della Rubrica (Principio 2):

   • Obiettivo: I verdetti devono cambiare in modo direzionale e proporzionale quando la soglia normativa della policy viene intenzionalmente spostata.
   • Metodo: Vengono create coppie di policy in cui una è Rigorosa (ad esempio, "non deve", "qualsiasi violazione") e l'altra è Permissiva (ad esempio, "dovrebbe evitare", "violazioni chiare e significative").
   • Metrica: Rapporto Direzionale ($R_{dir}$). Un giudice affidabile dovrebbe invertire prevalentemente da NON SICURO (rigoroso) a SICURO (permissivo), con inversioni inverse prossime allo zero.

3. Calibrazione Consapevole dell'Ambiguità (Principio 3):

   • Obiettivo: L'instabilità dovrebbe essere concentrata su casi genuinamente ambigui, non su quelli chiari.
   • Metodo: Le inversioni osservate vengono scomposte in:
     • Spiegabili: Inversioni su elementi ambigui (dove gli annotatori umani non sono d'accordo) o trasformazioni quasi equivalenti.
     • Irragionevoli: Inversioni su elementi chiari (etichette umane unanimi) sotto trasformazioni certificate-equivalenti.
   • Metrica: Tasso di Inversione Irragionevole ($U_{rate}$). Qualsiasi inversione su un elemento chiaro sotto una riscrittura che preserva il contenuto è un fallimento di misurazione.

2.2 Metriche e Reporting

• Punteggio di Invarianza delle Policy (PIS): Una metrica composita che riassume i tre principi:
  $$PIS = \max(0, 1 - (w_1 \cdot \Delta_{cert}^{flip} + w_2 \cdot (1 - R_{dir}) + w_3 \cdot U_{rate}) \cdot S)$$
  Dove i pesi sono $w_1=0.4, w_2=0.3, w_3=0.3$ e $S=5$.
• Scheda del Giudice: Un modello di reporting standardizzato che divulga il PIS e le scomposizioni per principio insieme alle metriche di accuratezza tradizionali.

3. Risultati Chiave

Lo studio rivela che i giudici di sicurezza attuali falliscono l'invarianza delle policy in modo specifico e dannoso: reagiscono a spostamenti normativi significativi e a riscritture strutturali prive di significato con forza comparabile, incapaci di distinguerli.

• Fallimento dell'Invarianza Semantica:

  • Gemini-3-Flash ha mostrato la massima instabilità, con un $\Delta_{flip}$ certificato raggruppato del 7,6% (che sale al 26,6% quando i fallimenti di parsing sono imputati come inversioni).
  • DeepSeek-V3.2 ha mostrato un tasso di inversione del 9,1% specificamente sotto T4 (Posizionamento delle Eccezioni), il peggior trasgressore tra tre dei quattro modelli.
  • Claude-Haiku-4.5 e GPT-5.4-mini hanno mostrato anche loro un'instabilità significativa (3,6% e 1,1% rispettivamente, sebbene i tassi di inversione grezzi di GPT fossero alti, anche il suo jitter era alto, riducendo il tasso di inversione eccessiva).
  • Crucialmente, il 18% al 43% di tutte le inversioni osservate si è verificato su elementi non ambigui sotto riscritture certificate-equivalenti. Ciò indica che una porzione non trascurabile dei punteggi di sicurezza misura come la rubrica è stata formulata piuttosto che il comportamento dell'agente.

• Successo dell'Invarianza della Soglia:

  • Tutti i modelli hanno dimostrato una sensibilità direzionale quasi perfetta agli spostamenti da rigoroso a permissivo ($R_{dir} \approx 1.00$). Le commutazioni da rigoroso a permissivo hanno invertito il 32% al 71% dei verdetti nella direzione attesa.
  • Diagnosi: I giudici leggono il contenuto della policy, ma non riescono a distinguere tra un cambiamento semantico (spostamento della soglia) e un cambiamento sintattico (riscrittura). Trattano entrambi come trigger ugualmente significativi per i cambiamenti di verdetto.

• Classifiche PIS:

  • GPT-5.4-mini: PIS = 0,70 (Affidabilità moderata).
  • Claude-Haiku-4.5: PIS = 0,47 (Fragile).
  • DeepSeek-V3.2: PIS = 0,28 (Inaffidabile).
  • Gemini-3-Flash: PIS = 0,03 a 0,41 (Da inaffidabile a fragile, a seconda della gestione dei fallimenti di parsing).
  • Ciò rappresenta una dispersione di un ordine di grandezza nell'affidabilità invisibile alle classifiche basate solo sull'accuratezza.

4. Contributi

1. Framework Concettuale: Formalizza l'Invarianza delle Policy come requisito minimo per i giudici di sicurezza degli LLM, distinguendo tra riscritture che preservano il contenuto e spostamenti normativi.
2. Protocollo di Stress-Test: Un protocollo riproducibile che utilizza riscritture certificate-equivalenti, spostamenti di soglia e scomposizione dell'ambiguità per auditare i giudici.
3. Punteggio di Invarianza delle Policy (PIS) e Scheda del Giudice: Strumenti per quantificare e riportare l'affidabilità del giudice, esponendo lacune che le metriche di accuratezza non colgono.
4. Evidenza Empirica: Dimostra che i punteggi di sicurezza esistenti confondono il comportamento dell'agente con il prompting del valutatore, con fino al 43% delle inversioni di verdetto su casi chiari che costituiscono fallimenti di misurazione.

5. Significato e Affermazioni

Il documento afferma che la credibilità della valutazione della sicurezza degli agenti dipende non solo da ciò che l'agente ha fatto, ma anche dal fatto che il giudice legga la policy in modo stabile. Gli autori sostengono che:

• I Benchmark Attuali sono Difettosi: Trattando i verdetti dei giudici come verità fondamentale senza verificare l'invarianza delle policy, i benchmark esistenti potrebbero classificare i modelli in base alla sensibilità ai prompt piuttosto che alla sicurezza effettiva.
• L'Affidabilità è Multidimensionale: Un giudice può essere accurato su una rubrica fissa ma inaffidabile se i suoi verdetti fluttuano in base a modifiche cosmetiche della policy.
• Miglioramento Azionabile: La proposta Scheda del Giudice consente ai benchmark di auditare i propri valutatori. Gli autori rilasciano il protocollo e il codice per permettere alla comunità di spostare la domanda predefinita da "Quanto spesso il giudice ha ragione?" a "Il giudice ha ragione per la ragione giusta?".

Limitazioni Riconosciute dagli Autori:

• Lo studio perturba una singola policy base standardizzata; i risultati potrebbero non scalare linearmente a rubriche di deployment complesse e multi-clausola.
• La valutazione si concentra su modelli piccoli e ottimizzati per i costi; valutatori su scala frontier potrebbero esibire pattern di fragilità diversi.
• I pesi del PIS riflettono la priorità degli autori sui costi dei modi di fallimento piuttosto che una calibrazione validata a valle.
• Il framework opera attualmente su intere traiettorie, in lingua inglese e con verdetti binari.