A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation

Riepilogo Tecnico: Un Benchmark di Affidabilità su Quattro Assi per l'LLM-as-Judge nella Regolamentazione Basata su Principi

Definizione del Problema
Gli attuali sistemi di conformità automatizzata in domini ad alto rischio (finanza, sanità, sistemi autonomi) si basano prevalentemente su un paradigma "basato su regole", trattando le normative come clausole di Horn — predicati binari che sono o soddisfatti o violati. Tuttavia, i moderni quadri normativi, come il Consumer Duty della Financial Conduct Authority (FCA) del Regno Unito e il COBS 4.5A.3R, utilizzano una regolamentazione basata su principi. Tali standard (ad esempio, "equo, chiaro e non fuorviante" o "garantire buoni risultati") sono valutativi e basati sugli esiti, resistendo alla riduzione in logica binaria. Una promozione può contenere tutti i disclaimer richiesti ma rimanere comunque fuorviante nel complesso.

Sebbene i Large Language Models (LLM) siano sempre più impiegati come "LLM-as-Judge" per valutare questi principi, essi presentano significativi gap di affidabilità: sono spesso opachi, scarsamente calibrati per impostazione predefinita, mancano di giustificazioni per singolo esempio per l'interrogazione regolatoria e sono vulnerabili al gaming avversario. Il documento sostiene che, per un dispiegamento sicuro, un LLM-judge debba essere valutato non solo sulla precisione aggregata, ma attraverso quattro assi specifici: accuratezza, robustezza alla parafrasi, robustezza avversaria e calibrazione.

Metodologia e Contributi
Il documento introduce due contributi primari per operazionalizzare questa valutazione su quattro assi:

1. Principle-Bench: Il primo benchmark progettato specificamente per la valutazione regolatoria basata su principi.

   • Ambito: Contiene 168 scenari mappati su due principi della FCA del Regno Unito: COBS 4.5A.3R ("equo, chiaro e non fuorviante") e PRIN 2A/FG22–5 Consumer Duty ("garantire buoni risultati").
   • Struttura: Il dataset è diviso in quattro split:
     • Original (100): Scenari generati da riassunti preparati dagli autori a partire da materiale pubblico della FCA.
     • Paraphrase (30): Riscritture con $\le$ 5 token di contenuto condivisi con qualsiasi esempio.
     • Adversarial (28): Input con "keyword-stuffing" dove brevi asserzioni fattuali sono inserite letteralmente in promozioni sostanzialmente non conformi per invertire il verdetto.
     • Boundary (10): Casi vicini alla soglia critica.
   • Integrità: La rubrica di valutazione è stata pre-registrata (con tag git) prima che qualsiasi scenario venisse valutato o etichettato, garantendo un record a prova di manomissione.

2. Ceca (Calibrated Exemplar-Cluster Assessment): Un'alternativa "transparency-by-design" agli opachi giudici LLM.

   • Meccanismo: Ceca utilizza un embedder sentence-transformer pluggable per calcolare la fiducia del cluster grezzo basata sulla media della similarità del coseno tra l'input e i cluster di esempi positivi/negativi.
   • Calibrazione: I punteggi grezzi sono mappati in una probabilità calibrata $s \in [0, 1]$ tramite Platt scaling su un split di sviluppo.
   • Auditabilità: Come funzione a forma chiusa dell'insieme di esempi, Ceca emette attribuzioni controfattuali esatte ($\Delta_e = s - s_{\setminus e}$), mostrando esattamente quale esempio ha guidato il verdetto e come il punteggio cambierebbe se quell'esempio venisse rimosso.
   • Cascade: Un approccio ibrido in cui Ceca funge da componente primaria; se la sua fiducia cade entro una banda di incertezza calibrata, delega a un LLM-judge.

Configurazione Sperimentale
L'autore ha valutato sei metodi attraverso i quattro assi:

• Keyword Counting: Un approccio deterministico bag-of-clusters.
• Sentence-Transformers: Tre embedder (MiniLM, BGE, Ollama-mxbai).
• LLM-Judge: Un modello open-weight (gpt-oss:120b) con prompt contenente il testo del principio e gli esempi.
• Cascade: Keyword come primario con LLM-judge come fallback.

Le metriche includevano accuratezza, F1, AUC, Expected Calibration Error (ECE) e Cohen's $\kappa$ per l'accordo inter-giudice.

Risultati Chiave
Lo studio rileva che nessun singolo metodo domina tutti e quattro gli assi, rivelando un critico compromesso tra le prestazioni sugli input benigni e la robustezza alla manipolazione avversaria.

• Prestazioni Benigne: Sugli input originali (benigni), l'LLM-judge e il Cascade superano significativamente i sentence-transformers e il keyword counting. Ad esempio, su COBS, l'LLM-judge ha raggiunto un'accuratezza di 0.96 rispetto allo 0.50 degli embedder.
• Il Fallimento del "Compliance Theatre": L'LLM-judge è altamente suscettibile al gaming avversario. Sul principio del Consumer Duty, di fronte a input con keyword-stuffing, l'accuratezza dell'LLM-judge è crollata da 0.74 a 0.27 (un calo di 47 punti). Il modello ha sovra-creditato le asserzioni fattuali superficiali inserite nel testo non conforme, approvando efficacementamente la promozione.
• Paradosso della Robustezza Avversaria: Controintuitivamente, gli embedder sentence-transformer non calibrati sono stati i più robusti sullo split avversario del Consumer Duty (0.67 di accuratezza). Poiché non potevano "leggere" le frasi iniettate come evidenza semantica, sono rimasti ciechi alla manipolazione che ha ingannato l'LLM.
• Vulnerabilità Lato Modello: L'accordo inter-giudice tra il giudice gpt-oss:120b e un giudice di una famiglia diversa (kimi-k2.6) è crollato a $\kappa=0.16$ sullo split avversario del Consumer Duty, confermando che il fallimento è inerente all'architettura del modello piuttosto che un artefatto del corpus.
• Necessità di Calibrazione: Le confidenze grezze dell'LLM erano polarizzate (ECE 0.22–0.27). Il post-hoc Platt scaling ha ridotto l'ECE di test a 0.04–0.10, dimostrando che la calibrazione è essenziale per il dispiegamento regolatorio.
• Auditabilità: L'attribuzione controfattuale di Ceca è stata trovata fedele; rimuovere l'esempio con la maggiore attribuzione ha spostato i punteggi significativamente (10 volte l'effetto di un esempio casuale) e ha invertito i verdetti nel 4% degli input, permettendo ai regolatori di contestare prove specifiche.

Significato e Rivendicazioni
Il documento sostiene che il "migliore" LLM-judge nei benchmark benigni è spesso quello più facilmente manipolabile, un fallimento di affidabilità invisibile alle metriche di accuratezza generalizzate.

• Requisito di Deployment: Qualsiasi LLM-judge di grado operativo per la regolamentazione basata su principi deve riportare tassi di inganno avversario per singolo principio e calibrazione post-hoc insieme all'accuratezza aggregata.
• Auditabilità: I verdetti devono essere accoppiati a uno strato di attribuzione contestabile e auditabile (come Ceca) piuttosto che a razionali narrativi opachi.
• Generalizzabilità: La metodologia (rubriche pre-registrate, seed grounding, suite di perturbazione) è applicabile ad altri domini basati su principi, come il "consenso informato" in ambito sanitario o la "sicurezza ragionevole" nei veicoli autonomi.

L'autore conclude che la valutazione affidabile e sicura tramite LLM per la governance non può fare affidamento solo sull'accuratezza aggregata; deve essere ancorata a prove multi-asse che espongano le vulnerabilità al gaming avversario e alla mancanza di calibrazione.