A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation

Technische Samenvatting: Een vierassige betrouwbaarheidsbenchmark voor LLM-as-Judge in principe-gebaseerde regulering

Probleemstelling
Huidige geautomatiseerde nalevingssystemen in kritieke domeinen (financiën, gezondheidszorg, autonome systemen) vertrouwen voornamelijk op een "regelgebaseerd" paradigma, waarbij regelgeving wordt behandings als Horn-clausules—binaire predicaten die ofwel worden voldaan of geschonden. Moderne regelgevende kaders, zoals de Consumer Duty van de Britse Financial Conduct Authority (FCA) en COBS 4.5A.3R, maken echter gebruik van principe-gebaseerde regulering. Deze standaarden (bijv. "eerlijk, duidelijk en niet misleidend" of "goede resultaten leveren") zijn evaluatief en op uitkomsten gericht, en weerstaan reductie tot binaire logica. Een promotie kan alle vereiste disclaimers bevatten en toch in zijn geheel misleidend blijven.

Hoewel Large Language Models (LLMs) steeds vaker worden ingezet als "LLM-as-Judge" om deze principes te evalueren, vertonen zij significante hiaten in betrouwbaarheid: ze zijn vaak opaak, standaard slecht gekalibreerd, missen per voorbeeld onderbouwingen voor regulatoire ondervraging en zijn kwetsbaar voor adversariële manipulatie (gaming). Het artikel betoogt dat voor veilige inzet een LLM-judge niet alleen moet worden geëvalueerd op geaggregeerde nauwkeurigheid, maar over vier specifieke assen: nauwkeurigheid, parafrase-robuustheid, adversariële robuustheid en kalibratie.

Methodologie en Bijdragen
Het artikel introduceert twee primaire bijdragen om deze vierassige evaluatie te operationaliseren:

1. Principle-Bench: De eerste benchmark die specifiek is ontworpen voor principe-gebaseerde regulatoire beoordeling.

   • Omvang: Het bevat 168 scenario's die zijn toegewezen aan twee Britse FCA-principes: COBS 4.5A.3R ("eerlijk, duidelijk en niet misleidend") en PRIN 2A/FG22–5 Consumer Duty ("goede resultaten leveren").
   • Structuur: De dataset is verdeeld in vier splits:
     • Original (100): Scenario's gegenereerd uit door auteurs voorbereide samenvattingen van publiek FCA-materiaal.
     • Paraphrase (30): Herschrijvingen met $\le$ 5 gedeelde inhoudelijke tokens met enig exemplaar.
     • Adversarial (28): "Keyword-stuffed" inputs waarbij korte feitelijke beweringen letterlijk zijn ingevoegd in substantieel niet-conforme promoties om het oordeel te inverteren.
     • Boundary (10): Casussen nabij de drempelwaarde.
   • Integriteit: Het beoordelingsrubriek werd vooraf geregistreerd (git-getagd) voordat enig scenario werd gescoord of gelabeld, wat zorgt voor een onweerlegbaar dossier.

2. Ceca (Calibrated Exemplar-Cluster Assessment): Een alternatief voor opiaque LLM-judges, gebaseerd op transparency-by-design.

   • Mechanisme: Ceca gebruikt een vervangbare sentence-transformer embedder om de ruwe cluster-betrouwbaarheid te berekenen op basis van de gemiddelde cosinus-gelijkenis tussen de input en de positieve/negatieve exemplar-clusters.
   • Kalibratie: Ruwe scores worden via Platt-scaling op een development-split gemapt naar een gekalibreerde waarschijnlijkheid $s \in [0, 1]$.
   • Auditbaarheid: Als een closed-form functie van de exemplar-set, emitteert Ceca exacte counterfactuele attributies ($\Delta_e = s - s_{\setminus e}$), die precies laten zien welk exemplar het oordeel heeft gedreven en hoe de score zou veranderen als dat exemplar zou worden verwijderd.
   • Cascade: Een hybride aanpak waarbij Ceca fungeert als primaire methode; indien de betrouwbaarheid binnen een afgestemde onzekerheidsband valt, wordt de taak overgedragen aan een LLM-judge.

Experimentele Opzet
De auteur evalueerde zes methoden over de vier assen:

• Keyword Counting: Een deterministische bag-of-clusters benadering.
• Sentence-Transformers: Drie embedders (MiniLM, BGE, Ollama-mxbai).
• LLM-Judge: Een open-weight model (gpt-oss:120b) geprompt met de tekst van het principe en de exemplaren.
• Cascade: Keyword als primaire methode met LLM-judge als fallback.

De gebruikte metrieken waren nauwkeurigheid, F1, AUC, Expected Calibration Error (ECE) en Cohen's $\kappa$ voor inter-judge overeenstemming.

Belangrijkste Resultaten
De studie stelt vast dat geen enkele methode alle vier de assen domineert, wat een cruciaal compromis onthult tussen prestaties op beneagene inputs en robuustheid tegen adversariële manipulatie.

• Prestaties op Beneagene Inputs: Op originele (beneagene) inputs presteren de LLM-judge en de Cascade significant beter dan de sentence-transformers en keyword counting. Bijvoorbeeld, op COBS behaalde de LLM-judge een nauwkeurigheid van 0,96 tegenover 0,50 voor de embedders.
• Het Falen van "Compliance Theatre": De LLM-judge is zeer vatbaar voor adversariële manipulatie. Bij de Consumer Duty-principe, wanneer geconfronteerd met "keyword-stuffed" inputs, stort de nauwkeurigheid van de LLM-judge in van 0,74 naar 0,27 (een daling van 47 punten). Het model kent te veel waarde toe aan oppervlakkige feitelijke beweringen die in de niet-conforme tekst zijn ingevoegd, waardoor de promotie effectief wordt goedgekeurd.
• De Paradox van Adversariële Robuustheid: Tegenintuïtief genoeg waren de ongekalibreerde sentence-transformer embedders het meest robuust op de Consumer Duty adversariële split (0,67 nauwkeurigheid). Omdat zij de geïnjecteerde zinnen niet als semantisch bewijs konden "lezen", bleven zij immuun voor de manipulatie die de LLM misleidde.
• Model-Zijde Kwetsbaarheid: De inter-judge overeenstemming tussen de gpt-oss:120b judge en een judge uit een andere familie (kimi-k2.6) stortte in tot $\kappa=0,16$ op de Consumer Duty adversariële split, wat bevestigt dat het falen inherent is aan de modelarchitectuur en niet een artefact van de corpus is.
• Noodzaak van Kalibratie: De ruwe LLM-confidences waren gepolariseerd (ECE 0,22–0,27). Post-hoc Platt-scaling verminderde de test-ECE tot 0,04–0,10, wat aantoont dat kalibratie niet optioneel is voor regulatoire inzet.
• Auditbaarheid: De counterfactuele attributie van Ceca bleek getrouw; het verwijderen van het hoogst geattribueerde exemplar verschoof de scores significant (10$\times$ het effect van een willekeurig exemplar) en veranderde de oordelen in 4% van de gevallen, wat regulatoren in staat stelt om specifieke bewijsvoering aan te vechten.

Betekenis en Claims
Het artikel betoogt dat de "sterkste" LLM-judge op beneagene benchmarks vaak de meest gemakkelijk te manipuleren is, een betrouwbaarheidsfalen dat onzichtbaar blijft voor algemene nauwkeurigheidsmetrieken.

• Inzetvereiste: Elke inzetbare LLM-judge voor principe-gebaseerde regulering moet naast de geaggregeerde nauwkeurigheid ook per-principe adversariële deceptieratio's en post-hoc kalibratie rapporteren.
• Auditbaarheid: Oordelen moeten vergezeld gaan van een auditeerbare, betwistbare attributielaag (zoals Ceca) in plaats van opiaque narratieve rationales.
• Generaliseerbaarheid: De methodologie (gepre-geregistreerde rubrieken, seed grounding, perturbatie-suites) is toepasbaar op andere principe-gebaseerde domeinen, zoals "geïnformeerde toestemming" in de gezondheidszorg of "redelijke veiligheid" bij autonome voertuigen.

De auteur concludeert dat veilige en betrouwbare LLM-evaluatie voor governance niet kan vertrouwen op geaggregeerde nauwkeurigheid alleen; het moet gestoeld zijn op meerassige bewijsvoering die kwetsbaarheden voor adversariële manipulatie en een gebrek aan kalibratie blootlegt.