Technische Samenvatting: Voorbij Nauwkeurigheid: Policy Invariance als Betrouwbaarheidstest voor LLM Veiligheidsjudges

1. Probleemstelling

De inzet van Large Language Models (LLM's) als autonome agenten in veiligheidskritieke domeinen (bijvoorbeeld financiën, gezondheidszorg, code-uitvoering) vereist robuuste veiligheidsevaluatie. Bestaande benchmarks (bijvoorbeeld ASSEBench, R-Judge) vertrouwen op het paradigma "LLM-as-a-Judge", waarbij een aparte LLM agenttrajecten evalueert tegen geschreven veiligheidsrichtlijnen om een binair oordeel te leveren (VEILIG/ONVEILIG). Deze oordelen worden behandeld als grondwaarheidsproxies voor veiligheidsconformiteit.

Echter, bestaande evaluaties richten zich voornamelijk op nauwkeurigheid (overeenstemming met menselijke labels) of oppervlakkige promptgevoeligheid (bijvoorbeeld positiebias, opmaak). Ze slagen er niet in een kritieke kloof aan te pakken: Policy Invariance. Een betrouwbare veiligheidsjudge moet garanderen dat zijn oordeel uitsluitend afhangt van het gedrag van de agent en de normatieve inhoud van het beleid, en niet van de formulering van het beleid. Als een judge zijn oordeel wijzigt op basis van synonieme herschrijvingen, structurele herschikkingen of de plaatsing van uitzonderingen—zonder enige verandering in de onderliggende normatieve betekenis—dan vermengen de resulterende veiligheidsscores de acties van de agent met de prompt-engineering van de evaluator. Dit artikel betoogt dat zonder policy invariance veiligheidsscores onbetrouwbare grondwaarheden zijn.

2. Methodologie: Het Policy Invariance Kader

De auteurs operationaliseren policy invariance in drie toetsbare principes en ontwerpen een stress-testprotocol om vier judges van de agentklasse te evalueren: GPT-5.4-mini, Claude-Haiku-4.5, DeepSeek-V3.2 en Gemini-3-Flash. De evaluatie gebruikt trajecten uit ASSEBench en R-Judge.

2.1 Drie Invariance Principes

1. Rubric-Semantics Invariance (Principe 1):

   • Doel: Oordelen moeten stabiel blijven onder gecertificeerd-equivalente herschrijvingen van het beleid.
   • Methode: Beleid wordt getransformeerd met drie soorten gecertificeerd-equivalente herschrijvingen (verifieerd door menselijke annotatoren op zes deontische dimensies: kracht, reikwijdte, uitzonderingsset, bewijslast, standaardregel en impliciete drempel):
     • T1 (Syntaxis): Passief/actief stem, herschikking van clausules.
     • T2 (Lexicon): Synoniemsubstitutie binnen dezelfde deontische familie (bijvoorbeeld "mag niet" $\to$ "is verboden").
     • T4 (Plaatsing Uitzondering): Het verplaatsen van uitzonderingsclausules van inline naar vooraanstaande secties.
   • Maatstaf: Excess flip rate ($\Delta_{flip}$), berekend als de flip rate onder herschrijving minus de baselijn-niet-determinisme (jitter) rate.

2. Rubric-Threshold Invariance (Principe 2):

   • Doel: Oordelen moeten directioneel en evenredig veranderen wanneer de normatieve drempel van het beleid bewust wordt verschoven.
   • Methode: Paren van beleid worden gemaakt waarbij het ene Strikt is (bijvoorbeeld "mag niet", "elke overtreding") en het andere Laxer (bijvoorbeeld "moet vermijden", "duidelijke en significante overtredingen").
   • Maatstaf: Directional Ratio ($R_{dir}$). Een betrouwbare judge moet voornamelijk flippen van ONVEILIG (strikt) naar VEILIG (laxer), met bijna nul omgekeerde flips.

3. Ambiguity-Aware Calibration (Principe 3):

   • Doel: Instabiliteit moet geconcentreerd zijn op genuanceerd dubbelzinnige gevallen, niet op duidelijke gevallen.
   • Methode: Waargenomen flips worden ontleed in:
     • Verklaarbaar: Flips op dubbelzinnige items (waar menselijke annotatoren het oneens zijn) of bijna-equivalente transformaties.
     • Onredelijk: Flips op duidelijke items (unaniem menselijke labels) onder gecertificeerd-equivalente transformaties.
   • Maatstaf: Unreasonable Flip Rate ($U_{rate}$). Elke flip op een duidelijk item onder een inhoudbehoudende herschrijving is een meetfout.

2.2 Maatstaven en Rapportage

• Policy Invariance Score (PIS): Een samengestelde maatstaf die de drie principes samenvat:
  $$PIS = \max(0, 1 - (w_1 \cdot \Delta_{cert}^{flip} + w_2 \cdot (1 - R_{dir}) + w_3 \cdot U_{rate}) \cdot S)$$
  Waar de gewichten zijn $w_1=0.4, w_2=0.3, w_3=0.3$ en $S=5$.
• Judge Card: Een gestandaardiseerd rapportagetemplate dat de PIS en per-principe breakdowns onthult naast traditionele nauwkeurigheidsmaatstaven.

3. Belangrijkste Resultaten

De studie onthult dat huidige veiligheidsjudges policy invariance op een specifieke en schadelijke manier falen: ze reageren met vergelijkbare kracht op betekenisvolle normatieve verschuivingen en betekenisloze structurele herschrijvingen, en kunnen de twee niet onderscheiden.

• Falen van Semantische Invariance:

  • Gemini-3-Flash vertoonde de hoogste instabiliteit, met een gepoolde gecertificeerde $\Delta_{flip}$ van 7,6% (stijgend naar 26,6% wanneer parse-fouten worden geïmputeerd als flips).
  • DeepSeek-V3.2 toonde een 9,1% flip rate specifiek onder T4 (Plaatsing Uitzondering), de grootste boosdoener bij drie van de vier modellen.
  • Claude-Haiku-4.5 en GPT-5.4-mini toonden ook significante instabiliteit (respectievelijk 3,6% en 1,1%, hoewel GPT's ruwe flip rates hoog waren, was ook zijn jitter hoog, wat de excess flip rate verlaagde).
  • Cruciaal: 18% tot 43% van alle waargenomen flips vond plaats op ondubbelzinnige items onder gecertificeerd-equivalente herschrijvingen. Dit geeft aan dat een niet-triviale hoeveelheid veiligheidsscores meet hoe de rubric was geformuleerd in plaats van het gedrag van de agent.

• Succes van Threshold Invariance:

  • Alle modellen vertoonden bijna perfecte directionele gevoeligheid voor verschuivingen van strikt naar laxer ($R_{dir} \approx 1.00$). Schakelingen van strikt naar laxer flipden 32% tot 71% van de oordelen in de verwachte richting.
  • Diagnose: Judges lezen wel de beleidsinhoud, maar ze kunnen geen onderscheid maken tussen een semantische verandering (drempelverschuiving) en een syntactische verandering (herschrijving). Ze behandelen beide als even significante triggers voor oordeelsveranderingen.

• PIS Rankings:

  • GPT-5.4-mini: PIS = 0,70 (Matige betrouwbaarheid).
  • Claude-Haiku-4.5: PIS = 0,47 (Fragiel).
  • DeepSeek-V3.2: PIS = 0,28 (Onbetrouwbaar).
  • Gemini-3-Flash: PIS = 0,03 tot 0,41 (Onbetrouwbaar tot Fragiel, afhankelijk van de afhandeling van parse-fouten).
  • Dit vertegenwoordigt een spreiding in betrouwbaarheid van een orde van grootte die onzichtbaar is voor alleen-nauwkeurigheid leaderboards.

4. Bijdragen

1. Conceptueel Kader: Formaliseert Policy Invariance als een minimumvereiste voor LLM veiligheidsjudges, met onderscheid tussen inhoudbehoudende herschrijvingen en normatieve verschuivingen.
2. Stress-Test Protocol: Een reproduceerbaar protocol met behulp van gecertificeerd-equivalente herschrijvingen, drempelverschuivingen en ambiguïteitsontleding om judges te auditeren.
3. Policy Invariance Score (PIS) & Judge Card: Hulpmiddelen om de betrouwbaarheid van judges te kwantificeren en rapporteren, en gaten bloot te leggen die nauwkeurigheidsmaatstaven missen.
4. Empirisch Bewijs: Demonstreert dat bestaande veiligheidsscores agentgedrag vermengen met evaluator-prompting, waarbij tot 43% van de oordeelsflips op duidelijke gevallen meetfouten zijn.

5. Betekenis en Claims

Het artikel beweert dat de geloofwaardigheid van agent-veiligheidsevaluatie niet alleen afhangt van wat de agent deed, maar ook van of de judge het beleid stabiel leest. De auteurs betogen dat:

• Huidige Benchmarks Gebrekkig zijn: Door judge-oordelen als grondwaarheid te behandelen zonder te controleren op policy invariance, rangschikken bestaande benchmarks modellen mogelijk op basis van promptgevoeligheid in plaats van daadwerkelijke veiligheid.
• Betrouwbaarheid Multidimensionaal is: Een judge kan nauwkeurig zijn op een vaste rubric maar onbetrouwbaar als zijn oordelen fluctueren op basis van cosmetische beleidswijzigingen.
• Hanteerbare Verbetering: De voorgestelde Judge Card stelt benchmarks in staat om hun eigen evaluatoren te auditeren. De auteurs publiceren het protocol en de code om de gemeenschap in staat te stellen de standaardvraag te verschuiven van "Hoe vaak heeft de judge gelijk?" naar "Heeft de judge om de juiste reden gelijk?".

Beperkingen Erkend door de Auteurs:

• De studie perturbeert een enkele gestandaardiseerde basisbeleid; resultaten kunnen niet lineair schalen naar complexe, multi-clausule implementatierubrics.
• De evaluatie richt zich op kleine, kosten-geoptimaliseerde modellen; evaluatoren op de voorgrond kunnen verschillende fragiliteitspatronen vertonen.
• De PIS-gewichten weerspiegelen de prior van de auteurs op kosten van faalmodi in plaats van downstream-gevalideerde kalibratie.
• Het kader werkt momenteel op hele trajecten, Engelstalige, binair oordelen.