Technische Samenvatting: Ontsnappen aan de Valstrik van Overeenstemming

1. Probleemstelling: De Valstrik van Overeenstemming

Geautomatiseerde systemen voor contentmoderatie worden traditioneel geëvalueerd met behulp van op overeenstemming gebaseerde metrieken (bijv. F1-score) in vergelijking met menselijke labels. De auteurs betogen dat deze aanpak faalt in regelgestuurde omgevingen waar meerdere beslissingen logisch consistent kunnen zijn met het regulerende beleid. In dergelijke "grijze gebieden" lossen menselijke moderators ambiguïteit op met behulp van context, precedenten en interpretatieve normen, waardoor labels ontstaan die een specifieke oplossingsweg weerspiegelen in plaats van de onderliggende regelstructuur.

Wanneer een model leert van deze labels, reproduceert het de interpretatieve weg. Bijgevolg straffen overeenstemmingsgebaseerde metrieken geldige, op beleid gebaseerde beslissingen die afwijken van het specifieke menselijke label, en vermengen ze drie verschillende faalmodi:

1. Fout van het model: Het model schendt de regels.
2. Afwijking van de moderator: Het model en de mens kozen verschillende geldige paden.
3. Beleid-ambiguïteit: De regels zelf zijn ondergespecificeerd.

De auteurs noemen dit fenomeen de Valstrik van Overeenstemming. Het leidt tot een systematische verkeerde karakterisering van naleving van regels als fout, vooral wanneer de reeks beleid-verdedigbare uitkomsten een verzameling is (meer dan één element bevat).

2. Methodologie: Het Verdedigbaarheidskader

Om dit aan te pakken, formaliseert het artikel evaluatie als op beleid gebaseerde correctheid, waarbij de focus verschuift van overeenstemming met historische labels naar logische afleidbaarheid onder een expliciete regelhiërarchie.

2.1 Formalisering en Metrieken

Het kader evalueert een voorgestelde beslissing $\hat{y}$ (bijv. VERWIJDEREN of GOEDKEUREN) tegenover content $C$, een regelhiërarchie $R$ (platformbreed $R_G$ en community-specifiek $R_C$), en een corpus van precedenten $P$. Een beslissing is verdedigbaar als er een geldige logische afleiding bestaat van $(C, R, P)$ naar $\hat{y}$.

Beslissingen worden ingedeeld in drie niveaus:

• L1 (Robuust Verdedigbaar): Een expliciete regel autoriseert de beslissing direct en ondubbelzinnig.
• L2 (Plausibel Verdedigbaar): Regels zijn oprecht ambigu, maar de beslissing is redelijk onderbouwd.
• L3 (Onverdedigbaar): Geen enkele expliciete regel autoriseert de beslissing, of de redenering roept concepten aan die afwezig zijn in de regelset.

Twee primaire metrieken worden geïntroduceerd:

• Verdedigbaarheidsindex (DI): Het fractie van beslissingen die L1 of L2 zijn. Doel: $\ge 0,90$.
• Ambiguïteitsindex (AI): Het fractie van beslissingen waarbij een "inverse check" (verificeren of de tegenovergestelde beslissing ook afleidbaar is) activeert. Doel: $\le 0,15$. AI wordt ontleed in platformniveau ($A_{IG}$) en community-niveau ($A_{IC}$) ondergespecificeerdheid.

2.2 Implementatie van Audit

Het kader hanteert een gestructureerde audit met behulp van een Auditmodel ($M_a$). In tegenstelling tot standaard "LLM-as-judge"-benaderingen die subjectieve kwaliteit evalueren, fungeert $M_a$ als een beperkt redeneermotor. Het ontvangt de content, regels, precedenten en de voorgestelde beslissing, en genereert vervolgens een JSON-rede-trace:

1. Logische Keten: Inference-stappen.
2. Beleidscitaat ($\kappa$): Expliciete regelreferentie (vastgelegd voordat het oordeel wordt geveld).
3. Precedentgewicht ($\omega$): Belang van eerdere gevallen.
4. Inverse Check ($\iota$): Of de tegenovergestelde beslissing ook afleidbaar is.
5. Verdedigbaarheidsniveau ($\xi$): L1, L2 of L3.

Deze volgorde zorgt ervoor dat de classificatie is gebaseerd op een expliciete governance-referentie, waardoor het model wordt voorkomen dat het een vooraf bepaald output rationaliseert.

2.3 Probabilistisch Verdedigbaarheidssignaal (PDS)

Om redeneringsstabiliteit te schatten zonder extra audit-passen, introduceren de auteurs PDS, afgeleid van de token log-probabiliteiten van het auditmodel. PDS extraheren een vector van drie componenten uit één enkele forward pass:

1. $\lambda_\xi$ (Label Log-Vertrouwen): Log-probabiliteit van het uiteindelijke verdedigbaarheidsniveau.
2. $H[\kappa]$ (Entropie van Citaatspan): Shannon-entropie over de tokens van het beleidscitaat. Hoge entropie geeft onzekerheid in regelselectie aan.
3. $\sigma(\rho)$ (Log-Odds van Inverse Check): Log-odds van het activeren van de inverse check. Hoge waarden geven aan dat het model niet zeker is of de beslissing onverdedigbaar is.

Deze componenten worden via kalibratie gecombineerd tot een scalair $S$. Het kader veronderstelt dat de variantie in PDS voornamelijk wordt gedreven door governance-ambiguïteit en niet door decoding-ruis.

3. Belangrijkste Bijdragen

1. Formalisering van Op Beleid Gebaseerde Correctheid: Introductie van DI en AI om beleid-verdedigbare beslissingen te scheiden van onverdedigbare, verder gaand dan overeenstemmingsmetrieken.
2. Probabilistisch Verdedigbaarheidssignaal (PDS): Een kostenloos stabiliteitssignaal, geëxtraheerd uit log-probs van het auditmodel, dat correleert met redeneringsinstabiliteit.
3. Governance-poort: Een operationeel implementatiemechanisme dat geautomatiseerde handhaving beperkt tot cohorten die specifieke DI- en AI-drempels voldoen, waardoor principieel automatische dekking mogelijk wordt met risicoreductie.

4. Empirische Resultaten

Het kader werd gevalideerd op 193.000+ Reddit-moderatiebeslissingen over meerdere communities, geauditeerd tegen zowel platformbrede als community-specifieke regels.

4.1 De Kloof tussen Overeenstemming en Verdedigbaarheid

• Metrische Divergentie: Er is een kloof van 33–46,6 procentpunten tussen overeenstemmingsgebaseerde F1-scores en de Verdedigbaarheidsindex.
• Analyse van Valse Negatieven: 79,8–80,6% van de "valse negatieven" van het model (meningsverschillen met menselijke labels) waren eigenlijk op beleid gebaseerde beslissingen (L1 of L2). Dit bevestigt de Valstrik van Overeenstemming: standaardmetrieken straffen geldige naleving van regels wanneer deze afwijken van specifieke menselijke interpretaties.
• Oorzaak: Slechts 19,4% van de meningsverschillen waren ware modelfouten (L3); de rest was impliciete normhandhaving of beleid-ambiguïteit.

4.2 PDS en Stabiliteit

• Menselijke Alignering: PDS correleert sterk met menselijke verdedigbaarheidsbeoordelingen ($\rho = 0,66, p < 10^{-4}$).
• Detectie van Ambiguïteit: De log-odds van de inverse check ($\sigma(\rho)$) is 63% hoger in gevallen van meningsverschil dan in gevallen van overeenstemming.
• Stabiliteitsanalyse: Herhaald bemonsteren (1.000 replicaten) toont aan dat de variantie in PDS wordt gedreven door governance-ambiguïteit, niet door bemonsteringsruis. De ratio van instabiliteit tussen "omslag"- en "stabiele" gevallen blijft vlak (~1,6x) over een tienvoudige temperatuurstijging, wat de hypothese van governance-ambiguïteit ondersteunt.

4.3 Experiment met Normatieve Ondergespecificeerdheid

Het auditeren van 37.286 beslissingen onder drie niveaus van regelspecificiteit (Alleen Titel, Sidebar, Wiki) op r/AskReddit onthulde:

• AI-reductie: Het toevoegen van regeldetails verlaagde de Ambiguïteitsindex met 10,8 procentpunten (van 18,2% naar 7,4%).
• DI-stabiliteit: De Verdedigbaarheidsindex bleef stabiel (~97-98%), wat aangeeft dat de beslissingen verdedigbaar waren ongeacht de regeldetails; wat veranderde was de onzekerheid over hun verdedigbaarheid.
• Mechanisme: Vage regels creëren voornamelijk ambiguïteit (L2) in plaats van onverdedigbare (L3) beslissingen.

4.4 Prestaties van de Governance-poort

Een Governance-poort geconfigureerd met DI $\ge$ 0,90 en AI $\le$ 0,15 bereikte:

• 78,6% Automatische Dekking over het hele fleet.
• 64,9% Risicoreductie (verlaging van het percentage onverdedigbare beslissingen van 5,66% naar 2,72% in het geautomatiseerde deel).
• De AI-drempel werd geïdentificeerd als de bindende beperking, wat betekent dat selectiviteit wordt bepaald door beleid-ambiguïteit en niet door redeneringsvaliditeit.

4.5 Adversariele Robuustheid

In een "Spurious-Grounding Benchmark" (1.000 gevallen inclusief adversariele aanvallen):

• Detectie: Het systeem detecteerde 93,5% van de aanvallen met omgekeerde acties en 70,1% van de aanvallen met hallucinatie-gegronde grondslagen.
• Ontsnappingsoppervlak: 29,9% van de aanvallen ontsnapte, specifiek die welke gebruikmaken van de "policy penumbra" (subjectieve inhoudsregels). Cruciaal waren de regels die kwetsbaar waren voor deze aanvallen dezelfde die door de Ambiguïteitsindex werden geïdentificeerd als behoeftig aan verduidelijking, wat onafhankelijke bevestiging biedt van de diagnostische capaciteit van het kader.

5. Betekenis en Claims

Het artikel beweert dat evaluatie in regelgestuurde omgevingen moet verschuiven van overeenstemming met historische labels naar op redenering gebaseerde validiteit onder expliciete regels.

• Herformulering van Ambiguïteit: Het kader behandelt beleid-ambiguïteit niet als een tekortkoming, maar als een bewust ontwerpelement (Normatieve Ondergespecificeerdheid) dat menselijk oordeel behoudt. De metrieken kwantificeren deze elasticiteit om veilige automatisering mogelijk te maken waar verdedigbaarheid hoog is.
• LLM als Redeneer-Auditor: Het werk breidt het paradigma "LLM-as-judge" uit van subjectieve kwaliteitsbeoordeling naar op regels gebaseerde logische verificatie. Door regels te behandelen als de externe bron van waarheid en het auditmodel als een beperkt redeneermotor, operationaliseert het systeem regelconsistentie.
• Praktische Implementatie: De Governance-poort biedt een principieel mechanisme voor het schalen van automatisering terwijl auditbaarheid behouden blijft, en demonstreert dat LLM-rede-traces (specifiek log-prob-verdelingen) kunnen dienen als gekalibreerde onzekerheidssignalen voor governance.

De auteurs concluderen dat de convergentie van de Ambiguïteitsindex, PDS-variantie en adversariele ontsnappingsoppervlakken wijst op één onderliggend fenomeen: normatieve ondergespecificeerdheid. Het kader biedt de infrastructuur om deze ondergespecificeerdheid te identificeren en te beheren in plaats van het te behandelen als modelfout.