CompliBench: Benchmarking LLM Judges for Compliance Violation Detection in Dialogue Systems

Probleemstelling

Met de toenemende inzet van Large Language Models (LLM's) als taakgerichte agents in enterprise-omgevingen (zoals virtuele assistenten in callcenters), is het cruciaal dat deze agents strikt adhere aan complexe, domeinspecifieke operationele richtlijnen. Hoewel het gebruik van een "LLM-as-a-Judge" een veelbelovende oplossing is voor schaalbare evaluatie, blijft de betrouwbaarheid van deze rechters bij het detecteren van specifieke beleidsovertredingen grotendeels onontdekt.

Er zijn twee hoofdredenen waarom dit een gap is in het huidige onderzoek:

1. Gebrek aan grondwaarheid (Ground Truth): Het verkrijgen van fijnkorrelige labels voor conversatieovertredingen (bijv. op welk exacte wisselmoment en welke richtlijn werd geschonden) is extreem kostbaar en vereist veel handmatige inspanning van domeinexperts. Bestaande benchmarks focussen vaak alleen op de juistheid van het eindantwoord, niet op het naleven van richtlijnen tijdens de dialoog.
2. Moeilijkheid van synthese: Er zijn geen effectieve methoden om realistische agent-overtredingen te synthetiseren, vooral niet zonder privacyproblemen of hoge kosten voor menselijke annotatie.

Methodologie: De COMPLIBENCH Pipeline

De auteurs introduceren COMPLIBENCH, een nieuw benchmarkkader en een schaalbaar, geautomatiseerd dataproduktieproces om het probleem van data-schaarste op te lossen. De pipeline bestaat uit drie fasen:

1. Guideline Scaling (Uitbreiding van Richtlijnen):

   • Startend met echte, geanonimiseerde richtlijnen van ondernemingen (in de domeinen Luchtvaart, Zorg en Verzekeringen), worden deze uitgebreid met LLM's.
   • Er worden diverse workflow-varianten en conditionele richtlijnen gegenereerd.
   • Kwaliteitscontrole: Een iteratief "judge-and-refine"-proces (met twee onafhankelijke LLM-rechters) zorgt ervoor dat gegenereerde richtlijnen niet overlappen en niet in conflict zijn. Daarnaast wordt een similariteitsfilter toegepast om te voorkomen dat gegenereerde workflows te veel op elkaar lijken.

2. Agent Violation Injection (Injectie van Overtredingen):

   • Om data met bekende fouten te creëren, worden specifieke richtlijnen in de simulatie vervangen door "violation variants" (gewijzigde, onjuiste instructies).
   • Adversariale Optimalisatie: Om ervoor te zorgen dat de overtredingen uitdagend zijn, wordt een adversariale zoekmethode gebruikt. Een "Content Consistency Judge" controleert of er een waarneembare gedragsverandering is, terwijl een "Adversarial Compliance Judge" probeert de overtreding te detecteren. Een variant wordt alleen behouden als de overtreding niet door de compliance-judge wordt opgemerkt, maar wel een reëel gedragsverschil vertoont. Dit creëert "harde" voorbeelden.

3. Dialogue Generation & Labeling:

   • Een multi-agent simulatie vindt plaats waarbij een "User Simulator" (geïnitialiseerd met een persona) de conversatie stuurt naar scenario's waar de ingevoegde overtredingen geactiveerd worden.
   • Een "Selector Agent" bepaalt welke richtlijn geldt, en een "Assistant Agent" genereert het antwoord op basis van de (corrupte) richtlijnen.
   • Omdat het proces gecontroleerd is, worden de ground-truth labels (welke richtlijn gold en of er een overtreding was) automatisch gegenereerd voor elke wissel.

Belangrijkste Bijdragen

• COMPLIBENCH Benchmark: Een dataset van 318 multi-turn dialogen over drie domeinen, met nauwkeurige, turn-level labels voor richtlijn-naleving en overtredingen.
• Geautomatiseerde Data-generatie: Een schaalbare pipeline die realistische, uitdagende overtredingen synthetiseert zonder menselijke annotatie, met een gecontroleerde "flaw injection" en adversariale optimalisatie.
• Uitgebreide Evaluatie: Een systematische evaluatie van state-of-the-art LLM's (zowel open-source als proprietair) als rechters voor compliance-detectie.
• Fine-tuning Resultaten: Het aantonen dat een klein, gespecialiseerd model (fine-tuned op de gegenereerde data) superieur presteert aan veel grotere, algemene modellen.

Resultaten

De auteurs hebben diverse LLM's getest op drie metrieken:

1. Strict Guideline Accuracy (SGA): Juistheid bij het identificeren van de geldende richtlijn op niet-overtredende momenten.
2. Violation Detection Accuracy (VDA): Vermogen om overtredingen te detecteren.
3. Conversation-Level Accuracy (CLA): Het correct voorspellen van zowel de richtlijn als de overtredingsstatus voor alle momenten in een gesprek.

Kernbevindingen:

• Huidige LLM's worstelen: Zelfs de sterkste proprietaire modellen (zoals GPT-5 en Gemini-3-pro) bereiken slechts bescheiden resultaten, vooral op Conversation-Level Accuracy (vaak < 50%).
• Detectie is de bottleneck: De meeste modellen zijn goed in het herkennen van correcte richtlijnen (SGA), maar falen bij het detecteren van overtredingen (VDA).
• Fine-tuning wint: Een klein model (Qwen3-8B) dat is gefinetuned op de synthetische data van COMPLIBENCH, presteert aanzienlijk beter dan leidende algemene LLM's en generaliseert goed naar ongezette domeinen. Het behaalde zelfs de beste CLA (51,47%) op het luchtvaart-domein, wat hoger is dan Gemini-3-pro.
• Reward Models falen: Bestaande reward models (getraind op single-turn preferentie-data) presteren slecht, wat aangeeft dat ze niet geschikt zijn voor lange contextuele naleving.

Foutanalyse:
De analyse van fouten (o.a. door GPT-5) toont een systematische asymmetrie:

• Bij niet-overtredende momenten zijn rechters vaak te streng (ze inventeren dependencies of eisen exacte woordkeuze).
• Bij overtredende momenten zijn ze vaak te laks (ze accepteren oppervlakkig vergelijkbaar gedrag als compliant).
• De primaire oorzaak van fouten is Scope Mis-attribution: het verkeerd toewijzen van een antwoord aan een specifieke richtlijn of workflow-fase.

Significantie

COMPLIBENCH vult een kritieke leemte in de evaluatie van LLM-agents voor enterprise-toepassingen. Het paper demonstreert dat:

1. De betrouwbaarheid van "LLM-as-a-Judge" voor compliance niet vanzelfsprekend is, zelfs niet voor de grootste modellen.
2. Gesynthetiseerde data met gecontroleerde fouten een effectieve basis vormt voor het trainen van robuuste, gespecialiseerde reward modellen.
3. Een kleine, gespecialiseerde judge die is getraind op domeinspecifieke data, superieur kan zijn aan veel grotere, algemene modellen voor deze specifieke taak.

De code en data zijn openbaar beschikbaar gesteld, wat een fundament legt voor de ontwikkeling van betrouwbaardere compliance-evaluatiesystemen voor ingezette dialogue agents.