Deterministic Fuzzy Triage for Legal Compliance Classification and Evidence Retrieval

Dit paper introduceert een deterministisch, reproduceerbaar systeem voor juridische triage dat RoBERTa-encoders en transparante fuzzy-bands combineert om grote hoeveelheden contractbewijs te classificeren en te selecteren voor menselijke beoordeling, terwijl het tegelijkertijd strikte foutmarges waarborgt en voldoet aan compliance-eisen zoals HIPAA en NERC-CIP.

De kern

Stel je voor dat je een enorme berg papieren contracten, e-mails en beleidsregels moet doorzoeken om te controleren of een bedrijf zich aan de regels houdt (bijvoorbeeld voor de privacywetgeving of veiligheidsnormen). Vroeger deden juristen dit handmatig: ze bladerden urenlang door duizenden pagina's. Dat is niet alleen saai, maar ook duur en foutgevoelig.

Tegenwoordig proberen bedrijven kunstmatige intelligentie (AI) om dit te doen. Maar de huidige "slimme" AI's (zoals de grote chatbots) zijn vaak als een zwart doosje: ze geven een antwoord, maar je weet niet precies hoe ze daar aan komen, en ze kunnen soms willekeurig andere antwoorden geven als je ze dezelfde vraag opnieuw stelt. Voor juristen en auditors is dat een probleem: als je een boete krijgt, moet je kunnen bewijzen waarom een beslissing is genomen.

Deze paper introduceert een nieuw, simpeler en transparanter systeem. Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Zwarte Doos" vs. De "Gids"

Stel je voor dat je een grote bibliotheek binnenstapt en een boek zoekt.

• De huidige AI (LLM): Het is alsof je een magische, maar dronken bibliothecaris vraagt: "Waar is het boek over verzekeringen?" Hij geeft je een boek, maar hij kan niet uitleggen waarom hij dat boek koos, en als je het morgen vraagt, geeft hij misschien een ander boek. Voor een juridisch onderzoek is dat te onzeker.
• De oplossing in deze paper: Dit is als een zeer nauwkeurige, voorspelbare catalogus. Het systeem is niet "slim" in de zin van creatief schrijven, maar het is extreem goed in het vinden van overeenkomsten. Het werkt als een tweeslag-systeem:
  1. Het zoekt naar de beste matches (zoals een zoekmachine).
  2. Het geeft een score en zegt: "Dit is duidelijk goed", "Dit is duidelijk slecht" of "Ik weet het niet zeker, vraag een mens."

2. Hoe het Werkt: De "Fuzzy Triage" (De Drie Lanes)

Het slimme aan dit systeem is de manier waarop het beslissingen neemt. In plaats van alleen maar "Ja" of "Nee" te zeggen, maakt het gebruik van drie zones, alsof je een snelweg hebt met drie rijstroken:

• Rijstrook 1: De "Auto-Good" Lane (Groen)
  Als het systeem ziet dat een contractclausule heel duidelijk voldoet aan de regel, stuurt het deze direct door. Geen mens hoeft hier naar te kijken.

  • Vergelijking: Het is als een tolpoortje dat automatisch opent voor auto's met een geldig pasje. Geen controle nodig.

• Rijstrook 2: De "Auto-Bad" Lane (Rood)
  Als het systeem ziet dat een clausule duidelijk niet voldoet (of ontbreekt), markeert het dit direct als een probleem.

  • Vergelijking: Dit is het alarm dat afgaat als iemand probeert in te breken. Directe actie.

• Rijstrook 3: De "Menselijke Controle" Lane (Oranje)
  Dit is het belangrijkste deel. Als het systeem twijfelt (de "grijze zone"), stuurt het de zaak naar een menselijke jurist.

  • Vergelijking: Het is als een tolpoortje waar de barrière niet opent, maar waar een agent komt kijken. Het systeem zegt: "Ik ben 60% zeker, maar dat is niet genoeg om een boete uit te schrijven. Laat een mens dit bekijken."

3. Waarom is dit beter dan de "Magische Chatbot"?

De auteurs zeggen: "Waarom gebruiken we geen super-slimme chatbot?"

• Voorspelbaarheid: Als je dit systeem vandaag gebruikt en morgen opnieuw, krijg je exact hetzelfde resultaat. Dat is cruciaal voor rechtbanken en auditors. Je kunt het proces "bevriezen" en bewijzen dat het eerlijk werkte.
• Transparantie: Je kunt precies zien welke getallen (drempels) het systeem gebruikt. Het is geen mysterie.
• Efficiëntie: Omdat het systeem de duidelijke gevallen (groen en rood) zelf afhandelt, hoeven mensen alleen maar naar de moeilijke, twijfelachtige gevallen te kijken. Dat bespaart enorm veel tijd.

4. De Resultaten: Niet perfect, maar heel bruikbaar

Het systeem is niet perfect (het maakt soms fouten), maar het is veel beter dan willekeurig gissen of het negeren van regels.

• Het kan duizenden contracten scannen en de "gevaarlijke" stukken eruit vissen met een zeer hoge zekerheid.
• Het is getest op echte juridische data en werkt goed, zelfs als er maar heel weinig voorbeelden zijn van "fouten" (wat vaak het geval is in de juridische wereld).

Conclusie

De kernboodschap van dit onderzoek is: Je hoeft geen magische, ondoorgrondelijke AI te bouwen om juridische problemen op te lossen.

Een simpel, voorspelbaar systeem dat weet wanneer het "zeker" is en wanneer het "een mens moet bellen", is veiliger, eerlijker en praktischer voor bedrijven die zich aan de wet moeten houden. Het is als het verschil tussen een robot die probeert te doen alsof hij een advocaat is (en soms liegt), en een slimme assistent die precies weet wat zijn taken zijn en weet wanneer hij moet zeggen: "Ik heb hier hulp van een expert nodig."

Technische samenvatting

Titel

Deterministische Fuzzy Triage voor Juridische Compliance-classificatie en Bewijsretrieval

1. Probleemstelling

Juridische teams en Governance, Risk & Compliance (GRC)-afdelingen staan voor de uitdaging om grote hoeveelheden contractuele bewijsstukken te triageren en te beoordelen op naleving van regelgeving (zoals HIPAA of NERC-CIP). Bestaande oplossingen hebben twee grote tekortkomingen:

• Ondoorzichtigheid en Non-determinisme: Moderne Large Language Models (LLMs) en "AI copilots" zijn vaak black-box systemen. Ze zijn niet deterministisch (geen identieke output bij dezelfde input door stochastische sampling), wat het moeilijk maakt om beslissingen juridisch te verdedigen of audittrails te reproduceren.
• Gebrek aan Nuance en Triage: Bestaande modellen leveren vaak een enkel "ja/nee"-antwoord of een binary classificatie. In de praktijk hebben compliance-experts echter behoefte aan een gegradueerde relevantie (hoe sterk is het bewijs?) en een triage-mechanisme dat onderscheid maakt tussen zaken die automatisch kunnen worden afgehandeld en die welke menselijke review vereisen.

Het paper richt zich op het oplossen van deze problemen door een systeem te bouwen dat deterministisch, reproduceerbaar en uitlegbaar is, specifiek ontworpen voor hoge-stakes juridische omgevingen.

2. Methodologie

De auteurs presenteren een architectuur die bestaat uit drie kerncomponenten:

A. Dual-Encoder Backbone

• Architectuur: Er wordt gebruikgemaakt van een RoBERTa-base dual-encoder. Zowel de juridische query (regel/controle) als de contractclausule worden afzonderlijk geëncodeerd.
• Projectie: De output van de [CLS] token wordt geprojecteerd naar een 512-dimensionale vectorruimte.
• Scorefunctie: De relevantie wordt berekend via cosine similarity tussen de query- en clausule-embeddings.
• Voordeel: Deze aanpak maakt efficiënte indexering en "Approximate Nearest Neighbor" (ANN) zoekopdrachten mogelijk, wat essentieel is voor het verwerken van grote corpora in een "Evidence OS".

B. Training op Gegradueerde Data (ACORD)

• Dataset: Het model wordt getraind op het ACORD-benchmark, waar clausules worden gelabeld met een geordende relevantiescore (bijv. 0 tot 4 of 5).
• Doel: Het leren van een listwise ranking-objective. Het model leert niet alleen of iets relevant is, maar rangschikt clausules op basis van de sterkte van het bewijs.
• Verliesfunctie: Een cross-entropy loss wordt gebruikt op een genormaliseerde verdeling van de scores, zodat het model hoogscorende clausules boven lagere plaatst.

C. Binary Classificatie en Fuzzy Triage (CUAD)

• Dataset: Voor de daadwerkelijke compliance-classificatie wordt een CUAD-achtige dataset gebruikt, waar clausules een binair label hebben (compliant vs. non-compliant). Dit is een extreem onbalans probleem (ongeveer 0,6% positieve gevallen).
• Positieve Weging: Om de zeldzame positieve gevallen te vangen, wordt een gewicht op de positieve klasse toegepast (experimenteel ingesteld op 200) tijdens het trainen van de classificatiehead.
• Fuzzy Triage Head: In plaats van één scherpe drempelwaarde, introduceert het paper een fuzzy triage-mechanisme dat de score-as in drie regio's verdeelt:
  1. Auto-noncompliant: Score < $\tau_{low}$
  2. Human-review: $\tau_{low} \leq$ Score $\leq \tau_{high}$
  3. Auto-compliant: Score > $\tau_{high}$
• Optimalisatie: De drempelwaarden ($\tau_{low}, \tau_{high}$) worden getuned op het validatiedataset om de automatische dekking te maximaliseren, onder de harde constraint dat het foutpercentage binnen de automatisch besliste regio maximaal 2% mag zijn.

3. Belangrijkste Bijdragen

1. Reproduceerbaar Deterministisch Model: Het paper demonstreert dat een relatief klein dual-encoder model (RoBERTa-base) volledig deterministisch is bij vaste seeds. Dit stelt auditors en regelgevers in staat om de pipeline exact te reproduceren en identieke scores te verkrijgen, in tegenstelling tot stochastische LLMs.
2. Geïntegreerde Triage: Het introduceert een praktische "fuzzy head" die de onzekerheid van het model concentreert in een specifiek "review-bereik". Dit biedt een duidelijke interface voor menselijke interventie.
3. Balans tussen Retrieval en Classificatie: Het toont aan dat een model dat is getraind op geordende relevantie (ACORD) effectief kan worden hergebruikt als backbone voor een binair compliance-classificatietaak (CUAD), zelfs bij extreme class-imbalance.
4. Regelgevingsconformiteit: De aanpak is specifiek ontworpen om te voldoen aan eisen van frameworks zoals HIPAA en NERC-CIP, waarbij traceerbaarheid en uitlegbaarheid centraal staan.

4. Resultaten

De experimenten zijn uitgevoerd op één NVIDIA A100 GPU met vijf verschillende random seeds (40-44) om de stabiliteit te garanderen.

• Retrieval Performance (ACORD):

  • NDCG@5: ≈ 0,38 – 0,42
  • NDCG@10: ≈ 0,45 – 0,50
  • 4-star Precision@5: ≈ 0,37
  • Conclusie: Het model presteert aanzienlijk beter dan majority- en random-baselines.

• Classificatie Performance (CUAD):

  • AUC: ≈ 0,98 – 0,99 (uitstekend onderscheidend vermogen).
  • F1-score: Variërend van 0,22 tot 0,30, afhankelijk van de weging.
  • Recall: Bij een hoge weging voor positieve klassen (w=200) wordt een recall van 0,975 bereikt, wat cruciaal is voor compliance (liever een vals positief dan een gemiste overtreding).

• Triage Effectiviteit:

  • Het fuzzy-mechanisme slaagt erin om 96% tot 98% van de clausules automatisch te classificeren (auto-compliant of auto-noncompliant).
  • Het foutpercentage binnen deze automatisch besliste groep blijft onder de 2% (conform de constraint).
  • De resterende 2-4% (de "marginal cases") wordt correct doorgestuurd naar menselijke review.

5. Betekenis en Conclusie

Dit paper biedt een pragmatisch alternatief voor de hype rondom generatieve AI in juridische contexten. De kernboodschap is dat voor compliance-taken uitlegbaarheid en reproduceerbaarheid belangrijker zijn dan het maximale prestatieniveau van een black-box LLM.

• Juridische Verdedigbaarheid: Omdat het model deterministisch is en bestaat uit een klein aantal scalar parameters (drempels, gewichten), kan het volledig worden gedocumenteerd en geaudit.
• Operationele Efficiëntie: Door een groot deel van de duidelijke gevallen automatisch te behandelen en alleen de twijfelgevallen aan mensen voor te leggen, wordt de werkdruk voor compliance-teams aanzienlijk verlaagd zonder de kwaliteit te offeren.
• Toekomstperspectief: De auteurs pleiten voor een "Evidence OS" waarbij dit soort modellen de basis vormen voor audittools, met ruimte voor toekomstige verbeteringen zoals aangeleerde triage-beleid en bias-audits per klant of controle.

Kortom, het paper bewijst dat eenvoudige, deterministische neurale netwerken met transparante triage-regels een robuuste, reproduceerbare en regelgevingsvriendelijke oplossing bieden voor complexe juridische bewijsretrieval en compliance-classificatie.