A Benchmark for Gap and Overlap Analysis as a Test of KG Task Readiness

Dit artikel introduceert een uitvoerbaar en auditabel benchmark voor het analyseren van hiaten en overlappingen in beleidsdocumenten, zoals levensverzekeringcontracten, waarbij wordt aangetoond dat een door een ontologie gedreven aanpak consistentie en diagnose verbetert ten opzichte van tekst-only LLM-baselines.

De kern

Stel je voor dat je op zoek bent naar de perfecte verzekeringspolis. Je hebt een specifieke situatie in gedachten: "Wat gebeurt er als ik over 13 maanden zelfmoord pleeg?" of "Wat als mijn auto in brand vliegt terwijl ik dronken ben?"

In de echte wereld zitten de antwoorden op deze vragen verstopt in honderden pagina's aan juridisch taalgebruik in verzekeringscontracten. Soms zeggen ze "ja", soms "nee", en soms is het antwoord "dat geldt niet voor dit contract".

De auteurs van dit paper hebben een groot experiment opgezet om te testen of computers (en kunstmatige intelligentie) deze complexe regels echt kunnen begrijpen en vergelijken. Ze noemen dit een "Benchmark" (een meetlat), maar laten we het zien als een groot, gestructureerd testlab.

Hier is hoe het werkt, vertaald naar alledaags taalgebruik:

1. Het Probleem: De "Wolken van Verwarring"

Verzekeringscontracten zijn als een enorme stapel boeken in verschillende talen. Als je twee boeken naast elkaar legt, is het voor een mens al lastig om te zien: "Welk boek zegt ja, en welke zegt nee?"

Computers (zoals de slimme chatbots die we allemaal kennen, de LLM's) lezen deze boeken snel, maar ze maken vaak fouten. Ze denken soms dat iets "nee" is omdat ze het woord niet hebben gevonden, terwijl het contract het gewoon niet noemt (en dus eigenlijk "ja" betekent). Ze missen de subtiele regels.

2. De Oplossing: Een Bouwpakket met Legoblokken

Om dit op te lossen, hebben de onderzoekers een drie-delige set gemaakt:

• De Boeken (De Contracten): Ze hebben 10 verzekeringscontracten gemaakt (van simpel tot heel complex). Deze zijn door een expert gecontroleerd om ervoor te zorgen dat ze logisch zijn.
• De Bouwplaat (Het Ontologie): Dit is het belangrijkste stukje. Ze hebben de regels uit die boeken niet alleen opgeschreven, maar omgezet in een strenge bouwplaat (een "TBox").
  • Analogie: Stel je voor dat je in plaats van een verhaal over een huis, een set Lego-blokken hebt. Er staat precies op: "Als je een rood blok (verzekering) hebt en een blauw blok (zelfmoord) binnen 2 jaar, dan is het resultaat: 'Nee, we betalen niet'."
  • Dit maakt de regels onmiskenbaar. Er is geen ruimte voor "misschien" of "ik denk het wel".
• De Testvragen (De Scenarios): Ze hebben 58 specifieke situaties bedacht (zoals de zelfmoord-na-13-maanden) en voor elke situatie een exact antwoord opgeschreven: "Welke contracten betalen, welke niet, en waar staat dat in de tekst?"

3. De Wedstrijd: Chatbot vs. Bouwplaat

Nu hebben ze een wedstrijd gehouden om te zien wie er beter is:

• Team Chatbot (LLM): Ze gaven de slimme chatbots de originele tekst en de vragen. De chatbots moesten raden wat het antwoord was.
• Team Bouwplaat (Knowledge Graph): Ze gaven de vragen aan het systeem met de Lego-bouwplaat. Het systeem zocht gewoon in de blokken: "Hebben we een rood en een blauw blok? Ja? Dan is het antwoord X."

Het resultaat?

• De Chatbots deden het redelijk goed op simpele vragen (ongeveer 70-80% goed), maar bij moeilijke, complexe vragen raakten ze in de war. Ze maakten vaak de fout dat ze dachten: "Ik zie geen regel over dit, dus het is verboden!" (Terwijl het in werkelijkheid gewoon niet van toepassing was).
• Het Bouwplaat-systeem was 100% consistent. Omdat de regels vastgelegd waren in de bouwplaat, gaf het altijd hetzelfde juiste antwoord, ongeacht hoe complex de vraag was. Bovendien kon het systeem direct verwijzen naar de exacte zin in het contract: "Kijk hier, op pagina 7, regel 3."

Waarom is dit belangrijk? (De "Gaten en Overlappingen")

De titel van het paper spreekt over "Gap and Overlap Analysis" (Gaten en Overlappingen).

• Overlap: Welke contracten zeggen allemaal "Ja"? (Dit is handig als je zekerheid wilt).
• Gap: Welke contracten zeggen "Nee" of "Niet van toepassing"? (Dit zijn de gaten in je bescherming).

Het paper laat zien dat als je wilt weten waar je gaten zitten, je niet kunt vertrouwen op een chatbot die "raadt". Je hebt een gestructureerd systeem nodig dat de regels als wetten behandelt.

De Grootte Les

De boodschap is simpel: Kunstmatige intelligentie is goed in het lezen van verhalen, maar slecht in het volgen van strenge regels.

Als je een levensbelangrijke beslissing moet nemen (zoals een verzekering afsluiten of een wet controleren), wil je geen "misschien" van een chatbot. Je wilt een systeem dat zegt: "Volgens blok A en blok B is het antwoord X, en hier is het bewijs."

Dit onderzoek biedt een meetlat om te testen of een computer-systeem klaar is voor dit soort zware taken. Het bewijst dat als we regels omzetten in een strakke structuur (een "Knowledge Graph"), we veel betrouwbaardere en eerlijkere antwoorden krijgen dan wanneer we gewoon tekst laten "lezen" door een AI.

Kortom: Ze hebben een test ontwikkeld die laat zien dat voor juridische en financiële regels, structuur en logica (de Lego-bouwplaat) veel beter werken dan taal en intuïtie (de chatbot) als het gaat om het vinden van fouten en gaten in de regels.

Technische samenvatting

Probleemstelling

De kwaliteitsevaluatie van Kennisgrafieken (KG's) verschuift van puur structurele en logische criteria naar een opdrachtgerichte benadering (task-oriented). De kernvraag is niet alleen of de KG logisch correct is, maar of deze in staat is om de "competentie-vragen" te beantwoorden die gebruikers werkelijk stellen, met antwoorden die reproduceerbaar, verklaarbaar en traceerbaar zijn naar bewijsmateriaal.

In domeinen zoals verzekeringen worden regels en uitzonderingen vaak vastgelegd in complexe, beleidsachtige documenten (zoals verzekeringscontracten). Stakeholders moeten vaak bepalen welke documenten een specifieke situatie ondersteunen (overlap) en welke niet (gap). Het huidige probleem is dat:

1. Het evalueren van deze analyses moeilijk is zonder gestructureerde middelen die natuurlijke taal koppelen aan formele representaties.
2. Bestaande benchmarks vaak ontbreken of te complex zijn om te delen en te annoteren.
3. Large Language Models (LLM's) weliswaar tekst kunnen begrijpen, maar vaak inconsistent zijn bij het hanteren van strikte contractuele voorwaarden, ontbrekende clausules (die niet gelijk zijn aan afwijzing) en het leveren van onderbouwde bewijslast.

Er is dus behoefte aan een benchmark die test of een KG-taak (zoals gap/overlap-analyse) "klaar" is voor gebruik, in plaats van alleen te testen of er ontbrekende feiten zijn.

Methodologie

De auteurs presenteren een uitvoerbaar en auditabel benchmark-ecosysteem voor levensverzekeringcontracten, bestaande uit drie onderling verbonden componenten:

1. Het Dataset (De Contracten):

   • Een corpus van 10 synthetische, maar diverse levensverzekeringcontracten (C1–C10), variërend van eenvoudige termverzekeringen tot complexe producten zoals "Variable Universal Life" en "Indexed Universal Life".
   • Deze zijn gegenereerd met LLM's (Claude Sonnet 4.6) en vervolgens gevalideerd door een domeinexpert om terminologische consistentie en juridische plausibiliteit te garanderen.
   • De contracten bevatten variaties in uitsluitingen (bijv. zelfdoding: 12 vs. 24 maanden), gratieperiodes en dekkingen.

2. De Ontologie (TBox en ABox):

   • TBox (Schemalaag): Een OWL/Turtle-ontologie die het domein vocabularisatie definieert. Deze gebruikt patronen zoals subsumptie (hiërarchie van polissen) en waarde-partitie (bijv. SuicideBenefitType als een klasse met specifieke individuen in plaats van vrije tekst).
   • ABox (Instantiatielaag): Een kennisbasis gevuld met instanties voor elk contract. Elke instantie is gekoppeld aan drie traceerbaarheids-eigenschappen: sourceContractID, sourceContractSection en coverageSourceText (de originele tekst). Dit zorgt ervoor dat elke query-resultaat direct traceerbaar is naar de brontekst.

3. De Competentie-Vragen (Scenarios):

   • Een suite van 58 gestructureerde scenario's (competentie-vragen) die typische vragen van verzekerden simuleren (bijv. "Wat gebeurt er bij zelfdoding na 13 maanden?").
   • Voor elk scenario zijn twee SPARQL-query's gedefinieerd: één voor "gedekt" (Covered) en één voor "afgewezen" (Denied).
   • Er is een "ground truth" beschikbaar op contractniveau (Covered, Denied, of Not_Applicable) met clause-level bewijs.

Evaluatie-aanpak:
De auteurs vergelijken twee pijplijnen:

• Ontologie-gedreven pijplijn: Gebruikt SPARQL-query's over de geïnstancieerde KG om antwoorden te genereren.
• Tekst-only LLM-pijplijn: Drie state-of-the-art modellen (ChatGPT, Gemini, Claude) die direct de contracttekst analyseren zonder formele structuur, en een label en bewijs moeten voorspellen.

Belangrijkste Bijdragen

1. Eerste Benchmark voor Gap/Overlap: Een uniek dataset dat specifiek is ontworpen om de "taak-klaarheid" van KG's te testen door het identificeren van verschillen in dekking tussen meerdere documenten.
2. Gecombineerde Resources: Een volledig gekoppeld ecosysteem van contracttekst, een gevalideerde TBox, een gevulde ABox en 58 scenario's met SPARQL-ground truth.
3. Traceerbaarheid en Audit: Elke instantie in de KG is gekoppeld aan de originele clausule, wat volledige auditbaarheid mogelijk maakt.
4. Empirische Vergelijking: Een uitgebreide vergelijking tussen symbolische (ontologie) en neurale (LLM) benaderingen in een hoog-risico domein.

Resultaten

De vergelijking tussen de LLM-baselines en de ontologie-gedreven aanpak leverde de volgende inzichten op:

• Prestaties: De ontologie-gedreven aanpak is deterministisch en levert 100% consistente resultaten gebaseerd op de gedefinieerde logica. De LLM's presteerden variabel:
  • Claude Sonnet 4.6: 87,76% nauwkeurigheid.
  • ChatGPT-5.3: 72,93% nauwkeurigheid.
  • Gemini-3: 65,17% nauwkeurigheid.
• Foutpatronen: De meest voorkomende fouten bij LLM's waren het verkeerd interpreteren van NOT_APPLICABLE (niet van toepassing) als DENIED (afgewezen).
  • Voorbeeld: Als een contract geen clausule heeft over een specifieke uitsluiting (bijv. alcohol), is de situatie volgens de benchmark "gedekt" (standaard dekking geldt). LLM's interpreteerden de afwezigheid van de clausule echter vaak als een reden om de claim af te wijzen.
• Complexiteit: De fouten van LLM's namen toe met de complexiteit van het contract. De meest complexe contracten (C4, C8, C10) veroorzaakten de meeste fouten.
• Consistentie: LLM's toonden inconsistent gedrag bij complexe scenario's (bijv. gezamenlijke overlevingspolissen), waarbij ze soms alle contracten als "gedekt" of "afgewezen" labelden, ongeacht de specifieke structuur.
• Bewijslast: LLM's leverden vaak vage of generieke bewijsstukken (bijv. algemene productbeschrijvingen) die niet direct de specifieke conclusie ondersteunden, terwijl de KG-aanpak automatisch de exacte clausuletekst terugkoppelt.

Betekenis en Toekomstperspectief

Dit paper demonstreert dat gap en overlap-analyse een effectieve test is voor de taak-klaarheid van een KG. De studie bevestigt dat:

1. Expliciete modellering noodzakelijk is: Om consistente, reproduceerbare en auditabele resultaten te krijgen in juridische of financiële domeinen, is een formele representatie (ontologie) superieur aan pure tekst-inferentie.
2. Hybride benaderingen: Hoewel LLM's goed zijn in taalbegrip, missen ze de strikte logische consistentie. De benchmark biedt een template voor hybride systemen waarbij LLM's gestructureerde features kunnen extraheren die vervolgens door een KG worden verwerkt.
3. Herbruikbaarheid: De methode is domein-onafhankelijk en kan worden toegepast op andere beleidsachtige domeinen (zoals gezondheidszorg of financiële regulering) om de kwaliteit van KG's te evalueren en downstream taken zoals "evidence-grounded question answering" te ondersteunen.

Kortom, de benchmark biedt een cruciale infrastructuur om te bewijzen dat een kennisgrafiek niet alleen feiten bevat, maar ook in staat is om complexe, bewijsgebaseerde beslissingen te ondersteunen die betrouwbaar en controleerbaar zijn.