A Benchmark for Gap and Overlap Analysis as a Test of KG Task Readiness

Dieses Paper stellt ein ausführbares und überprüfbares Benchmark-System vor, das die Eignung von Wissensgraphen für die Lücken- und Überlappungsanalyse in Versicherungsverträgen bewertet, indem es natürliche Vertragstexte mit einer formalen Ontologie und evidenzbasierten Szenarien verknüpft, um nachzuweisen, dass ontologiegestützte Ansätze konsistentere und besser nachvollziehbare Ergebnisse liefern als rein textbasierte LLMs.

Das Wesentliche

Stellen Sie sich vor, Sie stehen in einem riesigen Supermarkt für Versicherungen. Auf den Regalen liegen hunderte von Lebensversicherungsverträgen. Jeder Vertrag ist wie ein komplexes Kochrezept: Manche sagen „Wir zahlen, wenn Sie sterben", andere sagen „Nur wenn Sie nach 24 Monaten sterben", und wieder andere haben versteckte Zutaten, die besagen, dass sie bei bestimmten Unfällen nicht zahlen.

Jetzt stellen Sie sich eine Frage: „Was passiert, wenn mein Kunde in Monat 13 nach Vertragsabschluss durch Suizid verstirbt?"

Einige Verträge würden zahlen, andere nicht. Diejenigen, die zahlen, sind die „Überschneidungen" (Overlap). Diejenigen, die nicht zahlen, sind die „Lücken" (Gap).

Das ist genau das Problem, das diese Forscher lösen wollen. Aber statt nur zu raten, haben sie ein perfektes Test-System gebaut, um zu prüfen, ob Computer wirklich verstehen, was in diesen Verträgen steht.

Hier ist die Geschichte des Papers, einfach erklärt:

1. Das Problem: Der „Ratgeber" vs. Der „Rechenmaschine"

Stellen Sie sich zwei Berater vor, die diese Frage beantworten sollen:

• Berater A (Der KI-Text-Experte): Er liest die Verträge wie ein sehr gut gebildeter Mensch. Er versucht, den Sinn zu verstehen. Aber manchmal interpretiert er Dinge falsch. Wenn ein Vertrag nicht explizit sagt „Wir zahlen bei Suizid", denkt er vielleicht: „Aha, da steht nichts drüber, also zahlen wir nicht!" (Obwohl das Gesetz oder der Standardvertrag eigentlich sagt: „Wenn nichts dagegen steht, zahlen wir."). Er ist kreativ, aber unzuverlässig bei strengen Regeln.
• Berater B (Der KI-Logik-Experte): Er hat die Verträge nicht nur gelesen, sondern in ein perfektes digitales Bauplan-System (eine sogenannte „Ontologie" oder Wissensgraph) übersetzt. Jeder Satz im Vertrag wurde in eine klare Regel umgewandelt: „Wenn Tod = Suizid UND Zeit < 24 Monate, dann = KEINE ZAHLUNG".

2. Der Test: Der „Schokoladentest"

Die Forscher haben 10 verschiedene, vereinfachte Lebensversicherungsverträge erstellt. Sie haben diese Verträge in das digitale Bauplan-System (Berater B) eingepflegt.

Dann stellten sie 58 verschiedene Szenarien vor (z. B. „Der Versicherte stirbt im Autounfall", „Der Versicherte hat einen Kredit aus dem Vertrag genommen", „Der Versicherte stirbt nach 13 Monaten durch Suizid").

Jetzt ließen sie beide Berater (den Text-Leser und den Logik-Experten) diese 58 Fragen beantworten.

3. Die Ergebnisse: Warum der Bauplan besser ist

Das Ergebnis war sehr aufschlussreich:

• Der Text-Leser (KI): Er war oft gut, aber bei komplexen Fällen verwirrt. Er machte Fehler, weil er annahm, dass etwas nicht erlaubt ist, nur weil es nicht explizit erwähnt wurde. Er war wie ein Koch, der ein Rezept liest, aber manchmal Zutaten erfindet, die nicht da sind.
• Der Logik-Experte (Wissensgraph): Er war perfekt konsistent. Da er auf dem digitalen Bauplan basierte, wusste er genau, welche Regel für welchen Vertrag galt. Wenn er sagte „Nein, wir zahlen nicht", konnte er sofort das genaue Zitat aus dem Vertrag zeigen, das diese Regel begründet.

Die große Erkenntnis:
KI kann Text gut lesen, aber sie ist schlecht darin, streng logische Grenzen einzuhalten, wenn es um Verträge geht. Ein Wissensgraph zwingt die KI, die Regeln vorher genau zu definieren. Das ist wie der Unterschied zwischen einem Menschen, der versucht, ein Gesetz aus dem Gedächtnis zu zitieren, und einem Computer, der das Gesetz Wort für Wort durchsucht.

4. Warum ist das wichtig? (Die Metapher des „Audit-Log")

Stellen Sie sich vor, Sie müssen vor einem Richter beweisen, warum eine Versicherung nicht gezahlt hat.

• Der Text-Leser sagt: „Ich glaube, es passt nicht." (Das reicht vor Gericht nicht).
• Der Wissensgraph sagt: „Hier ist die Regel aus Paragraph 7, Absatz 2 des Vertrags C4, die besagt, dass bei Suizid nach 12 Monaten keine Zahlung erfolgt." (Das ist ein Beweis).

Zusammenfassung in einem Satz

Dieses Paper stellt ein neues Werkzeug vor, um zu testen, ob Computer wirklich verstehen, was in Verträgen steht. Es zeigt, dass man für wichtige Dinge wie Versicherungen nicht nur auf „intelligente Text-Leser" vertrauen sollte, sondern auf klare, digitale Baupläne, die jeden Schritt nachvollziehbar und beweisbar machen.

Es ist wie der Unterschied zwischen einem Freund, der Ihnen sagt: „Ich denke, das ist okay", und einem Anwalt, der Ihnen das genaue Gesetz zitiert, das es erlaubt. Für Versicherungen wollen wir immer den Anwalt.

Technische Zusammenfassung

1. Problemstellung

Die Bewertung der Qualität von Wissensgraphen (Knowledge Graphs, KGs) verschiebt sich zunehmend von rein strukturellen Metriken hin zu einer aufgabenorientierten Evaluation. Die zentrale Frage lautet: Kann eine ontologiebasierte Darstellung die „Kompetenzfragen" (Competency Questions) beantworten, die für Nutzer tatsächlich relevant sind?

Das Paper konzentriert sich auf den Bereich Gap-and-Overlap-Analysen (Lücken- und Überschneidungsanalysen) in policy-ähnlichen Dokumenten, insbesondere Lebensversicherungsverträgen.

• Das Problem: Stakeholder müssen oft vergleichen, welche Verträge ein bestimmtes Szenario abdecken (Overlap) und welche nicht (Gap).
• Die Herausforderung: Herkömmliche Evaluierungen scheitern oft daran, dass natürliche Sprache (Vertragstexte) nicht mit formalen Repräsentationen und überprüfbaren Wahrheitsgrundlagen (Ground Truth) verknüpft sind.
• Der Kernkonflikt: Es geht nicht um fehlende Daten, sondern um substantielle Unterschiede in den Abdeckungsbereichen und Ausschlüssen. Ein KG muss diese Unterschiede konsistent und nachvollziehbar (evidenzbasiert) abbilden können. Bestehende Methoden (wie reine LLMs) liefern oft inkonsistente Ergebnisse oder keine nachvollziehbaren Begründungen auf Klausel-Ebene.

2. Methodik und Datensatz

Die Autoren stellen einen ausführbaren und auditierbaren Benchmark vor, der aus drei miteinander verknüpften Komponenten besteht:

A. Der Datensatz (Die Verträge)

• Korpus: 10 synthetische, aber von einem Domänenexperten verifizierte Lebensversicherungsverträge.
• Vielfalt: Die Verträge decken verschiedene Produkttypen ab (von einfachen Term-Lebensversicherungen bis hin zu komplexen „Variable Universal Life" und „Indexed Universal Life" Produkten).
• Komplexität: Sie variieren in Klauselmustern, z. B. bei Selbstmord-Ausschlüssen (12 vs. 24 Monate) oder Karenzzeiten bei Nichtzahlung der Prämie.

B. Die Ontologie (TBox und ABox)

• TBox (Terminologische Box): Eine formale OWL/Turtle-Ontologie, die das Vokabular und die Struktur definiert. Sie nutzt etablierte Muster wie Subsumption (Klassenhierarchien) und Wertpartitionierung (z. B. für SuicideBenefitType).
• ABox (Assertionale Box): Instanziierung der Ontologie mit Fakten aus den Verträgen. Jeder Vertrag (C1–C10) wird zu einem Individuum, das mit Instanzen für Versicherte, Prämien, Ausschlüsse etc. verknüpft ist.
• Traceability (Nachverfolgbarkeit): Ein entscheidendes Merkmal ist, dass jede Instanz im ABox durch drei Eigenschaften mit dem Originaltext verknüpft ist: sourceContractID, sourceContractSection und coverageSourceText. Dies ermöglicht es, jedes SPARQL-Ergebnis direkt auf den ursprünglichen Vertragstext zurückzuführen.

C. Die Kompetenzfragen-Suite

• 58 strukturierte Szenarien: Diese repräsentieren typische Fragen (z. B. „Versicherter stirbt durch Selbstmord nach 13 Monaten").
• Ground Truth: Für jedes Szenario gibt es manuell verifizierte Ergebnisse (COVERED, DENIED, NOT_APPLICABLE) für alle 10 Verträge.
• Dual-Query-Ansatz: Jedes Szenario wird durch zwei SPARQL-Queries abgedeckt: eine für abgedeckte Fälle und eine für abgelehnte Fälle. Dies ermöglicht eine deterministische Auswertung.

3. Wichtige Beiträge

1. Manuell kuratiertes Korpus: Ein Satz von 10 diversen, expertenverifizierten Verträgen, der als Goldstandard dient.
2. Verifizierte Ontologie: Eine TBox/ABox-Kombination, die explizit für Gap/Overlap-Analysen entwickelt wurde und eine vollständige Nachverfolgbarkeit bis zur Klausel-Ebene sicherstellt.
3. Benchmark-Suite: 58 Szenarien mit SPARQL-Queries und evidenzbasierten Labels, die als Test für die „Task Readiness" (Aufgabenbereitschaft) eines KGs dienen.
4. Vergleichsstudie: Eine systematische Gegenüberstellung eines rein textbasierten LLM-Ansatzes mit einem ontologiegetriebenen Ansatz.

4. Ergebnisse

Die Autoren verglichen zwei Pipelines an den 58 Szenarien über die 10 Verträge (insgesamt 580 Evaluierungen pro Modell):

• LLM-Baseline (Text-only): Drei State-of-the-Art-Modelle (Claude Sonnet 4.6, ChatGPT-5.3, Gemini-3) wurden verwendet.

  • Genauigkeit: Claude erreichte die beste Leistung mit 87,76 %, gefolgt von ChatGPT (72,93 %) und Gemini (65,17 %).
  • Fehleranalyse: Die häufigsten Fehler waren die Klassifizierung von „NOT_APPLICABLE" (nicht anwendbar) als „DENIED" (abgelehnt). LLMs neigten dazu, das Fehlen einer spezifischen Klausel als Ablehnungsgrund zu interpretieren, während der Ground Truth dies als „nicht anwendbar" (da der Vertrag keine Regel dafür hat) definierte.
  • Inkonsistenz: Bei komplexen Szenarien (z. B. gemeinsame Überlebensversicherungen) zeigten die Modelle stark divergierende Logiken und lieferten oft keine evidenzbasierten Begründungen auf Klausel-Ebene.

• Ontologie-getriebene Pipeline (KG + SPARQL):

  • Konsistenz: Da die Logik in der Ontologie explizit definiert ist, liefert die SPARQL-Abfrage deterministische und konsistente Ergebnisse über alle Verträge hinweg.
  • Nachvollziehbarkeit: Jedes Ergebnis ist automatisch mit dem zugehörigen Vertragstext verknüpft, was eine vollständige Auditierbarkeit gewährleistet.
  • Ergebnis: Der ontologiebasierte Ansatz übertrifft LLMs in Fällen, die eine strikte Handhabung von strukturellen Einschränkungen und vertraglichen Geltungsbereichen erfordern.

5. Bedeutung und Fazit

Das Paper demonstriert, dass Gap-and-Overlap-Analysen ein effektiver Test für die Aufgabenbereitschaft (Task Readiness) von Wissensgraphen sind.

• Hauptthese: Strukturierte, logikbasierte Repräsentationen (Ontologien) sind für hochriskante Domänen (wie Versicherungen oder Recht) unverzichtbar, wo Konsistenz und Nachweisbarkeit wichtiger sind als reine Textverständnis-Fähigkeiten.
• Rolle von LLMs: LLMs können Text verstehen, scheitern aber oft an der strikten logischen Konsistenz und der Ableitung von Evidenz aus strukturellen Constraints.
• Zukunftsausblick: Der Benchmark dient als wiederverwendbare Vorlage für die Evaluation von KG-Qualität, Ontologie-Lernen und hybriden neuro-symbolischen Systemen (z. B. LLMs zur Extraktion von strukturierten Features für einen KG). Er adressiert die Notwendigkeit, KI-Systeme in kritischen Domänen so zu gestalten, dass ihre Entscheidungen erklärbar und überprüfbar sind.

Der Benchmark und der Code sind öffentlich unter der angegebenen GitHub-URL verfügbar.