A Benchmark for Gap and Overlap Analysis as a Test of KG Task Readiness

Ce papier présente un benchmark exécutable et auditable pour l'analyse des écarts et des chevauchements dans les documents contractuels, démontrant qu'une approche pilotée par une ontologie améliore la cohérence et la traçabilité des résultats par rapport à un modèle de langage seul.

L'essentiel

🕵️‍♂️ Le Grand Défi : Qui a raison dans le monde des assurances ?

Imaginez que vous êtes un détective privé. Votre travail consiste à vérifier si une situation précise (par exemple : "L'assuré est décédé par suicide 13 mois après avoir signé le contrat") est couverte par un contrat d'assurance ou non.

Le problème, c'est qu'il n'y a pas un seul contrat, mais dix contrats différents, écrits dans un langage juridique compliqué. Certains disent "Oui, on paie", d'autres "Non, on refuse", et d'autres encore "Ça ne s'applique pas à ce cas".

L'objectif de cette recherche est de créer un outil de test pour voir si les ordinateurs sont capables de faire ce travail de détective de manière fiable, rapide et sans se tromper.

🧱 Les Trois Piliers de l'Expérience

Pour tester cela, les chercheurs ont construit un "terrain de jeu" en trois parties :

1. Les Contrats (Le Livre des Règles) : Ils ont créé 10 contrats d'assurance fictifs mais réalistes. C'est comme un jeu de cartes où chaque carte a ses propres règles secrètes.
2. Le Dictionnaire Magique (L'Ontologie) : C'est la partie la plus intelligente. Au lieu de laisser les ordinateurs lire le texte brut, les chercheurs ont créé un plan de construction logique (une "Ontologie"). Imaginez que vous prenez chaque contrat et que vous le transformez en une structure de Lego parfaitement rangée. Chaque brique (le montant de la prime, la période d'exclusion, le bénéficiaire) a une étiquette précise et une place fixe.
3. Les Scénarios (Les Questions) : Ils ont écrit 58 questions précises (ex: "Si je meurs dans un accident de voiture avec de l'alcool dans le sang, suis-je couvert ?"). Pour chaque question, ils savent déjà la réponse exacte grâce à leur "plan de Lego".

🤖 Le Duel : Le Chatbot vs Le Logicien

Les chercheurs ont mis en lice deux méthodes pour répondre à ces 58 questions sur les 10 contrats :

• L'Équipe "Chatbot" (IA pure) : Ils ont utilisé des intelligences artificielles modernes (comme ChatGPT ou Claude) qui lisent simplement le texte des contrats. C'est comme demander à un humain très intelligent de lire les règles et de donner son avis.
• L'Équipe "Logicien" (Base de connaissances) : Ils ont utilisé un système basé sur leur "plan de Lego". L'ordinateur ne "lit" pas, il interroge la structure. C'est comme si vous demandiez à un robot de compter exactement combien de briques rouges il y a dans une boîte spécifique.

🏆 Les Résultats : Qui gagne ?

Le résultat est sans appel, mais avec une nuance importante :

• Le Chatbot est un bon lecteur, mais un mauvais juge. Il comprend bien le français et donne souvent la bonne réponse pour les cas simples. Mais dès que la situation devient complexe (par exemple, un contrat spécial pour deux personnes), il commence à halluciner. Il invente des règles qui n'existent pas ou interprète mal les exceptions.
  • L'analogie : C'est comme un étudiant brillant qui a lu tous les livres de droit, mais qui, sous pression, commence à confondre les articles de loi et à inventer des exceptions pour faire plaisir au professeur.
• Le Logicien est infaillible (dans ce contexte). Parce que les règles sont codées de manière stricte, le système donne toujours la même réponse, quelle que soit la complexité. S'il dit "Non", il peut vous montrer exactement la phrase du contrat qui justifie ce "Non".
  • L'analogie : C'est comme un robot de cuisine programmé. Si vous lui demandez de couper 5 carottes, il le fera toujours exactement de la même façon, sans jamais se tromper, car il suit un programme rigide.

💡 Pourquoi c'est important ? (La leçon de la journée)

Ce papier nous apprend une chose fondamentale sur l'avenir de l'IA dans des domaines sérieux comme le droit ou la finance :

La compréhension du langage ne suffit pas.

Avoir une IA qui parle bien (comme un Chatbot) ne suffit pas pour prendre des décisions critiques. Il faut aussi une structure logique (comme le plan de Lego) qui force l'ordinateur à être précis.

• Le Chatbot vous donne une réponse probable, mais vous ne pouvez pas toujours lui faire confiance pour prouver pourquoi il a répondu ainsi.
• Le système basé sur les connaissances (KG) vous donne une réponse certaine, avec une piste d'audit (une preuve écrite) que vous pouvez vérifier.

🚀 Conclusion

En résumé, les chercheurs ont créé un terrain de jeu de référence pour tester si une intelligence artificielle est prête à gérer des tâches réelles et complexes. Ils ont prouvé que pour des choses importantes comme les assurances, on ne peut pas se fier uniquement à l'intuition des machines. Il faut les guider avec des règles claires et structurées pour qu'elles soient à la fois précises et honnêtes sur la source de leurs réponses.

C'est un peu comme dire : "Pour construire un pont, un architecte qui dessine de jolis croquis (l'IA textuelle) est utile, mais vous avez besoin d'ingénieurs qui respectent les lois de la physique (l'Ontologie) pour que le pont ne s'effondre pas."

Résumé technique

Titre du papier : Un Benchmark pour l'Analyse des Lacunes et des Chevauchements comme Test de Prêt à l'Emploi (Task Readiness) des Graphes de Connaissances (KG)

1. Problématique

L'évaluation de la qualité des Graphes de Connaissances (KG) évolue d'une approche purement structurelle vers une évaluation orientée tâche. Le défi principal réside dans la capacité d'une représentation basée sur une ontologie à répondre aux « questions de compétence » (competency questions) des utilisateurs de manière reproductible, explicable et traçable vers des preuves factuelles.

Dans des domaines critiques comme l'assurance, les règles sont souvent codifiées dans des documents complexes (contrats, réglementations). Les parties prenantes doivent fréquemment comparer ces documents pour déterminer, face à un scénario donné (ex. : un décès par suicide 13 mois après la souscription), quels contrats le couvrent (chevauchement/overlap) et lesquels l'excluent (lacune/gap).

• Limites actuelles : Les approches actuelles basées sur le texte non structuré ou les modèles de langage (LLM) peinent à garantir la cohérence, à gérer les nuances structurelles des contrats et à fournir des justifications traçables. De plus, il manque des benchmarks standardisés alignant textes naturels, ontologies formelles et vérités terrain pour évaluer ces systèmes.
• Objectif : Déterminer si un KG peut non seulement stocker des faits, mais aussi exécuter des analyses de couverture de manière fiable et auditable.

2. Méthodologie

Les auteurs proposent un benchmark exécutable et auditable composé de trois piliers interconnectés :

• A. Corpus de Contrats (Données) :

  • 10 contrats d'assurance-vie synthétiques mais diversifiés, couvrant des produits simples (terme) à complexes (vie universelle variable/indexée).
  • Ces contrats ont été générés par IA (Claude Sonnet 4.6) puis validés par un expert du domaine pour assurer la plausibilité juridique et la cohérence interne.
  • Ils présentent des variations structurelles critiques (ex. : périodes d'exclusion pour suicide de 12 à 24 mois, périodes de grâce variables).

• B. Ontologie et Base de Connaissances (TBox et ABox) :

  • TBox (Schéma) : Une ontologie OWL/Turtle formalisant les concepts (Politique, Parties, Exclusions, Primes, etc.). Elle utilise des motifs d'ingénierie sémantique comme la partition de valeurs (ex. : types de bénéfices pour suicide) et des contraintes de domaine/porte explicitement déclarées.
  • ABox (Instances) : Chaque contrat est instancié dans le KG. Chaque individu (ex. : une exclusion spécifique) est annoté avec des propriétés de traçabilité (sourceContractID, sourceContractSection, coverageSourceText) liant directement les faits du KG au texte original du contrat.

• C. Suite de Scénarios (Questions de Compétence) :

  • 58 scénarios structurés (format JSON) représentant des cas d'usage réels (revendications, prêts, exclusions, cas limites).
  • Pour chaque scénario, le benchmark fournit :
    1. Une description en langage naturel.
    2. Deux requêtes SPARQL déterministes (une pour identifier les contrats couvrant le cas, une pour les refus).
    3. Une vérité terrain manuelle (Couvert, Refusé, Non applicable) avec des extraits de clauses justificatifs.

• D. Protocole d'Évaluation Comparative :

  • Pipeline Symbolique (KG) : Exécution des requêtes SPARQL sur le KG instancié pour obtenir des résultats déterministes.
  • Pipeline Neural (LLM) : Utilisation de trois LLMs de pointe (ChatGPT-5.3, Gemini-3, Claude Sonnet-4.6) pour inférer directement les résultats à partir du texte brut des contrats, sans ontologie intermédiaire.

3. Contributions Clés

1. Ressource de Benchmarking : Publication d'un corpus unique alignant 10 contrats, une ontologie vérifiée et 58 scénarios avec vérité terrain clause par clause.
2. Méthodologie d'Évaluation Orientée Tâche : Démonstration que l'analyse des lacunes et chevauchements est un test robuste de la « prêt à l'emploi » d'un KG, au-delà de la simple complétude des données.
3. Comparaison Empirique : Une analyse comparative montrant que le modèle basé sur l'ontologie surpasse les LLMs en termes de cohérence et de capacité à fournir des preuves traçables, particulièrement pour les cas complexes.
4. Modèle Réutilisable : Le benchmark sert de modèle générique pour évaluer la qualité des KG dans d'autres domaines réglementaires (santé, finance).

4. Résultats

• Performance des LLMs :

  • Les LLMs obtiennent des performances variables : Claude (87,76 %), ChatGPT (72,93 %), Gemini (65,17 %).
  • Incohérences majeures : Les modèles divergent souvent sur les cas complexes (ex. : politiques conjointes, prêts sur police). L'accord inter-modèle n'est correct que dans 48,8 % des cas.
  • Biais de raisonnement : L'erreur la plus fréquente est de classer un cas comme REFUSÉ (DENIED) alors que la vérité terrain est NON APPLICABLE (NOT_APPLICABLE). Les LLMs interprètent souvent l'absence d'une clause spécifique comme un motif de refus, alors que le contrat ne s'applique tout simplement pas à ce scénario.
  • Qualité des preuves : Les citations de clauses fournies par les LLMs sont souvent génériques ou non pertinentes, manquant de traçabilité stricte.

• Performance du Pipeline KG (Ontologie) :

  • Le pipeline basé sur SPARQL produit des résultats déterministes et 100 % cohérents avec la vérité terrain.
  • Chaque résultat est automatiquement justifié par l'extrait de clause original grâce aux propriétés de traçabilité.
  • Le KG gère parfaitement les différences paramétriques (ex. : 12 vs 24 mois) sans ambiguïté, car elles sont encodées comme des valeurs typées et non du texte libre.

5. Signification et Implications

• Preuve de Concept pour les Systèmes Hybrides : L'article démontre que dans les domaines à haut risque (assurance, juridique), la représentation explicite et structurée (KG) est indispensable pour garantir la reproductibilité et l'auditabilité, là où les modèles neuronaux seuls échouent sur la rigueur logique.
• Nouveau Standard d'Évaluation : Ce benchmark propose un changement de paradigme : évaluer un KG non pas sur sa structure statique, mais sur sa capacité à répondre à des questions métier complexes avec des preuves.
• Futur de l'IA Explicable : Le travail ouvre la voie à des pipelines neuro-symboliques où les LLMs pourraient extraire des faits structurés pour alimenter un KG, combinant ainsi la fluidité linguistique des modèles neuronaux et la rigueur logique des ontologies.
• Applicabilité : Bien que centré sur l'assurance-vie, la méthodologie est transférable à d'autres documents politiques (régulations financières, contrats de santé), offrant une infrastructure partagée pour l'évaluation de la qualité des KG.

En résumé, ce papier établit que pour des tâches nécessitant une justification précise et une cohérence stricte, l'approche basée sur les ontologies (KG) est supérieure aux approches purement textuelles, et fournit les outils nécessaires pour mesurer cette supériorité de manière scientifique.