🤖 AI

Knowledge Graph Representations for LLM-Based Policy Compliance Reasoning

Cet article présente un cadre agentique qui construit des graphes de connaissances à partir de documents de politique d'IA afin d'améliorer le raisonnement et la vérification de la conformité basés sur les LLM, démontrant que l'enrichissement par des graphes de connaissances améliore les performances dans diverses tâches de raisonnement et que les schémas découverts par les LLM peuvent égaler ou surpasser les ontologies formelles.

Auteurs originaux : Wilder Baldwin, Sepideh Ghanavati

Publié 2026-05-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wilder Baldwin, Sepideh Ghanavati

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle massif et confus dont les pièces sont des règles écrites dans trois langues différentes (le règlement européen sur l'IA, les directives du NIST et les normes OWASP). Vous disposez d'un assistant très intelligent (un modèle de langage de grande taille, ou LLM) qui a lu beaucoup de livres mais ne possède pas ces manuels de règles parfaitement mémorisés. Si vous posez une question à l'assistant, il pourrait deviner la réponse en se basant sur ce qu'il « pense » savoir, mais il pourrait se tromper sur les détails ou inventer des faits (halluciner).

Ce papier présente une nouvelle méthode pour aider cet assistant intelligent. Au lieu de simplement demander à l'assistant de se souvenir, les chercheurs ont construit un classeur numérique (un graphe de connaissances) spécifiquement pour ces règles sur l'IA.

Voici comment le système fonctionne, décomposé en étapes simples :

1. L'équipe « Numériser et Trier » (Construction)

D'abord, le système prend les longs documents politiques ennuyeux et les découpe en petits morceaux gérables. Il utilise ensuite un agent IA pour lire chaque morceau et extraire les « faits » importants (comme des risques spécifiques, des règles ou des obligations) ainsi que les liens entre eux.

Pensez-y comme à un bibliothécaire qui lit un manuel de règles de 500 pages et crée un jeu de fiches.

Le bibliothécaire « Strict » (Schéma AIRO) : Ce bibliothécaire suit une liste de catégories très stricte et préétablie (comme « Risque », « Menace », « Conséquence »). Il force chaque fait dans ces cases spécifiques.
Le bibliothécaire « Créatif » (Schéma Ouvert) : Ce bibliothécaire n'utilise pas de liste préétablie. Au lieu de cela, il examine le texte et crée ses propres étiquettes descriptives (comme « Risque d'empoisonnement des données » ou « Règle de transparence ») qui s'adaptent le mieux au contenu.

2. Le « Détective » (Récupération)

Lorsque vous posez une question (par exemple : « Ce code viole-t-il le règlement européen sur l'IA ? »), le système ne demande pas simplement à l'assistant de deviner. Il agit comme un détective :

Le chemin direct : Pour les questions simples (comme « Qu'est-ce qu'un système d'IA à haut risque ? »), le détective trouve rapidement la fiche exacte et lit la citation.
Le chemin agent : Pour les questions complexes (comme « Comment les règles européennes et les règles du NIST fonctionnent-elles ensemble ? »), le détective parcourt le classeur, en suivant les liens entre les fiches pour rassembler toutes les preuves nécessaires afin de construire une réponse complète.

3. Le « Juge » (Évaluation)

Les chercheurs ont testé ce système avec cinq modèles d'IA différents (des plus puissants aux plus petits et moins coûteux). Ils ont posé 42 types de questions différents, allant des recherches simples au raisonnement complexe entre plusieurs règles.

Ils ont comparé trois scénarios :

Sans aide : L'IA répond à partir de sa propre mémoire.
Classeur strict : L'IA utilise les fiches du bibliothécaire « Strict ».
Classeur créatif : L'IA utilise les fiches du bibliothécaire « Créatif ».

Ce qu'ils ont découvert (Les résultats)

Le classeur aide toujours : L'ajout du graphe de connaissances a amélioré les réponses pour chaque modèle d'IA testé. L'IA est devenue plus précise et, surtout, a pu fournir des citations exactes des règles pour prouver sa réponse, plutôt que de simplement deviner.
Le bibliothécaire « Créatif » était étonnamment bon : Vous pourriez penser qu'une liste stricte et préétablie (l'ontologie formelle) serait meilleure. Cependant, le bibliothécaire « Créatif », qui inventait ses propres étiquettes sur le vif, a performé aussi bien, et parfois même mieux, que le strict. Cela suggère que laisser l'IA décrire les choses avec ses propres mots peut être plus efficace que de la forcer dans des cases rigides.
La taille compte (pour le détective) : Le système fonctionnait très bien pour les modèles d'IA à « gros cerveau ». Cependant, pour les modèles plus petits et moins puissants, le « chemin agent » (où le détective parcourt le graphe) a en fait empiré les choses. C'était comme donner une carte complexe à un enfant qui ne sait pas lire ; il s'est perdu. Pour les petits modèles, il valait mieux leur donner directement la réponse sans l'étape complexe de la navigation.

La grande conclusion

Le papier prouve que si vous voulez qu'une IA suive des règles de sécurité complexes, vous ne devez pas vous fier uniquement à sa mémoire. Vous devez lui fournir une carte structurée et consultable de ces règles. Fait intéressant, vous n'avez pas besoin d'une carte parfaitement préplanifiée ; une carte que l'IA construit elle-même à partir du texte fonctionne tout aussi bien. Cependant, vous devez adapter la complexité de la tâche de lecture de la carte à l'intelligence de l'IA qui lit.

1. Énoncé du problème

Alors que les fonctionnalités d'IA sont rapidement intégrées dans les logiciels, les cadres réglementaires (par exemple, l'AI Act de l'UE, le NIST AI RMF, OWASP Top 10) imposent des exigences de conformité complexes, superposées et évolutives. Les praticiens peinent à naviguer manuellement dans ces obligations interconnectées. Bien que les modèles de langage de grande taille (LLM) soient de plus en plus utilisés pour des tâches de conformité, ils souffrent de :

Hallucinations : Incapacité à citer de manière fiable des clauses spécifiques de la politique.
Connaissances obsolètes : Les connaissances paramétriques sont souvent en retard par rapport aux nouvelles réglementations.
Limites de raisonnement : Difficulté à effectuer un raisonnement multi-sauts ou une inférence inter-politique.

L'article répond au besoin d'un système automatisé capable d'ancrer le raisonnement des LLM dans le texte de politique autoritaire en utilisant des graphes de connaissances (KG) pour améliorer la précision, la traçabilité et la vérification de la conformité.

2. Méthodologie

Les auteurs proposent un cadre agentique qui construit des KG à partir de documents de politique d'IA et utilise une récupération adaptative pour répondre aux questions. Le système fonctionne comme un serveur Model-Context-Protocol (MCP) avec un pipeline en quatre étapes :

A. Découpage de documents (Scan-and-Review)

Au lieu de comptes de tokens fixes, un agent de découpage utilise un processus en deux phases pour segmenter le texte de la politique tout en préservant la structure logique :

Scan : Une fenêtre glissante incite un LLM à identifier des limites de division naturelles (par exemple, la fin d'un Article).
Review : Le plan est vérifié ; si les segments sont trop grands (>4 000 caractères), l'agent propose des divisions supplémentaires.

B. Extraction du graphe de connaissances

Un agent d'extraction traite les segments pour générer des entités et des relations typées. L'étude compare deux schémas d'ontologie :

Schéma fermé (AIRO) : Ancré dans l'Ontologie formelle des risques d'IA (AIRO). Il utilise un vocabulaire prédéfini (7 types d'entités, 6 types de relations) dérivé de l'AI Act de l'UE et des normes ISO.
Schéma ouvert (Émergent) : Le LLM attribue des étiquettes descriptives en casse serpent (par exemple, technical_risk, regulatory_obligation) sans vocabulaire prédéfini, en les normalisant après l'extraction.

Alignement inter-politique : Les entités provenant de différentes sources (UE, NIST, OWASP) sont liées via des arêtes Corresponds To en utilisant la similarité d'incrustation (cosinus $\ge$ 0,70) et la similarité de chaînes.

C. Récupération adaptative et synthèse de réponse

Un agent de routage classe les questions comme "Directes" ou "Agent" en fonction de la complexité :

Chemin direct (Tâches simples) : Incruste la question, récupère les 5 meilleures entités, étend les voisins à 1 saut et synthétise une réponse.
Chemin agent (Tâches complexes) : Utilise une boucle ReAct (max 7 étapes) avec des outils pour la recherche par mots-clés, la recherche sémantique, l'expansion de voisins et la recherche de chemin pour parcourir le graphe afin d'effectuer un raisonnement multi-sauts.
Synthèse : L'appel final au LLM reçoit des entités de preuve (sériées sous forme de relations), du texte brut de segment, des exemples d'apprentissage en contexte (ICL) et des instructions spécifiques à la tâche.

D. Configuration de l'évaluation

Ensembles de données : 42 tâches de questions-réponses sur des politiques couvrant trois cadres (AI Act de l'UE, NIST AI RMF, OWASP Top 10).
Types de tâches : Six catégories allant de T1 (Recherche d'entité) à T6 (Raisonnement inter-politique).
Modèles : Cinq LLM répartis sur trois niveaux (Frontière : gpt-5-mini, gpt-4.1-mini ; Milieu de gamme : nemotron:30b, gpt-oss:20b ; Petit : granite4:micro).
Métriques : Score heuristique (chevauchement de mots, correspondance d'ensembles) et un LLM-as-Judge (gpt-4.1-mini) évaluant la précision, l'exhaustivité et la pertinence.

3. Contributions clés

Cadre agentique de politique : Un pipeline complet de bout en bout pour construire et interroger des KG dérivés de politiques, exposé comme un serveur MCP pour l'intégration.
Comparaison d'ontologies : Une comparaison empirique rigoureuse entre une ontologie formelle dérivée de normes (AIRO) et un schéma ouvert découvert par LLM.
Référence de raisonnement inter-politique : Introduction de la Tâche Type T6, défiant les modèles à mapper des concepts à travers des cadres rédigés indépendamment (par exemple, lier les risques OWASP aux exigences de l'AI Act de l'UE).
Seuils de capacité des modèles : Identification d'un seuil où la traversie de graphe agentique bénéficie aux modèles plus grands mais dégrade les performances des modèles plus petits.

4. Résultats clés

L'augmentation par KG améliore les performances : Les LLM augmentés par KG surpassent la référence "Sans contexte" sur les cinq modèles.
- Gains de score du Juge : Les améliorations vont de +0,17 à +0,55.
- Meilleur performeur : gpt-oss:20b a enregistré la plus grande amélioration du juge (+0,55 avec un KG ouvert).
Performance des schémas :
- Le Schéma ouvert (Émergent) a égalé ou dépassé le schéma formel AIRO dans les scores du juge pour 3 modèles sur 5.
- La flexibilité du schéma ouvert a permis des noms d'entités plus riches et plus descriptifs, mieux alignés sur les vocabulaires de réponse attendus.
Insights spécifiques aux tâches :
- T1/T3 (Recherche/Attributs) : Ont montré les gains les plus forts (+0,11 à +0,40) car les KG fournissaient des citations textuelles de la politique que les LLM ne peuvent pas générer à partir de la mémoire paramétrique seule.
- T5 (Vérification de conformité) : Les KG ont transformé les réponses de l'atténuation ("Partiellement conforme") en jugements définitifs et cités ("Oui, citant l'Article 50").
- T6 (Inter-politique) : A montré les plus faibles gains. Le succès dépendait fortement du chevauchement de vocabulaire entre les politiques ; les modèles peinaient lorsque les termes différaient (par exemple, "empoisonnement de données" vs "biais des données d'entraînement").
Seuil de capacité des modèles :
- Grands modèles : Ont bénéficié du Chemin agent (traversée multi-sauts), améliorant le raisonnement complexe.
- Petits modèles (par exemple granite4:micro) : Ont souffert sur les tâches complexes (T4, T6) lors de l'utilisation du chemin agent, montrant une régression de performance. Ils ont obtenu les meilleurs résultats uniquement avec le Chemin direct.

5. Importance et travaux futurs

Utilité pratique : L'étude démontre que l'ancrage des LLM dans des KG est essentiel pour la conformité réglementaire, en particulier pour fournir des preuves citables et réduire les hallucinations.
Flexibilité de l'ontologie : Contrairement à l'hypothèse selon laquelle les ontologies formelles sont supérieures, un schéma découvert par LLM peut être aussi ou plus efficace pour les tâches de questions-réponses en raison d'un meilleur alignement sémantique avec les requêtes en langage naturel.
Récupération stratégique : Les résultats suggèrent que les stratégies de récupération doivent être conditionnées à la capacité du modèle. Les petits modèles doivent contourner les boucles agentiques complexes au profit d'une récupération directe pour éviter la dégradation.
Directions futures : Les auteurs prévoient d'étendre le pipeline à l'analyse de code source (parcourant des graphes de code parallèlement aux KG de politique) et d'explorer des méthodes avancées d'alignement d'entités (au-delà de la similarité d'incrustation) pour résoudre le goulot d'étranglement du décalage de vocabulaire inter-politique.

Limites : L'évaluation est limitée aux cadres occidentaux en langue anglaise, utilise un petit ensemble de questions (42 éléments) et repose sur un score automatisé sans études utilisateurs avec des développeurs humains.