🤖 machine learning

KG-SoftMAP: Soft Knowledge-Graph Priors for Bayesian Network Structure Learning from Sparse Discrete Data

L'article présente KG-SoftMAP, une méthode d'apprentissage de la structure de réseaux bayésiens qui exploite des priors de graphes de connaissances imparfaits et pondérés par la confiance pour récupérer efficacement des structures causales à partir de données discrètes éparses là où les approches traditionnelles basées uniquement sur les données échouent, démontrant une performance supérieure sur des bancs d'essai synthétiques et fournissant des modèles de diagnostic calibrés et cohérents avec les connaissances pour des ensembles de données éducatives réelles.

Auteurs originaux : Guoliang Xu, James E. Corter

Publié 2026-06-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guoliang Xu, James E. Corter

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Les « pièces manquantes du puzzle »

Imaginez que vous essayez de résoudre un immense puzzle pour comprendre comment fonctionne un système complexe (comme la façon dont différents symptômes médicaux sont liés à des maladies, ou comment différents concepts mathématiques s'appuient les uns sur les autres).

Habituellement, vous devez voir chaque pièce du puzzle ensemble pour comprendre comment elles s'emboîtent. Mais dans de nombreuses situations réelles, vos données sont éparses. Cela signifie que pour une personne ou un événement donné, vous ne voyez qu'une petite poignée de pièces choisies au hasard.

L'analogie : Imaginez que vous essayiez de comprendre les règles d'un jeu de société, mais que vous ne pouvez regarder que 5 secondes de jeu une fois par semaine, et qu'à chaque fois, vous ne voyez que 3 joueurs au hasard. Vous ne pouvez pas voir qui influence qui parce que vous voyez rarement deux joueurs interagir en même temps.
Le résultat : Les méthodes informatiques standards qui reposent uniquement sur ces données restent bloquées. Elles ne peuvent trouver aucun schéma car les pièces sont trop dispersées.

La solution : Une carte « douce » provenant d'un expert

Les auteurs proposent une nouvelle méthode appelée KG-SoftMAP. Au lieu d'attendre que les données soient parfaites, ils font appel à un « assistant » sous la forme d'un Graphe de Connaissances (Knowledge Graph - KG).

L'analogie : Considérez le Graphe de Connaissances comme un croquis sommaire dessiné par un expert du domaine (ou une IA). L'expert dit : « Je suis assez sûr que le Concept A mène au Concept B, mais je n'en suis pas certain à 100 %. »
La partie « Soft » (Douce) : C'est l'innovation cruciale.
- Contraintes strictes (l'ancienne méthode) : Certaines méthodes traitent le croquis de l'expert comme une loi. Si l'expert dit « A mène à B », l'ordinateur doit tracer cette ligne, même si les données prouvent plus tard que l'expert a tort. C'est une approche fragile ; si l'expert fait une erreur, tout le modèle se brise.
- Priors « Soft » (KG-SoftMAP) : Cette méthode traite le croquis de l'expert comme une suggestion. Elle dit : « L'expert pense que A mène à B, nous allons donc partir de là. Mais si les données que nous possédons suggèrent fortement le contraire, nous ignorerons l'expert et suivrons les données. » C'est une incitation « douce », pas une règle rigide.

Comment ça marche : L'objectif « MAP »

L'ordinateur utilise une formule mathématique pour trouver la meilleure solution au puzzle. Il équilibre deux éléments :

L'ajustement aux données (Data Fit) : À quel point ce puzzle correspond-il aux quelques pièces que nous avons réellement vues ?
La suggestion de l'expert : Est-ce que ce puzzle ressemble au croquis sommaire de l'expert ?

L'ordinateur essaie de maximiser les deux. Si les données sont très faibles (ce qui est généralement le cas dans ces cas d'éparpillement), le croquis de l'expert guide l'ordinateur vers un bon point de départ. Si les données sont assez fortes pour contredire l'expert, l'ordinateur l'écarte.

L'astuce « LLM » : Construire le croquis

Souvent, nous n'avons pas de croquis d'expert prêt à l'emploi. L'article montre comment utiliser un Grand Modèle de Langage (LLM) (comme un agent conversationnel intelligent) pour créer ce croquis automatiquement.

Le processus : Vous fournissez à l'IA un ensemble de textes de référence (comme des réponses de manuels scolaires ou des directives médicales). L'IA lit ce texte et dit : « D'accord, sur la base de ce texte, voici une liste de concepts et une carte de la façon dont ils sont probablement connectés, avec un score de confiance pour chaque connexion. »
Le filet de sécurité : Comme l'IA peut halluciner (inventer des choses), la nature « Soft » de la méthode est vitale. Si l'IA devine une connexion que les données prouvent être fausse, les données l'emportent, et la connexion est abandonnée.

Ce que les expériences ont montré

Les auteurs ont testé cela de deux manières :

1. Le test synthétique (Le « laboratoire contrôlé »)
Ils ont créé de faux puzzles où ils connaissaient la réponse réelle.

Le résultat : Lorsque les données étaient extrêmement rares (seulement 5 % des pièces visibles), les méthodes standards ne trouvaient presque rien (0 % de succès). KG-SoftMAP, en utilisant le croquis de l'expert, a réussi à trouver une part significative de la structure correcte (jusqu'à 96 % de succès quand les données étaient légèrement meilleures).
La leçon : La méthode fonctionne mieux lorsque le croquis de l'expert est globalement juste, mais pas parfait. Si le croquis est un pur chaos aléatoire, la méthode échoue avec élégance (elle ne s'embrouille pas ; elle se comporte simplement comme si elle n'avait pas de croquis du tout).

2. Le test en conditions réelles (Données éducatives)
Ils ont testé cela sur des données d'étudiants réels (Feedback sur réponses courtes), où les étudiants répondent à des questions différentes, laissant d'énormes lacunes dans les données.

Le but : Ils ne cherchaient pas à prouver que l'IA avait trouvé la « vraie » structure (car personne ne connaît la structure réelle de l'apprentissage d'un élève). À la place, ils ont vérifié si le modèle était utile pour la prédiction et le diagnostic.
Le résultat :
- Prédiction : Un modèle de « Régression Logistique » simple (une méthode standard non graphique) était légèrement meilleur pour simplement prédire la bonne réponse.
- Diagnostic : Cependant, KG-SoftMAP a fourni quelque chose que le modèle simple ne pouvait pas offrir : une carte calibrée. Il pouvait dire : « Si un étudiant a échoué au Concept A, il y a 70 % de chances qu'il ait aussi échoué au Concept B », et il faisait cela tout en respectant la logique de la matière.
- Le compromis : Si vous ne vous souciez que du score final, utilisez le modèle simple. Si vous voulez comprendre pourquoi un étudiant éprouve des difficultés et comment les concepts sont liés, utilisez KG-SoftMAP.

Résumé

KG-SoftMAP est un outil pour apprendre à partir de données désordonnées et incomplètes. Il combine la « meilleure supposition » d'un expert (ou d'une IA lisant un manuel) avec les preuves réelles issues des données. Il traite le conseil de l'expert comme un guide utile plutôt que comme une loi inviolable, ce qui lui permet de trouver des schémas dans des données trop éparses pour les méthodes traditionnelles.

Point clé à retenir : C'est comme avoir un GPS qui connaît la configuration générale d'une ville (le Graphe de Connaissances) mais qui est assez intelligent pour recalculer votre itinéraire si vous voyez un barrage routier en temps réel (les Données), même si vous ne voyez que quelques rues devant vous.

Résumé Technique : KG-SoftMAP

Énoncé du Problème

L'apprentissage de la structure des réseaux bayésiens (BN) à partir de données est un problème central mais NP-difficile. Cette tâche devient particulièrement insoluble lorsque les données sont parses et discrètes, un scénario courant dans des domaines tels que les évaluations éducatives, les registres cliniques et les réseaux de capteurs où chaque instance n'enregistre qu'un petit sous-ensemble de variables (les taux d'observation sont souvent inférieurs à 5 %). Sous une telle parcimonie, la plupart des paires de variables manquent d'observations conjointes suffisantes pour un scoring ou des tests d'indépendance conditionnelle fiables. Par conséquent, les méthodes classiques et modernes fondées uniquement sur les données (qu'elles soient basées sur les contraintes ou sur le score) échouent à récupérer une structure dirigée significative, renvoyant souvent des graphes quasi vides ou des squelettes incorrects.

Bien que les approches purement axées sur les données peinent, une connaissance imparfaite des relations entre les variables existe souvent en dehors des données. Cette connaissance peut être exprimée sous la forme d'un graphe de connaissances (KG) dirigé et pondéré. Cependant, les méthodes existantes pour injecter une telle connaissance ont tendance à se situer aux extrêmes : soit en utilisant des contraintes strictes (fixant ou interdisant des arêtes), ce qui est fragile lorsque la connaissance est incertaine, soit en incitant des modèles de langage de grande taille (LLM) à générer directement un graphe, écartant de fait les données. Il manque un cadre général pour traiter un KG pondéré comme un prior structurel doux et surclassable par les données capable de guider l'apprentissage dans les régimes de parcimonie sans imposer d'arêtes incorrectes.

Méthodologie : KG-SoftMAP

Les auteurs proposent KG-SoftMAP, une approche en deux étapes qui apprend les structures de BN en maximisant un objectif de Maximum A Posteriori (MAP). La méthode est conçue pour être agnostique à la source du KG (expert ou extrait par LLM).

1. Construction du Graphe de Connaissances (Étape 1)

Si un KG curaté n'est pas disponible, les auteurs fournissent un pipeline optionnel utilisant un LLM pour extraire un KG pondéré à partir d'un texte de référence du domaine.

Schéma : Le LLM extrait des nœuds Concept et des relations PRECEDES (formant les arêtes du KG) avec des poids de confiance $w_{uv} \in [0, 1]$ .
Déviations au niveau de l'instance : Si un texte au niveau de l'instance (ex: réponses d'étudiants) est disponible, le LLM identifie également les erreurs spécifiques aux concepts avec des poids de sévérité. Ceux-ci sont utilisés uniquement lors du prétraitement des données pour affiner la matrice d'observation, et non comme faisant partie du prior structurel.
Sortie : Un graphe dirigé pondéré $K = \{(u, v, w_{uv})\}$ .

2. Apprentissage de la Structure (Étape 2)

L'algorithme central apprend un graphe acyclique dirigé (DAG) $G$ en maximisant le log-posterior :
$G^* = \arg \max_G \left[ \log P(D | G) + \log P(G | K) \right]$

Vraisemblance des données ( $\log P(D | G)$ ) : Les auteurs utilisent le score BDeu (Bayesian Dirichlet equivalent uniform). Pour gérer la parcimonie, ils emploient un scoring par cas complets, où seules les lignes où un nœud et tous ses parents sont observés contribuent aux comptages. Cela évite le biais d'imputation. Une extension EM optionnelle est disponible pour les contextes de données manquantes de type MAR (Missing At Random), mais elle est coûteuse en calcul et n'est pas utilisée par défaut.
Prior de structure du KG ( $\log P(G | K)$ ) : Les auteurs introduisent un prior doux factorisé par arête. Le log-odds d'inclusion d'une arête $(u \to v)$ $(u \to v)$ est une fonction linéaire du poids de confiance du KG $w_{uv}$ $w_{uv}$ :
$\text{logit}(\theta_{uv}) = \beta_0 + \beta_1 \cdot w_{uv}$
Ici, $\theta_{uv}$ $θ_{uv}$ est la probabilité a priori d'inclusion de l'arête.
- Les arêtes absentes du KG ( $w_{uv}=0$ ) ont une faible probabilité de base d'inclusion $\theta_0$ (agissant comme une pénalité de parcimonie).
- Les arêtes présentes dans le KG avec une confiance élevée ( $w_{uv}=1$ ) ont une probabilité d'inclusion élevée $\theta_{max}$ .
- Surclassable par les données : Le prior est "doux". Si les preuves issues des données soutiennent fortement une arête non présente dans le KG, celle-ci peut être ajoutée ; inversement, si les données pénalisent fortement une arête du KG, elle peut être supprimée.
Procédure de recherche : L'optimisation est résolue via une ascension coordonnée gloutonne (hill-climbing) avec trois opérations : ajout d'arête, échange d'arête (remplacement d'un parent) et suppression d'arête. La recherche impose l'acyclicité et une contrainte de degré entrant maximal.

Principales Contributions

Prior de KG doux et surclassable par les données : L'article présente un KG pondéré comme un prior structurel factorisé par arête où les log-odds d'inclusion sont linéaires par rapport à la confiance du KG. Cela permet à la méthode de tirer parti d'une connaissance du domaine imparfaite tout en restant robuste aux erreurs, car les données peuvent surclasser le prior.
Preuve contrôlée de récupération : Sur des benchmarks synthétiques avec des DAG de vérité terrain, KG-SoftMAP démontre sa capacité à récupérer une structure dirigée partielle même à une parcimonie extrême ( $\rho=0.05$ ), là où les baselines fondées uniquement sur les données (incluant les méthodes différentiables modernes comme GOLEM, DAGMA et SDCD, ainsi que les recherches de permutations discrètes comme GRaSP) ne récupèrent quasiment aucune structure dirigée. Les performances s'améliorent sensiblement à mesure que les taux d'observation augmentent ( $\rho \ge 0.2$ ).
Robustesse à la qualité du KG : Les études d'ablation montrent que les performances se dégradent progressivement à mesure que la qualité du KG diminue (via corruption ou bruit). Crucialement, lorsqu'on lui fournit un KG aléatoire à "signal nul" (ne contenant aucune arête réelle), la méthode ne récupère aucune structure (Directed-F1 $\approx 0.00$ ), confirmant que les gains sont portés par le signal structurel du KG et non par l'algorithme de recherche seul.
Évaluation du déploiement sur des données réelles : Les auteurs évaluent la méthode sur trois jeux de données éducatifs parsemés (SAF, ASSISTments, Eedi). Comme ceux-ci manquent de vérité terrain pour les DAG, l'évaluation se concentre sur les métriques de déploiement : prédiction, calibration et cohérence avec le KG.
- SAF (KG extrait par LLM) : Le BN appris fournit un modèle de diagnostic calibré et interprétable avec des arêtes cohérentes avec le KG. Il suit de près la régression logistique (LR) en termes de prédiction (écart de 0.03 F1), mais offre la capacité d'inférer à partir de sous-ensembles observés arbitraires et fournit un graphe de concepts réutilisable.
- ASSISTments (Pas de KG significatif) : Lorsqu'elle est instanciée avec des priors heuristiques (similitude de noms, aléatoire), la BN performe mal par rapport à la LR, confirmant que la méthode nécessite un signal structurel significatif.
- Eedi (Ontologie d'expert) : L'utilisation d'une ontologie d'expert indépendante comme prior augmente la part d'arêtes intra-sujet (cohérence structurelle) mais n'améliore pas la prédiction, soulignant le compromis entre cohérence structurelle et pouvoir discriminant.

Résultats

Benchmarks synthétiques : À $\rho=0.2$ , KG-SoftMAP atteint des scores Directed-F1 compris entre 0.46 et 0.96 sur diverses tailles de réseaux, surpassant nettement toutes les baselines fondées uniquement sur les données (qui restent en dessous de 0.44). À $\rho=0.05$ , il récupère une structure partielle (DF1 0.14–0.29) tandis que les baselines échouent.
Ablations :
- Prior vs Recherche : Le gain est principalement attribué au prior doux. Même les apprenants standards (comme MMHC ou BNLEARN) équipés du même prior de KG récupèrent une structure substantielle, bien que le scoring sensible à la parcimonie de KG-SoftMAP apporte une marge supplémentaire.
- Corruption : La récupération se dégrade de manière fluide avec le taux de corruption du KG.
- Doux vs Strict : Sous des KGs de haute qualité et des données suffisantes, un prior quasi-strict performe de manière comparable au prior doux. L'avantage du prior doux réside dans la sécurité lorsqu'on est incertain de la fidélité du KG.
Données Réelles : La méthode produit un "modèle de diagnostic" qui est bien calibré et cohérent avec le KG. Cependant, pour la pure prédiction au niveau de la cellule, les modèles discriminants (comme la régression logistique) restent la base la plus forte, surtout lorsqu'aucun KG significatif n'existe.

Signification et Revendications

L'article positionne KG-SoftMAP comme une solution pour la parcimonie extrême où les données seules sont insuffisantes pour l'apprentissage de la structure. Sa signification réside dans :

Combler le fossé : Il occupe un juste milieu entre les contraintes strictes fragiles et la génération de LLM agnostique aux données, en traitant la connaissance du domaine comme un prior probabiliste qui peut être surclassé par les données.
Définir le périmètre : Les auteurs sont modestes dans leurs affirmations. Ils précisent explicitement que les revendications de récupération structurelle sont limitées aux données synthétiques avec vérité terrain. Pour les données réelles, la méthode est présentée comme un outil de diagnostic qui fournit des probabilités conjointes interprétables et calibrées ainsi que des structures cohérentes avec le KG, plutôt que comme un prédicteur supérieur pour les résultats au niveau de la cellule.
Utilité pratique : La méthode est plus précieuse lorsqu'un KG significatif (même imparfait) existe. Si une telle connaissance n'est pas disponible, l'article conclut que les baselines discriminantes sont préférables.

Le travail ne prétend pas résoudre la découverte causale générale ou remplacer la prédiction discriminante ; il offre plutôt un cadre robuste pour apprendre des modèles probabilistes interprétables dans des régimes de données rares en exploitant efficacement une connaissance métier externe et imparfaite.