Probabilistic Circuits for Knowledge Graph Completion with Reduced Rule Sets

Imaginez que vous essayez d'apprendre à un robot à comprendre le monde. Vous ne lui injectez pas simplement une encyclopédie géante dans le cerveau ; au lieu de cela, vous lui donnez un ensemble de règles logiques de type « si-alors », comme « S'il pleut, alors le sol est mouillé ». C'est le monde des Graphes de Connaissances, qui sont de vastes cartes numériques reliant des faits sur des personnes, des lieux et des choses. L'objectif de la Complétion de Graphe de Connaissance est d'aider le robot à deviner les faits manquants, comme par exemple déduire que si « Alice est la sœur de Bob » et que « Bob est le frère de Charlie », alors « Alice est la sœur de Charlie ».

Pendant longtemps, les robots les plus intelligents ont utilisé des mathématiques de type « boîte noire » qui étaient excellentes pour deviner, mais terribles pour expliquer pourquoi elles devinaient. Ainsi, les scientifiques sont revenus à l'approche classique basée sur les règles car elle est transparente : on peut voir la chaîne de logique exacte. Mais voici le problème : pour que ces robots basés sur des règles soient aussi intelligents que les boîtes noires, ils devaient mémoriser des dizaines de milliers de règles. C'est comme essayer de résoudre un mystère en lisant une bibliothèque de 20 000 livres alors que vous n'avez réellement besoin d'en lire que trois. La plupart de ces livres sont simplement posés sur l'étagère, prenant la poussière, ce qui rend le robot lent, confus et difficile à comprendre.

Cet article pose une question simple et audacieuse : Pouvons-nous apprendre au robot à être tout aussi intelligent en utilisant une petite bibliothèque de règles soigneusement sélectionnées plutôt qu'un immense entrepôt ? Les auteurs, travaillant avec des graphes de connaissances et la logique, proposent une nouvelle méthode ingénieuse utilisant ce qu'on appelle des « Circuits Probabilistes ». Voyez cela non pas comme un livre de règles, mais comme un bibliothécaire super intelligent qui sait exactement quelles règles fonctionnent bien ensemble. Au lieu de traiter chaque règle comme un fait isolé, ce bibliothécaire apprend comment les règles « traînent » les unes avec les autres. Ils ont découvert qu'en utilisant cette méthode, ils pouvaient réduire le nombre de règles nécessaires de 70 % à 96 % tout en obtenant des résultats identiques (ou même meilleurs). En fait, lorsqu'ils ont utilisé ce même petit nombre de règles que leur nouvelle méthode avait sélectionné, leur approche était 31 fois plus précise que l'ancienne méthode utilisant ce même petit nombre. Ils ont prouvé que leur approche est mathématiquement solide et ne repose pas sur des hypothèses fragiles, offrant un moyen de rendre l'IA à la fois incroyablement intelligente et étonnamment simple à comprendre.

Le Problème : L'« Explosion des Règles »

Imaginez que vous êtes un détective essayant de résoudre une affaire. L'ancienne méthode (utilisée par des systèmes comme AnyBURL) consiste à rassembler tous les indices et toutes les théories jamais écrits — peut-être 20 000. Lorsque vous essayez de résoudre un mystère spécifique, le système vérifie tous les 20 000 indices. Le problème ? La plupart d'entre eux sont inutiles pour ce cas précis. Sur un ensemble de données appelé UMLS (qui traite de termes médicaux), l'ancien système avait besoin de 20 000 règles pour obtenir un score élevé, mais seulement environ 12 938 d'entre elles étaient réellement utilisées. Cela représente plus de 7 000 règles gaspillées qui encombrent simplement le bureau !

Cela crée trois gros maux de tête :

1. Confusion : Si vous demandez au système « Comment avez-vous trouvé cela ? », il pointe vers un tas désordonné de 20 000 règles, ce qui rend impossible de savoir lesquelles ont réellement compté.
2. Surcharge de Mémoire : Stocker et gérer des dizaines de milliers de règles consomme beaucoup de mémoire informatique, ce qui est un problème si vous voulez injecter ces règles dans d'autres systèmes intelligents comme les Grands Modèles de Langage (LLM) qui ont un espace limité.
3. Pensée Lente : Vérifier la cohérence ou répondre à des questions complexes de type « et si... » devient incroyablement lent et difficile lorsque vous devez fouiller dans une montagne de règles principalement inutiles.

La Solution : Le « Bibliothécaire Intelligent » (Circuits Probabilistes)

Les auteurs ont introduit un nouveau cadre qui agit comme un Bibliothécaire Intelligent. Au lieu de simplement lister des règles, ce bibliothécaire apprend une « distribution de probabilité » sur des ensembles de règles. En langage clair, le système apprend quelles règles ont tendance à travailler ensemble comme une équipe.

Voici comment cela fonctionne :

• L'Interrupteur Indicateur : Pour chaque règle que le système apprend, ils ajoutent un petit « interrupteur » (appelé indicateur) qui décide si cette règle est active pour une situation donnée.
• Apprendre l'Équipe : Le système examine les données d'entraînement (les faits qu'il connaît déjà) et apprend quels interrupteurs sont habituellement activés ensemble. Il utilise une structure appelée Circuit Probabiliste (PC). Voyez le PC comme un organigramme qui calcule les probabilités de différentes combinaisons de règles étant vraies, sans supposer que chaque règle agit indépendamment.
• Pas d'Hypothèse d'Indépendance : Une erreur courante dans les anciens systèmes est de supposer que la Règle A n'a rien à voir avec la Règle B. Cet article prouve que les règles s'influencent mutuellement. Le PC apprend ces relations complexes, ce qui lui permet de choisir une petite équipe de règles de haute performance.

Les Résultats : Moins, c'est Plus

L'équipe a testé cela sur 8 ensembles de données de référence, allant des dossiers médicaux (UMLS) aux arbres généalogiques (Kinship) et aux connaissances générales (WN18RR). Les résultats sont frappants :

• Réduction Massive : Ils ont réduit le nombre de règles nécessaires pour atteindre la performance maximale de 70 % à 96 %. Par exemple, sur l'ensemble de données UMLS, ils sont passés de 20 000 règles à seulement 1 000 pour obtenir le même score maximal de 0,964 (Hits@10).
• Le Boost « 31x » : Lorsqu'ils ont comparé leur petit ensemble de règles optimisé au système de base utilisant le même petit nombre de règles, leur méthode était jusqu'à 31 fois meilleure. Cela montre que l'ancien système était incapable de choisir les bonnes quelques règles, tandis que la nouvelle méthode était un maître de la sélection.
• Haute Efficacité : Dans l'ancien système, sur l'ensemble de données UMLS, seulement 64 % des règles étaient réellement utilisées. Dans le nouveau système, 86,8 % des 1 000 règles étaient actives. Ils ont arrêté de gaspiller de l'espace avec des règles inutiles.
• Préservation de la Performance : Même avec ces petits ensembles de règles, le système a préservé 91 % de la performance de pointe du large ensemble de règles de la base de référence.

Ils ont testé trois façons d'utiliser ce nouveau système :

1. SingletonLB : Utilise une seule règle à la fois pour faire une supposition (une approche simple et rapide).
2. SingletonExact : Calcule la probabilité exacte pour une seule règle (très précis).
3. GreedyLB : Construit un petit groupe de règles étape par étape (une approche intermédiaire).

La méthode « SingletonExact » a été la grande gagnante, surpassant souvent la base de référence, même lorsque celle-ci était autorisée à utiliser sa pleine et immense bibliothèque de règles. Par exemple, sur l'ensemble de données CODEX-S, la nouvelle méthode a atteint 99,95 % du meilleur score de la base de référence en utilisant seulement 5 % des règles (1 000 contre 20 000).

Pourquoi cela importe

Il ne s'agit pas seulement d'économiser de la mémoire informatique ; il s'agit de rendre l'IA digne de confiance. Si un médecin IA vous dit qu'un patient présente une pathologie spécifique, vous voulez savoir pourquoi. Si la raison est une liste désordonée de 20 000 règles, vous ne pouvez pas lui faire confiance. Si la raison est une chaîne claire et concise de 50 règles que le système sait être les meilleures, vous pouvez comprendre et vérifier la logique.

Les auteurs ont montré que leur méthode est fondée sur des mathématiques solides (plus précisément la logique probabiliste de Nilsson), ce qui signifie qu'il ne s'agit pas d'un coup de chance, mais d'une façon rigoureuse de gérer l'incertitude sans inventer de faits. Ils ont également noté que cette approche ne dépend d'aucun type spécifique de générateur de règles, ce qui signifie qu'elle pourrait fonctionner avec les règles apprises de n'importe quel système, pas seulement celui qu'ils ont utilisé.

En résumé, cet article prouve que vous n'avez pas besoin d'une bibliothèque de 20 000 livres pour résoudre un mystère. Avec le bon « Bibliothécaire Intelligent », vous pouvez le résoudre avec une seule étagère parfaitement choisie, rendant l'IA plus rapide, plus claire et tout aussi intelligente qu'auparavant.