🤖 AI

Neuro-Symbolic Meta-Policies for Temporal Knowledge-Graph Memory under Partial Observability

Cet article introduit une méta-politique neuro-symbolique qui exploite des graphes de connaissances temporelles et des représentations de mémoire basées sur RDF pour sélectionner dynamiquement des heuristiques de mémoire symboliques afin de gérer la rétention, l'extraction et l'oubli dans des environnements partiellement observables, atteignant ainsi une performance à long terme supérieure et une traçabilité au niveau de chaque étape.

Auteurs originaux : Taewoon Kim, Vincent François-Lavet, Michael Cochez

Publié 2026-07-22

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Taewoon Kim, Vincent François-Lavet, Michael Cochez

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de résoudre un labyrinthe géant et mouvant, mais que vous ne puissiez voir que la minuscule pièce dans laquelle vous vous trouvez actuellement. Vous ne voyez pas la carte entière et vous ne pouvez pas vous souvenir de chaque tour que vous avez pris, car votre cerveau a une limite de stockage. C'est le défi des environnements « partiellement observables » dans le monde de l'intelligence artificielle. Pour naviguer dans ces labyrinthes, les agents d'IA ont besoin d'un moyen de décider ce qu'ils doivent garder en mémoire, ce qu'ils doivent jeter et comment trouver la bonne information lorsqu'ils en ont besoin. S'ils se souviennent de trop de choses, ils sont submergés ; s'ils oublient trop, ils se perdent. La grande question pour les scientifiques est : comment construire une IA assez intelligente pour gérer sa propre mémoire sans devenir une boîte noire que personne ne peut comprendre ?

C'est là qu'intervient l'article « Neuro-Symbolic Meta-Policies for Temporal Knowledge-Graph Memory under Partial Observability ». Les chercheurs, Taewoon Kim, Vincent François-Lavet et Michael Cochez, ont abordé ce problème en créant un système hybride qui agit comme un bibliothécaire très organisé possédant également un instinct très intuitif. Ils ont construit une IA qui ne se contente pas de deviner ; elle utilise un « graphe de connaissances » structuré (pensez à un immense réseau de faits interconnectés) pour stocker ses souvenirs. Mais voici le rebondissement : au lieu de laisser l'IA décider de manière aléatoire de ce qu'elle doit faire, ils lui ont enseigné une « méta-politique ». C'est comme donner à l'IA un menu de stratégies éprouvées — comme « se souvenir de la chose la plus récente », « se souvenir de la chose la plus souvent utilisée » ou « oublier la chose la plus ancienne » — et laisser l'IA apprendre quelle stratégie choisir à n'importe quel moment donné. Le résultat est un système qui est à la fois adaptable (il apprend ce qui fonctionne) et transparent (nous pouvons voir exactement quelle règle il a choisie et pourquoi).

Le Problème : L'IA avec une mauvaise mémoire

Imaginez que vous jouez à un jeu vidéo où vous devez trouver une clé cachée pour ouvrir une porte. Le monde du jeu est immense, mais vous ne voyez que la pièce où vous vous trouvez. En vous déplaçant, vous ramassez des indices : « La clé était dans la cuisine » ou « La porte est au nord ». Mais votre sac à dos (votre mémoire) ne peut contenir que 512 objets. Si vous ramassez un 513e objet, vous devez en abandonner un autre.

Si vous abandonnez le mauvais objet, vous pourriez oublier où se trouve la clé et échouer au jeu. Si vous gardez tout, votre sac devient trop lourd et vous ne pouvez plus bouger. Par le passé, les scientifiques ont essayé deux méthodes principales pour résoudre cela. L'une consistait à utiliser des règles strictes et pré-écrites (comme « toujours abandonner l'objet le plus ancien »). C'est fiable mais rigide ; cela ne s'adapte pas si le jeu change. L'autre consistait à utiliser un réseau neuronal « boîte noire », où l'IA apprend à tout mémoriser par elle-même. C'est flexible, mais c'est comme un tour de magie : vous savez que la réponse est correcte, mais vous n'avez aucune idée de comment l'IA a décidé de garder ce fait spécifique et d'en abandonner un autre. Il est difficile de faire confiance ou de corriger le système s'il commet une erreur.

La Solution : Le Bibliothécaire Intelligent avec un Menu

Les auteurs ont introduit une nouvelle approche appelée « méta-politique neuro-symbolique ». Décomposons cela avec une histoire simple.

Imaginez que votre agent d'IA est un bibliothécaire dans une bibliothèque qui est constamment réorganisée. La bibliothèque est le « Graphe de Connaissances Temporel ». Chaque livre (fait) de la bibliothèque possède une étiquette avec trois informations : quand il a été ajouté, quand il a été lu pour la dernière fois et combien de fois il a été emprunté. C'est la partie « symbolique » — les faits sont clairs, étiquetés et organisés.

Maintenant, le bibliothécaire doit décider quoi faire chaque seconde. Au lieu de deviner, le bibliothécaire dispose d'un menu de trois types de décisions à prendre :

Réponse aux questions : « Où est la clé rouge ? » Le bibliothécaire peut choisir de chercher la note la plus récente sur la clé, la note la plus récemment utilisée ou la note la plus fréquemment utilisée.
Exploration : « Où dois-je aller ensuite ? » Le bibliothécaire peut choisir d'explorer en se basant sur la carte la plus récente, la carte la plus visitée ou la carte la plus utilisée.
Oubli : « Mon étagère est pleine ! Que dois-je jeter ? » Le bibliothécaire peut choisir de jeter l'article le plus ancien, l'article le moins récemment utilisé ou l'article le moins fréquemment utilisé.

La partie « neuro » du système est le cerveau du bibliothécaire. Il observe la situation actuelle (la pièce où vous vous trouvez, la question que vous posez) et utilise un type spécial de réseau neuronal (un Graph Neural Network) pour évaluer chaque option du menu. Il apprend, par essais et erreurs, quel élément du menu choisir pour obtenir le meilleur score.

L'Expérience : Le Jeu RoomKG

Pour tester cela, les chercheurs ont utilisé un benchmark appelé « RoomKG ». C'est un monde en grille composé de 49 pièces, remplies d'objages comme des lits, des lampes et des personnes. L'IA doit naviguer dans ce monde, répondre à des questions comme « Où est la lampe ? », et se déplacer, tout en gardant sa mémoire sous la limite de 512 éléments.

Ils ont testé leur nouveau « Bibliothécaire Intelligent » contre deux autres types de joueurs :

Le Suiveur de Règles : Une IA qui utilise simplement des règles fixes (comme « toujours oublier l'élément le plus ancien »).
La Boîte Noire : Une IA qui essaie d'apprendre tout de zéro sans aucune règle claire.

Les Résultats : L'Adaptabilité rencontre la Clarté

Les résultats ont été très clairs. L'IA « Boîte Noire » a énormément lutté, obtenant des scores bien inférieurs aux autres. Il semble que tenter d'apprendre tout l'espace d'action complexe (choisir une pièce et une direction parmi 245 possibilités) d'un seul coup ait été trop difficile pour elle avec une mémoire limitée.

Le « Suiveur de Règles » s'en est bien sorti, prouvant que la structure de base du système de mémoire était solide. Cependant, le « Bibliothécaire Intelligent » (la méta-politique neuro-symbolique) a obtenu les meilleurs résultats. Plus précisément, la version utilisant un encodeur « conscient des qualificatifs » (StarE-GNN) a obtenu les scores les plus élevés.

Ce qui rend cela spécial, c'est que l'IA n'a pas seulement eu de la chance. Parce que le système est « neuro-symbolique », nous pouvons réellement observer le processus de pensée du bibliothécaire. Les chercheurs ont pu voir qu'au début du jeu, l'IA préférait regarder les faits les « plus récemment utilisés » car ils étaient probablement encore pertinents. Mais au fur et à mesure que le jeu progressait et que le monde changeait, l'IA a appris à passer à l'examen des faits les « plus récents ». Elle a dynamiquement changé de stratégie en fonction de ce qui se passait, ce que les suiveurs de règles rigides ne pouvaient pas faire.

Pourquoi cela importe

La partie la plus excitante de cet article n'est pas seulement que l'IA a obtenu un score plus élevé. C'est qu'elle l'a fait tout en restant complètement transparente. Dans de nombreux systèmes d'IA, si vous demandez : « Pourquoi as-tu oublié ce fait ? », la réponse est généralement : « Parce que les mathématiques l'ont dit ». Dans ce système, la réponse est : « J'ai choisi la règle du "Moins Fréquemment Utilisé" parce que j'ai calculé que ce fait était rarement nécessaire ».

Les auteurs suggèrent que cette approche offre un compromis idéal : l'adaptabilité d'une IA apprenante combinée à la clarté d'un système basé sur des règles. Ils ont montré qu'en apprenant à une IA à sélectionner le bon « outil » dans une boîte à outils de stratégies connues, plutôt qu'en essayant d'inventer un nouvel outil à chaque fois, on peut obtenir de meilleures performances sans perdre la capacité de comprendre comment l'IA réfléchit.

Bien que cela ait été testé dans un environnement de jeu spécifique avec une limite de mémoire de 512, l'idée est que cette approche de « méta-politique » pourrait être appliquée à d'autres situations où une IA doit gérer une grande quantité d'informations au fil du temps. Cela prouve que vous n'avez pas besoin de sacrifier la compréhension pour la performance ; vous pouvez avoir une IA qui est à la fois intelligente et explicable.

Problématique

L'article traite du défi de l'apprentissage par renforcement sous observation partielle (POMDP), où un agent doit gérer une mémoire à long terme bornée pour prendre des décisions sur de longs horizons. L'environnement spécifique est RoomKG, un benchmark de type « monde en grille » (grid-world) où l'état caché de l'agent et ses observations sont représentés sous forme de graphes RDF (Resource Description Framework).

Dans RoomKG, l'agent ne reçoit que des observations locales (la pièce actuelle et les adjacences immédiates) sous forme de sous-graphes RDF, tandis que l'état complet de l'environnement (incluant la localisation des objets dans d'autres pièces et les changements dynamiques) reste caché. L'agent doit répondre à des requêtes sur l'emplacement des objets et naviguer dans l'environnement. Crucialement, l'agent opère sous une contrainte stricte de capacité de mémoire à long terme (fixée à 512 faits dans cette étude). La difficulté centrale réside dans la coordination de trois tâches concurrentes :

Récupération (Retrieval) : Décider quels faits stockés doivent être rappelés pour répondre aux requêtes.
Exploration : Décider quelles parties de la carte mémorisée doivent être investiguées.
Oubli (Forgetting) : Décider quels faits doivent être évincés lorsque la capacité de mémoire est atteinte.

Les approches classiques de deep RL utilisent souvent une mémoire latente (par exemple, des LSTM), qui est difficile à inspecter ou à tracer. À l'inverse, les heuristiques symboliques fixes sont interprétables mais manquent de flexibilité selon les contextes. L'article cherche une solution qui conserve l'inspectabilité et le raisonnement explicite des systèmes symboliques tout en atteignant l'adaptativité des politiques apprises.

Méthodologie

Les auteurs proposent une architecture de Méta-Politique Neuro-Symbolique. Au lieu d'apprendre une politique directe pour produire des actions environnementales (par exemple, « se déplacer au nord » ou « répondre à la pièce 5 »), l'agent apprend une méta-politique qui sélectionne parmi des heuristiques symboliques nommées à chaque point de décision.

1. Représentation de la mémoire :
L'agent maintient un graphe de connaissances temporel ( $M_t$ ) composé de mémoires à court et long terme. Les faits sont stockés sous forme de triplets RDF augmentés d'annotations temporelles (qualificateurs) telles que time_added, last_accessed, et num_recalled. Cela permet au système de traiter la gestion de la mémoire comme un problème de sélection sur des métadonnées explicites.

2. Espace d'actions symboliques :
La méta-politique sélectionne une action symbolique jointe $h_t = (h_{forget}, h_{qa}, h_{explore})$ à partir d'un espace produit fini de 27 combinaisons ( $3 \times 3 \times 3$ ) :

Heuristiques de QA (Questions-Réponses) : Most-Recently-Added (MRA - le plus récemment ajouté), Most-Recently-Used (MRU - le plus récemment utilisé), Most-Frequently-Used (MFU - le plus fréquemment utilisé).
Heuristiques d'Exploration : Mêmes priorités de classement (MRA/MRU/MFU) appliquées à la planification.
Heuristiques d'Oubli : First-In-First-Out (FIFO - premier entré, premier sorti), Least-Recently-Used (LRU - le moins récemment utilisé), Least-Frequently-Used (LFU - le moins fréquemment utilisé).

3. Architecture neurale :
Le système utilise un encodeur de Réseau de Neurones sur Graphe (GNN) pour traiter le graphe de mémoire et alimenter des têtes de valeur qui évaluent les scores des heuristiques symboliques. Trois variantes d'encodeurs sont comparées :

GCN : Encodage de la topologie uniquement.
R-GCN : Encodage sensible aux relations.
StarE-GNN : Encodage sensible aux qualificateurs (intégrant directement les annotations temporelles dans le passage de messages).

L'architecture comprend trois têtes de valeur indépendantes (ou une seule tête combinatoire dans les études d'ablation) qui produisent des Q-values pour les ensembles d'heuristiques respectifs. Les heuristiques sélectionnées sont ensuite exécutées de manière déterministe par un contrôleur symbolique ( $\Phi$ ) pour mettre à jour l'état de la mémoire et choisir l'action environnementale.

4. Entraînement :
Le système est entraîné via un apprentissage Q hors-politique (off-policy Q-learning) avec des mises à jour par différence temporelle (TD).

Tête QA : Entraînée comme un bandit contextuel (récompense immédiate), car la correction est déterminée instantanément.
Têtes Explore/Forget : Entraînées avec l'apprentissage TD pour attribuer le crédit aux décisions qui affectent le succès futur des QA.

Contributions clés

Formulation de Méta-Politique Neuro-Symbolique : L'article introduit un cadre où l'adaptation est réalisée en apprenant à sélectionner parmi des heuristiques de mémoire symboliques explicites et nommées, plutôt qu'en remplaçant le contrôle symbolique par des actions latentes opaques.
Mémoire Temporelle Sensible aux Qualificateurs : La conception intègre une mémoire basée sur RDF avec des annotations temporelles, utilisant des encodeurs de graphes sensibles aux qualificateurs (spécifiquement StarE-GNN) pour aligner la représentation neurale avec le problème de décision symbolique.
Traçabilité et Performance : L'approche démontre qu'il est possible d'atteindre des performances de pointe dans un contexte de mémoire bornée tout en préservant la traçabilité par étape des décisions de gestion de la mémoire.

Résultats

Les expériences ont été menées sur le benchmark RoomKG avec une capacité de mémoire à long terme de 512.

Performance : La configuration neuro-symbolique basée sur StarE-GNN a obtenu la meilleure performance sur l'ensemble de test (47,28 % de succès QA), surpassant à la fois les bases symboliques fixes (allant de ~43 % à ~46 %) et les bases neurales de bout en bout (LSTM/Transformer, qui ont mal performé à ~9–18 %).
Impact de l'encodeur : Les encodeurs sensibles aux qualificateurs (StarE-GNN) et les encodeurs sensibles aux relations (R-GCN) ont nettement mieux performé que les encodeurs de topologie seule (GCN), confirmant que la préservation de la sémantique des relations et des qualificateurs est critique pour le problème de décision.
Modularité vs Combinatoire : La conception modulaire (trois têtes indépendantes à 3 voies) a surpassé une tête combinatoire unique de 27 voies, suggérant qu'une supervision indépendante pour chaque type de décision (QA, exploration, oubli) est plus efficace.
Interprétabilité : L'analyse des trajectoires de Q-values a montré que la méta-politique bascule de manière adaptative entre les heuristiques (par exemple, passant d'une préférence pour MRU à MRA au fur et à mesure que l'épisode progresse) en fonction du contexte de la mémoire, offrant une vue transparente du raisonnement de l'agent.

Signification et Revendications

L'article affirme que l'adaptativité et l'inspectabilité ne sont pas nécessairement mutuellement exclusives. En apprenant une méta-politique sur des heuristiques symboliques, le système améliore les contrôles symboliques fixes et les bases neurales opaques, tout en maintenant un état de mémoire explicite ancré dans le RDF.

Les auteurs positionnent ce travail comme une application directe du Web Sémantique, utilisant le RDF pour la représentation, la sémantique de graphe compatible avec les annotations, et des opérations de graphe symboliques. Ils soulignent que la contribution réside dans la couche de méta-politique et son évaluation, et non dans le support de mémoire ou le benchmark sous-jacent.

Le périmètre est défini de manière modeste : les résultats sont spécifiques à l'environnement RoomKG et à une capacité de mémoire de 512. Les auteurs reconnaissent des limites, notamment la dépendance à une bibliothèque spécifique d'heuristiques (la performance est plafonnée par la qualité des heuristiques disponibles) et l'accent actuel mis sur des dynamiques déterministes plutôt que sur des régimes stochastiques ou non stationnaires. Des travaux futurs sont suggérés pour élargir les environnements, tester la robustesse stochastique et étendre les bibliothèques d'heuristiques tout en conservant des traces de décision explicites.