Résumé Technique : Transfert de Mémoire à Court Terme vers Mémoire à Long Terme pour les Graphes de Connaissance sous Observabilité Partielle

Formulation du Problème

Ce papier aborde le défi du transfert de mémoire à court terme vers mémoire à long terme dans l'Apprentissage par Renforcement (AR) sous des Processus de Décision Markoviens Partiellement Observables (POMDP). Plus précisément, il se concentre sur des environnements où les observations sont des triples symboliques explicites (Framework de Description de Ressources, ou RDF) plutôt que des données sensorielles brutes.

Dans le benchmark RoomKG, l'agent opère dans un monde partiellement observable où l'état complet est caché. À chaque étape, l'agent reçoit un sous-graphe induit local du monde (un ensemble de triples observés). Le problème central consiste à décider quels faits observés doivent être transférés vers une mémoire à long terme à capacité limitée et lesquels doivent être abandonnés. Ceci est formulé comme un problème de décision neuro-symbolique : pour chaque triple observé dans le tampon à court terme, l'agent doit prendre une décision binaire explicite de « conserver » ou « abandonner » avant l'insertion dans le stockage à long terme.

Un défi technique majeur est la cardinalité variable : le nombre de faits observés ($n_t$) change à chaque pas de temps, ce qui signifie que la dimensionnalité de l'espace de décision n'est pas fixe. Les espaces d'action standard de l'AR sont généralement de taille fixe, rendant l'application directe difficile. De plus, le papier isole ce mécanisme de transfert en maintenant les autres composants (réponse aux questions, exploration et éviction de mémoire) fixes pour s'assurer que les différences de performance sont attribuables uniquement à la politique de transfert.

Méthodologie

Les auteurs proposent une approche d'apprentissage Q par élément conçue pour gérer des ensembles de mémoire à court terme de taille variable.

1. Paramétrisation de la Valeur Q par Élément

Au lieu de traiter l'ensemble des éléments à court terme comme une action combinatoire unique (ce qui entraînerait $2^{n_t}$ actions), la méthode utilise une fonction à paramètres partagés $Q_\theta$.

• Entrée : L'état actuel de la mémoire symbolique $M_t$ est converti en un graphe $G_t$ contenant des entités, des relations et des annotations temporelles.
• Encodage : Un encodeur de Réseau de Neurones à Graphes (GNN) traite $G_t$ pour produire des plongements de nœuds. Pour chaque élément à court terme $m_{t,i} = (u, r, v, \xi)$, la représentation $z_{t,i}$ est formée en concaténant les plongements des nœuds tête ($u$) et queue ($v$). Cela permet à la représentation de capturer implicitement le contexte des triples voisins via le passage de messages du GNN.
• Sortie : Une petite tête de Réseau de Neurones à Propagation Multi-couches (MLP) mappe $z_{t,i}$ vers un vecteur de valeurs Q pour les deux actions : $\{0, 1\}$ (abandonner ou conserver).
• Variantes d'Architecture : L'étude évalue différents squelettes de GNN (GCN, R-GCN, StarE-GNN) et modes de politique (Local vs Global, Court Terme uniquement vs Contexte complet).

2. Apprentissage par Différence Temporelle (TD) avec Appariement à Cardinalité Variable

L'apprentissage TD hors politique standard suppose des transitions de dimension fixe. Pour gérer le nombre variable d'éléments ($n_t$) à travers les étapes, les auteurs introduisent une stratégie d'appariement stochastique :

• Les transitions sont stockées sous la forme $(M_t, a_t, r_t, M_{t+1}, d_t)$.
• Pendant l'entraînement, un mini-lot est échantillonné. Pour une paire d'étapes consécutives dans une transition, l'algorithme apparie les éléments index par index jusqu'à la longueur minimale $\ell_b = \min(n_b, n'_{b})$.
• La cible TD $y_{b,j}$ est calculée pour chaque indice apparié $j$ en utilisant la valeur Q maximale de l'étape suivante.
• La perte est l'erreur TD quadratique moyenne sur ces indices appariés, normalisée par $\ell_t$. Cela permet au modèle d'apprendre à partir d'une supervision dense sans exiger une dimension d'action fixe ni imposer de sémantique de séquence artificielle sur la mémoire basée sur des ensembles.

3. Protocole d'Entraînement

Le système est entraîné en utilisant des techniques DQN hors politique standard (Mnih et al., 2015) avec une sélection d'actions $\epsilon$-gloutonne. Le signal de récompense provient de la tâche en aval (exactitude de la réponse aux questions), ce qui signifie que la politique de transfert apprend par attribution de crédit différée pour maximiser les performances futures de réponse aux questions.

Contributions Clés

1. Formalisation du Transfert comme Problème d'AR : Le papier formalise le transfert de mémoire à court terme vers mémoire à long terme comme un problème d'AR neuro-symbolique où chaque fait observé reçoit une décision explicite de conserver/abandonner. Cela isole le mécanisme de transfert des autres composants de la politique.
2. Apprentissage Q par Élément pour la Cardinalité Variable : Les auteurs introduisent une recette d'entraînement basée sur la valeur pratique pour les décisions de mémoire à cardinalité variable. En utilisant des paramètres partagés et un appariement stochastique index par index pour les mises à jour TD, ils permettent l'apprentissage sur des ensembles de taille changeante sans compression de mémoire latente.
3. Validation Empirique sur RoomKG : L'étude fournit des preuves contrôlées sur le benchmark RoomKG (Capacité à long terme = 128). Elle démontre que les décisions de transfert apprises surpassent :
   • Les bases symboliques avec annotations temporelles (ex. : Nouveau-Seulement, Transfert-Aléatoire).
   • Les bases neuronales basées sur l'historique (LSTM, Transformer).
   • Les ablations de la méthode proposée (ex. : les politiques globales ou les entrées de contexte complet ont moins bien performé que les politiques locales à court terme uniquement).

Résultats

Sur le benchmark RoomKG avec une capacité de mémoire à long terme de 128 :

• Performance : La meilleure configuration (encodeur GCN + politique Local-STM) a obtenu un score de réponse aux questions (QA) de test de 38,92 ± 3,09. Cela surpasse significativement la base symbolique la plus forte (Nouveau-Seulement : 31,96) et les bases neuronales basées sur l'historique (Transformer : 11,80 ; LSTM : 7,60).
• Insights des Ablations :
  • Local vs Global : Les décisions locales par élément (Local-STM) ont largement surpassé les décisions globales regroupées (Global-STM), suggérant que le contexte spécifique au fait est crucial.
  • Portée de l'Entrée : L'utilisation de la mémoire à court terme uniquement comme entrée (STM) s'est révélée plus efficace que l'utilisation du contexte complet de la mémoire (Full), indiquant que la décision de transfert repose fortement sur la pertinence de l'observation immédiate plutôt que sur l'état global.
  • Choix de l'Encodeur : Les GCN standards ont surpassé les encodeurs relationnels plus complexes (R-GCN, StarE-GNN), suggérant que pour cette tâche de transfert spécifique, un encodage structurel simple est suffisant.
• Analyse Comportementale :
  • La politique a appris à préserver les faits critiques pour la navigation (ex. : la localisation actuelle de l'agent) avec une rétention quasi parfaite (98 fois sur 100).
  • Elle a retenu les localisations d'objets pertinentes pour la requête (58 fois sur 60) tout en rejetant de nombreux liens directionnels de la carte (ex. : arêtes nord/sud/est/ouest), les traitant comme de moindre valeur ou bruyants sous contraintes de capacité.
  • Le taux global de conservation était d'environ 40 %, démontrant un filtrage adaptatif plutôt que des heuristiques fixes.

Signification et Revendications

Le papier se positionne comme une étude de validation de mécanisme focalisée plutôt que comme un balayage large de benchmarks. Sa signification principale réside dans la démonstration que :

1. Décisions Explicites et Interprétables : Contrairement aux approches de mémoire latente (ex. : DRQN, DMN) où les mises à jour d'état sont opaques, cette méthode produit des décisions explicites et inspectables de conserver/abandonner pour les triples symboliques.
2. Efficacité sous Contraintes : Les décisions de transfert apprises peuvent gérer efficacement la pression de la mémoire dans les POMDP, surpassant à la fois les heuristiques symboliques fixes et les modèles de séquence bout-à-bout lorsque la capacité de mémoire est contrainte.
3. Praticité : L'apprentissage Q par élément proposé avec appariement stochastique fournit une recette d'entraînement viable pour les problèmes de décision à cardinalité variable en AR.

Les auteurs reconnaissent modestement les limites : l'évaluation est restreinte à l'environnement RoomKG et à une capacité de mémoire spécifique ; les composants non liés au transfert ont été fixés pour isoler la variable ; et la stratégie d'appariement TD est une heuristique pratique plutôt qu'une solution théoriquement complète pour l'alignement basé sur des ensembles. Des travaux futurs sont suggérés pour explorer des environnements plus larges et un entraînement conjoint bout-à-bout tout en préservant l'interprétabilité au niveau des faits.