🤖 AI

NeSyFS: A Neuro-symbolic Fast-Slow Thinking Framework for LLM Agent under Partial Observability

Ce document propose NeSyFS, un cadre de pensée neuro-symbolique rapide-lent qui utilise des graphes de connaissances pour la représentation de l'état de croyance et intègre des actions réactives avec une planification et une réflexion sensibles à l'incertitude afin d'améliorer les performances des agents LLM sous observation partielle.

Auteurs originaux : Duo Xu, Faramarz Fekri

Publié 2026-08-03

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Duo Xu, Faramarz Fekri

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous jouez à un jeu vidéo où l'écran est recouvert de brouillard. Vous ne pouvez voir que les quelques pieds directement devant votre personnage, mais vous devez trouver un coffre au trésor caché dans un château massif et complexe. Vous ne pouvez pas voir toute la carte, et vous ne savez pas exactement où vous vous situez par rapport à l'objectif. C'est le monde de la « l'observabilité partielle » pour l'intelligence artificielle. Dans ce recoin de l'informatique, des chercheurs apprennent aux Grands Modèles de Langage (LLM) — ces générateurs de texte ultra-intelligents qui alimentent les chatbots — à agir comme des agents autonomes. Ces agents doivent prendre des décisions, utiliser des outils et résoudre des problèmes, mais ils doivent souvent le faire sans voir l'image complète. Le grand défi est que lorsqu'une IA ne peut pas voir l'état complet du monde, elle s'embrouille. Elle peut oublier ce qu'elle vient de faire, perdre de vue son objectif, ou élaborer un plan basé sur une supposition qui s'avère être erronée. Les scientifiques veulent construire des agents capables de naviguer dans ce monde brumeux aussi bien qu'un humain, en utilisant un mélange d'instincts rapides et de réflexion lente et méticuleuse.

Voici un nouveau cadre appelé NeSyFS, qui signifie « Neuro-symbolic Fast-Slow thinking » (pensée neuro-symbolique rapide-lente). Considérez cela comme un nouveau système d'exploitation pour un agent d'IA conçu spécifiquement pour gérer ce scénario de jeu vidéo brumeux. Les chercheurs, Duo Xu et Faramarz Fekri de Georgia Tech, ont réalisé que les méthodes précédentes étaient comme essayer de se souvenir d'un film entier en lisant un résumé long et désordonné de chaque ligne de dialogue. C'est trop d'informations, et les détails importants se perdent dans le bruit. Au lieu de cela, NeSyFS donne à l'IA un « livre de mémoire vivant » appelé Graphe de Connaissances. Ce n'est pas seulement une liste de notes ; c'est un réseau structuré de faits, comme une toile d'araignée reliant « le réfrigérateur est ouvert » à « il y a une tasse à l'intérieur ».

Le cadre divise le cerveau de l'IA en deux modes, inspirés de la façon dont les humains pensent. Le mode « Pensée Rapide » est le réflexe de l'agent. Il jette un coup d'œil à son livre de mémoire, saisit les faits les plus pertinents (comme « j'ai besoin d'une tasse, et je viens d'en voir une dans le frigo ») et fait un mouvement rapide. Mais parfois, le brouillard est trop épais, et la supposition rapide est fausse. C'est alors que le mode « Pensée Lente » entre en jeu. Il s'agit du planificateur délibéré de l'agent. Il ne se contente pas de deviner ; il lance une simulation dans sa tête, imaginant différents chemins futurs comme un joueur d'échecs qui réfléchit trois coups à l'avance. Il utilise une astuce mathématique particulière (empruntée à une méthode appelée Twisted Sequential Monte Carlo) pour tester de nombreux futurs possibles à la fois, en conservant ceux qui semblent prometteurs et en écartant ceux qui mènent à des impasses.

Pour s'assurer que l'agent ne déraille pas, il y a une troisième partie : un « Module de Réflexion ». Imaginez un entraîneur debout sur la ligne de touche. Chaque fois que l'agent fait un mouvement rapide, l'entraîneur vérifie le livre de mémoire pour voir si ce mouvement aide réellement à atteindre l'objectif. Si l'entraîneur dit : « Non, cela n'a pas de sens », l'agent doit repenser sa stratégie. Si l'agent commet la même erreur de manière répétée, l'entraîneur appelle le planificateur de la « Pensée Lente » pour trouver une meilleure stratégie. L'article suggère que cette combinaison — mémoire structurée, réflexes rapides, planification méticuleuse et coach critique — aide l'IA à bien mieux performer que les méthodes précédentes. Lors de tests sur trois environnements différents de type jeu (une maison virtuelle, un magasin en ligne et un laboratoire scientifique), l'agent NeSyFS a nettement surpassé les autres méthodes de pointe, résolvant les tâches plus souvent et commettant moins d'erreurs. Les chercheurs ont découvert qu'en utilisant leur livre de mémoire structuré plutôt qu'en lisant de longs journaux d'historique, l'agent pouvait garder ses objectifs clairs et naviguer dans le brouillard beaucoup plus efficacement.

Résumé Technique : NeSyFS – Un cadre de pensée rapide-lent neuro-symbolique pour les agents LLM sous observabilité partielle

Énoncé du Problème

Les grands modèles de langage (LLM) sont de plus en plus déployés comme des agents autonomes dans des environnements complexes tels que l'auto-réflexion, la génération augmentée par récupération et la découverte scientifique. Cependant, un défi fondamental surgit de l'observabilité partielle : contrairement aux contextes supervisés avec des entrées complètes, les environnements agentiques ne révèlent généralement que des observations locales et immédiates, tandis que l'état sous-jacent réel reste latent.

Cette observabilité partielle introduit trois défis critiques pour les agents LLM :

Inférence de l'état de croyance : Les agents doivent inférer une croyance sur l'état caché à partir d'historiques d'interactions incomplets et potentiellement bruités, qui sont souvent trop longs pour être compressés efficacement dans des fenêtres de contexte limitées.
Désalignement de l'objectif de la tâche : L'incertitude et l'information d'état manquante peuvent amener les agents à produire des actions qui s'écartent de l'objectif global de la tâche.
Planification sous incertitude : L'incapacité d'accéder à l'état réel complique la prédiction de situations futures lors de la planification.

Les approches précédentes conditionnent généralement les actions sur des historiques d'actions-observations complets ou résumés. Ces méthodes reposent souvent sur une mémoire non structurée, où des informations redondantes et non pertinentes peuvent induire en erreur la prise de décision.

Méthodologie : Le Cadre NeSyFS

Les auteurs proposent NeSyFS, un nouveau cadre de pensée neuro-symbolique rapide-lent conçu pour répondre à ces défis de manière unifiée. Le cadre intègre un système de mémoire structuré avec une architecture cognitive à double processus inspirée de la cognition humaine (Kahneman 2011).

1. Mémoire Neuro-Symbolique (Graphe de Connaissances)

Au lieu d'utiliser des historiques d'interactions non structurés, NeSyFS emploie un Graphe de Connaissances (KG) pour représenter l'état latent de l'environnement.

Représentation : L'état de l'environnement est encodé sous forme de triplets structurés (ex: (entité, relation, entité), (entité, attribut, valeur), (entité, verbe_au_passé, entité)).
Mise à jour dynamique : À mesure que l'agent interagit avec l'environnement, de nouvelles observations et actions sont transformées en triplets et incorporées dans le KG. Les triplets obsolètes sont élagués pour assurer une représentation cohérente et dynamiquement mise à jour.
Récupération : Chaque module de NeSyFS récupère des triplets pertinents à la tâche depuis le KG pour servir de contexte structuré, approximant l'état sous-jacent du Processus de Décision Markovien Partiellement Observable (POMDP).

2. Module de Pensée Rapide (Action Réactive)

Le module de pensée rapide génère des actions réactives de manière efficace.

Processus : Il récupère les triplets pertinents du KG actuel en fonction de la description de la tâche et de l'observation actuelle.
Décision : En utilisant le raisonnement par chaîne de pensée (Chain-of-Thought - CoT), l'LLM est incité à sélectionner la prochaine action sur la base de ce contexte structuré.
Rôle : Ce module gère les actions routinières et localement plausibles sans la surcharge computationnelle d'une planification profonde.

3. Module de Réflexion (Vérification d'Alignement)

Pour atténuer le désalignement de l'objectif de la tâche, un module de réflexion évalue la cohérence des actions de la pensée rapide avec l'objectif de la tâche.

Mécanisme : Contrairement aux méthodes d'auto-réflexion qui introspectent sur le comportement, ce module adopte une perspective à la troisième personne. Il utilise les triplets récupérés du KG comme contexte pour vérifier si une action candidate s'aligne avec l'objectif de la tâche.
Auto-cohérence : Pour réduire le caractère aléatoire de l'LLM, le module effectue plusieurs échantillonnages (ex: $n=5$ ) et n'approuve une action que si un seuil élevé (ex: 80 %) des échantillons est d'accord.
Déclencheur : Si une action est approuvée ("Oui"), elle est exécutée. Si elle est rejetée ("Non"), la pensée de réflexion est renvoyée au module de pensée rapide pour générer une nouvelle action. Si un rejet se produit de manière répétée (ex: $K=3$ fois), le système passe à la pensée lente.

4. Module de Pensée Lente (Planification Sensible à l'Incertitude)

Lorsque la pensée rapide n'est pas fiable, l'agent passe à une planification délibérative en utilisant un nouvel algorithme de Monte Carlo Séquentiel Torsadé Neuro-Symbolique (TSMC).

Représentation des particules : L'algorithme maintient un ensemble de particules pondérées, où chaque particule représente une trajectoire future possible composée d'observations prédites, d'états latents (KGs) et d'actions.
Propagation : Pour chaque particule, l'LLM prédit la prochaine action, l'observation résultante, et met à jour l'état latent (KG) en conséquence.
Mise à jour des poids : Les poids des particules sont mis à jour via une évaluation binaire par l'LLM pour déterminer si la transition d'état progresse vers la tâche. La représentation concise du KG aide à réduire les hallucinations lors de cette évaluation.
Rééchantillonnage : Les particules montrant une faible progression vers la tâche sont écartées, tandis que les plus prometteuses sont préservées. Ce mécanisme rend la planification robuste aux erreurs d'évaluation temporaires de l'LLM.
Exécution : Après avoir planifié sur un horizon $H$ , une particule est échantillonnée, et sa première action est exécutée dans l'environnement réel.

Contributions Clés

Cadre Unifié : Un cadre de pensée rapide-lent neuro-symbolique qui traite simultanément l'inférence de l'état latent, le désalignement de la tâche et la planification sous incertitude.
Planification de type TSMC : L'introduction d'un algorithme de planification de type TSMC au sein du module de pensée lente, spécifiquement adapté aux agents LLM utilisant des triplets récupérés par KG pour gérer l'incertitude sous observabilité partielle.
Réflexion Augmentée par KG : Un module de réflexion qui utilise des triplets récupérés du KG pour permettre une réflexion par étapes efficace (contrairement à la réflexion au niveau de la trajectoire), améliorant significativement l'alignement avec les objectifs de la tâche.
Contexte Structuré : Démonstration que l'utilisation de triplets récupérés du KG comme contexte surpasse les approches d'historique complet ou de résumé de croyance dans la prise de décision, la réflexion et la modélisation du monde.

Résultats Expérimentaux

Le cadre a été évalué sur trois benchmarks représentatifs : ALFWorld (tâches domestiques incarnées), WebShop (prise de décision d'achat en ligne) et ScienceWorld (raisonnement procédural et scientifique).

Performance Globale : NeSyFS a systématiquement et significativement surpassé les bases de référence de pointe, incluant ReAct, Reflexion, ABBEL, RAFA et SwiftSage.
- Sur GPT-5, NeSyFS a atteint un taux de réussite moyen de 93,6 % sur ALFWorld, 63,3 % sur WebShop et 69,4 % sur ScienceWorld, dépassant largement la meilleure base de référence (SwiftSage).
- Des améliorations similaires ont été observées avec GPT-5-mini et Llama-3.3-70B.
Efficacité de la Réflexion : Les expériences isolant le module de réflexion ont montré que l'utilisation du contexte fourni par le KG réduisait considérablement les Erreurs Totales de Détection (TDE) et augmentait la Fiabilité Effective (ER) par rapport à l'utilisation de l'historique complet d'interaction ou des états de croyance résumés par l'LLM.
Comparaison de Contexte : Dans les scénarios de pensée rapide sans réflexion, les triplets récupérés du KG ont produit des taux de réussite plus élevés que l'historique complet ou les résumés de croyance, validant la supériorité de la mémoire symbolique structurée sur le texte non structuré.

Signification et Revendications

L'article affirme que NeSyFS représente une avancée significative dans l'architecture des agents LLM pour l'observabilité partielle. En s'éloissant des historiques d'interactions non structurés et redondants au profit d'un Graphe de Connaissances symbolique et structuré, le cadre fournit une représentation plus robuste et efficace de l'état latent.

Les auteurs soulignent qu'ils sont les premiers à développer une méthode de planification de type TSMC pour les agents LLM, exploitant le mécanisme de rééchantillonnage pour équilibrer exploration et exploitation tout en restant robuste aux erreurs d'évaluation de l'LLM. De plus, l'intégration d'un module de réflexion augmenté par le KG traite la question critique du désalignement de la tâche plus efficacement que la réflexion conventionnelle par trajectoire. Les résultats suggèrent que la synergie entre la mémoire structurée (KG), la pensée rapide réactive et la pensée lente délibérative est essentielle pour des agents autonomes de haute performance dans des environnements complexes et partiellement observables.