Résumé technique : Planification de la pensée autonome centrée sur les problèmes pour les robots en environnements dynamiques

1. Énoncé du problème

Les robots autonomes opérant dans des environnements ouverts, changeants et partiellement observables font face à une limitation critique des paradigmes de planification existants. Les méthodes conventionnelles sont généralement centrées sur les tâches ou centrées sur les actions, s'appuyant sur des objectifs prédéfinis, des variables d'état fixes et des séquences d'actions explicites. Ces approches peinent lorsque :

• Des problèmes importants ne sont pas entièrement prédéfinis mais générés dynamiquement à partir de nouvelles observations.
• Des problèmes sont temporairement non exécutables mais deviennent solubles à mesure que de nouvelles informations arrivent.
• Les réponses directes aux observations peuvent être incorrectes sans raisonnement supplémentaire (par exemple, distinguer une défaillance de capteur d'une interférence environnementale).
• Les robots doivent se rappeler des tâches interrompues, mettre à jour leur compréhension interne et prioriser les problèmes non résolus plutôt que d'exécuter de simples listes prédéfinies.

Le défi central est de développer un mécanisme de pensée interne capable de maintenir, de rappeler et de planifier des problèmes cognitifs en fonction de leur importance et du contexte changeant, plutôt que de simplement exécuter une liste statique d'actions.

2. Méthodologie : Le cadre ICATS

Le document propose ICATS (Issue-Centric Autonomous Thinking Scheduling), un cadre qui traite les problèmes cognitifs comme les unités fondamentales de la pensée et de la planification internes.

A. Représentation du problème cognitif

Un problème cognitif est défini comme un événement, une observation, un état de tâche, un changement environnemental, un doute interne ou un problème non résolu nécessitant un rappel ou un raisonnement ultérieur. Il est représenté par un tuple :
$$M^t_i = \langle I^t_i, o^t_i, \hat{o}^t_i, \Delta^t_i, R^t_i, s^t_i, l^t_i, T^t_i \rangle$$
Où :

• $I^t_i$ : Le problème lui-même.
• $o^t_i$ : Résultat perçu.
• $\hat{o}^t_i$ : Résultat attendu.
• $\Delta^t_i$ : Différence perception–attente.
• $R^t_i$ : Problèmes ou expériences liés.
• $s^t_i$ : Statut de résolution (non résolu, partiellement résolu, familier, etc.).
• $l^t_i$ : Statut d'apprentissage.
• $T^t_i$ : Importance de la pensée.

B. Maintenance dynamique du statut

ICATS emploie un statut interne dynamiquement extensible ($\hat{S}^t$) plutôt qu'un vecteur d'état fixe. Ce statut inclut :

• Des facteurs environnementaux ($\hat{E}^t$).
• Le statut propre du robot ($\hat{B}^t$).
• Le statut d'autres agents/objets ($\hat{O}^t$).
• Les relations entre les facteurs ($\hat{R}^t$).
• Les plans, prédictions et résultats de raisonnement ($\hat{P}^t$).

De nouveaux facteurs, objets, relations ou prédictions observés ou inférés pendant l'opération sont ajoutés à ce statut. Le robot génère des attentes actualisées basées sur ce statut évolutif, lui permettant de détecter non seulement les valeurs anormales, mais aussi les nouveaux facteurs émergents, les relations modifiées et les risques potentiels.

C. Importance de la pensée et planification

L'importance de la pensée ($T^t_i$) détermine la priorité d'un problème. Elle est calculée selon :

1. La différence Perception–Attente ($\Delta^t_i$) : L'écart entre la perception actuelle et l'attente actualisée.
2. Le degré de non-résolution ($u^t_i$) : La distance séparant le problème de sa résolution.
3. La nouveauté ($n^t_i$) : Si le problème est peu familier.
4. La valeur d'apprentissage ($q^t_i$) : Le potentiel de gain de connaissances futures.
5. L'influence future attendue ($e^t_i$) : Le potentiel de causer des conséquences significatives (ex: risques de sécurité, échec de la tâche).

Un module de pensée (par exemple, un LLM ou un modèle de raisonnement) peut être utilisé pour juger ces facteurs, particulièrement pour les problèmes pouvant mener à des résultats fatals.

Mécanisme de planification :
Les problèmes sont planifiés via un score $S^t_j = T^t_j + \lambda_u u^t_j + \lambda_q q^t_j - \lambda_c c^t_j$. La planification se déroule en deux modes :

• Planification en temps libre (Free-Time Scheduling) : Rappel autonome de problèmes non résolus ou de haute valeur lorsque les ressources sont disponibles.
• Planification déclenchée (Triggered Scheduling) : Traitement immédiat lorsqu'une situation inattendue (ex: un piéton traversant le chemin) dévie des attentes.

D. Traitement et apprentissage

Une fois planifié, un problème est traité pour être résolu, pour apprendre de lui ou pour mettre à jour les modèles internes.

• Résolution : Le robot récupère les expériences passées guidées par l'importance pour générer des solutions candidates.
• Apprentissage :
  • Mémoire sémantique : Pour les problèmes rares ou ponctuels, le robot stocke un résumé significatif.
  • Modèles neuronaux : Pour les problèmes répétés, les données sont utilisées pour entraîner des modèles de séquence (ex: LSTM, Transformers).
• Boucle de rétroaction : Après traitement, l'importance de la pensée est mise à jour. Si un problème devient familier ou résolu, son importance diminue ; s'il reste non résolu, il conserve une priorité élevée pour les planifications futures.

3. Principales contributions

1. Planification centrée sur les problèmes : Déplace l'unité de planification des actions/tâches prédéfinies vers les problèmes cognitifs, permettant le rappel et le traitement autonomes de problèmes inachevés, inconnus, modifiés ou à fort impact.
2. Importance de la pensée multi-facteurs : Formule l'importance basée sur la différence perception-attente, le degré de non-résolution, la nouveauté, la valeur d'apprentissage et l'influence future. Elle permet explicitement l'utilisation de LLM pour juger l'importance des problèmes critiques.
3. Maintenance d'un statut dynamiquement extensible : Introduit un mécanisme où le statut interne n'est pas fixe mais s'étend durant l'opération pour inclure de nouveaux facteurs, objets, relations et prédictions, facilitant la génération d'attentes actualisées.

4. Résultats expérimentaux

Le document présente deux expériences de vérification contrôlées :

Expérience 1 : Planification de problèmes dynamiques sous contrainte de temps

• Configuration : Comparaison d'ICATS avec des bases de planification chronologique, par échéance, par exécutabilité, par durée la plus courte et aléatoire.
• Résultats :
  • ICATS a obtenu la récompense pondérée la plus élevée (18,395), surpassant la meilleure base fixe (Aléatoire, 15,967) d'environ 15,2 %.
  • Il a atteint un taux de complétion de problèmes dynamiques de 0,583, supérieur à toutes les bases fixes (max 0,533).
  • Il a démontré une capacité d'apprentissage, transférant avec succès des règles apprises (ex: prioriser les problèmes à fenêtre étroite) lors des épisodes d'évaluation, là où les bases fixes avaient un succès d'apprentissage nul.

Expérience 2 : Maintenance du statut dynamique et détection de différence

• Configuration : Évaluation de la capacité à détecter des différences (ex: anomalies de température, risques liés aux piétons) en utilisant différents niveaux de maintenance de statut (Observation seule, Environnement seul, Environnement+Soi+Objets, et ICATS-statut complet).
• Résultats :
  • ICATS-statut complet a obtenu un score F1 parfait de 1,000, surpassant nettement la meilleure base à statut partiel (0,618).
  • Il a réduit le taux de faux négatifs à 0,000 (contre 0,483 pour les bases partielles) et le taux de faux positifs à 0,000.
  • Il a permis une détection anticipée (3,235 unités de temps en avance) des risques grâce à l'inférence des relations, une capacité absente des autres méthodes.
  • Les résultats soulignent que la maintenance des relations et des prédictions est cruciale pour une détection précise des différences dans des scénarios dynamiques.

5. Signification et affirmations

Le document affirme qu'ICATS constitue une évolution nécessaire pour les robots autonomes en environnements ouverts en :

• Priorisant les besoins cognitifs : Dépassant la simple exécution de tâches pour gérer l'état cognitif interne du robot, garantissant que les problèmes non résolus, nouveaux ou à haut risque soient traités, même s'ils ne font pas partie de la liste de tâches initiale.
• Adaptabilité : Le statut dynamiquement extensible permet aux robots de gérer des facteurs non prédéfinis au début d'une mission, tels que de nouveaux objets ou des relations modifiées.
• Amélioration de la sécurité et de l'efficacité : En détectant les risques plus tôt (via la maintenance des relations/prédictions) et en priorisant les problèmes à fort impact, le cadre améliore la sécurité et l'allocation des ressources.

Les auteurs notent modestement que les résultats de vérification proviennent d'expériences contrôlées. Bien qu'ICATS ait atteint une classification parfaite dans les scénarios testés, les auteurs reconnaissent que les travaux futurs devront évaluer la robustesse face aux observations bruitées, aux prédictions incomplètes et à des environnements réels plus complexes. Le papier positionne ICATS non pas comme un remplacement de la planification d'action, mais comme un planificateur de pensée complémentaire qui opère avant, pendant ou après la planification d'action pour s'assurer que le robot pense aux bonnes choses au bon moment.