Résumé Technique : Un Cadre Cognitif pour les Agents Autonomes

Énoncé du Problème

Les systèmes autonomes, en particulier les systèmes multi-agents utilisés pour la détection et l'exploration, sont confrontés à des défis importants pour accomplir des tâches efficacement dans des environnements complexes, partiellement observables et incertains. Alors que les solutions d'ingénierie traditionnelles reposent largement sur l'apprentissage instrumental (apprendre des actions basées sur les conséquences pour maximiser les récompenses), elles négligent souvent l'apprentissage pavlovien (associer des indices environnementaux à des résultats avant que le résultat ne se produise). Dans la cognition humaine, ces deux systèmes coexistent et interagissent ; les associations pavloviennes permettent aux organismes d'utiliser des indices prédictifs pour biaiser le comportement de manière réflexive, accélérant ainsi l'adaptation. Les conceptions actuelles d'agents autonomes négligent largement ce mécanisme à double système, ceant une convergence plus lente et une exploration moins efficace dans les environnements inconnus, surtout lorsqu'elles reposent uniquement sur l'apprentissage par renforcement (RL) sans modèle ou sur un RL standard avec modèle.

Méthodologie

Les auteurs proposent une architecture de RL inspirée de l'humain qui intègre les processus pavloviens et instrumentaux, en exploitant spécifiquement les stimuli radiofréquences (RF) comme indices conditionnés. Le cadre est structuré autour des composants suivants :

1. Architecture à Double Système :

   • Sous-système Sans Modèle Pavlovien-Instrumental (P-I) : Imite l'amygdale et le striatum ventral. Il apprend les associations entre les indices environnementaux (par exemple, les signaux RF indiquant des « portes » ou des zones « sans GPS ») et les résultats. Cela génère des biais réflexifs rapides (approche ou évitement) qui modulent la sélection d'actions avant que le résultat ne soit réalisé.
   • Sous-système Sans Modèle Instrumental : Utilise le Q-learning ou le SARSA standard pour apprendre des fonctions de valeur d'action basées sur l'expérience par essais et erreurs, similaire aux comportements habituels chez l'humain.
   • Sous-système Avec Modèle Instrumental : Emploie une approche Dyna-Q pour apprendre un modèle interne de la dynamique de l'environnement (probabilités de transition et récompenses). Cela permet la planification prospective et la simulation pour optimiser les objectifs à long terme.

2. Mécanisme d'Arbitrage :

   • Un méta-contrôleur pondère dynamiquement les contributions des systèmes sans modèle et avec modèle.
   • La fiabilité est quantifiée à l'aide d'erreurs de prédiction : Erreurs de Prédiction de Récompense (RPE) pour l'apprentissage sans modèle et Erreurs de Prédiction d'État (SPE) pour l'apprentissage avec modèle.
   • Le système transfère le contrôle vers le planificateur avec modèle lorsque le modèle interne est précis, et vers le système sans modèle robuste lorsque l'incertitude est élevée.

3. Conception de la Politique :

   • La sélection d'actions utilise une politique softmax qui combine les valeurs d'action instrumentales avec un terme de biais pavlovien.
   • Le terme pavlovien est dépendant de l'état et de l'action, créant un « champ de potentiel risque-récompense » qui guide les agents vers des zones informatives (par exemple, des corridors en ligne de vue directe - LOS) et les éloigne des zones dangereuses (par exemple, les zones sans GPS) sans nécessiter de maximisation explicite de la récompense pour chaque étape.

4. Configuration Expérimentale :

   • Scénario : Une équipe de quatre agents autonomes (UAV) navigue dans une grille de $24 \times 36$ pour localiser une cible avec une limite d'erreur de position (PEB) spécifique.
   • Environnement : Comprend des obstacles, des zones sans GPS (indices négatifs) et des « portes » (indices positifs) qui fournissent une ligne de vue (LOS) vers la cible.
   • Détection : Les agents utilisent la puissance reçue du signal (RSS) pour la localisation et s'appuient sur les indices RF pour identifier les caractéristiques environnementales.
   • Entraînement : Les agents ont été entraînés sur 2 400 épisodes via un apprentissage hors politique (off-policy Q-learning) et un critique pavlovien, avec une décroissance des taux d'apprentissage et des paramètres de température au fil du temps.

Contributions Clés

• Intégration du Transfert Pavlovien-Instrumental (PIT) : L'article traduit le concept neuroscientifique de PIT en un cadre d'agent numérique, démontrant comment les indices RF peuvent agir comme des stimuli conditionnés pour biaiser la prise de décision instrumentale.
• Cadre d'Apprentissage Hybride : Il propose une architecture novatrice qui unifie l'apprentissage sans modèle (habituel), avec modèle (planification) et pavlovien (réflexif), régulée par un mécanisme d'arbitrage basé sur les erreurs de prédiction.
• La RF comme Indice Cognitif : Ce travail identifie et utilise spécifiquement les caractéristiques radiofréquences (LOS vs NLOS, disponibilité du GPS) comme indices prédictifs, allant au-delà des indices visuels seuls qui peuvent être peu fiables en cas de faible visibilité.
• Cartographie de la Cognition Humaine-Numérique : Les auteurs fournissent un « dictionnaire » détaillé (Tableau II) et une comparaison fonctionnelle (Tableau III) reliant les systèmes neuraux humains (ex: amygdale, cortex préfrontal) aux modules d'agents numériques, établissant une base rigoureuse pour la conception inspirée de l'humain.

Résultats

Les résultats de la simulation, moyennés sur 60 simulations de Monte Carlo, démontrent l'efficacité du cadre proposé :

• Accélération de la Convergence : L'agent Instrumental-Pavlovien avec Modèle a atteint des politiques compétentes nettement plus rapidement que les agents utilisant un apprentissage uniquement instrumental. L'approche pilotée par les indices a réduit le nombre d'étapes nécessaires par épisode pour accomplir la mission.
• Réduction de la Variance : L'approche hybride a présenté une variance de performance plus faible entre les essais par rapport à la référence uniquement instrumentale, indiquant un apprentissage plus stable.
• Trajectoires Optimisées :
  • Les agents uniquement instrumentaux dépendaient d'essais et d'erreurs non informés, suivant souvent des chemins plus longs et inefficaces et entrant occasionnellement dans des zones sans GPS.
  • Les agents influencés par le mode pavlovien ont développé des trajectoires directes qui maintiennent des marges de sécurité autour des zones sans GPS et exploitent efficacement les corridors de ligne de vue (LOS).
• Évolution de la Fonction de Valeur : Les fonctions de valeur pavloviennes ont évolué de distributions aléatoires vers des « champs de potentiel risque-récompense » distincts dès l'épisode 400, avec des maxima locaux autour des portes et des minima dans les zones sans GPS, élaguant efficacement l'espace de recherche pour l'apprenant instrumental.

Signification et Revendications

L'article affirme que l'intégration des principes d'apprentissage humain, spécifiquement l'interaction entre les systèmes pavloviens et instrumentaux, peut remodeler l'intelligence des agents numériques. La principale signification réside dans la démonstration que :

1. L'apprentissage piloté par les indices accélère efficacement l'exploration dans des environnements complexes et partiellement observables en fournissant des signaux motivationnels immédiats.
2. Une approche hybride (fusionnant les processus avec modèle et sans modèle avec un biais pavlovien) surpasse les agents traditionnels uniquement instrumentaux tant en vitesse d'adaptation qu'en qualité de la politique finale.
3. Les indices radiofréquences constituent un mécanisme viable et robuste de signalisation prédictive pour la navigation autonome, offrant des avantages par rapport aux indices visuels dans des conditions spécifiques.

Les auteurs positionnent ce travail comme une étape vers des systèmes autonomes plus biologiquement plausibles et efficaces, suggérant que les recherches futures pourraient étendre ces principes à l'apprentissage collectif, aux stratégies d'arbitrage avancées et à l'extraction d'indices à partir de cartes radio sémantiques.