PEPA: a Persistently Autonomous Embodied Agent with Personalities

Le papier présente PEPA, une architecture cognitive à trois couches qui confère à un agent robotique une autonomie persistante en utilisant des traits de personnalité pour générer ses propres objectifs et s'adapter de manière durable à des environnements dynamiques sans supervision humaine.

L'essentiel

🤖 PEPA : Le Robot qui a une "Âme" et une Mémoire

Imaginez un robot classique. C'est un peu comme un robot aspirateur ou un GPS. Il suit des ordres précis : "Va là-bas", "Nettoie ça", "Arrête-toi". Si on ne lui donne pas d'ordre, il s'arrête et attend. Il n'a pas de vie propre.

Les chercheurs de ce papier (PEPA) se sont dit : "Et si on donnait à un robot une vraie personnalité, comme un animal de compagnie, pour qu'il prenne ses propres décisions et survive seul pendant des mois ?"

Voici comment ils ont fait, en utilisant trois idées clés :

---

1. La Personnalité est le "Système Nerveux" du Robot

Dans la nature, un chien n'a pas besoin qu'on lui dise à chaque seconde de courir ou de dormir. Il a un tempérament.

• Un chien curieux va explorer le jardin, même s'il y a un risque de se salir.
• Un chien peureux va rester près de la maison et éviter les gros chiens.

PEPA utilise cette idée. Au lieu de programmer des règles strictes ("Si batterie < 20%, rentre"), on donne au robot une description de personnalité (comme "Je suis un explorateur énergique mais prudent").

• L'analogie : C'est comme si vous donniez un livre de recettes à un chef. Un chef "audacieux" va inventer des plats épicés, tandis qu'un chef "conservateur" va faire des plats classiques. Le robot, lui, utilise sa personnalité pour décider quoi faire quand personne ne lui dit rien.

2. Les Trois Cerveaux (L'Architecture en 3 Couches)

Pour que ce robot fonctionne, les chercheurs ont créé une structure en trois étages, un peu comme une entreprise bien organisée :

• 🧠 Le Patron (Sys3) : Le "Rêveur"
  C'est le cerveau qui a des idées. Il regarde la personnalité du robot et se souvient de ce qui s'est passé la veille.

  • Exemple : "Hier, j'ai failli tomber dans l'escalier. Aujourd'hui, je vais être plus prudent." ou "Je suis un robot curieux, je dois aller voir ce qui se passe au 3ème étage."
    Il fixe les objectifs du jour (ex: "Explorer le bureau") et définit ce qui est "bon" ou "mauvais" pour le robot selon sa personnalité.

• 🤔 Le Manager (Sys2) : Le "Planificateur"
  C'est celui qui réfléchit. Il prend les objectifs du Patron et les contraintes du monde réel (batterie, obstacles). Il utilise une intelligence artificielle très puissante pour dire : "Ok, pour aller au 3ème étage sans tomber, je dois prendre l'ascenseur et appuyer sur le bouton."
  Il transforme les rêves en plans d'action concrets.

• 🦶 Le Corps (Sys1) : L'Exécutant
  C'est le robot physique (un chien robot à 4 pattes avec un bras). Il bouge, regarde, touche les boutons d'ascenseur et note tout ce qui se passe dans un journal de bord (mémoire).

  • L'astuce : Si le robot tombe, Sys1 l'écrit dans son journal. Le soir, le Patron (Sys3) lit ce journal et ajuste ses plans pour le lendemain. C'est ainsi que le robot apprend et évolue sans qu'un humain ne le répare.

3. L'Expérience Réelle : Le Robot dans un Bâtiment

Les chercheurs ont testé leur idée sur un vrai robot dans un immeuble de bureaux avec plusieurs étages. C'était un vrai défi : il fallait monter des escaliers, prendre l'ascenseur (en appuyant sur les boutons) et gérer sa batterie.

Ce qui s'est passé :

• Jours 1 : Les robots ont fait des erreurs. Certains se sont épuisés car ils étaient trop curieux, d'autres n'ont rien fait car ils étaient trop peureux.
• Jours 2 et 3 : Grâce à leur "journal de bord" et à leur réflexion du soir, ils ont appris.
  • Le robot Curieux a appris à explorer, mais en gardant une marge de sécurité pour sa batterie.
  • Le robot Paresseux a appris à se reposer au bon moment pour ne jamais s'éteindre.
  • Le robot Travailleur est devenu très efficace pour accomplir des tâches sans gaspiller d'énergie.

🌟 La Grande Révolution

Avant, un robot était comme un acteur qui répète un script. Si le script est fini, il s'arrête.
Avec PEPA, le robot devient comme un animal domestique intelligent. Il a une vie intérieure. Il sait ce qu'il aime, ce qu'il craint, et il s'adapte à son environnement pour survivre et rester fidèle à sa "personnalité" sur le long terme.

En résumé :
Ce papier montre qu'en donnant une personnalité à un robot et en lui permettant de se souvenir de ses erreurs, on peut créer des machines capables de vivre, d'apprendre et d'évoluer seules dans le monde réel, sans qu'un humain ait besoin de les surveiller 24h/24. C'est un pas de géant vers des robots compagnons ou des explorateurs spatiaux qui ne dépendent pas de nous.

Résumé technique

1. Problématique et Contexte

Les agents incarnés (robots) actuels sont principalement limités par leur dépendance à des objectifs externes scriptés et prédéfinis. Cette dépendance empêche leur déploiement à long terme dans des environnements dynamiques et non structurés où une intervention humaine continue est impraticable (ex. : compagnons de soins, rovers d'exploration planétaire).

Le défi fondamental réside dans la réalisation de l'autonomie persistante : la capacité d'un agent à générer ses propres objectifs, à les poursuivre de manière cohérente sur de longues périodes et à adapter son comportement sans supervision externe, tout en gérant les contraintes physiques (énergie, sécurité, usure). Les approches existantes, bien que performantes sur des tâches spécifiques, échouent à fournir un principe d'organisation intrinsèque pour structurer le comportement à long terme en l'absence de tâche fixe.

2. Méthodologie : L'Architecture PEPA

Les auteurs proposent PEPA (Persistently Autonomous Embodied Agent with Personalities), une architecture cognitive à trois couches qui utilise les traits de personnalité comme principe organisateur intrinsèque pour la génération d'objectifs et l'évolution comportementale.

A. Concept Central : La Personnalité comme Substrat

Contrairement aux modèles de personnalité statiques utilisés en robotique sociale, PEPA intègre la personnalité comme un mécanisme computationnel dynamique. Inspirée des biais génotypiques biologiques, la personnalité détermine les préférences de l'agent (ce qu'il valorise), guidant ainsi la génération d'objectifs et l'évaluation des risques sans spécification externe.

B. Architecture à Trois Systèmes

L'architecture fonctionne en boucle fermée via trois systèmes interactifs :

1. Sys3 (Génération de Personnalité et d'Objectifs) :

   • C'est le centre de motivation. Il synthétise les traits de personnalité (basés sur le modèle des Big Five : Ouverture, Conscience, Extraversion, Agréabilité, Névrosisme), l'automodélisation de l'état interne (batterie, état émotionnel) et les mémoires épisodiques passées.
   • Il génère une hiérarchie d'objectifs (objectif ultime et objectifs quotidiens) et des fonctions de récompense intrinsèque dynamiques.
   • Il intègre un mécanisme de réflexion quotidienne : à la fin de chaque cycle, il analyse les mémoires d'expériences pour affiner les objectifs et les récompenses pour le jour suivant, permettant une auto-évolution sans réentraînement.

2. Sys2 (Décision et Raisonnement) :

   • C'est le noyau de planification. Il combine les récompenses intrinsèques (de Sys3) avec les récompenses extrinsèques de l'environnement.
   • Il utilise une approche en deux temps : un Recherche Arborescente Monte Carlo (MCTS) guidée par un Grand Modèle de Langage (LLM) pour la génération de données d'entraînement, et une politique légère (modèle BERT distillé) pour le déploiement en temps réel afin de réduire la latence.

3. Sys1 (Perception, Exécution et Enregistrement Mémoire) :

   • C'est l'interface d'incarnation. Il exécute les actions physiques, surveille l'état du système et enregistre les résultats sous forme de mémoires épisodiques structurées.
   • Ces mémoires (contenant l'action, l'état avant/après, la consommation de ressources et le contexte) sont renvoyées à Sys3 pour boucler la boucle d'apprentissage.

C. Implémentation Physique

Le système a été déployé sur un robot quadrupède à roues (Unitree Go2-W) équipé d'un bras robotique (Piper 6-DOF). Il intègre des modules spécifiques pour :

• La navigation multi-étages (ascenseurs, escaliers).
• Une carte de coût alignée sur la hauteur (height-aligned costmap) pour la navigation sur les escaliers, permettant une planification locale précise sur des surfaces inclinées, contrairement aux méthodes de tranchage fixe qui échouent lors des changements d'altitude.

3. Contributions Clés

1. Premier Agent Incarné Persistant : À notre connaissance, c'est la première réalisation d'un agent physique capable d'auto-évolution persistante sous contraintes réelles, gouverné par des objectifs conditionnés par la personnalité plutôt que par des tâches scriptées.
2. Architecture Cognitive Nouvelle : Développement d'une architecture à trois systèmes avec un mécanisme de boucle fermée d'auto-évolution, où l'expérience est accumulée, réfléchie sous l'angle de la personnalité, et utilisée pour optimiser les objectifs et les récompenses intrinsèques.
3. Validation Expérimentale Réelle : Validation sur un robot physique dans un environnement de bureau multi-étages, démontrant une évolution stable et des comportements ouverts. Le code et les modules de mobilité (ascenseur, escalier) sont rendus publics.

4. Résultats Expérimentaux

Les expériences ont été menées avec cinq prototypes de personnalités distincts (Paresseux, Ludique, Prudent, Travailleur, Curieux) dans un simulateur sandbox et sur le robot réel.

• Évolution et Survie (Question Q2) :
  • Au jour 1, tous les agents ont épuisé leur batterie et échoué.
  • Grâce au mécanisme de réflexion quotidienne de Sys3, les objectifs quotidiens ont été ajustés (ex. : réduire l'exploration lorsque la batterie est basse).
  • Au jour 3, tous les agents ont survécu à une simulation de 24 heures avec une batterie restante de 72 % à 100 %, démontrant une optimisation conjointe de la personnalité et de la préservation de soi.
• Cohérence Comportementale (Question Q3) :
  • Sous des conditions d'entrée identiques, les différents prototypes ont produit des distributions d'actions distinctes et stables.
  • Exemple : L'agent "Paresseux" a augmenté sa fréquence de repos de 14,5 % (Jour 1) à 49,8 % (Jour 3) tout en maintenant une exploration quasi nulle, tandis que l'agent "Ludique" a maintenu une exploration élevée mais a réduit les comportements agressifs pour assurer sa sécurité.
  • Cela confirme que les récompenses intrinsèques capturent des différences comportementales significatives et non de simples modulations de fréquence.
• Navigation Physique :
  • La méthode de carte de coût alignée sur la hauteur a permis une navigation réussie sur les escaliers (100 % de succès sur 10 essais), là où les méthodes de base échouaient systématiquement.

5. Signification et Impact

Ce travail marque une avancée significative vers des robots véritablement autonomes capables de fonctionner à long terme sans supervision humaine constante. En démontrant que la personnalité peut servir de principe d'organisation intrinsèque, PEPA résout le problème de la cohérence comportementale à long terme.

L'approche prouve qu'il est possible de concevoir des agents qui ne se contentent pas d'exécuter des tâches, mais qui évoluent, apprennent de leurs échecs physiques (comme la décharge de batterie) et adaptent leurs stratégies de survie tout en conservant une identité comportementale unique. Cela ouvre la voie à des applications réalistes dans des domaines exigeants comme la robotique de service, l'assistance aux personnes âgées et l'exploration autonome, où la résilience et l'adaptabilité sont critiques.