Learning When to Cooperate Under Heterogeneous Goals

Cet article propose une approche hiérarchique combinant apprentissage par imitation et renforcement pour permettre aux agents d'apprendre à décider quand coopérer ou agir seuls face à des objectifs hétérogènes, surpassant ainsi les méthodes de référence dans des environnements collaboratifs étendus.

L'essentiel

🤝 Quand faut-il travailler en équipe ? (Et quand vaut-il mieux agir seul ?)

Imaginez que vous êtes dans une grande salle de fête. Parfois, vous avez envie de danser avec quelqu'un, mais parfois, vous préférez rester assis à boire un verre. Le problème, c'est que vous ne savez pas toujours si la personne à côté de vous veut danser avec vous ou si elle veut juste aller chercher un verre de son côté.

C'est exactement le problème que les chercheurs Max Taylor-Davies, Neil Bramley et Christopher Lucas ont voulu résoudre avec leurs robots (ou agents intelligents).

1. Le problème : La fausse bonne idée de toujours coopérer

Jusqu'à présent, la plupart des robots conçus pour travailler en équipe (ce qu'on appelle l'« équipe ad hoc ») avaient une règle simple : « Toujours essayer de coopérer ! ».
Ils pensaient que chaque situation était une opportunité de gagner ensemble.

Mais dans la vraie vie, ce n'est pas toujours vrai.

• Exemple : Si vous et votre ami allez au même endroit (même objectif), c'est génial de partager un taxi.
• Exemple : Si vous allez à l'opposé l'un de l'autre, partager un taxi est une perte de temps et d'argent.

Les chercheurs ont dit : « Nos robots sont trop naïfs. Ils doivent apprendre à dire : "Attends, ce n'est pas le moment de coopérer, je vais faire ça tout seul". »

2. La solution : Le robot « GRILL »

Pour régler ça, ils ont créé une nouvelle méthode appelée GRILL (un nom rigolo qui signifie Goal selection by RL with Imitation for Low-Level control).

Imaginez que GRILL est un chef d'orchestre avec deux cerveaux distincts :

• Le Cerveau Basique (Le Chef d'Orchestre Junior) : Il sait comment faire les choses. Il sait marcher, attraper des objets, ouvrir des portes. Il a appris cela en regardant des vidéos d'experts (c'est ce qu'on appelle l'imitation). Il ne se pose pas de questions, il exécute.
• Le Cerveau Stratège (Le Chef d'Orchestre Senior) : Lui, il décide quoi faire. Il regarde la situation et se demande : « Est-ce que je devrais essayer de faire ça avec mon partenaire ? Ou est-ce que je devrais le faire tout seul ? » C'est lui qui apprend par essais et erreurs (c'est l'apprentissage par renforcement).

L'analogie du restaurant :
Imaginez un serveur (le robot).

• Le Cerveau Basique sait comment porter un plateau, comment servir un verre sans renverser.
• Le Cerveau Stratège décide : « Est-ce que je dois aider ce client à porter sa valise (coopération) ou est-ce que je dois juste aller chercher une autre commande (action solo) ? »

3. Les expériences : Deux jeux pour tester l'intelligence

Pour voir si leur robot était vraiment intelligent, ils l'ont mis dans deux jeux vidéo simplifiés :

1. Le jeu de la course (Cooperative Reaching) : Deux robots doivent aller vers une case spéciale. Parfois, ils doivent y aller ensemble pour gagner gros. Parfois, ils peuvent y aller seuls pour gagner un peu moins.
2. Le jeu de la cueillette (Level-based Foraging) : Imaginez un supermarché où il faut ramasser des fruits. Certains fruits sont lourds et nécessitent deux personnes pour les porter. D'autres sont légers et un seul peut les prendre. De plus, un robot veut peut-être des pommes, et l'autre des oranges.

Le résultat ?
Les robots classiques (qui pensaient toujours qu'il fallait coopérer) se sont souvent trompés. Ils ont essayé de porter des fruits ensemble alors qu'ils allaient dans des directions opposées, ou ils ont ignoré des opportunités de travail d'équipe.

Le robot GRILL, lui, a compris le jeu. Il a appris à dire : « Ah, mon partenaire veut des oranges et moi des pommes ? Je vais chercher mes pommes tout seul. » ou « Ah, ce fruit est trop lourd, je vais attendre mon partenaire ! ». Il a gagné beaucoup plus de points que les autres.

4. La petite astuce secrète : Le détective

Les chercheurs ont ajouté une petite fonctionnalité à GRILL (appelée GRILL-M). C'est comme si le robot avait un détective intégré.
Ce détective observe les mouvements de l'autre robot pour essayer de deviner ce qu'il veut faire, même si l'autre robot ne le dit pas clairement.

• Le résultat intéressant : Ce détective est très utile quand on ne voit pas bien ce que l'autre veut faire (quand l'information est floue). Mais si l'autre robot est très clair dans ses intentions, le détective devient moins nécessaire. C'est comme avoir un GPS : il est super utile quand il pleut et qu'on ne voit rien, mais moins utile quand il fait beau et qu'on voit la route.

🎯 En résumé

Ce papier nous apprend que pour être un bon collaborateur (humain ou robot), il ne suffit pas de savoir comment travailler ensemble. Il faut surtout savoir quand travailler ensemble et quand agir seul.

La méthode GRILL est une avancée car elle donne aux robots cette capacité de jugement : elle leur permet de distinguer les situations où la coopération est une victoire, de celles où elle est une perte de temps. C'est un pas de plus vers des robots qui comprennent vraiment le monde humain, avec ses objectifs parfois partagés et parfois contradictoires.

Résumé technique

Voici un résumé technique détaillé de l'article « Learning When to Cooperate Under Heterogeneous Goals » en français.

1. Problématique et Contexte

L'article aborde une limitation majeure dans la recherche actuelle sur le travail d'équipe ad hoc (Ad Hoc Teamwork - AHT). Bien que les travaux existants se concentrent sur la capacité d'un agent à collaborer avec des coéquipiers inconnus, ils supposent généralement que tous les scénarios sont intrinsèquement coopératifs et que tous les agents poursuivent le même objectif global.

Dans la réalité, les environnements sont hétérogènes : les agents peuvent avoir des objectifs qui se chevauchent partiellement, totalement, ou pas du tout. Un collaborateur humain efficace doit savoir distinguer ces situations et décider quand collaborer et quand agir seul.

Le problème formel :
Les auteurs définissent un cadre basé sur les Jeux Stochastiques Partiellement Observables (POSG) où :

• Un agent « ego » interagit avec des coéquipiers ayant des objectifs potentiellement hétérogènes.
• L'ensemble des objectifs possibles $G$ est divisé en sous-ensembles : $G_{ego}$ (objectifs de l'agent), $G_{teammates}$ (objectifs des coéquipiers) et $G_{solo}$ (objectifs réalisables seul).
• Trois scénarios sont identifiés :
  1. Chevauchement total (Full-overlap) : Tous les objectifs de l'agent sont partagés.
  2. Chevauchement partiel (Partial-overlap) : Certains objectifs sont partagés, d'autres non.
  3. Aucun chevauchement (No-overlap) : Aucun objectif n'est partagé.
• L'objectif est d'apprendre une politique capable de naviguer dynamiquement entre ces scénarios pour maximiser la récompense, en évitant de collaborer inutilement ou de manquer des opportunités de collaboration.

2. Méthodologie : GRILL et GRILL-M

Les auteurs proposent une nouvelle approche hiérarchique appelée GRILL (Goal selection by RL with Imitation for Low-Level control), complétée par une variante GRILL-M intégrant une modélisation de coéquipier.

L'idée centrale est de séparer l'apprentissage en deux niveaux :

1. Niveau Bas (Low-level) : Apprendre comment accomplir un objectif spécifique (sélection d'actions conditionnée à un but).
2. Niveau Haut (High-level) : Apprendre quel objectif poursuivre étant donné l'état de l'environnement et les coéquipiers.

Phase 1 : Apprentissage par Imitation (Offline)

• Un ensemble de données $D$ est collecté à partir d'agents heuristiques aléatoires.
• Un modèle encodeur-décodeur est entraîné pour reconstruire les actions et les observations à partir de trajectoires.
• L'encodeur produit une étiquette d'objectif discrète ($\hat{g}$).
• Le décodeur d'action apprend une politique conditionnelle $\pi_{action}(a | o, \hat{g})$.
• Résultat : Une politique de bas niveau universelle capable d'exécuter n'importe quel objectif spécifique, indépendante des coéquipiers.

Phase 2 : Apprentissage par Renforcement (Online)

• Une politique de haut niveau $\pi_{goal}$ est entraînée via l'algorithme PPO (Proximal Policy Optimization).
• Cette politique mappe l'observation actuelle à un objectif discret, qui conditionne ensuite la politique de bas niveau apprise précédemment.
• GRILL-M (Variante) : Ajoute un objectif auxiliaire où l'agent apprend à prédire les actions du coéquipier via un LSTM, similaire à la méthode LIAM, pour mieux estimer les intentions du partenaire.

3. Contributions Clés

1. Formalisation du problème : Introduction d'un cadre AHT où les agents ont des objectifs hétérogènes (variables selon les épisodes), nécessitant une décision méta-niveau sur le moment de coopérer.
2. Extension des environnements : Adaptation de deux environnements AHT classiques (Cooperative Reaching et Level-based Foraging) pour inclure cette hétérogénéité des objectifs.
3. Proposition de GRILL : Une méthode hiérarchique combinant imitation learning (pour le contrôle bas niveau) et RL (pour la sélection d'objectifs), surpassant les méthodes de base.
4. Analyse de la modélisation : Investigation de l'impact de la modélisation des coéquipiers (GRILL-M) en fonction du niveau d'information observable sur leurs objectifs.

4. Résultats Expérimentaux

Les expériences ont été menées sur les environnements étendus avec trois scénarios (aucun, partiel, total chevauchement).

• Performance Globale : GRILL et GRILL-M surpassent systématiquement les méthodes de base (PPO, LIAM, OMG) et l'oracle dans tous les scénarios et les deux environnements.
• Qualité de la Sélection d'Objectifs :
  • Les méthodes de base (surtout PPO) tombent souvent dans trois modes d'échec : chercher des objectifs non récompensants, être trop collaboratif (poursuivre des objectifs coopératifs impossibles) ou pas assez collaboratif.
  • GRILL évite presque totalement les deux premiers modes d'échec et sélectionne des objectifs « valables » (worthwhile) plus de 90% du temps.
  • GRILL démontre une plus grande flexibilité stratégique, mesurée par la différence de proportion d'objectifs coopératifs poursuivis entre les scénarios de chevauchement total et nul ($\Delta_{coop}$).
• Impact de la Modélisation (GRILL vs GRILL-M) :
  • Dans l'environnement Cooperative Reaching (comportements simples), l'ajout de la modélisation (GRILL-M) n'apporte pas d'avantage significatif car les intentions sont déductibles du comportement.
  • Dans l'environnement Level-based Foraging (espace d'actions complexe), GRILL-M surpasse GRILL, surtout lorsque l'information observable sur les objectifs du coéquipier est bruitée ou absente.
  • Conclusion : L'apport de la modélisation latente est inversement proportionnel à la quantité d'information observable directe sur les objectifs du coéquipier.

5. Signification et Implications

Cet article marque une avancée significative vers des systèmes d'IA plus humains dans leur capacité à collaborer.

• Réalisme : Il comble le fossé entre les simulations AHT idéalisées (où tout le monde coopère) et la réalité où les intérêts sont divergents.
• Efficacité de l'Architecture : Il démontre que l'approche hiérarchique (séparer la stratégie de haut niveau de l'exécution de bas niveau) est particulièrement adaptée aux problèmes multi-objectifs, permettant une meilleure généralisation et un échantillonnage plus efficace.
• Flexibilité : La capacité de l'agent à reconnaître quand il est préférable d'agir seul plutôt que de collaborer est une compétence critique pour le déploiement d'agents autonomes dans des environnements ouverts et hétérogènes.

En résumé, GRILL fournit un cadre robuste pour apprendre non seulement comment collaborer, mais surtout quand le faire, en s'adaptant dynamiquement à la nature des objectifs partagés ou divergents des partenaires.