Résumé technique : Évaluation des limites de l'apprentissage par renforcement en contexte pour le travail d'équipe ad hoc

1. Énoncé du problème

L'apprentissage par renforcement en contexte (ICRL) a récemment permis aux agents fondationnels de s'adapter instantanément à de nouvelles tâches en traitant l'historique des interactions comme une invite pour les modèles de séquence, obtenant ainsi des succès dans les domaines à agent unique (par exemple, via la distillation d'algorithmes et les transformateurs préentraînés pour la décision). Cependant, son efficacité dans le travail d'équipe ad hoc (AHT) — où un agent doit coordonner ses actions avec des partenaires inconnus et hétérogènes, sans communication ni protocoles de coordination préalables — reste largement inexplorée.

Les benchmarks AHT existants souffrent de trois limitations critiques :

1. Manque d'échelle : Ils reposent généralement sur de petits ensembles de partenaires homogènes ou sur un nombre limité de variantes de tâches, échouant à fournir les millions de transitions nécessaires pour tester rigoureusement la généralisation en contexte.
2. Généralisation confondue : Ils échouent souvent à dissocier la généralisation vis-à-vis des coéquipiers de la généralisation vis-à-vis des dispositions environnementales, rendant difficile la distinction entre une coordination authentique et un surajustement statistique à des paires spécifiques partenaire-environnement.
3. Infrastructure manquante : Il existe un manque de pipelines standardisés et reproductibles pour générer des historiques d'apprentissage (séquences d'épisodes montrant une amélioration) et pour conduire une évaluation en ligne de l'adaptation au moment du test.

Par conséquent, il est incertain que les agents ICRL actuels basés sur des modèles de séquence puissent effectuer le raisonnement stratégique nécessaire pour identifier l'intention cachée d'un partenaire et adapter leur politique uniquement à partir de l'historique des interactions dans des environnements multi-agents.

2. Méthodologie : Le benchmark ICRL4AHT

Pour combler ces lacunes, les auteurs introduisent ICRL4AHT, un benchmark à grande échelle et reproductible construit sur une implémentation JAX à haut débit de OvercookedV2. Le benchmark est conçu pour sonder rigoureusement les limites de l'ICRL dans des contextes coopératifs via un pipeline en trois étapes :

A. Spécification du benchmark et suite de coéquipiers

• Environnement : OvercookedV2 est modélisé comme un processus de décision markovien partiellement observable décentralisé (Dec-POMDP). Il introduit des complexités critiques absentes des versions précédentes, notamment l'observabilité partielle (champ de vision 5x5), des positions de départ stochastiques et des changements dynamiques de recettes.
• Diversité des coéquipiers : Le benchmark construit une « suite de coéquipiers » hétérogène comprenant :
  • Politiques RL : Une population diversifiée de partenaires entraînés à l'aide d'algorithmes connus pour générer des comportements variés (FCP, BRDiv, LBRDiv, CoMeDi).
  • Politiques heuristiques : Quatre familles distinctes (H1–H4) allant de « conscientes de la recette » (autonomie minimale) à « avides d'utilité » (autonomie élevée), ordonnées par coopérabilité croissante.
• Décalage de distribution : La conception expérimentale sépare strictement les distributions d'entraînement et de test. Les agents sont entraînés exclusivement sur des historiques d'apprentissage générés par RL et testés exclusivement sur des politiques heuristiques invisibles, induisant un décalage de distribution sévère qui exclut une simple interpolation.

B. Infrastructure de données

• Historiques d'apprentissage : Contrairement aux ensembles de données RL hors ligne standard contenant des trajectoires d'experts statiques, ICRL4AHT collecte des « historiques d'apprentissage » — des séquences d'épisodes où un agent égo (entraîné via PPO) s'améliore d'un comportement aléatoire à un comportement d'expert face à un coéquipier fixe.
• Échelle et filtrage : Le pipeline génère plus de 1,19 milliard de transitions originales, filtrées jusqu'à environ 150 millions de transitions de haute qualité à travers 80 coéquipiers uniques. Un mécanisme de filtrage basé sur la qualité sélectionne les trajectoires avec une performance finale élevée et des gradients d'amélioration significatifs pour garantir que les modèles ICRL apprennent de véritables dynamiques d'adaptation.
• Stockage : Les données sont sérialisées au format HDF5 découpé en blocs avec un index JSONL pour une recherche efficace des métadonnées et un échantillonnage par lots de fenêtres de contexte.

C. Pistes d'évaluation

Le benchmark définit deux pistes d'évaluation rigoureuses pour dissocier les capacités de généralisation :

1. Piste 1 (Généralisation aux coéquipiers) : Teste l'adaptation aux comportements de partenaires invisibles au sein de dispositions familières ($L_{train} \times \Pi_{test}$).
2. Piste 2 (Généralisation aux dispositions) : Teste la robustesse face à des décalages simultanés du comportement du partenaire et de la dynamique environnementale ($L_{test} \times \Pi_{test}$).

D. Lignes de base

Les auteurs évaluent des algorithmes ICRL représentatifs conditionnés par l'historique :

• Distillation d'algorithmes (AD) : Entraîne un modèle de séquence à prédire de manière autorégressive les actions à partir d'historiques d'apprentissage, visant à apprendre « comment apprendre » à partir du contexte.
• Transformateur préentraîné pour la décision (DPT) : Entraîne un transformateur à prédire les actions optimales d'un expert étant donné un contexte spécifique à la tâche, traitant l'historique comme une invite pour une adaptation à zéro tir.

3. Résultats clés

L'analyse empirique révèle des limitations notables des lignes de base ICRL actuelles lorsqu'elles sont appliquées à l'AHT :

• Échec à surpasser l'aléatoire : Contrairement à leur succès dans les domaines à agent unique, AD et DPT échouent fréquemment à surpasser une simple ligne de base aléatoire sur les deux pistes d'évaluation. Dans plusieurs scénarios complexes de coordination (par exemple, des coéquipiers H1 sur des dispositions « test large »), les agents ICRL obtiennent des retours nettement négatifs, indiquant qu'ils interfèrent activement avec le partenaire plutôt que de coordonner.
• Absence d'amélioration en contexte : Une caractéristique déterminante de l'ICRL est l'amélioration des performances au sein d'une seule fenêtre de contexte à mesure que l'historique s'accumule. Les courbes d'évaluation pour AD et DPT sont constamment plates, ne montrant aucune tendance à la hausse des retours à mesure que le nombre d'épisodes de test augmente. Cela suggère que les modèles échouent à effectuer l'inférence bayésienne nécessaire pour identifier la politique du partenaire à partir de l'historique des interactions.
• Robustesse de l'échec : L'échec persiste à travers :
  • Longueur du contexte : L'augmentation de la fenêtre de contexte de 250 à 2 000 (et jusqu'à 10 000) transitions ne produit aucune amélioration constante.
  • Échelle du modèle : L'augmentation des paramètres du modèle (configurations de petite à grande taille) ne produit que des gains modestes, échouant à restaurer une adaptation robuste.
  • Conditionnement par l'action du partenaire : Fournir un accès explicite aux actions du partenaire (+TA) ne résout pas le problème, suggérant que le goulot d'étranglement n'est pas la disponibilité de l'information mais l'incapacité du modèle à relier causalement les actions observées à l'intention latente.
  • Architecture : Le passage à une architecture récurrente (Hybrid-AD) ou l'utilisation d'un objectif RL hors ligne (AMAGO-Offline) ne modifie pas qualitativement le résultat.

4. Contributions clés

1. Benchmark et pipeline évolutifs : Les auteurs fournissent le premier pipeline reproductible basé sur JAX pour la génération de coéquipiers, la collecte d'historiques d'apprentissage et l'évaluation standardisée des méthodes ICRL multi-agents coopératives avec une diversité contrôlable.
2. Suite de coéquipiers diversifiée : Ils construisent une bibliothèque hétérogène de coéquipiers qui sépare strictement les distributions d'entraînement (basées sur RL) et de test (basées sur heuristiques), imposant un test rigoureux de la généralisation qui empêche le surajustement à des clusters de partenaires spécifiques.
3. Évaluation des limites : L'article démontre que les lignes de base ICRL représentatives conditionnées par l'historique et basées sur des modèles de séquence, bien que réussies dans les paramètres à agent unique, peinent avec le raisonnement stratégique requis pour l'adaptation aux partenaires sous le protocole AHT OvercookedV2.

5. Importance et affirmations

L'article positionne ICRL4AHT comme un banc d'essai critique pour la prochaine génération d'algorithmes de coordination. Les auteurs affirment que leurs résultats mettent en lumière un défi fondamental : les architectures de modèles de séquence actuelles peinent à effectuer l'inférence bayésienne implicite du partenaire requise pour l'AHT dans des conditions de décalage de distribution réalistes.

L'importance de ce travail est principalement diagnostique. Plutôt que de proposer un nouveau système opérationnel, les auteurs caractérisent systématiquement les limites des approches ICRL existantes. Ils soutiennent que l'échec n'est pas simplement un détail d'implémentation ou un problème de réglage des hyperparamètres, mais reflète une limitation substantielle des paradigmes étudiés lorsqu'ils sont confrontés à une diversité réelle de partenaires et à des décalages environnementaux. Le benchmark open source et les résultats empiriques visent à guider la communauté vers le développement d'architectures avec des modules d'inférence explicite sur les partenaires et des objectifs d'entraînement qui incitent à l'exploration de recherche d'information.