Résumé Technique : CollabBench

Problématique

Bien que les agents basés sur les grands modèles de langage (LLM) aient démontré une certaine compétence dans des tâches individuelles telles que le raisonnement et le codage, la collaboration efficace avec des partenaires humains présentant des personnalités diverses reste un défi majeur. La recherche actuelle se concentre principalement sur des tâches de niveau conversationnel (ex. : dialogue, édition de documents), qui manquent souvent d'interaction ancrée et d'exécution comportementale, détachant ainsi la communication de la situation partagée immédiate. De plus, les cadres d'évaluation actuels pour les agents collaboratifs dans les environnements de jeu sont fréquemment limités à des mesures basées sur l'efficacité (ex. : scores finaux du jeu), négligeant les qualités affectives et sociales — telles que l'empathie et la confiance — essentielles à une collaboration réussie entre l'humain et l'agent.

Le document identifie trois défis primaires :

1. Difficulté de Simulation : Créer des joueurs pilotés par des LLM dotés de comportements diversifiés, ancrés et au niveau de l'action dans des environnements de jeu coopératifs est difficile, car les approches de jeu de rôle existantes reposent sur des données statiques ou des personnages prédéfinis.
2. Collaboration Inexplorée : Libérer la collaboration des agents basés sur les LLM avec des partenaires divers dans des environnements à contexte fort (comme les jeux) est largement inexploré, les travaux antérieurs se concentrant davantage sur les capacités d'agents uniques ou les architectures multi-agents plutôt que sur la conscience collaborative.
3. Limites d'Évaluation : Les critères actuels ignorent souvent les mesures affectives, se concentrant uniquement sur l'efficacité, ce qui ne parvient pas à capturer les nuances d'une interaction humain-agent efficace.

Méthodologie

Le document propose CollabBench, un benchmark conçu pour évaluer et entraîner des agents collaboratifs par un engagement proactif dans des jeux coopératifs. Le cadre se compose de trois composantes centrales :

1. Simulation de Profils de Joueurs Diversifiés

Pour remédier à la rareté des comportements humains réalistes et diversifiés, les auteurs ont développé un pipeline pour simuler des joueurs hétérogènes ($P_{sim}$) :

• Construction Pilotée par la Personnalité : Utilisant la théorie de la personnalité du "Big Five", le système assigne des niveaux bas, moyens ou élevés aux dimensions de la personnalité pour induire une diversité comportementale.
• Génération de Trajectoires : Plusieurs LLM interagissent avec des environnements de jeu via un mécanisme de type ReAct pour générer des trajectoires comportementales à haute diversité contenant du raisonnement et des actions.
• Modélisation de Haute Fidélité : Pour assurer la cohérence entre les traits de personnalité abstraits et les comportements de jeu concrets, le système construit des correspondances personnalité-comportement via le regroupement (clustering) et la synthèse.
• Filtrage Basé sur l'Interaction : Un juge LLM basé sur une pénalité évalue les profils selon la Cohérence Personnalité-Raisonnement et la Cohérence Raisonnement-Action. Les profils sont filtrés sur la base d'un score composite pour garantir qu'ils reflètent fidèlement leurs traits encodés lors du jeu.

2. Entraînement Agentique Collaboratif

L'agent collaboratif cible ($P_{target}$) est entraîné en utilisant un Déploiement Agentique unifié et un Mécanisme de Récompense Hybride :

• Déploiement Unifié : Contra\text{à} les approches segmentées, l'agent génère simultanément le raisonnement ($\text{<thought>}$), la communication ($\text{<message>}$) et l'action ($\text{<action>}$) en un seul passage. Cela réduit la latence et encourage un raisonnement conjoint.
• Récompense Hybride : L'objectif d'entraînement équilibre deux composantes :
  • Récompense d'Efficacité au Niveau de la Trajectoire ($R_e$) : Un signal parcimonieux basé sur l'achèvement de la tâche (ex. : score du jeu ou nombre d'étapes).
  • Récompense Affective au Niveau de l'Étape ($R_a$) : Un signal dense évalué à chaque étape, comprenant :
    • Récompense de Format : Assure une structure de sortie valide.
    • Récompense de Communication : Encourage un dialogue proactif.
    • Récompense d'Interactivité : Un juge basé sur un LLM évalue le raisonnement, les messages et les actions sur la Pertinence (Helpfulness), la Fiabilité (Trustfulness) et l'Empathie par rapport au profil du partenaire.
• Optimisation : Le modèle est optimé via GIGPO (Group-in-Group Policy Optimization), qui combine les avantages globaux de la trajectoire avec les avantages locaux au niveau de l'étape pour équilibrer l'efficacité et l'alignement affectif.

3. Protocole d'Évaluation

CollabBench étend deux environnements classiques, CWAH (Communicative Watch-And-Help) et Overcooked-AI, en CWAH-MultiPlayer et Cook-MultiPlayer. L'évaluation est menée selon deux dimensions :

• CB-Efficacité : Mesure les étapes/scores de complétion de tâche, l'écart-type (robustesse) et l'utilisation de tokens (coût).
• CB-Affectif : Mesure la Pertinence (sorties exploitables), la Fiabilité (exécution fiable) et l'Empathie (adaptation émotionnelle) à l'aide d'un juge LLM basé sur une pénalité.

Contributions Clés

1. Benchmark CollabBench : Un cadre systématique pour évaluer et entraîner des agents LLM dans des jeux coopératifs avec des profils de joueurs diversifiés, allant au-delà des tâches de conversation statiques vers des environnements immersifs et ancrés.
2. Pipeline de Simulation de Joueurs Diversifiés : Une méthode novatrice pour générer des profils de joueurs de haute fidélité et comportementalement diversifiés, ancrés dans la théorie de la personnalité du Big Five et validés par un filtrage basé sur l'interaction.
3. Paradigme d'Entraînement Agentique Collaboratif : Une approche d'entraînement qui unifie le raisonnement, la communication et l'action, optimisée via un mécanisme de récompense hybride ciblant conjointement l'efficacité de la tâche et l'alignement affectif au niveau de l'étape.
4. Protocoles d'Évaluation Complets : L'introduction d'un protocole à double métrique (Efficacité et Affectif) qui capture à la fois la performance opérationnelle et la qualité de l'interaction interpersonnelle.

Résultats Expérimentaux

Les expériences ont été menées en utilisant divers LLM de base (incluant GPT-5.2, DeepSeek-V3.1 et la série Qwen2.5) sur CWAH-MultiPlayer et Cook-MultiPlayer.

• Gains de Performance : Le modèle entraîné (Qwen2.5-7B-Instruct) a obtenu une amélioration de 19,5 % de l'efficacité (scores/étapes du jeu) et une amélioration de 24,4 % de la performance affective par rapport au modèle de base.
• Sensibilité Affective : Les modèles de base peinent à équilibrer efficacité et affect, montrant souvent une faible performance en termes de pertinence et d'empathie. Le modèle entraîné a démontré des améliorations significatives dans toutes les dimensions affectives (Pertinence, Fiabilité, Empathie).
• Études d'Ablation : Le retrait de la récompense affective ou de la diversité de la personnalité lors de l'entraînement a entraîné un déclin brutal de la performance affective, les agents revenant à des comportements de type "joueur unique" ou à une efficacité "froide", confirmant la nécessité du paradigme d'entraînement proposé.
• Évaluation Humaine : Une étude utilisateur avec 15 participants a confirmé que le modèle entièrement entraîné était perçu comme nettement plus utile, digne de confiance et empathique que le modèle de base ou les modèles entraînés sans récompenses affectives, sans compromettre l'efficacité de la tâche.

Signification et Revendications

Le document affirme que CollabBench fournit un banc d'essai principalisé pour la "collaboration immersive", répondant aux limites des études antérieures de niveau conversationnel en ancrant l'interaction dans des environnements partagés et une exécution comportementale.

Les auteurs soutiennent que leur travail offre des perspectives exploitables pour les futures stratégies d'entraînement collaboratif, démontrant que les agents peuvent apprendre à équilibrer la performance de la tâche avec l'empathie. En établissant un benchmark qui inclut la simulation de joueurs diversifiés et une évaluation multidimensionnelle, le papier vise à faire progresser le développement de collaborateurs proactifs et socialement conscients, capables de s'adapter aux besoins comportementaux et affectifs des partenaires humains. Les auteurs notent modestement que bien que leur approche produise des gains substantiels, des défis subsistent pour atténuer le "reward hacking" (détournement de récompense) dans l'optimisation affective et pour affiner les protocoles d'évaluation afin de mieux s'aligner sur le jugement humain.