Résumé technique : Évaluation des agents génératifs avec des actions ancrées dans des environnements de tâches socialement distribués à l'aide d'Incognita

Énoncé du problème

Une agence efficace dans les environnements sociaux exige qu'un agent détermine quand chercher de la connaissance, quand agir, et si ses actions sont justifiées par les informations acquises. Les paradigmes d'évaluation existants séparent souvent ces exigences : les benchmarks ancrés (ex. : WebArena, AppWorld) fournissent des actions exécutables et des résultats vérifiables mais manquent d'interaction sociale riche, tandis que les environnements de simulation sociale (ex. : Sotopia) offrent une interaction multi-agents mais manquent souvent de changements d'état ancrés et conséquents.

Le problème central abordé est l'évaluation des agents génératifs dans des environnements de tâches socialement distribués. Dans ces environnements, la connaissance pertinente pour la tâche est partitionnée entre des participants isolés par leurs rôles (ex. : un client, un guichet de retours, un catalogue de produits), et les actions conséquentes ne sont accessibles que par l'interaction avec ces participants spécifiques. Les agents actuels peinent face à cette structure, présentant des échecs en matière de clarification, de maintien du contexte et de finalisation prématurée lorsque l'information sur la tâche est révélée de manière incrémentale à travers les tours.

Méthodologie : Le framework Incognita

Les auteurs introduisent Incognita, un framework d'environnement construit sur le substrat Concordia pour instancier des environnements de tâches socialement distribués. Incognita sépare l'interaction sociale de l'exécution ancrée, créant un processus de décision de Markov partiellement observable (POMDP) pour l'agent testé.

1. Architecture de l'environnement

• Interaction isolée par rôle : L'agent testé n'a pas d'accès direct aux outils. Il interagit via des messages dirigés vers un USER (détenant la connaissance du côté de la demande derrière une barrière de divulgation) et des Entités Spécialistes (détenant la connaissance de l'environnement spécifique au rôle et médiatisant les opérations).
• Couche d'exécution ancrée : Les entités spécialistes proposent des opérations qui sont validées et exécutées par un sous-environnement déterministe sur un état canonique.
  • Lectures (Reads) : Retournent l'information sans changer l'état.
  • Écritures (Writes) : Mutent l'état, créant des conséquences évaluées ultérieurement.
• Évaluation hors ligne : L'essai se termine lorsque l'agent définit un indicateur de finalisation ($f_t=1$). Un évaluateur hors ligne score ensuite l'état final par rapport à la récompense de la tâche héritée (ex. : de $\tau$-bench). L'évaluateur ne guide pas l'agent et n'inspecte pas son état de croyance interne pendant l'essai.

2. Cadrage théorique

Le framework adapte le paradigme exploration-exploitation à ce contexte :

• Exploration : La communication fonctionne comme une exploration de la connaissance partitionnée par rôle. L'agent doit mettre à jour son état de croyance implicite concernant l'intention de l'utilisateur, la connaissance disponible et les opérations réalisables.
• Exploitation : Les actions ancrées fonctionnent comme une exploitation, engageant l'état de croyance de l'agent dans des opérations de changement d'état.
• Finalisation : L'action de finalisation représente l'engagement de l'agent que l'objectif de l'utilisateur est satisfait. Une finalisation prématurée indique un décalage entre la croyance de l'agent et l'état canonique de l'environnement.

3. Configuration expérimentale : Incognita-Retail

Pour valider le framework, les auteurs ont transformé les tâches $\tau$-bench retail en un environnement multi-entités (Incognita-Retail).

• Tâches : 18 tâches stratifiées par largeur sociale (le nombre de distinctes entités spécialistes requises par la solution de référence, allant de 1 à 6).
• Modèles : Trois modèles d'agents génératifs (gpt-5.2, gpt-5.4, gpt-5.5) ont été évalués.
• Essais : 540 essais au total (18 tâches $\times$ 10 répétitions $\times$ 3 modèles).
• Contraintes : L'agent testé ne reçoit aucun indice explicite sur l'objectif ou la politique ; il doit inférer la structure de la tâche par l'interaction.

Résultats clés

1. Taux de succès des tâches

Le succès des tâches ancrées reste rare même pour les modèles les plus forts, bien qu'une progression soit visible :

• gpt-5.2 : 0 % de taux de succès sur toutes les largeurs sociales.
• gpt-5.4 : 8,9 % de succès global (ne réussissant qu'aux largeurs sociales 3 et 4).
• gpt-5.5 : 17,2 % de succès global (succès non nul à tous les niveaux de largeur, bien que la largeur 6 reste presque non résolue).

2. Changements de comportement et modes d'échec

L'étude révèle que l'amélioration des modèles se manifeste par des changements de comportement avant que le succès fiable de la tâche ne soit atteint :

• Finalisation prématurée : Le taux de terminaison prématurée (prétendre l'achèvement de la tâche avant les actions nécessaires) a diminué de manière significative :
  • gpt-5.2 : 100 %
  • gpt-5.4 : 87 %
  • gpt-5.5 : 58 %
• Métriques d'exploration et d'exploitation : Les modèles plus forts ont présenté :
  • Une Couverture de Divulgation plus élevée (fraction des champs utilisateur verrouillés révélés) : 0,06 $\to$ 0,17 $\to$ 0,45.
  • Un Taux d'Écriture plus élevé (fraction des essais avec des écritures de changement d'état acceptées) : 0 $\to$ 0,13 $\to$ 0,36.
  • Une Largeur de Contact d'Entité plus élevée : passant de 0,30 (gpt-5.2) à 0,68 (gpt-5.4/5.5).

3. Composition des échecs

À mesure que les modèles s'améliorent, les modes d'échec passent de la terminaison immédiate à des erreurs plus complexes impliquant l'environnement-croyance, la but-croyance et les erreurs d'exécution. Cela indique que les agents plus forts passent plus de temps dans le régime d'interaction prévu, mais luttent toujours avec la fiabilité de la formation de la croyance et l'ancrage de l'action.

Contributions et importance

Le papier apporte trois contributions principales :

1. Formalisation : Il formalise les environnements de tâches socialement distribués comme un cadre d'évaluation distinct où la connaissance est partitionnée entre des participants isolés par leurs rôles, exigeant que les agents naviguent dans l'asymétrie d'information.
2. Framework : Il présente Incognita, un framework qui couple l'interaction isolée par rôle avec l'exécution d'état déterministe et la vérification de récompense hors ligne, séparant la formation de la croyance de la vérification du résultat.
3. Analyse empirique : Il fournit une analyse préliminaire montrant que le progrès des modèles dans ces environnements est observable dans les métriques de processus (élicitation de connaissances, sélection de sources, tentatives d'actions ancrées) même lorsque les récompenses finales des tâches restent faibles.

Importance :
Les auteurs soutiennent que les environnements de tâches socialement distribués exposent le comportement de l'agent avant le succès fiable de la tâche. En mesurant la communication, les actions de changement d'état et les engagements de complétion de tâche au sein d'un seul environnement ancré, Incognita offre une voie pour évaluer l'agence collaborative qui va au-delà de la simple qualité du dialogue ouvert ou du succès final de la tâche. Les conclusions suggèrent que les modèles actuels commencent à s'engager dans une recherche de connaissances soutenue et une sélection de sources plus large, mais que des lacunes importantes subsistent dans la fiabilité de la formation de la croyance et le timing de la finalisation.