🤖 AI

Humans' ALMANAC: A Human Collaboration Dataset of Action-Level Mental Model Annotations for Agent Collaboration

Le document présente ALMANAC, un ensemble de données de 2 987 annotations de modèles mentaux au niveau de l'action dérivées de la collaboration humaine dyadique sur la tâche de la Carte (Map Task), conçu pour combler la lacune dans l'entraînement et l'évaluation de la capacité des agents LLM à maintenir des modèles mentaux alignés et à simuler des comportements collaboratifs humains.

Auteurs originaux : Jiaju Chen, Yuxuan Lu, Jiayi Su, Chaoran Chen, Songlin Xiao, Zheng Zhang, Yun Wang, Yunyao Li, Jian Zhao, Tongshuang Wu, Toby Jia-Jun Li, Dakuo Wang, Bingsheng Yao

Publié 2026-06-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiaju Chen, Yuxuan Lu, Jiayi Su, Chaoran Chen, Songlin Xiao, Zheng Zhang, Yun Wang, Yunyao Li, Jian Zhao, Tongshuang Wu, Toby Jia-Jun Li, Dakuo Wang, Bingsheng Yao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de dessiner une carte au trésor avec un ami, mais que vous êtes dans des pièces différentes. Vous ne pouvez communiquer que par chat textuel. L'un des deux (le Guide) possède la carte originale avec le chemin correct tracé dessus. L'autre personne (le Suiveur) possède une carte vierge avec seulement les points de repère (comme une montagne ou un pont) mais sans le chemin.

Pour réussir, ils doivent travailler ensemble : le Guide décrit le chemin, et le Suiveur essaie de le dessiner.

C'est le cœur d'un nouveau projet de recherche appelé ALMANAC. Voici une décomposition simple de ce que les chercheurs ont fait et pourquoi cela importe, en utilisant des analogies de la vie quotidienne.

1. Le Problème : Les robots sont bons pour « faire », mais mauvais pour « penser ensemble »

Actuellement, les agents d'IA (comme les chatbots avancés) sont excellents pour suivre des ordres. Si vous dites « Réserve un vol », ils le font. Mais la véritable collaboration humaine ne consiste pas seulement à suivre des ordres ; il s'agit d'alignement mental.

Pensez à une équipe humaine comme à un groupe de jazz. Ils ne se contentent pas de lire une partition ; ils s'écoutent constamment, devinent ce que l'autre musicien est sur le point de jouer et ajustent leur propre rythme en temps réel. Ils possèdent un « modèle mental partagé ».

Raisonnement personnel : « Pourquoi est-ce que je joue cette note ? »
Intention du partenaire : « Qu'est-ce que mon partenaire essaie de faire ? »
Objectif de l'équipe : « Sommes-nous toujours en train de jouer un morceau de jazz, ou avons-nous dérivé vers le rock ? »

L'article soutient que l'IA actuelle est comme un robot qui sait seulement jouer parfaitement son propre instrument, mais qui n'a aucune idée de ce que le reste du groupe pense. Les jeux de données existants n'enregistrent que ce que les gens ont dit et ce qu'ils ont fait, mais ils passent à côté du pourquoi qui se trouve dans leur tête.

2. La Solution : ALMANAC (Le jeu de données de la « lecture de pensée »)

Les chercheurs ont construit un nouveau jeu de données appelé ALMANAC pour corriger cela. Ils ont repris la « Tâche de la Carte » décrite ci-dessus et y ont ajouté une couche spéciale d'observation.

Comment ils ont collecté les données :

Le Jeu : 50 personnes ont joué à la Tâche de la Carte en binômes (25 paires au total).
Les « Points de contrôle » : Chaque fois que la paire atteignait 25 %, 50 % et 75 % de la tâche, le jeu s'arrêtait brièvement. Les joueurs devaient rapidement parler dans un microphone et répondre : « Quel est notre objectif en ce moment ? », « Que penses-tu que ton partenaire essaie de faire ? » et « Pourquoi viens-tu de faire cela ? ».
La Relecture : Après le jeu, les joueurs ont regardé une relecture de leurs propres actions. Pour chaque mouvement effectué (tracer une ligne, effacer une erreur, envoyer un message), ils devaient à nouveau étiqueter leur état mental.

Le Résultat :
Ils ont obtenu 2 987 actions spécifiques, et pour chacune d'entre elles, ils possèdent un enregistrement de :

L'action effectuée (ex : « A tracé une ligne »).
L'Objectif de l'équipe (ex : « Nous essayons de relier le pont à la montagne »).
L'Intention du partenaire (ex : « Je pense que mon partenaire est confus quant à la direction »).
Le Raisonnement personnel (ex : « J'ai tracé ceci parce que je pensais que la montagne était à gauche »).
Une Justification (une explication libre de leur processus de pensée).

3. L'Expérience : L'IA peut-elle « lire les pensées » ?

Les chercheurs ont testé six modèles d'IA différents (incluant des modèles puissants comme GPT-5.5 et Claude) pour voir s'ils pouvaient utiliser ce nouveau jeu de données pour agir comme un collaborateur humain. Ils ont donné à l'IA deux tâches :

Prédire le prochain mouvement : « D'après ce qui s'est passé jusqu'ici, que fera l'humain ensuite ? »
Prédire l'état mental : « D'après ce qui s'est passé jusqu'ici, que pense l'humain en ce moment ? »

Les Résultats :

Le « Quoi » est facile, le « Pourquoi » est difficile : Les modèles d'IA étaient plutôt bons pour prédire l'action suivante (ex : « L'humain va probablement tracer une ligne »).
L'« Esprit » est complexe : Les modèles avaient du mal à prédire les pensées internes (les modèles mentaux). Ils pouvaient deviner l'objectif partagé (ex : « Nous construisons un pont ») assez bien, mais ils étaient très mauvais pour deviner le raisonnement personnel et privé de l'humain (ex : « Je dessine ceci parce que je suis nerveux »).
Le Rôle compte :
- Les Guides (qui donnent des instructions) étaient plus difficiles à prédire mentalement pour l'IA, car leurs pensées impliquent une planification spatiale complexe qui n'est pas toujours exprimée oralement.
- Les Suiveurs (qui dessinent) étaient plus faciles à prédire mentalement, car leurs pensées sont directement façonnées par les instructions explicites du Guide.
L'entraînement aide : Lorsqu'ils ont « enseigné » (ajusté/fine-tuned) un modèle d'IA plus petit en utilisant ce jeu de données spécifique, celui-ci est devenu bien meilleur pour simuler le comportement humain, rattrapant presque les modèles géants et coûteux.

4. L'Essentiel

L'article conclut que pour faire de l'IA de véritables collaborateurs, nous ne pouvons pas simplement l'entraîner à accomplir des tâches. Nous devons l'entraîner sur la façon dont les humains pensent lorsqu'ils travaillent ensemble.

ALMANAC est le premier jeu de données qui associe les actions humaines à ces « modèles mentaux au niveau de l'action ». Il montre que si l'IA devient meilleure pour simuler le comportement humain, elle a encore du mal à comprendre le raisonnement invisible et interne qui fait fonctionner le travail d'équipe humain. Ce jeu de données fournit les « roues de soutien » nécessaires pour apprendre à l'IA comment aligner son modèle mental sur celui d'un humain, plutôt que de simplement suivre aveuglément des ordres.

Résumé Technique : ALMANAC

Énoncé du Problème

Les avancées récentes des agents basés sur les grands modèles de langage (LLM) leur ont conféré des capacités cognitives complexes, telles que le raisonnement multi-étapes et l'utilisation d'outils, les positionnant comme de potentiels collaborateurs humains. Cependant, une collaboration efficace nécessite plus que la simple exécution de tâches ; elle nécessite le maintien et l'alignement continus de modèles mentaux — plus précisément, un auto-raisonnement sur ses propres actions, la perception de l'intention du partenaire et la compréhension des objectifs d'équipe partagés.

La recherche et les benchmarks actuels sur la collaboration humain-agent (ex. : ToolBench, WebArena, MultiAgentBench) évaluent principalement les agents sur des échanges dirigés par des tâches et l'achèvement indépendant de tâches. Ils manquent de données de collaboration humaine authentiques incluant des annotations de modèles mentaux au niveau de l'action. Les jeux de données humains existants capturent les interactions observables (dialogues, résultats) mais omettent le contenu cognitif critique sous-jacent aux comportements collaboratifs. Par conséquent, la communauté manque de données nécessaires pour guider les agents vers une compétence collaborative au niveau du processus et vers la capacité de simuler les comportements collaboratifs humains et d'inférer les états mentaux sous-jacents.

Méthodologie

Construction du Jeu de Données : ALMANAC

Pour combler cette lacune, les auteurs présentent ALMANAC (Action-Level Mental model ANnotations for Agent Collaboration), un jeu de données dérivé de la Tâche de la Carte (Map Task), une tâche classique de routage dyadique issue des sciences sociales.

Conception de la Tâche : Deux participants (un Guide et un Suiveur) collaborent pour reproduire un itinéraire sur une carte via une communication textuelle et des actions dans l'espace de travail (dessiner, effacer). Le Guide voit l'itinéraire complet ; le Suiveur ne voit que les points de repère.
Conditions Expérimentales : L'étude manipule la visibilité du canevas comme un facteur inter-sujets :
- $C_{not\_visible}$ : Le Guide ne peut pas voir le dessin en temps réel du Suiveur.
- $C_{visible}$ : Le Guide peut visualiser le canevas en direct du Suiveur.
Cadre d'Annotation : Fondé sur les théories des processus de travail d'équipe, de la conscience de la situation et du terrain commun, le cadre capture les modèles mentaux au niveau de l'action via un processus en deux étapes :
1. Points de Contrôle en Session : À 25 %, 50 % et 75 % de la progression de la tâche, les participants fournissent des rapports brefs et en temps réel sur les objectifs de l'équipe, l'intention du partenaire et l'auto-raisonnement via un enregistrement vocal.
2. Étiquetage Rétrospectif Post-Session : Immédiatement après la tâche, les participants examinent leur trajectoire d'action et des captures d'écran. Pour chaque action, ils fournissent :
  - Une justification libre : Expliquant le processus cognitif derrière l'action.
  - Des étiquettes structurées : Sélections catégorielles pour l'Objectif de l'Équipe, l'Intention Perçue du Partenaire et l'Auto-Raisonnement, ainsi qu'un indicateur d'état d'alignement.
Échelle des Données : Le jeu de données comprend 2 987 actions de collaboration provenant de 50 participants répartis sur 25 sessions dyadiques. Les actions sont standardisées en représentations de grille discrètes pour faciliter le traitement par les LLM sans dépendre de la compréhension d'images.

Expériences de Benchmark

Les auteurs ont évalué six LLM (quatre modèles ouverts/propriétaires : Qwen3.6-35B, Llama 3.3 70B, GPT-5.5, Claude 4.6 Sonnet ; et deux modèles affinés : Qwen3-4B, Qwen3-30B-A3B) sur deux tâches :

Prédiction du Comportement au Tour Suivant : Prédire l'action suivante (message, dessin, effacement, etc.) compte tenu de l'historique de l'interaction et du persona.
Prédiction du Modèle Mental : Prédire l'état mental du participant (objectif de l'équipe, intention du partenaire, auto-raisonnement, justification) pour le tour suivant.

Les expériences comparent le prompting standard, l'ajustement fin (fine-tuning) sur ALMANAC, et l'inclusion des annotations de modèles mentaux de vérité terrain comme signaux d'entrée.

Contributions Clés

Jeu de Données ALMANAC : Le premier jeu de données de collaboration humaine couplant des comportements collaboratifs authentiques avec des annotations de modèles mentaux au niveau de l'action, fondées sur la théorie.
Cadre d'Annotation : Une conception novatrice combinant des points de contrôle en session et un étiquetage rétrospectif post-session pour capturer les modèles mentaux dynamiques et les justifications libres à la granularité des actions individuelles.
Évaluation Empirique : Une évaluation complète de six LLM démontrant que, bien que les annotations de modèles mentaux fournissent des signaux utiles pour prédire le comportement collaboratif, les modèles actuels peinent à inférer les processus de raisonnement privés.

Résultats

Prédiction du Comportement au Tour Suivant

Asymétrie de Rôle : Prédire l'action suivante du Guide (limitée aux messages) était trivial (précision de 100 %), tandis que prédire l'action du Suiveur (impliquant le dessin, l'effacement et l'interprétation) était nettement plus difficile.
Impact de la Visibilité : Les modèles ont généralement mieux performé dans la condition $C_{not\_visible}$ que dans la condition $C_{visible}$ . Les auteurs attribuent cela à la plus grande variabilité comportementale et à la dépendance aux corrections fondées sur le visuel dans la condition visible, qui sont plus difficiles à inférer à partir de l'historique textuel seul.
Impact des Modèles Mentaux : L'ajout d'annotations de modèles mentaux de vérité terrain comme signaux d'entrée a généralement amélioré la performance de la prédiction des actions des Suiveurs, particulièrement pour la précision du dessin dans la condition $C_{not\_visible}$ . Cela suggère que les comportements des Suiveurs sont plus ancrés dans des états de raisonnement latents que les actions des Guides.
Ajustement Fin (Fine-Tuning) : Les modèles plus petits affinés sur ALMANAC (Qwen3-4B) ont atteint des performances comparables à celles de modèles propriétaires plus larges, indiquant qu'une supervision ciblée sur des données spécifiques à la collaboration peut combler l'écart avec les modèles plus vastes.

Prédiction du Modèle Mental

Hiérarchie de Prédictibilité : L'Objectif de l'Équipe et l'Intention du Partenaire étaient nettement plus faciles à prédire que l'Auto-Raisonnement. Cela concorde avec l'observation que les composantes partagées sont souvent reflétées dans le dialogue et la progression, alors que l'auto-raisonnement capture des motivations privées non explicitement exprimées.
Asymétrie de Rôle : Les modèles mentaux des Suiveurs étaient plus faciles à prédire que ceux des Guides. Le raisonnement des Guides implique une planification spatiale complexe et une surveillance du partenaire qui sont difficiles à inférer de l'historique d'interaction seul.
Efficacité de l'Ajustement Fin : Les modèles affinés (spécifiquement Qwen3-4B) ont montré une performance supérieure dans la prédiction des modèles mentaux et des justifications des Suiveurs par rapport aux modèles basés sur le prompt, suggérant qu'ALMANAC fournit une supervision efficace pour l'apprentissage du raisonnement pertinent à la collaboration.
Limites : Aucun modèle n'a systématiquement surpassé les autres à travers toutes les conditions. La faible précision de la prédiction de l'auto-raisonnement souligne le défi que représente l'inférence des modèles mentaux privés.

Signification et Revendications

L'article affirme qu'ALMANAC constitue une ressource fondamentale pour développer des agents LLM capables de fonctionner comme de véritables partenaires collaboratifs plutôt que comme de simples exécutants de tâches.

Valeur Diagnostique : Les résultats indiquent que bien que les annotations de modèles mentaux offrent des signaux au-delà de l'historique d'interaction, les LLM actuels n'exploitent pas de manière fiable ces informations pour inférer le raisonnement privé. L'écart entre la prédiction des états partagés (objectif de l'équipe) et des états privés (auto-raisonnement) met en évidence une limitation fondamentale des modèles actuels dans leur capacité à simuler les processus cognitifs qui pilotent une collaboration efficace.
Compétence au Niveau du Processus : En ancrant l'évaluation dans des données humaines authentiques avec des annotations fondées sur la théorie, ALMANAC ouvre une voie vers des agents capables de maintenir et d'aligner des modèles mentaux tout au long d'une collaboration, répondant ainsi à un déficit critique des benchmarks d'agents actuels qui se concentrent uniquement sur l'achèvement de tâches.
Portée Modeste : Les auteurs reconnaissent des limites, notamment le recours au rapport rétrospectif (sujet au biais de rappel), la taille modeste du jeu de données par rapport aux benchmarks NLP à grande échelle, et la restriction à un seul domaine de tâche (la Tâche de la Carte). Ils notent que des travaux futurs sont nécessaires pour étendre ces conclusions à des domaines diversifiés du monde réel et pour explorer des approches multimodales pour une meilleure compréhension spatiale.