Are you with me? A Framework for Detecting Mental Model Discrepancies in Task-Based Team Dialogues

Résumé Technique : « Êtes-vous avec moi ? Un cadre pour détecter les écarts de modèles mentaux dans les dialogues d'équipes basés sur des tâches »

Énoncé du Problème

Le travail d'équipe efficace repose sur des Modèles Mentaux Partagés (SMM), où les membres de l'équipe maintiennent des représentations chevauchantes des états de la tâche, des objectifs et des capacités des coéquipiers. Bien que les méthodes traditionnelles d'évaluation des SMM (par exemple, le codage rétrospectif par des experts, les questionnaires) fournissent des scores de similarité globaux, elles ne parviennent pas à capturer la nature dynamique et en temps réel des ruptures de coordination. Plus précisément, la littérature existante manque d'une catégorisation systématique de la manière dont les modèles mentaux divergent lors de dialogues d'équipes naturalistes et de savoir si des schémas spécifiques de désalignement peuvent prédire de futures défaillances de coordination. Cet article comble le vide dans la compréhension des types spécifiques d'écarts qui émergent lorsque les mises à jour ne sont pas communiquées et de la manière dont ces écarts évoluent au cours d'épisodes de tâches séquentiels.

Méthodologie

Configuration Expérimentale :
L'étude a utilisé une tâche collaborative d'identification d'objets dans un environnement de jeu vidéo impliquant 20 équipes dyadiques. La tâche présentait une information asymétrique : un « Observateur » disposait d'instructions écrites détaillées mais d'une portée visuelle limitée, tandis qu'un « Photographe » possédait des jumelles améliorées mais dépendait entièrement des indices verbaux de l'Observateur. L'expérience se composait de quatre niveaux séquentiels (Police Locale, Recherche et Sauvetage en Montagne, Patrouille de Plage et Braconnage), chacun durant huit minutes.

Traitement des Données :
Toutes les communications d'équipe ont été transcrites à l'aide de Modèles de Langage (LLM) et vérifiées par des annotateurs humains. Un modèle LLM précédemment développé (actuellement en cours d'examen) a été employé pour détecter les mises à jour de modèles mentaux et catégoriser les écarts au niveau de l'annotation humaine.

Cadre de Catégorisation des Écarts :
Les auteurs proposent un cadre identifiant quatre types distincts d'écarts de modèles mentaux observables dans le dialogue :

1. Contradiction de Croyance : Un membre croit $X$, tandis qu'un autre croit $\neg X$ (par exemple, des points de vue conflictuels sur la stabilité d'un objet).
2. Omission : Le modèle mental d'un membre manque d'une croyance qu'un autre membre détient, déduit des attentes basées sur le rôle concernant les connaissances par rapport au contenu communiqué.
3. Croyances Non Étayées : Des croyances identifiées par un membre qui ne sont ni contredites ni soutenues par la vérité terrain ou par d'autres membres (non vérifiables).
4. Faux Croyances : Des croyances explicitement contredites par la vérité terrain établie (par exemple, des données de localisation incorrectes).

Modèle de Prédiction :
Pour tester si les schémas historiques d'écarts prédisent la performance future, les auteurs ont employé un modèle de base de somme pondérée. Le nombre d'écarts prédit pour un niveau cible ($L_{target}$) a été calculé comme la somme des nombres d'écarts des niveaux précédents ($L_i$) multipliée par des poids ($w_i$).
$$L_{target}(d) = \sum_{i \neq target} w_i L_i(d), \quad \sum w_i = 1$$
L'étude a utilisé une base de pondération uniforme ($w_i = 1/n$), supposant que tous les niveaux antérieurs contribuent également. Des schémas plus complexes (par exemple, pondérés par la récence, spécifiques aux types) ont été proposés comme extensions théoriques mais n'ont pas été testés empiriquement dans ce travail.

Résultats Clés

Distribution des Écarts :
À travers 20 équipes et quatre niveaux, 1 447 écarts au total ont été identifiés.

• Les Omissions étaient la catégorie dominante, constituant la plus grande source à la fois des écarts totaux et des erreurs de prédiction en termes absolus.
• Les Contradictions de Croyance ont montré une forte volatilité à travers les niveaux et les équipes.
• Les Faux Croyances et les Croyances Non Étayées étaient rares, apparaissant dans moins de 20 % des observations au niveau de l'équipe et contribuant de manière négligeable à l'erreur de prédiction globale.

Précision Prédictive :
En utilisant la base de moyenne uniforme, le modèle a atteint une corrélation par paires de 0,56 ($p=0,01$) entre les nombres d'écarts prédits et réels pour le Niveau 4 basé sur les Niveaux 1 à 3.

• Les auteurs mettent en garde que cette corrélation peut refléter la stabilité des taux de base spécifiques à l'équipe plutôt qu'un lien causal mécanique, car les comptes du Niveau 4 sont probablement autocorrélés avec les niveaux antérieurs.
• Certaines équipes (par exemple, l'Équipe 6) ont montré des trajectoires prévisibles où les défis de base persistaient malgré des améliorations temporaires, tandis que d'autres (par exemple, les Équipes 13, 16) ont présenté des déviations substantielles au niveau final.

Validation :
Pour valider la détection basée sur les LLM, les auteurs ont corrélé les nombres d'écarts avec une métrique de score objective basée sur la performance d'identification de cibles (confirmation visuelle d'objets spécifiques). L'Équipe 16, qui a présenté significativement plus d'écarts de SMM (particulièrement des omissions et des contradictions), a obtenu un score plus bas (26,3 %) que l'Équipe 8 (42,1 %), soutenant l'affirmation selon laquelle le désalignement basé sur la communication se manifeste par des baisses de performance mesurables.

Importance et Revendications

L'article revendique fournir la première catégorisation systématique des types d'écarts de SMM dans la coordination d'équipes naturalistes. Ses contributions principales sont :

1. Cadre Théorique : Distinction entre quatre types spécifiques de désalignement (omissions, contradictions, fausses croyances, croyances non étayées) plutôt que de traiter la qualité des SMM comme une métrique monolithique.
2. Dynamiques Temporelles : Démonstration que différents types d'écarts présentent une stabilité temporelle différentielle. Les omissions ont montré des schémas stables à travers les niveaux, suggérant que les comportements de partage d'information sont résistants au changement. En revanche, les contradictions de croyance ont montré une plus grande volatilité, certaines équipes les résolvant par le dialogue tandis que d'autres ne le faisaient pas.
3. Potentiel Prédictif : Montrer que même une pondération uniforme simple des comptes historiques d'écarts peut produire une précision de prédiction significative, suggérant que les schémas de coordination de stade précoce établissent des trajectoires qui persistent.

Les auteurs concluent modestement que si le cadre permet des stratégies d'intervention ciblées (par exemple, combler les lacunes d'information par rapport aux désaccords interprétatifs), le modèle additif actuel suppose l'indépendance entre les types d'écarts, ce qui peut ne pas refléter la réalité (par exemple, des omissions se transformant en contradictions). Un travail futur est nécessaire pour intégrer les courbes d'apprentissage spécifiques à l'équipe et les dynamiques spécifiques aux types.