Distributed Partial Information Puzzles: Examining Common Ground Construction Under Epistemic Asymmetry

Cet article présente le puzzle d'information partielle distribué (DPIP) et un jeu de données multimodales associé pour évaluer la construction de terrain commun, révélant que les grands modèles de langage actuels peinent à suivre l'évolution des croyances et de la tâche face à une asymétrie épistémique, contrairement à une approche axiomatique fondée sur la logique épistémique dynamique.

L'essentiel

🧩 Le Grand Jeu de l'Équipe : "Le Puzzle à Information Partagée"

Imaginez que vous êtes dans une pièce avec trois amis. Vous avez tous un objectif commun : construire une tour de Lego parfaite. Mais voici le piège : personne ne voit la même chose.

• Le Bâtisseur (1 personne) : Il est assis devant la table avec les Lego. Il ne voit rien d'autre que ce qu'il pose. Il est aveugle au plan final.
• Les Directeurs (3 personnes) : Chacun a une tablette avec une photo d'un seul côté de la tour (le devant, le côté gauche, le côté droit). Chacun ne connaît qu'une partie du secret.

Pour réussir, le Bâtisseur doit construire la tour en écoutant les trois Directeurs. Mais les Directeurs ne peuvent pas toucher les Lego ! Ils doivent parler, montrer du doigt (gestes) et agir pour guider le Bâtisseur.

C'est ce que les chercheurs appellent le DPIP (Puzzle à Information Partielle Distribuée). C'est un test pour voir comment les humains (et les robots) arrivent à se mettre d'accord sur une réalité qu'ils ne voient pas tous de la même manière.

---

🗣️ Le Défi : "Le Terrain d'Entente" (Common Ground)

Dans la vraie vie, quand on travaille ensemble, on construit ce qu'on appelle un "terrain d'entente". C'est comme un tableau mental partagé où tout le monde dit : "Ok, on est d'accord que le bloc rouge va ici."

Le problème, c'est que dans ce jeu :

1. Chacun a des informations différentes (asymétrie).
2. On utilise beaucoup de moyens pour communiquer : la voix, les gestes (pointer du doigt, faire un signe de tête) et les actions (déplacer un bloc).

Les chercheurs se sont demandé : "Est-ce que les intelligences artificielles (IA) actuelles sont capables de suivre ce ballet complexe ?"

---

🤖 L'Expérience : IA vs Humains

Pour tester ça, les chercheurs ont filmé 10 groupes d'amis jouant à ce jeu. Ils ont tout noté :

• Ce qui a été dit (transcription).
• Ce qui a été fait avec les mains (gestes).
• Ce qui a été construit (mouvements des blocs).

Ensuite, ils ont donné ces vidéos à deux types de "cerveaux" pour voir qui comprend le mieux la situation :

1. Les Géants du Texte (LLM) : Des IA très puissantes (comme GPT-5 ou Qwen) qui sont habituées à lire des livres et écrire des poèmes. On leur a demandé : "Regardez ce qui se passe, dites-nous à quoi ressemble la tour à ce moment précis."
2. Le Logicien Rigide (Axiomes) : Un système informatique très strict, basé sur des règles de logique pure (comme un mathématicien qui suit une recette étape par étape).

📉 Les Résultats : Une Surprise !

• Les IA (LLM) ont eu du mal. Même les plus intelligentes ont souvent perdu le fil. Elles savaient parfois ce qu'un humain disait, mais elles ne parvenaient pas à comprendre l'intention derrière un geste ou à reconstituer la logique de la tour en temps réel. C'est comme si elles lisaient le script d'une pièce de théâtre sans comprendre la mise en scène.
• Le Logicien Rigide a parfois mieux réussi. En suivant des règles strictes ("Si A dit X et B fait Y, alors Z est vrai"), il a parfois reconstitué la tour plus fidèlement que les IA, surtout quand les humains étaient confus.
• Le cas de l'équipe qui a échoué : Dans un groupe où les joueurs n'ont pas réussi à construire la tour (ils étaient trop perdus), l'IA a été étonnamment bonne pour dire : "Ah, il n'y a aucun accord ici, c'est le chaos." Mais dès qu'il y avait un vrai travail d'équipe, l'IA avait du mal à deviner ce que l'équipe pensait collectivement.

---

💡 La Leçon à Retenir

Ce papier nous apprend une chose importante : Être intelligent pour écrire un poème ne veut pas dire être intelligent pour travailler en équipe.

Les IA actuelles sont comme des bibliothécaires géniaux qui connaissent tous les livres, mais qui ne savent pas encore bien jouer au foot avec une équipe où chacun a une balle différente. Elles peinent à comprendre le "terrain d'entente" quand la communication est un mélange de mots, de gestes et d'actions dans un environnement réel.

Pour que les robots puissent vraiment collaborer avec nous (dans les hôpitaux, les usines, ou les maisons), ils devront apprendre à ne pas seulement "lire" ce qu'on dit, mais à "voir" ce qu'on fait et à comprendre ce que les autres pensent, même quand on ne le dit pas explicitement.

En résumé : C'est un défi de plus pour l'IA. Elle doit passer du statut de "grand lecteur" à celui de "vrai partenaire de jeu".

Résumé technique

1. Problématique et Contexte

La collaboration efficace entre humains repose sur l'établissement d'un terrain commun (common ground), c'est-à-dire un ensemble partagé de croyances et de faits reconnus mutuellement. Cependant, les systèmes d'IA actuels peinent à gérer ce processus, en particulier dans des contextes multimodaux (parole, geste, action) et multiparty (plus de deux participants), où les collaborateurs disposent d'informations différentes (asymétrie épistémique).

Le défi principal réside dans la difficulté pour les IA de :

• Intégrer des informations partielles et privées provenant de plusieurs sources.
• Résoudre les asymétries épistémiques par le dialogue et l'action.
• Suivre l'évolution dynamique des croyances partagées dans un environnement co-situé (physique).

Les jeux de données existants manquent souvent de l'une de ces trois dimensions critiques simultanément : interaction multiparty, co-situationalité et asymétrie épistémique.

2. Méthodologie : La Tâche DPIP et le Jeu de Données

Les auteurs introduisent une nouvelle tâche appelée Distributed Partial Information Puzzle (DPIP) (Énigme à information partielle distribuée).

A. Description de la Tâche

• Configuration : Un groupe de quatre personnes (3 "directeurs" et 1 "constructeur").
• Asymétrie : Chaque directeur reçoit une vue 2D partielle (face avant, gauche ou droite) d'une structure cible en blocs de Lego (dimensions 3x3x3). Seul le constructeur peut manipuler les blocs.
• Objectif : Les directeurs doivent collaborer pour guider le constructeur afin qu'il reconstruise une structure unique et contiguë qui soit cohérente avec les trois vues partielles.
• Contrainte : Aucun participant ne peut résoudre le puzzle seul ; la communication est obligatoire.

B. Collecte et Annotation des Données

• Jeu de données : 10 enregistrements audiovisuels de groupes réalisant la tâche.
• Modalités capturées :
  • Parole : Transcription automatique (Whisper) vérifiée par des humains, annotée avec des propositions relationnelles (ex: "bloc bleu à côté de rouge").
  • Action : Suivi 3D des manipulations de blocs (poser, retirer, déplacer) via un outil d'annotation (SAT), converti en prédicats spatiaux.
  • Geste : Annotation sémantique via le cadre GAMR (Gesture Abstract Meaning Representation), capturant les gestes déictiques, iconiques et emblématiques.
• Alignement : Les trois modalités sont alignées temporellement pour créer une représentation unifiée des événements communicatifs.
• Fiabilité : Des scores d'accord inter-annotateurs (IAA) élevés ont été obtenus pour la parole (Kappa = 0,97) et la structure, bien que l'identification des gestes présente plus de variabilité.

3. Contributions Clés

1. Le Benchmark DPIP : Une nouvelle tâche et un jeu de données multimodaux conçus spécifiquement pour évaluer la construction du terrain commun dans des conditions d'asymétrie épistémique et de partialité de l'information.
2. Pipeline d'Annotation Multimodale : Une méthodologie robuste pour annoter et aligner la parole, les gestes et les actions physiques, permettant de raisonner sur le contenu propositionnel et la dynamique des croyances.
3. Évaluation Comparative : Une analyse systématique comparant deux paradigmes pour modéliser le terrain commun :
   • Modèles de Langage (LLM) : Des modèles state-of-the-art (Qwen3, Llama-3, GPT-5) sollicités pour inférer les croyances partagées et prédire la structure finale.
   • Pipeline Axiomatique (DEL) : Une approche basée sur la Logique Épistémique Dynamique (DEL) qui met à jour les croyances de manière incrémentale selon des axiomes formels ("Voir c'est croire", "Agir c'est croire", "Dire c'est croire").

4. Résultats et Analyse

Les expériences ont évalué la capacité des modèles à prédire la structure finale et le terrain commun (croyances partagées) à partir des annotations.

• Prédiction de la structure (Action → Structure) :

  • Les LLMs (notamment GPT-5) sont meilleurs pour prédire la structure à l'échelle d'un tour de parole qu'à l'échelle de tout le dialogue, suggérant des difficultés dans le suivi à long terme.
  • L'ajout des modalités (gestes, actions) aide les modèles à prédire la structure globale (Global DSC augmente), mais peut introduire du bruit pour les prédictions locales si le contexte est insuffisant.

• Approche Axiomatique (CGC → Structure) :

  • Le pipeline basé sur la logique formelle (CGC) surpasse ou égale les LLMs les plus avancés (GPT-5-mini) dans la prédiction de la structure, démontrant que des règles logiques explicites sont efficaces pour ce type de tâche structurée.

• Prédiction du Terrain Commun (Aligned → CGC) :

  • Écart significatif : Il existe un faible chevauchement (DSC faible) entre les croyances partagées inférées par les LLMs et celles calculées axiomatiquement. Les LLMs infèrent souvent des états de croyance différents de la réalité axiomatique.
  • Cas d'échec (Groupe 7) : Dans le groupe qui a échoué à compléter la tâche, les LLMs ont correctement inféré l'absence de terrain commun (ensembles de croyances vides ou petits), montrant une capacité à détecter la confusion. Cependant, pour les groupes réussis, les LLMs peinent toujours à capturer le contenu exact du terrain commun.

5. Signification et Conclusion

• Défi pour l'IA : Le papier démontre que les LLMs actuels, bien que performants dans le raisonnement discursif, échouent à suivre avec précision la dynamique des croyances et le terrain commun dans des environnements collaboratifs complexes, multimodaux et partiellement observables.
• Importance de la Logique Formelle : Les résultats suggèrent que pour des tâches nécessitant une intégration rigoureuse de l'information partielle et de l'asymétrie, les approches axiomatiques (DEL) peuvent être plus robustes que les approches purement statistiques des LLMs.
• Avenir de la Recherche : DPIP établit un nouveau standard pour évaluer la théorie de l'esprit (Theory of Mind), le suivi d'état de dialogue et le raisonnement spatio-temporel dans les systèmes d'IA collaboratifs.

En résumé, ce travail met en lumière les limites actuelles de l'IA pour comprendre la complexité de la collaboration humaine réelle, où la vérité partagée émerge d'une négociation constante entre des perspectives partielles, des gestes et des actions physiques.