Hierarchical Uncertainty Transformation During Multimodal Comprehension

La communication humaine est rarement un simple flux de mots. Dans une conversation en face à face, le sens arrive à travers un réseau entrelacé de langage parlé et de gestes de la main, chacun se déplaçant à sa propre vitesse et portant son propre poids. Parfois, un geste clarifie un mot vague ; d'autres fois, une phrase parlée donne du sens à un mouvement confus. Le cerveau doit tisser ces fils séparés en une compréhension unique et cohérente, même lorsque l'information provenant de chaque source est incomplète ou ambiguë. Pendant des décennies, les scientifiques ont compris que le cerveau traite ce processus comme un problème de probabilité : il garde à l'esprit plusieurs significations possibles simultanément, évaluant la probabilité de chacune, puis se stabilise sur la meilleure option à mesure que de nouvelles preuves arrivent. La vue prédominante était que, à mesure que nous recevons plus d'informations, le cerveau réduit simplement la quantité d'incertitude, resserrant les possibilités jusqu'à ce que la réponse devienne claire.

Une nouvelle étude remet en question cette idée de réduction constante. Des chercheurs de l'Institut de psychologie de l'Académie chinoienne des sciences proposent que le cerveau ne se contente pas de baisser le volume de l'incertitude ; il change en réalité la nature même de cette incertitude au fur et à mesure qu'il passe d'un niveau de traitement à un autre. En observant comment les gens interprètent les gestes et les fragments de parole en temps réel, l'équipe a découvert que l'incertitude se transforme de trois niveaux de calcul distincts et interconnectés. Elle commence par une confusion au sein d'un seul sens, change lorsque les sens communiquent entre eux, et se stabilise sous une nouvelle forme lorsque le cerveau les fusionne en un seul sens. Ce processus n'est pas une séquence d'étapes fixes mais un système flexible qui se réorganise en fonction de la quantité d'informations disponibles de chaque source.

Pour découvrir cette architecture cachée, les chercheurs ont conçu une série d'expériences où ils pouvaient contrôler exactement quelle quantité de sens était disponible dans un geste par rapport à un fragment de parole. Ils ont enregistré des vidéos de personnes faisant des gestes de la main et l'audio de ces mêmes personnes prononçant des verbes. Dans des tests préliminaires, ils ont déterminé le moment précis dans le temps où un geste ou un mot devenait assez clair pour qu'une personne puisse identifier son sens. Ils ont ensuite découpé les vidéos et les audios en trois types de fragments : des morceaux trop courts pour être compris, des morceaux juste assez longs pour être identifiés, et des morceaux plus longs et parfaitement clairs. En mélangeant et en associant ces fragments, ils ont créé des scénarios où les deux signaux étaient obscurs, où l'un était clair et l'autre non, et où les deux étaient clairs.

Dans une première série d'expériences comportementales, les participants devaient nommer ce qu'ils voyaient et entendaient. Les chercheurs ont analysé les réponses de dénomination fournies par les participants pour chaque condition de stimulus. En agrégeant les réponses de dénomination à travers les participants pour chaque condition, une distribution de probabilité a été estimée à partir des fréquences relatives des verbes rapportés, et l'entropie de Shannon a été calculée à partir de cette distribution pour mesurer l'incertitude. En utilisant une approche mathématique basée sur la théorie de l'information, l'équipe a mesuré cette incertitude non pas comme un chiffre unique, mais comme un paysage changeant de possibilités. Ils ont découvert que l'incertitude se comporte différemment selon le niveau de calcul dans lequel le cerveau se trouve.

Le premier niveau de calcul implique l'incertitude au sein de chaque sens pris isolément. Les chercheurs ont constaté qu'à mesure qu'un geste ou un fragment de parole devenait plus long et plus clair, le nombre de significations possibles diminuait, et l'incertitude du cerveau décroissait. C'est le processus familier de réduction des options. Cependant, l'histoire changeait lorsque les deux sens étaient présentés ensemble. Lorsqu'un signal de parole clair était associé à un geste vague, le cerveau n'ignorait pas simplement le geste vague ; il remodelait activement l'incertitude de ce geste en fonction de la parole. Inversement, un geste clair pouvait remodeler l'incertitude d'un mot vague. Les effets de chaque modalité sur l'interprétation de l'autre étaient asymétriques et dépendaient de l'information sémantique disponible dans chaque modalité. Cela montrait que l'interaction entre les sens n'est pas une simple moyenne d'informations, mais une transformation directionnelle complexe.

Un autre niveau de calcul se produisait lorsque le cerveau fusionnait les deux signaux en un seul sens unifié. Ici, les chercheurs ont découvert que l'incertitude du résultat final ne pouvait pas être expliquée simplement en additionnant les changements des niveaux précédents. Au lieu de cela, le cerveau créait un nouveau type d'incertitude appartenant au système combiné. Pour observer comment le cerveau gérait ces trois niveaux de calcul, l'équipe a enregistré l'activité électrique des cerveaux des participants à l'aide de capteurs sur le cuir chevelu. Dans cette expérience EEG, les participants devaient juger le genre du locuteur, ce qui a permis aux chercheurs d'examiner l'intégration sémantique implicite entre le geste et la parole sans nécessiter de jugements sémantiques explicites. Ils ont recherché des motifs spécifiques d'ondes cérébrales correspondant aux différents types d'incertitude qu'ils avaient calculés.

Les résultats ont révélé que les associations neurales de ces différents niveaux de calcul étaient distinguables mais partiellement chevauchantes, et que leur timing variait selon les configurations sémantiques. Les associations avec l'incertitude spécifique à chaque modalité n'étaient pas confinées à des fenêtres temporelles précoces. La transformation bidirectionnelle de l'incertitude entre le geste et la parole était déjà associée à une activité dans la plage N1-P2 plus précoce, avec des associations supplémentaires au niveau de la N400 selon la modalité et la configuration sémantique. La convergence multisensorielle, indexée par l'entropie de fusion alignée et le gain unitaire, montrait des associations particulièrement cohérentes dans la plage N400. La N400 a été identifiée comme un potentiel évoqué sensible au traitement sémantique dépendant du contexte, incluant l'intégration du sens entre la parole et le geste.

Peut-être plus important encore, l'étude a montré que l'ensemble de ce système est dynamique. La façon dont le cerveau exprimait ces différents types d'incertitude changeait selon la combinaison spécifique de signaux clairs et obscurs. Lorsque le geste et la parole étaient tous deux vagues, la réponse du cerveau différait de celle observée quand l'un était clair et l'autre non. Les signaux neuraux ne suivaient pas un script rigide et immuable. Au lieu de cela, le cerveau réorganisait son activité en temps réel pour correspondre aux demandes spécifiques de la situation. Cette flexibilité indique que le cerveau n'attend pas passivement que l'information arrive pour ensuite réduire l'incertitude ; il restructure activement la manière dont il gère l'incertitude au fil de la conversation.

Les chercheurs ont également utilisé des modèles statistiques pour montrer que ces trois niveaux de calcul sont profondément connectés. La manière dont le cerveau transformait l'incertitude lors du niveau d'interaction intermédiaire était directement liée à la façon dont il convergeait les signaux lors du niveau de fusion final. Cette connexion n'était pas fixe ; elle variait selon que le geste ou la parole était le signal le plus clair. Cette découverte soutient l'idée que le cerveau fonctionne comme un système hiérarchique unifié où différents niveaux de traitement s'influencent constamment les uns les autres. Les résultats suggèrent que la compréhension multimodale implique des transformations dans la forme computationnelle de l'incertitude, parallèlement à des changements de sa magnitude à mesure que les preuves s'accumulent.

Ce travail fournit un nouveau cadre pour comprendre comment nous donnons du sens au monde lorsque l'information provient de sources multiples. Il suggère que la capacité du cerveau à comprendre une communication complexe repose sur sa capacité à transformer l'incertitude, et non simplement à la réduire. En reconnaissant que l'incertitude change de nature à différents niveaux de traitement, les scientifiques peuvent mieux comprendre comment le cerveau construit une réalité cohérente à partir de signaux fragmentés et ambigus. Ces découvertes offrent un aperçu de la machinerie complexe de la communication humaine, révélant que le chemin vers la compréhension n'est pas une ligne droite de diminution du doute, mais un voyage dynamique de réorganisation et d'adaptation.