Hierarchical Uncertainty Transformation During Multimodal Comprehension

Menselijke communicatie is zelden een eenvoudige stroom van woorden. In een gesprek van mens tot mens komt betekenis binnen via een verstrengeld web van gesproken taal en handgebaren, die elk op hun eigen snelheid bewegen en hun eigen gewicht dragen. Soms verheldert een gebaar een vaag woord; andere keren maakt een gesproken frase een verwarrende beweging begrijpelijk. Het brein moet deze afzonderlijke draden samenweven tot één samenhangend begrip, zelfs wanneer de informatie uit elke bron incompleet of ambigu is. Decennialang hebben wetenschappers begrepen dat het brein dit proces behandelt als een probleem van waarschijnlijkheid: het houdt meerdere mogelijke betekenissen tegelijkertijd in gedachten, weegt hoe waarschijnlijk elk scenario is, en beslist vervolgens op de beste match naarmate er meer bewijs arriveert. De heersende opvatting was dat het brein, naarmate we meer informatie ontvangen, simpelweg de hoeveelheid onzekerheid vermindert, waardoor de mogelijkheden worden ingeperkt tot het antwoord duidelijk wordt.

Een nieuwe studie daagt het idee van een eenvoudige, gestage reductie uit. Onderzoekers aan het Instituut voor Psychologie van de Chinese Academie van Wetenschappen stellen voor dat het brein de onzekerheid niet alleen verlaagt, maar dat het de aard van die onzekerheid zelf verandert terwijl het zich beweegt tussen verschillende computationele niveaus. Door te observeren hoe mensen gebaren en spraakfragmenten interpreteren in realtime, ontdekte het team dat onzekerheid op drie verschillende, onderling verbonden manieren transformeert. Het begint als verwarring binnen één enkele zintuiglijke waarneming, verschuift wanneer de zintuigen met elkaar in contact komen, en nestelt zich uiteindelijk in een nieuwe vorm wanneer het brein ze samenvoegt tot één enkele betekenis. Dit proces is geen vaste sequentie van stappen, maar een flexibel systeem dat zichzelf reorganiseert afhankelijk van hoeveel informatie beschikbaar is vanuit elke bron.

Om deze verborgen architectuur te ontdekken, ontwierpen de onderzoekers een reeks experimenten waarbij ze precies konden controleren hoeveel betekenis beschikbaar was in een gebaar versus een spraakfragment. Ze namen video's op van mensen die handgebaren maakten en audio van hen die werkwoorden uitspraken. In voorbereidende tests bepaalden ze het exacte moment in de tijd waarop een gebaar of een woord duidelijk genoeg werd om de betekenis ervan te identificeren. Vervolgens sneden ze de video's en audio in drie soorten fragmenten: stukjes die te kort waren om begrepen te worden, stukjes die net lang genoeg waren om geïdentificeerd te worden, en stukjes die langer en volledig duidelijk waren. Door deze fragmenten te mixen en te matchen, creëerden ze scenario's waarin beide signalen onduidelijk waren, waarin het ene duidelijk was en het andere niet, en waarin beide duidelijk waren.

In de gedragsexperimenten werden deelnemers gevraagd te benoemen wat ze zagen en hoorden. De onderzoekers analyseerden het volledige spectrum van gissingen door de antwoorden van deelnemers te aggregeren per stimulusconditie. Voor elke conditie werd een waarschijnlijkheidsverdeling geschat op basis van de relatieve frequenties van de gerapporteerde werkwoorden, waarna de Shannon-entropie werd berekend om de onzekerheid te kwantificeren. Met deze wiskundige benadering uit de informatietheorie mat het team onzekerheid niet als een enkel getal, maar als een verschuivend landschap van mogelijkheden. Ze ontdekten dat onzekerheid zich anders gedraagt afhankelijk van het computationele niveau waarop de verwerking zich bevindt.

Op het niveau van de onzekerheid binnen elk zintuig op zichzelf, ontdekten de onderzoekers dat naarmate een gebaar of een spraakfragment langer en duidelijker werd, het aantal mogelijke betekenissen afnam en de onzekerheid van het brein afnam. Dit is het bekende proces van het inperken van opties. Echter, het verhaal veranderde wanneer de twee zintuigen samen werden gepresenteerd. Wanneer een duidelijk spraaksignaal werd gekoppeld aan een vaag gebaar, negeerde het brein het vage gebaar niet alleen; het vormde de onzekerheid van dat gebaar actief om op basis van de spraak. Omgekeerd kon een duidelijk gebaar de onzekerheid van een vaag woord herformuleren. De effecten van elk medium op de interpretatie van het andere waren asymmetrisch en hingen af van de semantische informatie die in elk medium beschikbaar was. Dit toonde aan dat de interactie tussen zintuigen geen eenvoudige middeling van informatie is, maar een complexe, directionele transformatie.

Op het niveau van multisensorische convergentie ontdekten de onderzoekers dat de onzekerheid van het eindresultaat niet simpelweg verklaard kon worden door de veranderingen uit de vorige niveaus bij elkaar op te tellen. In plaats daarvan creëerde het brein een nieuwe soort onzekerheid die toebehoorde aan het gecombineerde systeem. Om te zien hoe het brein deze computationele niveaus afhandelde, registreerde het team de elektrische activiteit van de hersenen van de deelnemers met sensoren op de hoofdhuid. In het hoofd-EEG-experiment beoordeelden deelnemers het geslacht van de spreker, wat de onderzoekers in staat stelde om impliciete semantische integratie tussen gebaar en spraak te onderzoeken zonder dat expliciete semantische oordelen vereist waren.

De resultaten toonden aan dat de verschillende vormen van onzekerheid verbonden waren met verschillende neurale profielen die elkaar deels overlapten. De onzekerheid binnen een enkel zintuig was geassocieerd met activiteit in een vroeg stadium van de verwerking. De bidirectionele transformatie van onzekerheid tussen gebaar en spraak was geassocieerd met activiteit in het eerdere N1-P2-bereik, met aanvullende associaties met de N400, afhankelijk van de modaliteit en de semantische configuratie. De multisensorische convergentie, geïndexeerd door de uitgelijnde fusie-entropie en unit gain, vertoonde bijzonder consistente associaties in het N400-bereik. De N400 werd hierbij geïdentificeerd als een event-related potentieel component die gevoelig is voor contextafhankelijke semantische verwerking, inclusief de integratie van betekenis over spraak en gebaar. Dit suggereert dat de timing van deze processen flexibel is en aanzienlijk varieert per situatie.

Misschien wel het belangrijkste is dat de studie aantoonde dat dit hele systeem dynamisch is. De manier waarop het brein deze verschillende soorten onzekerheid uitte, veranderde afhankelijk van de specifieke combinatie van duidelijke en onduidelijke signalen. De neurale signalen volgden geen rigide, onveranderlijk script. In plaats daarvan reorganiseerde het brein zijn activiteit in realtime om aan te passen aan de specifieke eisen van de situatie. Deze flexibiliteit geeft aan dat het brein niet passief wacht tot informatie arriveert om vervolgens de onzekerheid te verminderen; het is actief bezig met het herstructureren van hoe het onzekerheid behandelt terwijl het gesprek ontvouwt.

De onderzoekers gebruikten ook statistische modellen om aan te tonen dat deze computationele niveaus diep met elkaar verbonden zijn. De manier waarop het brein de onzekerheid op het niveau van interactie transformeerde, was direct verbonden met hoe het de signalen op het niveau van convergentie samenvoegde. Deze verbinding was niet vaststaand; deze verschoof afhankelijk van of het gebaar of de spraak het duidelijkere signaal was. Deze bevinding ondersteunt het idee dat het brein opereert als een verenigd, hiërarchisch systeem waarbij verschillende niveaus van verwerking voortdurend invloed op elkaar uitoefenen. De bevindingen suggereren dat multimodale begripsvorming gepaard gaat met transformaties in de computationele vorm van onzekerheid, naast veranderingen in de grootte ervan naarmate er meer bewijs wordt verzameld.

Dit werk biedt een nieuw kader voor het begrijpen van hoe wij betekenis geven aan de wereld wanneer informatie uit meerdere bronnen komt. Het suggereert dat het vermogen van het brein om complexe communicatie te begrijpen berust op zijn capaciteit om onzekerheid te transformeren, niet alleen te verminderen. Door te erkennen dat onzekerheid van aard verandert tijdens verschillende computationele niveaus van verwerking, kunnen wetenschappers beter begrijpen hoe het brein een samenhangende realiteit opbouwt uit gefragmenteerde en ambigue signalen. De bevindingen bieden een inkijkje in de ingewikkelde machinerie van menselijke communicatie, en onthullen dat het pad naar begrip geen rechte lijn van afnemende twijfel is, maar een dynamische reis van reorganisatie en aanpassing.