Hierarchical Uncertainty Transformation During Multimodal Comprehension

La comunicazione umana è raramente un semplice flusso di parole. In una conversazione faccia a faccia, il significato arriva attraverso una trama intricata di linguaggio parlato e gesti delle mani, ognuno dei quali si muove alla propria velocità e porta con sé il proprio peso. A volte un gesto chiarisce una parola vaga; altre volte, una frase pronunciata dà senso a un movimento confuso. Il cervello deve intrecciare questi fili separati in una comprensione singola e coerente, anche quando le informazioni provenienti da ciascuna fonte sono incomplete o ambigue. Per decenni, gli scienziati hanno compreso che il cervello tratta questo processo come un problema di probabilità: mantiene in mente molteplici significati possibili contemporaneamente, valutando quanto sia probabile ciascuno di essi, e poi si assesta sulla migliore corrispondenza man mano che arrivano nuove prove. La visione prevalente è stata che, con l'aumentare delle informazioni ricevute, il cervello riduca semplicemente la quantità di incertezza, restringendo le possibilità finché la risposta non diventa chiara.

Un nuovo studio sfida questa semplice idea di una costante riduzione. I ricercatori dell'Istituto di Psicologia della Accademia Cinese delle Scienze propongono che il cervello non si limiti a abbassare il volume dell'incertezza; esso cambia effettivamente la natura stessa di quell'incertezza mentre si sposta da un livello computazionale all'altro. Osservando come le persone interpretano gesti e frammenti di parlato, il team ha scoperto che l'incertezza si trasforma in tre modi distinti e interconnessi. Essa si manifesta inizialmente all'interno di un singolo senso, si trasforma mentre i sensi interagiscono tra loro e, infine, si stabilizza in una nuova forma quando il cervello li fonde in un unico significato. Questo processo non è una sequenza fissa di passaggi, ma un sistema flessibile che si riorganizza a seconda di quanta informazione è disponibile da ciascuna fonte.

Per scoprire questa architettura nascosta, i ricercatori hanno progettato una serie di esperimenti in cui potevano controllare esattamente quanta quantità di significato fosse disponibile in un gesto rispetto a un frammento di parlato. Hanno registrato video di persone che compiono gesti con le mani e l'audio di loro che pronunciano verbi. Nei test preliminari, hanno determinato il momento preciso in cui un gesto o una parola diventavano abbastanza chiari da permettere a una persona di identificarne il significato. Hanno poi tagliato i video e l'audio in tre tipi di frammenti: pezzi troppo brevi per essere compresi, pezzi appena sufficienti per essere identificati e pezzi più lunghi e completamente chiari. Mescolando e abbinando questi frammenti, hanno creato scenari in cui entrambi i segnali erano poco chiari, in cui uno era chiaro e l'altro no, e in cui entrambi erano chiari.

In un primo set di esperimenti comportamentali, i partecipanti sono stati invitati a nominare ciò che vedevano e sentivano. Per misurare l'incertezza, i ricercatori non si sono limitati a osservare se i partecipanti davessero la risposta corretta; hanno analizzato la distribuzione delle risposte fornite. Per ogni condizione di stimolo, le risposte di denominazione sono state aggregate tra i partecipanti e, partendo dalle frequenze relative dei verbi riportati, è stata stimata una distribuzione di probabilità, da cui è stata calcolata l'entropia di Shannon. Utilizzando questo approccio matematico basato sulla teoria dell'informazione, il team ha misurato l'incertezza non come un numero singolo, ma come un paesaggio mutevole di possibilità.

Successivamente, per esaminare l'integrazione semantica implicita tra gesto e parlato senza richiedere giudizi semantici espliciti, i ricercatori hanno condotto un esperimento EEG. In questa fase, i partecipanti non dovevano nominare i verbi, ma dovevano semplicemente giudicare il genere del parlante. Questo ha permesso di osservare come il cervello integrasse le informazioni sensoriali in modo automatico.

Il framework distingue tre livelli computazionali interdipendenti. Il primo livello riguarda l'incertezza all'interno di ciascun senso preso singolarmente. I ricercatori hanno scoperto che man mano che un gesto o un frammento di parlato diventavano più lunghi e chiari, il numero di significati possibili diminuiva e l'incertezza cerebrale calava. Questo è il processo familiare di restringimento delle opzioni. Tuttavia, la storia cambiava quando i due sensi venivano presentati insieme. Quando un segnale verbale chiaro veniva accoppiato con un gesto vago, il cervello non ignorava semplicemente il gesto vago; rimodellava attivamente l'incertezza del gesto sulla base del parlato. Viceversa, un gesto chiaro poteva rimodellare l'incertezza di una parola vaga. Fondamentalmente, gli effetti di ciascuna modalità sull'interpretazione dell'altra erano asimmetrici e dipendevano dalle informazioni semantiche disponibili in ciascuna modalità. Ciò dimostrava che l'interazione tra i sensi non è una semplice mediazione delle informazioni, ma una trasformazione complessa e direzionale.

Il livello computazionale successivo riguardava la fusione dei due segnali in un unico significato unitario. Qui, i ricercatori hanno scoperto che l'incertezza del risultato finale non poteva essere spiegata semplicemente sommando i cambiamenti dei passaggi precedenti. Invece, il cervello creava un nuovo tipo di incertezza che apparteneva al sistema combinato. Per vedere come il cervello gestiva questi livelli, il team ha registrato l'attività elettrica dei partecipanti utilizzando sensori sul cuoio capelluto.

I risultati hanno rivelato che le associazioni neurali di questi diversi livelli di incertezza erano distinguibili ma parzialmente sovrapposte, e la loro tempistica variava a seconda delle configurazioni semantiche. L'incertezza legata ai singoli sensi era associata ad attività che avveniva precocemente nell'elaborazione. La trasformazione bidirezionale dell'incertezza tra gesto e parlato era associata sia all'intervallo N1-P2 che al componente N400, a seconda della modalità e della configurazione semantica. La convergenza multisensoriale, indicizzata dall'entropia di fusione allineata e dal guadagno unitario, mostrava associazioni particolarmente consistenti nell'intervallo N400. L'N400 è stato identificato come un potenziale evento-relativo sensibile all'elaborazione semantica dipendente dal contesto, inclusa l'integrazione del significato tra parlato e gesto. Questi profili temporali distinti ma sovrapposti suggeriscono che il cervello gestisce questi livelli in modo dinamico.

Forse più importante, lo studio ha dimostrato che l'intero sistema è dinamico. Il modo in cui il cervello esprimeva questi diversi tipi di incertezza cambiava a seconda della specifica combinazione di segnali chiari e poco chiari. Quando sia il gesto che il parlato erano vaghi, la risposta del cervello appariva diversa rispetto a quando uno era chiaro e l'altro no. I segnali neurali non seguivano uno script rigido e immutabile. Al contrario, il cervello riorganizzava la sua attività in tempo reale per adattarsi alle specifiche richieste della situazione. Questa flessibilità indica che il cervello non sta solo aspettando passivamente che arrivino le informazioni per poi ridurre l'incertezza; esso sta attivamente ristrutturando il modo in cui gestisce l'incertezza mentre la comunicazione si svolge.

I ricercatori hanno anche utilizzato modelli statistici per dimostrare che questi tre livelli computazionali sono profondamente connessi. Il modo in cui il cervello trasformava l'incertezza nel livello di interazione era direttamente collegato a come i segnali convergevano nel livello di fusione. Questa connessione non era fissa; cambiava a seconda che il gesto o il parlato fossero il segnale più chiaro. Questa scoperta sostiene l'idea che il cervello operi come un sistema gerarchico unificato, dove diversi livelli di elaborazione si influenzano costantemente a vicenda. I risultati suggeriscono che la comprensione multimodale comporti trasformazioni nella forma computazionale dell'incertezza, parallelamente ai cambiamenti nella sua entità man mano che le prove si accumulano.

Questo lavoro fornisce un nuovo quadro per comprendere come diamo senso al mondo quando le informazioni provengono da più fonti. Suggerisce che la capacità del cervello di comprendere la comunicazione complessa dipenda dalla sua capacità di trasformare l'incertezza, non solo di ridurla. Riconoscendo che l'incertezza cambia la sua natura in diversi livelli di elaborazione, gli scienziati possono comprendere meglio come il cervello costruisca una realtà coerente partendo da segnali frammentati e ambigui. Le scoperte offrono uno sguardo sull'intricata macchina della comunicazione umana, rivelando che il percorso verso la comprensione non è una linea retta di decrescente dubbio, ma un viaggio dinamico di riorganizzazione e adattamento.