Hierarchical Uncertainty Transformation During Multimodal Comprehension

인간의 의사소통은 결코 단순한 단어의 흐름이 아닙니다. 대면 대화에서 의미는 말로 된 언어와 손짓이라는 얽히고설킨 그물망을 통해 전달되며, 각 요소는 저마다의 속도로 움직이고 저마다의 무게를 지닙니다. 때로는 제스처가 모호한 단어를 명확하게 해주기도 하고, 때로는 말로 된 구절이 혼란스러운 동작을 이해할 수 있게 해줍니다. 뇌는 정보가 불완전하거나 모호할 때조차 이러한 별개의 실타래들을 하나의 일관된 이해로 엮어내야 합니다. 수십 년 동안 과학자들은 뇌가 이 과정을 확률 문제로 다룬다는 점을 이해해 왔습니다. 즉, 뇌는 여러 가지 가능한 의미를 동시에 염두에 두고 각 의미가 얼마나 가능성이 높은지 무게를 둔 다음, 더 많은 증거가 도착함에 따라 가장 적합한 것을 결정한다는 것입니다. 지배적인 견해는 우리가 더 많은 정보를 얻을수록 뇌가 단순히 불확실성을 줄여나가며, 답이 명확해질 때까지 가능성을 좁혀간다는 것이었습니다.

새로운 한 연구는 이러한 단순한 점진적 감소라는 아이디어에 도전합니다. 중국과학원 심리학 연구소의 연구진은 뇌가 단순히 불확실성의 부피를 줄이는 것이 아니라, 한 계산 수준에서 다음 수준으로 넘어갈 때 불확실성의 본질 자체를 실제로 변화시킨다고 제안합니다. 연구팀은 사람들이 제스처와 언어 파편을 어떻게 해석하는지 관찰함으로써, 불확실성이 세 가지 뚜렷하고 상호 연결된 방식으로 변형된다는 사실을 발견했습니다. 불확실성은 단일 감각 내에서의 혼란에서 시작하여, 감각들이 서로 소통하면서 변화하고, 마지막으로 뇌가 이를 하나의 의미로 병합할 때 새로운 형태로 정착됩니다. 이 과정은 고정된 순서의 단계가 아니라, 각 소스로부터 가용한 정보의 양에 따라 스스로를 재구성하는 유연한 시스템입니다.

이 숨겨진 구조를 밝혀내기 위해 연구진은 두 가지 실험을 설계했습니다. 먼저 행동 실험에서는 제스처와 언어 파편에 담긴 의미를 정확히 어느 정도 제어할 수 있는지 확인하기 위해 명명 과제(naming task)를 수행했습니다. 그들은 사람들이 손짓을 하는 영상과 동사를 말하는 오디오를 녹화했습니다. 예비 테스트를 통해 연구진은 제스처나 단어가 의미를 식별할 수 있을 만큼 명확해지는 정확한 시점을 결정했습니다. 그런 다음 비디오와 오디오를 세 가지 유형의 파편으로 잘랐습니다. 이해하기에는 너무 짧은 조각, 식별할 수 있을 만큼 딱 적당한 길이의 조각, 그리고 더 길고 완전히 명확한 조각입니다. 이 파편들을 서로 조합하여, 두 신호 모두 불분명한 경우, 하나는 명확하고 다른 것은 그렇지 않은 경우, 그리고 둘 다 명확한 경우의 시나리오를 만들었습니다. 참가자들은 자신이 보고 들은 것을 말하도록 요청받았습니다. 연구진은 단순히 참가자들이 정답을 맞혔는지만을 본 것이 아니라, 각 자극 조건에 대해 참가자들의 응답을 종합하여 확률 분포를 추정하고, 이 분포로부터 섀넌 엔트로피(Shannon entropy)를 계산하여 불확실성을 측정했습니다. 정보 이론에 기반한 수학적 접근법을 사용하여, 연구팀은 이 불확실성을 단일 숫자가 아니라 변화하는 가능성의 지형으로 측정했습니다. 그들은 불확실성이 뇌의 계산 수준에 따라 다르게 행동한다는 것을 발견했습니다.

이와 별개로 진행된 EEG 실험에서는 참가자들이 화자의 성별을 판단하게 함으로써, 명시적인 의미 판단 없이도 제스처와 언어의 의미적 통합이 암묵적으로 어떻게 일어나는지 조사했습니다.

연구 결과, 불확실성은 세 가지 상호 의존적인 계산 수준에서 서로 다른 방식으로 행동했습니다. 첫 번째 계산 수준은 각 감각 자체 내에서의 불확실성을 포함합니다. 연구진은 제스처나 언어 파편이 길어지고 명확해짐에 따라 가능한 의미의 수가 줄어들고 뇌의 불확실성도 감소한다는 것을 발견했습니다. 이는 옵션을 좁혀가는 익숙한 과정입니다. 그러나 두 감각이 함께 제시되었을 때 이야기는 달라졌습니다. 명확한 언어 신호가 모호한 제스처와 짝을 이룰 때, 뇌는 모호한 제스처를 단순히 무시하는 것이 아니라 언어를 바탕으로 그 제스처의 불확실성을 능동적으로 재형성했습니다. 반대로, 명확한 제스처는 모호한 단어의 불확실성을 재형성할 수 있었습니다. 결정적으로, 이러한 재형성은 대칭적이지 않았습니다. 각 양식이 다른 양식의 해석에 미치는 영향은 비대칭적이었으며, 각 양식에서 가용한 의미 정보에 따라 달라졌습니다. 이는 감각 간의 상호작용이 단순한 정보의 평균화가 아니라 복잡하고 방향성을 가진 변환임을 보여주었습니다.

다음 계산 수준은 뇌가 두 신호를 하나의 통합된 의미로 융합할 때 발생합니다. 여기서 연구진은 최종 결과의 불확실성이 이전 수준들의 변화를 단순히 합산하는 것만으로는 설명될 수 없다는 것을 발견했습니다. 대신, 뇌는 결합된 시스템에 속하는 새로운 종류의 불확실성을 만들어냈습니다. 뇌가 이러한 서로 다른 계산 수준을 어떻게 처리하는지 확인하기 위해 연구팀은 두피에 센서를 부착하여 참가자들의 뇌에서 발생하는 전기적 활동을 기록했습니다. 그들은 계산된 서로 다른 유형의 불확실성에 대응하는 특정 뇌파 패턴을 찾았습니다.

결과는 뇌가 이러한 서로 다른 형태의 불확실성을 어떻게 표현하는지에 대한 구분을 드러냈습니다. 단일 감각 내의 초기 불확실성은 자극을 보고 듣은 후 몇 백 밀리초 이내에 발생하는 특정 뇌파와 연결되어 나타났습니다. 양방향 감각 간 불확실성 변형의 경우, 제스처와 언어의 이득(gain)은 이미 초기 N1-P2 범위의 활동과 연관되어 있었으며, 양식과 의미적 구성에 따라 추가적인 N400과의 연관성을 보였습니다. 다감각적 수렴(multisensory convergence)은 N400 범위에서 특히 일관된 연관성을 보였습니다. 여기서 N400은 언어와 제스처 사이의 의미 통합을 포함하여, 맥락 의존적인 의미 처리에 민감한 사건 관련 전위(event-related potential) 성분입니다. 이러한 계산 수준들의 신경적 연관성은 서로 구별되면서도 부분적으로 중첩되었으며, 그 타이밍 또한 의미적 구성에 따라 달라졌습니다.

아마도 가장 중요한 점은, 이 연구가 이 전체 시스템이 역동적임을 보여주었다는 것입니다. 뇌가 이러한 다양한 유형의 불확실성을 표현하는 방식은 명확한 신호와 불명확한 신호의 구체적인 조합에 따라 달라졌습니다. 제스처와 언어가 모두 모호할 때의 뇌 반응은 하나는 명확하고 다른 하나는 그렇지 않을 때의 반응과 달랐습니다. 신경 신호는 경직되고 변하지 않는 대본을 따르지 않았습니다. 대신, 뇌는 상황의 구체적인 요구에 맞춰 실시간으로 활동을 재구성했습니다. 이러한 유연성은 뇌가 단순히 정보가 도착하기를 수동적으로 기다리며 불확실성을 줄이는 것이 아니라, 대화가 전개됨에 따라 불확실성을 다루는 방식을 능동적으로 재구조화하고 있음을 나타냅니다.

연구진은 또한 통계 모델을 사용하여 이 세 계산 수준이 깊이 연결되어 있음을 보여주었습니다. 뇌가 중간 수준에서 불확실성을 변형하는 방식은 마지막 수준에서 신호를 수렴하는 방식과 직접적으로 연결되어 있었습니다. 이 연결은 고정되어 있지 않았으며, 제스처와 언어 중 어느 쪽이 더 명확한 신호인지에 따라 변화했습니다. 이 발견은 뇌가 서로 다른 수준의 처리가 끊임없이 영향을 주고받는 통일된 계층적 시스템으로서 작동한다는 아이디어를 뒷받침합니다. 이 연구는 다중 양식(multimodal) 이해가 단순히 답이 명백해질 때까지 증거를 축적하는 문제가 아니라는 점을 입증합니다. 대신, 뇌가 고립된 감각에서 공유된 통합된 의미로 이동함에 따라 불확실성을 정교하게 재구성하며 그 계산적 형태를 변화시킨다는 것을 시사합니다.

이 연구는 정보가 여러 소스로부터 들어올 때 우리가 세상을 어떻게 이해하는지에 대한 새로운 틀을 제공합니다. 이는 뇌가 세상을 이해하는 능력이 단순히 불확실성을 줄이는 것이 아니라, 불확실성을 변형하는 능력에 달려 있다는 것을 시사합니다. 연구 결과는 다중 양식 이해가 증거가 축적됨에 따라 불확실성의 크기가 변하는 것과 동시에, 불확실성의 계산적 형태가 변형되는 과정을 포함한다는 점을 시사합니다. 불확실성이 계산 수준에 따라 그 성격이 변한다는 점을 인식함으로써, 과학자들은 뇌가 파편화되고 모호한 신호로부터 어떻게 일관된 현실을 구축하는지 더 잘 이해할 수 있습니다. 이 연구는 인간 의사소통의 복잡한 메커니즘을 엿보게 하며, 이해로 가는 길이 의심이 감소하는 직선이 아니라 재구성과 적응의 역동적인 여정임을 밝혀줍니다.