🧠 neuroscience

Inner visual experience biases object neural representational geometry during perceptual encoding

본 연구는 아판타시아(aphantasia)의 존재 여부로 입증되는 주관적 심상 경험이 지각적 인코딩 과정 중 신경 객체 표상의 기하학적 구조에 편향을 일으키며, 구체적으로 언어적 관계 정렬은 보존하면서 좌측 외측 후두측두엽의 시각적 유사성 정렬을 감소시킨다는 점을 입증함으로써, 지각과 심상이 단일한 체계가 아닌 이질적인 신경 코드에 의존함을 시사한다.

원저자: Tian, S., Mao, X., Wang, D.-H., Wang, X., Bi, Y.

게시일 2026-07-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tian, S., Mao, X., Wang, D.-H., Wang, X., Bi, Y.

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신의 뇌를 초고성능 도서관이라고 상상해 보세요. 수십 년 동안 과학자들은 이 도서관에 '상상 구역(Imagination Wing)'과 '지각 구역(Perception Wing)'이라는 특별한 구역이 있으며, 이 두 곳이 놀라울 정도로 유사하다는 사실을 알고 있었습니다. 당신이 고양이 사진을 볼 때, 당신의 뇌는 특정한 방식으로 빛을 발합니다. 눈을 감고 고양이를 떠올리려고 노력할 때도, 그 똑같은 불빛들이 다시 깜빡거리며 켜지는 경우가 많습니다. 이는 보는 것과 상상하는 것이 기본적으로 같은 과정을 수행하되, 단지 서로 다른 트랙 위에서 달리고 있을 뿐이라고 믿게 만들었습니다. 하지만 여기 미스터리가 있습니다. 만약 이 구역들의 선반 위에 놓인 '책'들이 사람마다 다르게 정리되어 있다면 어떨까요? 어떤 사람들은 상상할 때 매우 생생한 마음속 영화를 경험하는 반면, '아판타시아(무시각증)'라고 불리는 집단은 무언가를 시각화하려고 할 때 머릿속이 완전히 빈 상태라고 보고합니다. 그들은 고양이를 완벽하게 묘사할 수는 있지만, 마음의 눈으로 고양이를 '볼' 수는 없습니다. 여기서 큰 질문은, 이러한 상상의 차이가 그들이 실제 사물을 보고 있을 때조차 정보를 조직하는 방식에 변화를 주느냐 하는 것입니다. 아니면 그들의 뇌 도서관은 완벽히 정상인데, 오직 '상상 구역'에만 불빛 몇 개가 빠져 있는 것일까요?

연구팀은 이 수수께끼를 풀기 위해 상상력이 있는 사람과 없는 사람의 뇌 속을 들여다보기로 했습니다. 그들은 참가자들이 동물의 사진과 물체를 보고, 그것들을 기억하려고 노력하는 동안의 뇌를 관찰하기 위해 fMRI라는 첨단 카메라를 사용했습니다. 그들은 단순히 뇌의 어느 부분이 활성화되는지만 본 것이 아니라, 정보가 어떻게 배열되는지를 살펴보았습니다. 이것은 마치 사서가 책을 색깔별로, 저자별로, 혹은 이야기 내용에 따라 분류하는지 확인하는 것과 같습니다. 연구진은 뇌의 '분류 방식'을 두 가지 청사진과 비교했습니다. 하나는 외형적 유사성(시각적 유사성)에 기반한 것이고, 다른 하나는 언어적 관계(언어로 기술된 내용)에 기반한 것이었습니다.

그들이 발견한 결과는 다음과 같으며, 이는 약간의 반전이 있습니다. 첫째, 두 집단 모두 기억 과제를 똑같이 잘 수행할 수 있음을 확인했습니다. 마음속으로 고양이를 볼 수 있든 없든, 당신의 뇌는 고양이와 배를 완벽하게 구분해 낼 수 있습니다. 하지만 그들의 뇌가 정보를 조직하는 방식은 달랐습니다. 생생한 이미지를 가진 사람들의 경우, 뇌의 '지각 구역'(구체적으로 좌측 측두후두 피질)은 주로 사물이 어떻게 보이는가에 따라 분류되었습니다. 그것은 마치 책들이 표지 디자인에 따라 배열된 도서관과 같았습니다. 그러나 아판타시아를 가진 사람들에게는 이 '표지 디자인' 방식의 분류가 현저히 약했습니다. 그들의 뇌는 단순히 물체를 보고 있을 때조차 시각적 유사성에 덜 집중했습니다.

흥로하게도, 두 집단 모두 매우 강력한 '언어적 분류' 시스템을 가지고 있었습니다. 그들의 뇌는 우리가 사물에 대해 말하는 방식과 우리가 사용하는 단어들을 바탕으로 사물을 조직했는데, 이는 그들이 대상을 상상할 수 있는지 여부와 상관없이 나타났습니다. 이 언어 기반의 조직화는 두 집단 모두에게서 매우 견고하게 나타났으며, 신뢰할 수 있는 백업 시스템 역할을 했습니다. 이 연구는 생생한 정신적 이미지를 가질 수 있는 능력이 단순히 무언가를 본 후에 일어나는 파티 기술이 아니라, 실제로 우리가 사물을 보고 있는 동안 시각적 세계를 조직하는 방식과 연결되어 있다는 점을 시사합니다. 만약 당신에게 마음속 영화가 없다면, 당신의 뇌는 처음부터 '그림 카탈로그'보다는 '단어 카탈로그'에 더 많이 의존할 수도 있습니다.

연구진은 또한 과제의 상상 단계에서 어떤 일이 일어나는지도 살펴보았습니다. 그들은 상상이 가능한 사람들의 경우, 뇌의 '시각적 분류' 강도가 그들이 느끼는 정신적 이미지의 생생함과 일치한다는 것을 발견했습니다. 이미지가 더 생생할수록 시각적 패턴도 더 강해졌습니다. 반면 아판타시아를 가진 사람들에게는 이 시각적 패턴이 거의 존재하지 않았습니다. 이는 보는 것과 상상하는 것의 차이가 단순히 특정 '상상실'에서 스위치가 켜지거나 꺼지는 문제가 아님을 시사합니다. 대신, 도서 전체의 조직 방식이 미묘하게 다릅니다. 아판타시아를 가진 사람의 뇌는 사물에 대한 지식을 구축할 때 다른 청사진을 사용하는 것처럼 보입니다. 즉, 생생한 정신적 이미지를 가진 사람들을 안내하는 순수한 시각적 기하학보다는 언어와 의미에 훨씬 더 많이 의존하는 방식입니다. 이는 두 사람이 똑같은 세상을 바라보더라도, 비록 결과적으로 일을 완벽하게 해낸다 하더라도, 근본적으로 서로 다른 방식으로 세상을 처리할 수 있다는 사실을 상기시켜 줍니다.

기술 요약: 내적 시각 경험이 지각 인코딩 중 객체 신경 표상 기하학에 미치는 편향

문제 및 동기
수십 년간의 연구는 시각적 지각과 시각적 정신적 이미지(mental imagery) 사이에 상당한 신경학적 중첩이 존재함을 입립해 왔으며, 특히 복측 후두측두엽 피질(VOTC)에서 그러하다. 기존의 관점은 이러한 과정들이 공통된 신경 코드를 기반으로 한다고 가정한다. 그러나 이러한 중첩은 주로 공유된 활성화나 교차 디코딩 정확도를 통해 입증되어 왔으며, 이는 밑바탕에 깔린 신경 표상의 구체적인 내용과 기하학적 구조에는 무관심한 방식이다. 핵심적인 질문은 다음과 같다: 주관적인 이미지 경험이 초기 지각 인코딩 단계에서도 객체 표상의 조직화에 영향을 미치는가?

이를 해결하기 위해 저자들은 선천적 아판타시아(aphantasia, 시각적 이미지를 의식적으로 떠올리지 못하는 상태)를 객체 지식과 이미지 경험을 분리할 수 있는 자연 실험 모델로 활용하였다. 이전 연구들은 아판타시아가 주로 이미지 특유의 과정(예: 특정 노드에서의 지각-이미지 유사성 감소)에 영향을 미친다고 제안했으나, 최근의 증거들은 지각 표상 자체도 다를 수 있음을 시사하고 있다. 본 연구는 시각적 이미지 경험의 부재가 지각 중 객체의 표상 기하학을 변화시키는지 조사하며, 특히 아판타시아의 신경 표상이 시각적 유사성 구조보다는 언어 유래의 의미론적 구조에 더 많이 의존하는지를 테스트한다.

연구 방법론
본 연구는 fMRI를 이용한 역방향 단서(retro-cue) 시각 작업 기억 패러다임을 사용하여 두 집단을 비교하였다: 선천적 아판타시아 환자군( $N=17$ )과 일반 시각화자(typical visualizers) 군( $N=22$ ). 참가자들은 객체 이미지 쌍을 보았고(지각 단계), 특정 객체를 시각화하라는 단서를 받았으며(이미지 단계), 그 후 인식 과제를 수행하였다.

분석 파이프라인은 세 가지 주요 단계로 구성되었다:

공유 표상의 국소화: 객체 도메인에 대해 성공적인 교차 단계 디코딩(지각에서 훈련하여 이미지에 테스트, 혹은 그 반대)을 보이는 영역을 식별하기 위해 전뇌 서치라이트(searchlight) 지원 벡터 머신(SVM) 디코딩을 수행하였다. 이를 통해 양측 VOTC, 후측 중측두회(pMTG), 우측 하전두회(IFG)에서의 관심 영역(ROI)을 식별하였다.
표상 유사성 분석(RSA): 이 ROI 내에서 저자들은 선형 혼합 효과 모델을 사용하여 멀티모달 딥 뉴럴 네트워크(CLIP)로부터 유도된 참조 기하학에 신경 표상 비유사성 행렬(RDM)을 적합시켰다. CLIP 모델은 두 가지 뚜렷한 참조 공간을 제공하였다:
- 이미지 인코더 RDM: 시각적 유사성에 정렬된 기하학을 포착한다.
- 텍스트 인코더 RDM: 언어 관계에 정렬된 기하학을 포착한다.
  분석은 고유한 기여도를 격리하기 위해 다른 양상(modality)의 영향을 통제하였다.
모델 비교: 서로 다른 네트워크 층에서 단일 양상 모델(DINOv2, RoBERTa)과 멀티모달 CLIP 인코더의 설명력을 비교하여, 다양한 인지 상태에서 멀티모달 정렬의 역할을 평가하였다.

주요 결과

행동 수행 능력: 두 집단 모두 작업 기억 과제에서 유사한 정확도와 반응 시간을 보였으며, 이는 시각적 이미지의 부재가 기본적인 객체 인식이나 작업 기억 수행 능력을 저해하지 않음을 나타낸다.
지각 인코딩 기하학:
- 시각화자: 양측 VOTC 및 좌측 측두후엽(LOTC)에서 CLIP 이미지 인코더(시각적 유사성 기하학)와 유의미한 고유 정렬을 보였다.
- 아판타시아 환자: 지각 중 좌측 LOTC에서 이미지 인코더 기하학과의 고유한 정렬이 유의미하게 감소한 모습을 보였다. 그러나 두 집단 모두 양측 푸르킨예 구역(fusiform gyrus, FG), pMTG, 우측 IFG에서 CLIP 텍스트 인코더(언어 관계 기하학)와는 유사하고 견고한 고유 정렬을 나타냈다.
- 상호작용: 이미지 인코더 효과에 대한 집단 간 유의미한 상호작용이 발견되었으며, 이는 시각적 정렬 기하학의 감소가 아판타시아 집단에 특이적임을 확인해 준다.
이미지 단계 기하학: 이미지 단계에서 이미지 인코더 기하학과의 고유 정렬은 집단 수준에서 두 집단 간 유의미한 차이가 없었다. 그러나 모든 참가자에 걸쳐, 좌측 LOTC에서의 이 정렬 강도는 주관적 이미지 생생함(VVQI) 점수와 정적 상관관계를 보였다.
모델 비교: 지각 단계에서는 단일 양상 모델(DINOv2, RoBERTa)이 멀티모달 CLIP 모델만큼 또는 그보다 더 잘 신경 변량을 설명하는 경우가 많았다. 반면, 이미지 단계에서는 멀티모달 CLIP 인코더가 단일 양상 모델에 비해 상대적인 우위를 보였으며, 이는 직접적인 감각 입력 없이 표상을 재구성할 때 멀티모달 정렬이 더 중요해짐을 시사한다.

의의 및 주장
본 논문은 주관적인 이미지 경험이 단순히 온전한 객체 표상의 부산물이 아니라, 지각과 이미지 양 단계 모두에서 객체의 신경 표상 기하학과 근본적으로 연관되어 있다고 주장한다.

지각은 불변하지 않다: 본 연구는 지각적 표상이 이미지의 안정적이고 균일한 참조점 역할을 한다는 가설에 도전한다. 즉, "시각적" 성격의 지각 인코딩은 이미지 경험에 의해 조절된다. 이미지가 없는 사람들(아판타시아)은 이미지를 생성하기 전 단계인 지각 단계에서부터 시각적 유사성 정렬 기하학이 체계적으로 감소한 모습을 보인다.
공유 코드의 이질성: 교차 디코딩을 통해 "공유된" 지각-이미지 코드로 정의되는 영역들은 실제로는 이질적인 표상 기하학을 포함하고 있다. 아판타시아 환자에게서 나타나는 성공적인 교차 디코딩은 시각적 유사성 기하학이 약화된 상태에서도 보존된 언어 관계 정렬 기하학에 의해 뒷받침되는 것으로 보인다.
멀티모달 정렬의 역할: 이러한 결과는 복측 시각 경로가 여러 조직 원리를 통해 객체 지식을 인코딩함을 시사한다. 시각적 유사성 기하학은 이미지 경험에 민감한 반면, 언어 관계 기하학은 인구 집단과 인지 상태 전반에 걸쳐 견고하게 유지된다. 또한, 직접적인 감각 입력이 없는 상태에서 표상을 내부적으로 유지해야 할 때 멀티모달(시각-언어) 정렬에 대한 의존도가 높아진다.

결론적으로, 저자들은 지각과 이미지 사이의 "공유 신경 코드"가 단일한 형태가 아니라 이질적인 기하학들의 복합체이며, 시각적 유사성 구조의 발현은 주관적인 시각 이미지 능력과 직접적으로 연결되어 있다고 주장한다.

유사한 논문