Semantic Information Orthogonal to Visual Features Peaks in LateralOccipitotemporal Cortex

본 연구는 7T fMRI 데이터를 활용하여 언어 모델 임베딩에서 시각적 특징의 영향을 제거한 결과, 배측 시각 경로보다 측두엽 후두엽 외측 영역 (특히 신체 지각 영역) 에서 시각과 독립적인 의미 정보가 더 강하게 표현됨을 규명했습니다.

핵심

🧠 핵심 아이디어: 뇌는 '모양'과 '의미'를 어떻게 구분할까?

우리의 뇌, 특히 시각을 담당하는 부분은 마치 거대한 도서관 같습니다.

• 시각적 특징 (모양): 사물이 어떤 색인지, 어떤 선으로 이루어졌는지 등 '눈에 보이는 외형'입니다.
• 의미 (Semantic): 그 사물이 '무엇을 의미하는지', 어떤 이야기를 담고 있는지 등 '개념'입니다.

예를 들어, **'의사'**라는 사람을 봤을 때, 뇌는 "흰 가운을 입고 있고, 키가 크고, 얼굴이 이렇다"라는 시각적 정보와 동시에 "아, 이 사람은 병원에서 환자를 치료하는 전문가구나"라는 의미 정보를 처리합니다.

기존 연구들은 "뇌가 언어 (의미) 와 시각 (모양) 을 모두 잘 처리한다"는 건 알았지만, **"의미 정보가 정말 시각적 정보와 완전히 별개일까? 아니면 단순히 모양을 더 잘 설명하는 언어일 뿐일까?"**를 구분하지 못했습니다. 마치 "이 책의 내용이 정말 새로운 이야기인가, 아니면 단순히 그림을 더 자세히 설명한 글인가?"를 구분하지 못하는 것과 같습니다.

🔍 이 연구가 한 일: '의미'만 남기는 마법 안경

연구팀은 아주 똑똑한 방법을 썼습니다. 바로 **'시각적 정보를 제거하는 안경'**을 끼고 뇌를 관찰한 것입니다.

1. 준비: 사람들이 자연스러운 장면 (사과, 개, 사람 등) 을 보는 뇌 스캔 데이터 (fMRI) 를 가져왔습니다.
2. 시각 제거: 컴퓨터가 "이 사물의 모양 (색깔, 선, 질감 등)"을 완벽하게 설명할 수 있는 데이터를 먼저 분석했습니다.
3. 마법 (잔여 분석): 이제 언어 모델 (AI) 이 설명한 '의미'에서, 컴퓨터가 이미 설명한 '시각적 정보'를 완전히 빼버렸습니다.
   • 비유: "사과"라는 단어에서 "빨간색, 둥글다, 매끄럽다"라는 시각적 설명을 다 지우고, "건강에 좋다", "과일이다", "상징적이다" 같은 순수한 '의미'만 남긴 것입니다.
4. 관찰: 이렇게 순수하게 '의미'만 남은 데이터를 뇌에 다시 적용해, 뇌의 어떤 부분이 반응하는지 확인했습니다.

🏆 발견된 놀라운 사실: '몸'을 다루는 뇌 부위가 가장 특별하다!

결과적으로, 뇌의 여러 부분 중 가장 순수한 '의미' 정보를 많이 담고 있는 곳은 의외의 곳이었습니다.

• 기대했던 곳 (배쪽 경로): 얼굴을 보는 곳 (FFA), 장소를 보는 곳 (PPA) 등.
  • 결과: 이곳들은 여전히 '의미'를 어느 정도 처리하지만, 그중 상당수가 사실은 '모양'과 섞여 있었습니다.
• 실제 주인공 (옆쪽 경로 - EBA): **몸 (Body) 을 인식하는 뇌 부위 (EBA)**입니다.
  • 결과: 이곳이 가장 강력하게 '시각적 정보와 무관한 순수 의미'를 처리하고 있었습니다.
  • 비유: 다른 뇌 부위가 "저 사람은 흰 가운을 입었네 (모양)"라고 생각한다면, 이 부위는 "저 사람은 환자를 돕는 의사야 (사회적 역할, 의미)"라고 생각한다는 뜻입니다.

💡 왜 하필 '몸'을 보는 부위일까요?

연구팀은 이를 이렇게 설명합니다.

• 몸은 단순한 모양이 아닙니다. 우리가 사람을 볼 때, 단순히 "팔이 있고 다리가 있다"는 모양만 보는 게 아니라, "그 사람이 나를 도와주려는 건가?", "싸우려는 건가?" 같은 사회적 관계와 행동의 의미를 즉각적으로 파악합니다.
• 이 연구는 **EBA(몸 인식 부위)**가 단순히 '몸의 모양'을 그리는 화가 역할이 아니라, 사람 간의 관계와 행동을 해석하는 통역사 역할을 하고 있음을 증명했습니다.

🚫 검증: 정말로 시각 정보를 뺀 걸까?

연구팀은 이 방법이 진짜로 시각 정보를 잘 뺐는지 확인하기 위해 **초기 시각 피질 (V1, 눈 바로 뒤의 뇌)**을 확인했습니다.

• 예상: 시각 정보를 다 뺀 '의미' 데이터는, 모양만 보는 초기 뇌 부위에게 전혀 도움이 안 되어야 합니다. 오히려 방해가 되어야 합니다.
• 결과: 맞았습니다! 초기 뇌 부위는 이 데이터에 대해 **반응이 마이너스 (-)**로 나타났습니다.
  • 비유: "이건 그림이 아니야!"라고 뇌가 부정하는 것입니다. 이는 연구팀이 시각 정보를 정말 깔끔하게 제거했다는 강력한 증거가 되었습니다.

📝 한 줄 요약

"우리의 뇌, 특히 '몸'을 인식하는 부위는 사물의 '모양'을 넘어서, 그 사람이 무엇을 의미하는지 (사회적 역할, 행동) 를 순수하게 이해하는 고도의 의미 처리 센터였습니다."

이 발견은 우리가 세상을 볼 때, 단순히 눈으로 보는 것을 넘어 뇌가 얼마나 깊고 복잡한 사회적 의미를 즉각적으로 이해하고 있는지를 보여줍니다. 마치 우리가 그림을 볼 때, 단순히 색칠된 종이가 아니라 그 안에 담긴 '이야기'를 읽는 것과 같습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 기존 연구의 한계: 최근 대규모 언어 모델 (LLM) 임베딩이 인간의 고위 시각 피질의 fMRI 반응을 예측하는 데 성공했다는 연구들이 있었습니다. 그러나 이러한 정렬 (alignment) 이 진정으로 시각과 독립적인 의미 (semantic) 내용을 반영하는 것인지, 아니면 언어 모델이 복잡한 시각적 특징을 더 잘 모방하기 때문인지 명확하지 않았습니다.
• 핵심 질문: 저수준 및 중수준 시각적 특징 (visual features) 의 영향을 제거한 후, 시각 피질 내에서 시각과 독립적인 의미 정보가 가장 집중되어 있는 영역은 어디인가? 이는 기존의 배측 (ventral) 스트림 위계 구조 (FFA, PPA 등) 에 의해 예측되는 위치와 일치하는가?
• 논쟁의 대상: 외측 후두 - 측두 피질 (Lateral Occipitotemporal Cortex, LOTC) 에 위치한 신체 선택적 영역 (EBA) 은 전통적으로 형태와 자세를 인식하는 '지각적' 영역으로 간주되어 왔으나, 최근 연구들은 이것이 고차원적 의미 처리에도 관여할 가능성을 시사했습니다. 하지만 시각적 특징을 통제하지 않은 상태에서는 이를 입증할 수 없었습니다.

2. 방법론 (Methodology)

이 연구는 Natural Scenes Dataset (NSD) 의 7T fMRI 데이터를 활용하여 다음과 같은 방법론을 적용했습니다.

• 데이터: 8 명의 피험자가 MS-COCO 이미지 집합을 보며 촬영된 7T fMRI 데이터.
• 특징 추출 (Feature Extraction):
  • 시각적 특징: Gabor 필터 뱅크 (L1) 와 VGG19 의 전이 학습된 심층 특징 (L2) 을 결합하여 시각적 표현을 구성.
  • 언어적 특징: 이미지 캡션과 카테고리 라벨을 BERT, GPT-2, CLIP-text 등 3 가지 언어 모델로 임베딩.
• 핵심 기법: 시각적 잔차화 (Visual Residualisation):
  • 언어 모델 임베딩에서 시각적 특징으로 설명 가능한 선형 변동을 제거 (regression) 하여 시각과 직교하는 의미 성분 (visually-independent semantic content) 만을 추출했습니다.
  • 이는 단순히 뇌 반응의 분산을 분할하는 기존 방법 (Banded Ridge Regression) 과 달리, 표현 자체 (representation) 에서 시각적 노이즈를 제거하여 순수한 의미 성분을 분리하는 접근법입니다.
• 인코딩 모델: 잔차화된 언어 임베딩을 사용하여 개별 볼륨 (voxel) 의 fMRI 반응을 예측하는 크로스 밸리데이션 리지 회귀 (Ridge Regression) 모델을 구축.
• 검증: 6 가지 조합 (3 가지 언어 모델 × 2 가지 시각적 특징 세트) 을 통해 아키텍처 독립성을 검증하고, 초기 시각 피질 (V1 등) 에서의 음수 예측을 내부 통제군으로 활용했습니다.

3. 주요 결과 (Key Results)

A. 측방 (Lateral) vs 배측 (Ventral) 의 분해 (Dissociation)

• EBA 의 우세: 시각적 특징을 제거한 후에도 외측 후두 - 측두 피질 (특히 EBA) 에서 가장 강력한 시각 독립적 의미 신호가 관측되었습니다.
  • EBA 의 $R^2_{wiped}$ (시각 제거 후 설명 분산) 은 양 (Right) Hemisphere 에서 0.0392, 좌 (Left) Hemisphere 에서 0.0282 로 나타났습니다.
  • 이는 얼굴 선택적 영역 (FFA) 이나 장소 선택적 영역 (PPA, RSC) 보다 훨씬 높은 수치입니다.
• 비율 차이: EBA 에서 총 설명 가능 분산 중 약 17-19% 가 시각과 무관한 의미 정보인 반면, PPA 나 배측 스트림에서는 약 5% 에 불과했습니다 (약 3~4 배 차이).

B. 초기 시각 피질의 강력한 음수 신호 (Negative Control)

• V1/V2 등 초기 시각 피질은 잔차화된 언어 임베딩에 대해 강력한 음수 예측 ($R^2_{wiped} < 0$) 을 보였습니다.
• 이는 시각적 특징이 제거된 언어 임베딩이 초기 시각 피질이 반응하는 시각적 구조와 정반대 (anti-predict) 라는 것을 의미하며, 잔차화 과정이 시각적 신호를 성공적으로 제거했음을 검증하는 강력한 내부 통제 결과입니다.

C. 아키텍처 불변성 (Architecture Invariance)

• 모델 간 일관성: BERT, GPT-2, CLIP-text 등 3 가지 언어 모델과 다양한 시각 특징 세트 (VGG19, ResNet, CLIP-visual 등) 를 조합한 6 가지 조건 모두에서 동일한 결과가 재현되었습니다.
• GPT-2 의 중요성: 시각적 훈련 데이터가 전혀 없는 GPT-2 에서도 동일한 측방 - 배측 분리가 관찰되어, 이 현상이 단순한 훈련 데이터의 편향 (bias) 이 아님을 입증했습니다.
• 모델 순서: GPT-2 > BERT > CLIP-text 순서로 잔차 분산이 감소했는데, 이는 각 모델의 시각적 기반 (visual grounding) 정도와 일치하여 파이프라인의 타당성을 검증했습니다.

D. 부가적 발견 (VWFA-2)

• 왼쪽 VWFA-2(단어 선택적 영역) 도 EBA 와 유사한 수준의 시각 독립적 의미 비율 (약 17%) 을 보였으나, 이는 탐색적 발견으로 해석됩니다.

4. 주요 기여 (Key Contributions)

1. 방법론적 혁신: 언어 모델 임베딩에서 시각적 특징을 명시적으로 제거 (residualisation) 하여, 시각 피질 내 '순수 의미' 코딩을 직접적으로 측정하는 새로운 프레임워크를 제시했습니다.
2. EBA 의 재해석: EBA 가 단순한 신체 형태 인식 영역을 넘어, 사회적 관계나 행동 관련 고차원적 의미 정보를 시각적 특징과 독립적으로 인코딩하는 핵심 영역임을 입증했습니다.
3. 시각 - 의미 경계의 규명: 시각 피질 내에서 의미 정보가 시각적 특징과 분리되어 존재하는 영역 (측방 스트림) 과 그렇지 않은 영역 (배측 스트림, 초기 시각 피질) 이 명확히 구분됨을 보였습니다.

5. 의의 및 결론 (Significance)

• 인지 신경과학적 함의: 인간의 시각 시스템은 단순히 사물이 '어떻게 보이는지' (visual features) 만을 인코딩하는 것이 아니라, 시각적 특징과 무관한 의미 구조 (semantic structure) 를 측방 후두 - 측두 피질 (특히 EBA) 을 통해 처리함을 시사합니다. 이는 EBA 가 사회적 상호작용 인식 및 행동 이해에 관여한다는 기존 가설을 지지합니다.
• 모델링의 발전: 기존의 시각적 특징 기반 인코딩 모델은 측방 영역의 예측 한계를 설명하지 못했습니다. 언어 모델의 잔차 정보를 통합함으로써 뇌 활동 예측 정확도를 획기적으로 높일 수 있음을 보였습니다.
• 이론적 확장: 시각 피질의 의미적 튜닝이 단순한 시각적 추상화의 결과라기보다는, 다중 감각적 (amodal) 정보 처리와 밀접하게 연관되어 있을 가능성을 제시합니다.

이 연구는 시각과 언어의 신경적 연결이 단순한 겹침이 아니라, 특정 뇌 영역 (EBA 등) 에서 시각적 특징과 독립적으로 조직화된 의미 코딩을 수행하고 있음을 체계적으로 입증한 중요한 성과입니다.