What Makes Linguistic Representations Good Models of High-Level Visual Perception in the Human Brain?

문제 정의
최근 연구들은 대규모 언어 모델(LLM)로 표현된 이미지 설명(캡션)이 인간 뇌의 고차원 시각 영역에서의 신경 반응을 예측할 수 있음을 입증하며, 시각적 지각이 오직 엄격한 시각적 특징에만 의존한다는 관점에 도전하고 있다. 그러나 이러한 뇌 예측성을 주도하는 구체적인 요인이 무엇인지는 여전히 불분명하다. 성능이 캡션의 의미론적 내용(semantic content)에 의한 것인지, 텍스트의 유창성과 상세함에 의한 것인지, 혹은 캡션을 임베딩하는 데 사용된 특정 언어 모델 아키텍처에 의한 것인지가 불확실하다. 더욱이, 기존 연구들은 MS COCO 데이터셋의 인간 주석 캡션에만 전적으로 의존해 왔는데, 이 캡션들은 대개 짧고 크라우드워커에 의해 제공되어 언어적 표현의 품질을 제한했을 가능성이 있다. 본 연구는 다양한 시각-언어 모델(VLM)로 생성된 캡션 내용의 변화와, 캡션을 임베딩하는 데 사용된 언어 모델의 변화가 뇌 예측성 및 행동 정렬(behavioral alignment)에 어떻게 영향을 미치는지 체계적으로 조사하고자 한다.

연구 방법론
저자들은 8명의 참가자가 MS COCO 데이터셋에서 추출한 906개의 자연스러운 이미지를 보는 동안 측정된 고해상도 fMRI 반응을 포함하는 Natural Scenes Dataset (NSD)을 활용하였다. fMRI 스캔 중 참가자들에게 이미지 설명은 제시되지 않았다.

1. 캡션 생성: 각 906개 이미지에 대해, 저자들은 다섯 가지 오픈 소스 시각-언어 모델(VLM)인 LLaVA OneVision, Phi-4, Pixtral, Qwen2.5-VL, Molmo를 사용하여 여러 개의 캡션을 생성하였다. 이를 기존의 인간 주석 MS COCO 캡션과 비교하였다. 생성된 캡션은 길이, 유창성(퍼플렉시티로 측정), 시각성(Lancaster Sensorimotor Norms 기반), 그리고 어휘 밀도 측면에서 체계적으로 차이를 보였다.
2. 임베딩 생성: 시각 정보가 언어적 표현을 "오염"시키는 것을 방지하기 위해, 각 캡션은 다섯 가지 서로 다른 텍-전용 언어 모델(LM)을 사용하여 임베딩되었다. 사용된 LM은 다음과 같다:
   • 초기 마스크 언어 모델 (BERT).
   • 두 가지 자기회귀 모델 (GPT-2, Llama3.1).
   • 의미론적 작업에 미세 조정된 최신 텍스트 임베더 두 가지 (Qwen3 Embedding, KaLM Embedding).
     임베딩은 이 모델들의 모든 레이어에서 추출되었다.
3. 평가 지표:
   • 뇌 인코딩 (Brain Encoding): 얼굴 선택적, 신체 선택적, 장소 선택적 영역인 세 가지 기능적 국소화 관심 영역(ROI)에서의 신경 활성화를 예측하기 위해 복셀 단위의 정규화 선형 회귀(Ridge regression)를 학습시켰다. 성능은 예측된 활성화와 관찰된 활성화 사이의 피어슨 상관계수로 측정되었다.
   • 뇌 정렬 (Brain Alignment): 표현 불일치 행렬(RDM) 간의 Spearman 상관계수를 계산하기 위해 표현 유사성 분석(RSA)을 사용하였다. RDM은 캡션 임베딩과 신경 활성화로부터 도출되었다.
   • 행동 정렬 (Behavioral Alignment): RSA를 적용하여 캡션 임베딩과 동일한 NSD 참가자들로부터 수집된 인간의 이미지 유사성 판단을 비교하였다.
   • 고유 차원 (Intrinsic Dimensionality): 모델 레이어 간의 정보 압축을 분석하기 위해 일반화된 비율 고유 차원 추정기(GRIDE)를 사용하였다.

주요 결과

• 기계 생성 캡션 vs. 인간 주석: 기계 생성 캡션은 신경 활성도를 유의미하게 예측하였으며, 종종 이전 연구에서 사용된 인간 주석 MS COLO 캡션보다 높은 성능을 보였다. 특히 Qwen2.5-VL, Pixtral, Molmo로 생성된 캡션이 가장 높은 예측성을 보였다. 저자들은 MS COCO 캡션의 낮은 성능이 부분적으로 낮은 유창성과 짧은 길이에 있다고 보았으며, 여러 개의 MS COCO 캡션을 평균 내는 것이 단일 기계 생성 캡션의 성능과 일치하도록 개선됨을 주목했다.
• 언어 모델의 영향: 텍스트 임베더(Qwen3, KaLM)는 뇌 예측성과 행동 정렬 모두에서 자기회귀 LM(GPT-2, Llama3) 및 BERT보다 일관되게 우수한 성능을 보였다. 이는 주로 다음 토큰 예측을 위해 학습된 모델보다 의미론적 표현을 위해 명시적으로 미세 조정된 모델이 뇌와 관련된 정보를 더 효과적으로 포착함을 시사한다.
• 레이어별 분석: 뇌 예측성과 행동 정렬 모두 높은 고유 차원 단계 직후인 중간 네트워크 깊이에서 정점을 찍었다. 이 높은 차원 단계는 추상적인 구문 및 의미 구조가 출현하는 시점으로 이론화된다.
• ROI에서의 해리 (Dissociation): 레이어별 정렬에서 "이중 해리"가 관찰되었다. 얼굴 및 신체 선택적 ROI와의 정렬은 중간 레이어에서 정점을 찍고 후기 레이어로 갈수록 감소한 반면, 장소 선택적 ROI와의 정렬은 가장 깊은 레이어에서 급격히 증가했다. 이는 서로 다른 언어적 정보가 이러한 별개의 시각 영역의 유사성 패턴을 모델링하는 데 필요함을 시사한다.
• 행동적 우월성: 텍스트 임베더를 사용한 기계 생성 캡션의 임베딩은 최첨단 비전 모델(ResNet-50 및 ViT)에서 추출한 이미지 특징보다 인간의 이미지 유사성 판단과 더 높은 정렬을 달로 성취하였다.

의의 및 주장
본 논문은 이미지 캡션의 내용과 이를 표현하는 데 사용되는 특정 언어 모델 모두가 뇌 및 행동 모델링 성능의 결정적인 요소임을 확립한다고 주장한다. 저자들은 캡션 임베딩이 높은 정확도로 신경 활동과 인간의 유사성 판단을 예측할 수 있는, 고차원 시각 지각 연구를 위한 유용한 도구임을 입증하였다.

결정적으로, 본 연구는 언어적 표현의 뇌 예측성이 단순히 시각 정보 누출(visual information leakage)의 부산물이 아니라, 텍스트의 의미론적 특성에 의해 주도된다는 점을 시사한다. 텍스트 임베더가 자기회귀 모델보다 우수하다는 발견은 문장 수준의 의미를 표현하는 능력이 시각적 지각을 모델링하는 데 있어 매우 중요하다는 것을 나타낸다. 또한, 고유 차원 분석은 추상적 언어 구조의 출현(고유 차원의 정점으로 신호됨)이 인간의 뇌 활동을 가장 잘 예측하는 특정 단계라는 증거를 제공한다. 마지막으로, 본 연구는 NSD 유사성 판단에 대한 첫 번째 분석을 제공하며, 언어적 표현이 시각적 특징보다 인간이 인지하는 유사성을 더 잘 모델링할 수 있음을 밝혀내어, 언어와 시각적 지각 사이의 깊은 상호작용을 강조한다.