기술 요약: 시각-언어 모델은 개념 처리 과정에서의 인간 신경 표상과 정렬된다

문제 정의

최근 연구들은 트랜스포머 기반의 시각-언어 모델(VLM)이 인간 뇌의 개념 처리 과정에서 나타나는 다중 양식성(multimodality)을 포착하고 있음을 시사한다. 그러나 다양한 VLM 아키텍처와 시각적 대 언어적 맥락의 구체적인 역할을 탐구하는 체계적인 평가는 부족한 실정이다. 기존 문헌들은 상충하는 결론을 제시한다: 일부 연구는 다중 양식의 이점을 나타내는 반면, 다른 연구들은 다중 양식 미세 조정(fine-tuning)이 언어 전용 모델이 보유한 인간 유사 정렬 특성을 해칠 수 있다고 제안한다. 또한, 이전 연구들은 추론 시 시각 정보에 접근하는 것의 이점과 사전 학습 단계에서 진정으로 인간과 유사한 다중 양식 표상을 학습하는 것 사이의 차이를 구분하지 못하는 경우가 많았다. 아울러, 대부분의 연구는 다중 양식/단일 양식의 이분법에 집중할 뿐, 특정 VLM 제품군(대조 학습형, 인코더형, 생성형) 간의 실질적인 차이는 간과한다.

방법론

저자들은 Pereira 등(2018)의 데이터셋에 포함된 인간 fMRI 데이터에 대해 6개의 VLM과 4개의 언어 전용 대응 모델을 포함한 총 10개의 모델을 체계적으로 비교하였다. 본 연구는 표현 유사도 분석(Representational Similarity Analysis, RSA)을 활용하여 모델의 표상과 180개 개념 단어에 대한 뇌 반응 사이의 정렬도를 측정하였다.

실험 조건:
본 연구는 맥락의 효과를 격리하기 위해 두 가지 별도의 조건을 평가하였다:

1. 문장 조건 (Sentence Condition): 개념 단어가 문장 내에서 제시되었다. 모델은 텍스트 전용 입력을 받았다 (LXMERT의 경우 아키텍처 요구 사항을 충족하기 위해 무작위 노이즈 이미지를 받음).
2. 이미지 조건 (Picture Condition): 개념 단어가 해당 개념을 설명하는 이미지와 함께 제시되었다. VLM은 텍스트와 이미지 입력을 모두 받았으며, 언어 전용 모델은 텍스트만 받았다.

모델 제품군:
연구는 세 가지 VLM 제품군과 그에 대응하는 언어 전용 모델을 다루었다:

• 대조 학습 모델 (Contrastive Models): CLIP, ALIGN.
• 시각-언어 인코더 (Vision-Language Encoders): VisualBERT, LXMERT.
• 생성형 VLM (Generative VLMs): IDEFICS2, LLaVA-NeXT.
• 언어 전용 대응 모델 (Language-Only Counterparts): BERT, Mistral, Llama3, GloVe.

평가 지표:

• RSA: 개념 표상(모델용)과 복셀 단위 fMRI 활성화(뇌용) 사이의 코사인 거리를 사용하여 표현 불일치 행렬(Representational Dissimilarity Matrices, RDMs)을 구축하였다. 정렬도는 모델 RDM과 뇌 RDM 사이의 스피어만 상관계수를 통해 정량화되었다.
• 뇌 네트워크 (Brain Networks): 분석은 좌반구 언어 네트워크(Language network)와 시각 네트워크(Visual network)에 집중되었다.
• 절제 연구 (Ablation Studies):
  • 부분 상관관계 (Partial Correlation): VLM의 정렬이 언어 전용 대응 모델과 공유되는 정보에서 기인하는지, 아니면 다중 양식 사전 학습에서 기인하는지 결정하기 위해, 언어 전용 모델과 공유되는 정보를 제거한 부분 상관관계를 계산하였다.
  • 입력 제어 (Input Control): 이미지 조건에서, 저자들은 추론 시의 맥락에 의한 정렬인지 사전 학습에 의한 정렬인지를 구분하기 위해 VLM을 텍스트 전용 입력(이미지 없음)으로 테스트하였다.

주요 결과

1. 일반적인 VLM의 우위:
VLM은 두 실험 조건 모두에서 두 뇌 네트워크에 걸쳐 언어 전용 모델보다 전반적으로 우수한 성능을 보였다. 이는 VLM이 인간과 유사한 개념 처리를 성공적으로 모델링하고 있음을 시사한다.

2. 아키텍처별 성능:

• 시각-언어 인코더: VisualBERT 및 LXMERT와 같은 모델은 일관되게 가장 높은 뇌 정렬도를 보였으며, 종종 더 강력한 생성형 VLM보다 뛰어난 성능을 보였다.
• 생성형 VLM: 다운스트림 작업에서는 탁월한 성능을 보임에도 불구하고, 생성형 모델(IDEFICS2, LLaVA)은 인코더에 비해 낮은 뇌 정렬도를 보였다. 문장 조건에서 이들은 언어 전용 모델(Mistral, Llama3)보다 유의미하게 낫지 않았다.
• 대조 학습 모델: CLIP과 ALIGN은 중간 정도의 정렬도를 보였는데, 이미지 조건에서는 잘 수행되었으나 문장 조건에서는 인코더에 비해 고전하였다.

3. 맥락 및 사전 학습 통찰 (절제 연구):

• 정렬의 원천: 부분 상관관계 분석 결과, LXMERT와 IDEFICS2의 경우 뇌 정렬이 다중 양식 사전 학습 중에 인간과 유사한 개념을 진정으로 학습한 데서 기인함을 밝혀냈다. 즉, 언어 모듈 정보를 통제하더라도 정렬도가 유지되었다. 반면, 다른 모델들(예: VisualBERT, LLaVA)의 경우 정렬이 언어 전용 기반 모델과 공유되는 정보에 크게 의존했다.
• 입력 민감도: 이미지 조건 절제 연구에서 CLIP, ALIGN, VisualBERT, LLaVA는 뇌 정렬도가 급격히 하락하였는데, 이는 이들의 성능이 추론 시 제공된 시각적 맥락에 크게 의존함을 나타낸다. 반면, LXMERT와 IDEFICS2는 이미지 입력 없이도 높은 정렬도를 유지하였으며, 이는 견고한 내부 다중 양식 표상을 갖추고 있음을 시사한다.

4. 네트워크 특이성:

• 언어 네트워크: VLM은 일반적으로 언어 전용 모델보다 우수했다. VisualBERT와 LXMERT는 BERT보다 유의미하게 더 높은 정렬도를 보였다.
• 시각 네트워크: 놀랍게게도, 언어 전용 모델은 시각적 입력이 없음에도 불구하고 시각 네트워크에서 유의미한 상관관계를 달성했다. 그러나 VLM(특히 VisualBERT와 IDEFICS2)이 여전히 가장 높은 상관관계를 기록했다.

의의 및 주장

본 논문은 서로 다른 VLM 제품군이 개념 처리 과정에서 인간의 신경 표상과 어떻게 정렬되는지에 대한 광범한 조사를 제공한다고 주장한다. 주요 의의는 다음과 같다:

1. 다중 양식의 유익함: VLM은 일반적으로 언어 전용 모델보다 뇌 반응과 더 잘 정렬되며, 이는 다중 양식 경험에 기반한 의미론적 표상이 인간의 인지에 더 가깝다는 가설을 뒷받합니다.
2. 아키텍처의 중요성: 모든 VLM이 동일한 것은 아니다. 시각-언어 인코더(예: LXMERT)는 최근의 생성형 VLM보다 뇌 반응을 더 잘 모델링하는 것으로 보이는데, 이는 다운스트림 생성 작업에서의 성능이 반드시 인간과 유사한 개념 처리와 상관관계가 있는 것은 아님을 시사한다.
3. 사전 학습 vs 추론: 본 연구는 다중 양식 표상을 사전 학습 중에 학습하는 모델(예: LXMERT, IDEFICS2)과 추론 시 제공되는 시각적 맥락에 의해 정렬이 주로 구동되는 모델을 구분한다.
4. 맥락적 미묘함: VLM의 이점은 맥락의 유형(시각적 vs 문장적)과 특정 아키텍처에 따라 달라지며, 이는 "다중 양식의 이점"이 단일한 속성이 아니라 양식이 어떻게 통합되는지에 따라 달라지는 속성임을 강조한다.

저자들은 본 연구의 결과가 다중 양식이 언어 모델을 더 인간답게 만드는지에 대한 논쟁에 기여하며, 그것이 개념 처리에서의 뇌 정렬에 유익하다는 점을 보여주는 동시에 아키텍처 차이를 고려해야 함을 강조한다고 결론짓는다. 저자들은 테스트된 모델들이 기성(off-the-shelf) 모델이라는 점 때문에, 정렬 차이를 단일 요인(예: 크기, 데이터 양)에 귀속시킬 수는 없다고 명시적으로 밝힌다.