기술 요약: 지시 조정된 멀티모달 LLM 에 대한 작업 조건부 프로빙

문제 제기

최근 뇌 부호화 연구들은 멀티모달 대규모 언어 모델 (MLLM) 이 단일모달 모델보다 인간 뇌 활동과 더 높은 정합성을 보인다는 것을 입증했습니다. 또한, 지시 조정 (IT) 된 MLLM 은 뇌 활동과 강력하게 정합하는 작업별 표현을 생성한다는 것이 밝혀졌습니다. 그러나 이전 평가들은 주로 두 가지 설정으로 제한되었습니다: (1) 단일모달 자극으로 평가된 멀티모달 모델, 또는 (2) 멀티모달 자극으로 평가된 비지시 조정 모델.

지시 조정이 IT-MLLM 들의 표현을 기능적 작업 요구사항 중심으로 조직화하게 하는지, 아니면 단순히 표면적 의미만을 반영하는지 이해하는 데에는 여전히 중요한 격차가 존재합니다. 또한, 초기 감각 영역부터 고차 인지 영역에 이르기까지 뇌 영역 전반에 걸쳐 작업별, 언어 유도형 표현이 뇌 활동과 어떻게 정합하는지 규명하기 위해 자연주의적 멀티모달 자극 (오디오가 포함된 비디오) 하에서 IT-MLLM 을 체계적으로 프로빙하는 연구는 부족합니다.

방법론

저자들은 지시 조정된 MLLM 의 표현을 사용하여 자연주의적 영화 감상 (오디오가 포함된 비디오) 중 기록된 fMRI 반응을 예측함으로써 뇌 정합성을 추정하여 이 격차를 해소합니다.

데이터 및 모델:

• 데이터셋: 이 연구는 네 명의 피험자가 네 가지 다른 영화를 수동적으로 감상한 멀티모달 자연주의 fMRI 데이터셋인 Movie10 데이터셋 (Boyle et al., 2020) 을 활용합니다. 데이터는 "fsaverage6" 표면 공간에 투영됩니다.
• 평가된 모델:
  • 지시 조정 (IT): 여섯 개의 비디오 MLLM(예: InstructBLIPVideo, Video-LLaVA, Qwen-2.5-VL) 과 두 개의 오디오 MLLM(Qwen-2.5-Audio, Kimi-Audio).
  • 기준 모델: 두 개의 컨텍스트 학습 (ICL) 비디오 MLLM, 두 개의 비지시 조정 멀티모달 모델, 두 개의 단일모달 비디오 모델, 그리고 하나의 단일모달 오디오 모델.
• 지시: 모델들은 13 가지 비디오 특정 작업 지시 (예: 동작 인식, 내러티브 이해, 상식 추론) 와 5 가지 오디오 특정 지시 (예: 오디오 이해, 사운드 이벤트 감지) 로 프로빙되었습니다.
• 특징 추출: IT 모델의 경우, 입력 비디오/오디오와 특정 작업 지시에 기반하여 각 레이어에서 은닉 상태 표현이 추출되었습니다. ICL 및 비-IT 기준 모델의 경우, 자연어 프롬프트를 사용하여 제로샷 추론이 수행되었습니다.

부호화 및 평가:

• 보크셀 단위 부호화: 모델 표현으로부터 fMRI 뇌 활동을 예측하기 위해 밴드드 릿지 회귀 모델이 훈련되었습니다. 이 모델들은 유한 임펄스 응답 (FIR) 필터를 사용하여 혈역학적 반응 지연을 고려하였습니다.
• 지표: 성능은 예측된 뇌 활동과 실제 뇌 활동 간의 피어슨 상관관계 (PC) 로 측정되었습니다. 성능을 표준화하기 위해 결과를 추정된 교차 피험자 예측 정확도로 나누어 "정규화된 뇌 정합성"을 도출했습니다.
• 분석: 이 연구는 지시 의미적 유사성과 모델 표현 유사성을 비교하기 위해 표현 유사성 분석 (RSA) 을 사용했습니다. 또한, 작업 조건부 조직화를 평가하기 위해 군집화 지표 (조정된 랜덤 지수) 를 활용하고, 작업 간 공유 및 고유 분산을 분석하기 위해 분산 분할을 적용했습니다.

주요 기여 및 결과

1. 표면 의미와 작업 구조의 분리
이 연구는 IT 모델과 ICL 모델이 표현을 조직화하는 방식에서 근본적인 차이를 발견합니다:

• ICL 모델: 내부 표현과 표면적 지시 의미 간의 강한 결합 (피어슨 $r \approx 0.78$) 을 보여주며, 이는 얕은 텍스트 근접 매칭을 나타냅니다.
• IT 모델: 표면 의미에는 약한 결합 ($r \approx 0.14$) 을 보이지만, 더 강력한 작업 조건부 군집화를 나타냅니다. 이는 IT 모델이 프롬프트의 특정 문구보다는 기능적 작업 요구사항에 기반하여 표현을 조직화함을 시사합니다.

2. IT 비디오 MLLM 의 우수한 뇌 정합성

• 전체 성능: IT 비디오 MLLM 은 ICL 모델 (약 9% 향상), 비지시 조정 멀티모달 모델 (약 15% 향상), 그리고 단일모달 기준 모델 (약 20% 향상) 보다 유의하게 높은 뇌 정합성을 보입니다.
• 모달리티 비대칭성: IT 비디오 모델은 전체 뇌, 언어, 시각 영역 전반에 걸쳐 강한 정합성을 보이는 반면, IT 오디오 모델은 주로 청각 피질과 중전두이랑 (MFG) 에서 향상을 보입니다. 오디오 IT-MLLM 은 비지시 조정 멀티모달 기준 모델과 유사한 성능을 보여, 오디오 관련 뇌 관련 의미 정보 포착에 개선의 여지가 있음을 나타냅니다.

3. 영역별 작업 차별화
작업별 지시는 특정 기능적 뇌 영역과 정합하는 고유한 표현을 생성합니다:

• 비디오 작업: "내러티브 이해"와 "시각 QA"는 언어 관련 영역 (각상회, 후측 측두엽) 에서 더 높은 정합성을 보이는 반면, "비디오 이해"는 고차 전두 영역을 지배합니다.
• 오디오 작업: "오디오 캡셔닝"과 "사운드 이벤트 감지"는 청각 피질과 정합하는 반면, "오디오 이해"는 하전두이랑 (IFG) 과 같은 고수준 영역을 활성화합니다.
• 분산 분할: 시각 부하가 높은 작업은 시각 피질 분산에 고유하게 기여하는 반면, 고수준 의미 작업은 언어 네트워크 분산에 고유하게 기여합니다.

4. 대뇌 처리 계층 구조와의 계층적 정합
IT-MLLM 은 뇌의 처리 계층 구조와 일치하는 레이어별 정합 패턴을 보입니다:

• 초기 레이어: 초기 감각 영역 (시각 및 청각 피질) 과 정합합니다.
• 중간/심층 레이어: 고차 시각 영역 (LOC, PPA) 과 언어 영역 (각상회, IFG) 과 정합합니다.
• 통제 실험: 비자연어 프롬프트 (무작위 토큰) 를 사용할 때 이러한 계층적 기울기가 사라지므로, 정합은 모델의 일반적 구조가 아닌 지시 의미에 의해 주도됨이 확인됩니다. 모델 계열 내 통제 비교 (예: Qwen-2.5-VL IT 대 사전 훈련) 는 지시 조정이 모든 레이어에서 일관되게 뇌 정합성을 향상시킴을 확인시켜 줍니다.

중요성 및 주장

이 논문은 다양한 멀티모달 작업 전반에 걸쳐 fMRI 반응을 모델링하기 위해 지시 조정된 비디오 및 오디오 MLLM 을 사용한 최초의 연구라고 주장합니다. 연구 결과는 다음과 같이 시사합니다:

• 지시 조정은 MLLM 을 표면적 텍스트가 아닌 작업 요구사항 중심으로 표현을 조직화하는 프로브로 변환하여, 뇌의 기능적 조직과 더 강력한 정합을 이끕니다.
• 작업별 지시는 자극을 고정된 상태로 유지하면서 작업 목표를 변화시키는 통제된 레버로 활용될 수 있어, 인공 및 생물학적 시스템 모두의 결합 정보 처리 매핑을 가능하게 합니다.
• 관찰된 레이어 의존적 정합 패턴은 자연주의적 자극 하의 기능적 전문화를 연구하고 인지 모델링을 신경과학과 연결하기 위해 IT-MLLM 을 사용하는 것을 지지합니다.

저자들은 계열 간 비교에 관해서는 규모, 훈련 데이터, 아키텍처의 차이로 인해 신중한 입장을 유지합니다. 그러나 동일한 모델의 IT 대 사전 훈련 버전과 같은 계열 내 통제 비교는 지시 조정 후 뇌 정합성에서 일관된 긍정적 향상을 보여주며, 이는 조정 과정 자체의 효과를 분리해 낸다고 강조합니다.