기술적 요약: 더 긴 시간적 맥락을 통한 다중 모달 내러티브 비디오 처리 향상

문제 제기

인간과 인공지능 시스템이 복잡한 내러티브 비디오를 처리하는 방식을 이해하는 것은 신경과학과 기계학습의 교차점에서 근본적인 과제입니다. 이전 연구들은 텍스트와 음성에 대해 Transformer 기반 모델의 맥락적 표현이 뇌 정렬을 개선한다는 것을 입증했으나, 자연스러운 다중 모달 자극 (비디오 및 오디오) 에 대한 뇌 정렬에서 더 긴 시간적 맥락의 역할은 아직 충분히 탐구되지 않았습니다. 이전의 다중 모달 뇌 인코딩 연구들은 일반적으로 짧은 클립 (예: 1.49 초에서 4 초) 에 의존해 왔으며, 내러티브 이해가 더 긴 시간 척도 (수십 초) 에 걸쳐 정보를 통합해야 한다는 증거에도 불구하고 확장된 시간적 맥락을 종종 간과해 왔습니다. 또한, 자연스러운 영화 감시 중 내러티브 작업 프롬프팅이 다중 모달 대규모 언어 모델 (MLLM) 과 대뇌 반응 사이의 정렬에 어떻게 영향을 미치는지는 명확하지 않습니다.

방법론

본 연구는 네 명의 피험자가 네 가지 다른 영화 (버른의 우위, 월스트리트의 늑대, 히든 피겨스, 라이프) 를 수동적으로 시청한 다중 모달 자연주의 fMRI 데이터셋인 Movie10 데이터셋을 활용합니다. 저자들은 모델에서 파생된 특징으로부터 뇌 활동을 예측하기 위해 볼륨별 (voxel-wise) 인코딩 접근법을 사용합니다.

실험 설계

1. 모델:
   • 다중 모달 MLLM: 두 가지 사전 훈련된 비디오 - 오디오 모델이 평가되었습니다: Qwen-2.5-Omni와 DATE(동적 절대 시간 향상). 이러한 모델들은 비디오와 오디오를 인터리브된 엔드 - 투 - 엔드 방식으로 처리합니다.
   • 단일 모달 베이스라인: 비교를 위해 TimeSFormer와 VideoMAE라는 두 가지 단일 모달 비디오 모델이 사용되었습니다.
2. 시간적 맥락 조작:
   • 비디오 클립은 3 초에서 24 초(구체적으로 3, 6, 9, 12, 18, 24 초) 의 지속 시간을 갖는 슬라이딩 윈도우 절차를 사용하여 추출되었습니다.
   • 견고성을 보장하기 위해 저자들은 프레임 수를 지속 시간에 따라 증가시키는 스케일링 샘플링 전략과 일정한 프레임 밀도 (초당 1 프레임) 제거 실험 (ablation) 을 모두 테스트했습니다.
3. 내러티브 작업 프롬프팅:
   • MLLM 에게 작업별 표현을 생성하도록 적용된 네 가지 구체적인 내러티브 작업 지시사항:
     1. 캐릭터 동기: 캐릭터의 가능한 동기나 감정 상태를 설명합니다.
     2. 사건 경계: 한 순간이 내러티브 사건 경계를 나타내는지 판단합니다.
     3. 다중 장면 요약: 더 넓은 내러티브와의 연결을 설명합니다.
     4. 내러티브 요약: 세그먼트의 사건을 요약합니다.
4. 뇌 정렬 평가:
   • 인코딩 모델: 부트스트랩 릿지 회귀 모델이 모델 임베딩으로부터 fMRI 볼륨 반응을 예측하도록 훈련되었습니다.
   • 지표: 성능은 예측된 뇌 활동과 실제 뇌 활동 간의 **피어슨 상관계수 (PC)**로 측정되었으며, 생물학적 노이즈를 고려하기 위해 추정된 피험자 간 예측 정확도로 정규화되었습니다.
   • 관심 영역 (ROI) 분석: 본 연구는 Glasser 아틀라스와 Fedorenko 실험실 파셀을 기반으로 언어 선택적 영역 (예: PTL, ATL, IFG, PCC, dmPFC), 시각 영역 (예: LOC, OFA), 그리고 청각 영역에 초점을 맞추었습니다.

주요 기여 및 결과

1. 시간적 맥락과 모델 모달리티

• MLLM 은 더 긴 맥락에서 혜택을 받습니다: 클립 지속 시간을 3 초에서 24 초로 늘리는 것은 비디오 - 오디오 MLLM 의 뇌 정렬을 크게 향상시킵니다 (Qwen-2.5-Omni 는 약 41% 의 상대적 향상; DATE 는 약 33.4% 의 향상).
• 단일 모달 모델은 향상을 보이지 않습니다: 단일 모달 비디오 베이스라인 (TimeSFormer, VideoMAE) 은 시간적 맥락이 증가함에 따라 뇌 정렬에서 거의 또는 전혀 개선되지 않았습니다.
• 모달리티 및 프롬프팅 효과:
  • 오디오 기여: "비디오 + 오디오" 모달리티는 일관되게 "비디오 전용"보다 우수했으며, 맥락 길이가 증가함에 따라 성능 격차가 벌어졌습니다.
  • 프롬프팅 영향: 내러티브 작업 프롬프팅은 가장 큰 향상을 제공했으며, 특히 더 긴 시간 창에서 비프롬프트 조건을 크게 능가했습니다. 이는 지시가 MLLM 표현을 뇌 관련 특징으로 안내함을 시사합니다.

2. ROI 별 시간적 기울기

• 계층적 정렬: 본 연구는 대뇌 피질 영역 전반에 걸쳐 명확한 시간적 기울기를 확인했습니다:
  • 짧은 창 (3–6 초): 지각 및 초기 언어 영역 (예: 후측 측두엽 - PTL) 과 최적에 정렬됩니다.
  • 중간 창 (6–12 초): 중간 수준의 시간 영역 및 어휘 처리 영역 (예: 전측 측두엽 - ATL, 중전두회 - MFG) 에 가장 적합합니다.
  • 긴 창 (18–24 초): 내러티브 통합 및 담화 처리에 관여하는 고차 통합 영역 (예: 후측 대상피질 - PCC, 배내측 전전두피질 - dmPFC, 각회 - AG) 과 우선적으로 정렬됩니다.
• 레이어 - 대피질 계층: 이 시간적 기울기는 MLLM 의 레이어별 계층을 반영합니다. 초기 모델 레이어는 초기 감각 영역과 정렬되는 반면, 깊은 레이어는 고차 언어 및 연합 영역과 정렬됩니다.

3. 작업 의존적 표현

• ROI 별 작업 선호도: 서로 다른 내러티브 작업은 ROI 전반에 걸쳐 뚜렷한 정렬 패턴을 유발했습니다:
  • 내러티브 및 다중 장면 요약: 장거리 의미 통합을 반영하여 고차 연합 영역 (AG, PCC, dmPFC) 을 지배했습니다.
  • 캐릭터 동기: 사람 및 상황 수준의 추론을 지원하며 측두엽/복측 측두엽 및 후두 - 측두엽 영역과 우선적으로 정렬되었습니다.
  • 사건 경계: 주로 dmPFC 에서 희소하고 국소화된 정렬을 보였습니다.
• 볼륨 튜닝의 안정성 대 변화:
  • 시각 ROI: 볼륨을 최대 활성화하는 비디오 클립은 서로 다른 시간 창과 작업 프롬프트 전반에 걸쳐 안정적으로 유지되었습니다 (예: 얼굴 선택적 볼륨은 일관되게 얼굴 중심 클립에 반응함).
  • 고차 언어 ROI: 최대 활성화 클립은 시간적 맥락과 작업 프롬프트 모두에 따라 크게 변화하여, 이러한 영역이 맥락 의존적이고 작업별 의미 정보를 인코딩함을 나타냈습니다.

중요성 및 주장

본 논문은 장편 내러티브 영화를 장시간 척도 시간적 통합을 연구하기 위한 원칙적인 테스트베드로서, 그리고 이를 장맥락 MLLM 과 대뇌 반응 간의 관계와 연결하는 역할을 합니다. 저자들은 다음과 같이 주장합니다:

1. 시간적 맥락은 결정적입니다: MLLM 의 뇌 정렬 향상은 단순히 프레임 수 증가가 아니라 시간적 및 다중 모달 정보의 통합에서 비롯됩니다.
2. 기능적 탐침: 내러티브 작업 지시사항은 대규모 네트워크 내의 이질적이고 작업 선택적인 볼륨 하위 집합을 드러내는 효과적인 기능적 탐침으로 작용합니다.
3. 신경생물학적 타당성: 관찰된 정렬 패턴 (시간적 기울기와 레이어 계층) 은 MLLM 의 표현적 계층에 대한 신경해부학적으로 근거 있는 지원을 제공하며, 이들이 내러티브 이해 중 인간 뇌가 사용하는 것과 유사한 처리 메커니즘을 포착함을 시사합니다.

본 연구는 비디오 - 오디오 MLLM 이 내러티브 이해 중 대뇌 처리를 추적하는 계층과 시간적 통합을 포착하며, 장시간 척도 처리에 대한 신경과학 연구와 해석 가능한 장맥락 AI 모델 평가를 연결한다고 결론지었습니다.