기술 요약: NEvo: 동적 시각적 선택성을 위한 신경 가이드 진화적 비디오 합성

문제 정의

인간의 시각은 근본적으로 동적이며, 장애물 회피, 객체 추적, 사회적 추론과 같은 과업을 수행하기 위해 지속적으로 변화하는 입력을 처리하는 계층적으로 조직된 영역에 의존한다. 최근의 in silico 뇌 인코딩 모델들은 특정 뇌 영역의 선택성을 조사하기 위해 최적의 정적 자극을 합성하는 데 성공했지만, 이전의 연구들은 주로 정적 이미지 영역에 국한되어 왔다. 결과적으로, 시각 피질 내의 시간적 구조, 특히 움직임, 상호작용 또는 이벤트 역학에 의존하는 영역에서의 표현은 여전히 미개척 영역으로 남아 있다. 자연스러운 동적 입력을 뇌가 어떻게 처리하는지 이해하기 위해, 거대한 결합 시공간 구성 공간(joint spatiotemporal configuration space)에 걸쳐 체계적으로 자극을 생성하고 평가할 수 있는 방법론이 절실히 필요하다.

방법론: NEvo 프레임워크

저자들은 인간 시각 피질의 표적 관심 영역(ROI)을 최대한 활성화하는 자극을 생성하도록 설계된 신경 가이드 진화적 비디오 합성 프레임워크인 NEvo를 소개한다. 이 프레임워크는 동적 뇌 인코딩 모델을 구조화된 프롬프트 공간에 대한 진화적 탐색 절차와 결합하여 작동한다.

1. 신경 가이드 진화적 탐색

NEvo는 비디오 합성을 해석 가능한 의미론적, 움직임 및 이벤트 수준의 기술자(descriptor)에 대한 블랙박스 최적화 문제로 취급한다.

• 프롬프트 공간: 탐색 공간은 외형(대상, 분위기, 조명), 움직임(이벤트 구조, 카메라 움직임), 그리고 시간적 역학을 포괄하는 시각적 속성 카테고리($P = A_1 \times \dots \times A_M$)의 데카르트 곱으로 구조화된다. 프롬프트는 유전자 서열로 표현된다.
• 진화 알고리즘: 이 방법은 합성 목적 함수를 최적화하기 위해 유전 알고리즘을 채택한다.
  • 초기화: 후보 프롬프트의 모집단(population)을 생성한다.
    데 평가: 프롬프트는 생성기($G$)에 의해 비디오로 렌더링되며, 표적 ROI($r$) 내 복셀의 평균 활성도를 예측하는 동적 인코딩 모델($S_v$)에 의해 점수가 매겨진다.
  • 선택 및 변이: 상위 분율의 후보들(elites)이 부모로 선택된다. 자손은 교차(crossover, 유전자 서열 접두사 교환)와 변이(mutation, 속성 재샘플링)를 통해 생성된다.
  • 반복: 이 과정은 더 강력한 예측 ROI 활성도를 생성하는 프롬프트를 향해 모집단을 정제하기 위해 여러 세대에 걸쳐 반복된다.

2. 2단계 비디오 합성

고차원 시공간 공간에서의 탐색 효율성을 높이기 위해, NEvo는 최적화를 두 단계로 분해한다.

• 1단계 (정적 콘텐츠): 빠른 이미지 생성기가 정적 하위 공간($P_{img}$)을 탐색하여 최적의 "시각적 앵커"(대상, 장면, 질감, 조명)를 식별한다.
• 2단계 (동적 속성): 가장 높은 점수를 받은 이미지는 이미지-투-비디오 생성기의 조건부 입력으로 고정된다. 이후 탐색은 움직임 프로필, 시간적 리듬, 상호작용 유형을 다루는 동적 하위 공간($P_{vid}$)을 최적화한다. 이러한 분리는 품질이 낮은 콘텐츠 구성에 대해 비용이 많이 드는 비디오 평가를 수행하는 것을 방지한다.

3. 동적 뇌 인코딩 모델

프레임워크는 대규모 평가에서 뇌 반응과의 정렬성이 입증된 V-JEPA 2를 특징 백본으로 활용한다.

• 아키텍처: 최종 임베딩(예: CLIP)에만 의존하는 모델과 달리, NEvo는 V-JEPA 2로부터 멀티 블록 특징을 추출하고 이를 공간 및 시간적으로 평균화한다.
• 매핑: 복셀 단위의 리지 회귀(ridge regression)가 fMRI 반응에 적합(fit)된다. 각 복셀은 검증 성능이 가장 좋은 모델 레이어를 할당받으며, 이를 통해 피질 위치가 서로 다른 모델 깊이와 정렬될 수 있다.
• 훈련 데이터: 모델은 BOLDMoments 데이터셋과 사회적 상호작용 데이터셋을 사용하여 fsaverage5 피질 표면에 투영되어 훈련된다.

주요 기여

1. 새로운 프레임워크: 진화적 프롬프트 탐색을 사용하여 동적 자극 하에서의 시각적 선택성을 연구하기 위한 최초의 모델 기반 프레임워크인 NEvo를 도입하였다.
2. 고활성 자극: 복측, 배측 및 측방 시각 스트림 전반에 걸쳐 수작업으로 제작된 기능적 국소화 자극 및 대규모 데이터셋(예: Moments in Time)의 상위 성능 비디오보다 높은 활성도를 보이는 비디오를 합성하였다.

• 동적 선택성 특성화: 시간적 구조가 시각적 선택성을 광범위하게 형성함을 입증하였으며, 최적화된 비디오는 전통적으로 정적 선택성을 가진 영역(예: FFA)에서도 정적 제어 집단보다 우수한 성능을 보였다.

3. 기능적 구배 발견: 측방 시각 스트림을 따라 NEvo를 적용한 결과, 저수준의 공간 구조에서 신체 움직임, 그리고 복잡한 사회적 역동성(공동 행동, 의사소통)으로 이어지는 체계적인 진행 과정을 밝혀냈다.
4. 제어된 합성: 추상적이고 비자연적인 객체를 생성함으로써, 영역 특이적 동적 선택성을 정적 앵커로부터 분리할 수 있는 프레임워크의 능력을 검증하였다(예: pSTS를 위한 얼굴 유사 상호작용 또는 MT를 위한 진동 운동).

결과

• 성능: NEvo 생성 자극은 Moments in Time 데이터셋의 상위 99.8%, 수작업 국소화 반응의 95.8%에 달하는 예측 활성도를 달로했다.
• 동적 이점: 최적화된 비디오는 첫 번째 프레임의 정적 제어 집단보다 일관되게 높은 성능을 보였으며, 움직임에 민가한 영역(예: MT)에서 가장 큰 이득을 보였고, 복측 영역(예: FFA)에서도 측정 가능한 이득을 보였다.
• 절제 연구(Ablation Studies):
  • 2단계 탐색 전략이 단일 단계 베이스라인보다 우수한 성능을 보였다.
  • V-JEPA 2 멀티 레이어 인코딩 모델이 CLIP 기반 베이스라인을 크게 앞질렀으며, 이는 시간적으로 접지된 표현의 필요성을 강조한다.
  • 진화적 프롬프팅은 그래디언트 기반 합성(BrainDiVE)보다 더 견고한 것으로 나타났는데, BrainDiVE는 이 환경에서 의미 있는 동적 자극을 생성하는 데 실패했다.
  • 유전적 탐색은 무작위 탐색 및 힐 클라이밍(hill-climbing) 베이스라인보다 유의미하게 뛰어났다.
  • 측방 경로를 따른 서치라이트 분석은 다음과 같은 구배를 드러냈다: 초기 영역은 고대비 질감을 선호하고, 중간 수준 영역(MT, EBA)은 신체 움직임을 선호하며, 후방 STS(pSTS)는 동기화된 물리적 상호작용을, 전방 STS(aSTS)는 얼굴 간 의사소통 콘텐츠를 선호한다.

의의 및 주장

본 논문은 NEvo가 정적 이미지 합성의 한계를 넘어 동적 시각적 선택성을 in silico로 탐구할 수 있게 한다고 주장한다. 알려진 선택성을 복구하고 시간적 역동성에 대한 민감도의 체계적 차이를 밝힘으로써, NEvo는 in vivo 실험을 위한 새로운 예측을 제공한다. 저자들은 NEvo가 동적 자극을 설계하기 위한 확장 가능하고 통제된 접근 방식을 제공하며, 이는 덜 규명된 뇌 영역의 기능적 구배를 발견하는 데 도움이 될 수 있다고 제언한다.

저자들은 합성된 자극이 기초가 되는 인코딩 및 생성 모델의 신경 선택성과 잠재적 편향을 모두 반영한다는 점을 언급하며 한계를 인정한다. 또한, 현재의 시각 전용 모델이 시각-청각 결합 단서에 의존하는 aSTS와 같은 영역의 특성을 규명하는 데 한계가 있음을 강조하며, 향후 인간 신경 영상학을 통한 검증이 필요함을 명시한다. 본 연구는 폐쇄 루프(closed-loop) 신경 영상 및 가설 기반 자극 설계를 향한 단계로 제시된다.