🧬 biology

A global predicted-fMRI drive signal from TRIBE does not predict YouTube replay heatmaps

이 연구는 최첨단 다중 모달 뇌 부호화 모델(TRIBE)이 자연스러운 비디오에 대한 fMRI 반응을 정확하게 예측함에도 불구하고, 단순한 음향 및 움직임 기저치 이상의 유의미한 상관관계를 보이지 않음으로써 유튜브 재생 히트맵으로 측정된 시청자의 재시청 행동을 예측하는 데 실패한다는 것을 입증한다.

원저자: Barada Sahu, Shivesh Pandey

게시일 2026-07-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Barada Sahu, Shivesh Pandey

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신에게 비디오를 보고 인간의 뇌가 어떻게 반응할지 정확하게 추측할 수 있는 아주 똑똑한 로봇이 있다고 상상해 보세요. TRIBE라고 불리는 이 로봇은 '뇌 부호화 모델(brain-encoding model)'입니다. 이 로봇은 비디오를 보는 것만으로 뇌 스캔(fMRI)을 예측하는 데 매우 뛰어나서 최근 한 주요 경연 대회에서 우승하기도 했습니다.

연구진이 던진 핵심 질문은 이것이었습니다. "만약 이 로봇이 뇌가 무엇을 하고 있는지 예측할 수 있다면, 사람들의 실제 '행동' 또한 예측할 수 있을까?"

구체적으로, 그들은 로봇의 예측이 사람들이 유튜브 영상의 어느 부분을 다시 볼지(rewatch) 알려줄 수 있는지 알고 싶었습니다.

실험: "다시 보기" 테스트

이를 테스트하기 위해 연구진은 음악, 코미디, 과학, 기술 등 모든 장르를 아우르는 48개의 다양한 유튜브 영상을 준비했습니다. 그들은 이 영상들을 TRIBE 로봇에 통과시켜 '뇌 반응 곡선(brain reaction curve)'을 생성했습니다. 이 곡선은 매 초마다 뇌가 얼마나 활성화될지를 보여주는 선 그래프입니다.

그다음, 연구진은 이 로봇이 생성한 곡선을 실제 인간의 행동인 유튜브의 "가장 많이 다시 본 구간(Most Replayed)" 히트맵과 비교했습니다. 이 히트맵은 수백만 명의 시청자가 어디에서 '되감기' 버튼을 눌렀는지를 보여주는 지도와 같습니다. 만약 로봇이 진정한 '마음을 읽는 자'라면, 로봇의 곡선은 이 히트맵과 완벽하게 일치해야 합니다.

결과: 로봇은 틀렸다

결과는 단호한 **'아니오'**였습니다.

연구진은 로봇의 예측이 사람들이 영상을 되감는 위치와 거의 아무런 관련이 없다는 것을 발견했습니다.

점수: 그 연결 고리는 너무나 약해서 통계적으로 0과 구별할 수 없는 수준이었습니다.
기준점: 로봇은 단순히 영상의 소리가 얼마나 큰지 또는 픽셀이 얼마나 많이 움직이는지를 측정하는 아주 단순한 컴퓨터 프로그램보다도 나은 성과를 내지 못했습니다. 사실, 로봇의 성능은 단순히 소리 크기에 따라 추측하는 것과 거의 다를 바 없었습니다.

왜 음악 비디오는 다르게 보였을까?

음악 비디오만을 대상으로 한 작은 예비 테스트에서는 로봇이 다시 보기를 예측하는 것처럼 보였습니다. 하지만 연구진은 이것이 일종의 '속임수'라는 것을 깨달았습니다. 음악 비디오는 종종 소리가 큰 인트로를 가지고 있거나 사람들이 자연스럽게 되감게 되는 특정 비트 드롭(beat drop)을 포함하고 있습니다. 로봇은 실제 노래의 내용이 아니라, "인트로는 소리가 크다"라는 사실을 포착하고 있었던 것입니다. 일단 코미디, 과학, 토크쇼 같은 다른 장르를 테스트하자, 이 "마법"은 완전히 사라졌습니다.

"전체 뇌" vs "특정 부위" 확인

연구진은 자신들이 잘못된 부분을 보고 있는 것은 아닌지 의심했습니다. 혹시 우리가 전체 뇌를 한꺼번에 보고 있어서, 로봇이 '보상 센터'나 '시각 센터' 같은 특정 부분을 맞혔는데도 놓치고 있는 것은 아닐까요?

그들은 특정 뇌 네트워크(예: 시각 시스템이나 보상 시스템)를 살펴보는 시도를 했습니다.
결과: 여전히 아무것도 없었습니다. 예측된 뇌 활동의 어떤 특정 부분도 다시 보기 행동을 예측할 수 없었습니다.

핵심 요점: "뇌 지도"가 곧 "행동 지도"는 아니다

이렇게 생각해보세요:

**로봇 (TRIBE)**은 매우 정확한 일기 예보와 같습니다. 이 로봇는 특정 도시에 비가 얼마나 내릴지 정확히 말할 수 있습니다 (뇌 스캔 예측).
**행동 (다시 보기)**은 "사람들이 우산을 들고 나갈 것인가?"를 묻는 것과 같습니다.

이 연구는 당신이 비가 얼마나 내리는지(뇌 스캔)를 정확히 안다고 해서, 사람들이 우산을 쓸지(영상을 다시 볼지)를 예측할 수 있다는 의미는 아니라는 것을 보여줍니다. 로봇은 뇌의 생물학적 과정을 시뮬레이션하는 데는 뛰어나지만, 사람들이 되감기 버튼을 누르게 만드는 인간의 선택을 포착하는 데는 실패합니다. 즉, "뇌 신호"와 "행동"은 서로 다른 것입니다.

요약하자면: 비디오를 볼 때 뇌가 어떻게 보이는지를 완벽하게 예측하는 모델이, 인간이 그 영상을 볼 때 무엇을 할 것인지를 반드시 잘 예측하는 것은 아닙니다. "뇌 신호"와 "행동"은 별개의 문제입니다.

기술 요약: 전역 예측 fMRI 구동 신호 및 YouTube 재생 히트맵

문제 정의
TRIBE(2025년 Algonauts 챌린지 우승 모델)와 같은 심층 다중 모드 뇌 인코딩 모델은 자연스러운 비디오 자극에 대한 fMRI 반응을 예측하는 데 있어 높은 정확도를 달성했습니다. 여기서 핵심적인 미해결 질문은, 계산 비용이 저렴하고 스캐너가 필요 없는 이 예측된 신경 신호가 실제 측정된 신경 신호가 가진 "신경 예측(neuroforecasting)" 능력을 상속받는지 여부입니다. 기존 문헌에 따르면, 측정된 신경 활동은 자기 보고(self-reports)를 넘어 집단적 행동 참여(예: 문화적 인기, 크라우드펀딩 성공)를 예측할 수 있다고 제안됩니다. 그러나 그룹 학습된 인코더로부터 생성된 예측 신호가 행동 예측에 필요한 특정 개인별 변동성과 보상 영역의 역학을 보존하는지, 아니면 이러한 구조를 버리고 그룹 평균으로 회귀하여 재시청 행동을 예측하는 데 필요한 구조를 상실하는지는 알려져 있지 않습니다.

방법론
본 연구는 TRIBE의 예측된 피질 반응이 YouTube의 "가장 많이 재생된(most replayed)" 히트맵(수동적 시청 참여 및 재시청 행동의 대리 지표)을 예측할 수 있는지 평가합니다.

모델 및 입력: 저자들은 수정되지 않은 TRIBE 모델(Llama-3.2, V-JEPA2, Wav2Vec-BERT 특징을 융합한 10억 파라미터 규모의 트리모달 인코더)을 사용하여 11개 카테고리의 48개 YouTube 영상에 대해 fsaverage5 표면상의 초당(per-TR, 1초) 예측 피질 반응을 생성했습니다.
참여도 판독(Readout): 고차원 예측 반응( $P \in \mathbb{R}^{T \times V}$ )은 모든 피질 정점(vertex)에 대한 제곱평균제곱근(RMS)으로 정의되는 전역 장 전력(Global Field Power, GFP)을 사용하여 초당 스칼라 참여 곡선으로 축소되었습니다.
행동 타겟: 타겟 변수는 YouTube에서 제공하는 "가장 많이 재생된" 히트맵이며, 이는 정규화된 재시청 강도를 나타냅니다. 이는 모델의 시간 그리드와 일치하도록 선형 보간되었습니다.
통계적 통제: 콘텐츠 특이적 예측과 시간적 혼란 변수(예: 인트로를 다시 보는 경향이나 시간에 따른 일반적인 참여도 감소)를 분리하기 위해, 주요 지표로 **위치 제어 부분 상관관계(position-controlled partial correlation)**를 사용했습니다. 예측된 참여 곡선과 재생 히트맵 모두 이차 시간 기저( $[1, t, t^2]$ )에 대해 회귀 분석을 수행하였으며, 잔차(residuals)를 바탕으로 상관관계를 계산했습니다.
베이스라인: 모델의 성능은 저수준 특징 베이스라인인 오디오 음량(RMS 에너지) 및 시각적 움직임(평균 절대 프레임 차이)과 비교되었습니다.
데이터 수집: YouTube의 SABR(서버 측 적응형 비트레이트) 스트리밍으로 인해 표준 다운로드 도구가 차단됨에 따라, 저자들은 비디오 콘텐츠를 검색하기 위해 ADB를 통해 구동되는 NewPipe Android 클라이언트를 활용한 커스로 획득 파이프라인을 개발하였으며, 재생 히트맵은 메타데이터로서 가져왔습니다.
강건성 검증: 분석에는 특정 기능 네트워크(시각, 청각, 살리언스, 전두엽, 두정엽의 5개 네트워크)로 제한된 영역별 판독과 시간적 자기상관을 고려한 비모수적 순환 이동 순열 검정(circular-shift permutation test)이 포함되었습니다.

주요 결과
연구 결과, 전역 예측 fMRI 구동 신호가 재시청 행동을 예측한다는 증거를 찾지 못했습니다:

주요 상관관계: 예측된 참여와 재생 히트맵 사이의 통합된 위치 제어 부분 상관관계는 +0.058 (95% CI [−0.04, 0.15])이었습니다. 이는 통계적으로 0과 구별할 수 없는 수준입니다 ( $t(47) = 1.21, p = 0.23$ ).
베이스라인 비교: TRIBE의 예측력은 단순한 저수준 베이스라인을 유의미하게 초과하지 못했습니다. TRIB와 음량 베이스라인 간의 차이는 무시할 수 있는 수준이었습니다 (쌍체 $p = 0.74$ ).
원시 상관관계: 통제되지 않은(uncontrolled) 원시 상관관계 역시 0에 가까웠습니다 (+0.036). 뮤직 비디오에서 관찰된 중간 정도의 원시 상관관계는 실제 콘텐츠 예측이 아닌 인트로/시작 부분의 재시청과 관련된 장르 특이적 아티팩트로 식별되었으며, 다른 장르(토크, 테크, 코미디 등)에서는 사라졌습니다.
영역별 분석: 살리언스/보상 영역을 포함한 특정 피질 네트워크로 판독을 제한하더라도 유의미한 신호를 회복하지 못했습니다. 모든 네트워크별 부분 상관관계는 0 근처에 머물렀으며 일관성이 없었습니다.
비디오 레벨 랭킹: TRIBE 요약(평균/피크 참여도)은 영상의 전체적인 인기(조회수/좋아요)를 기준으로 영상을 순위 매기는 능력을 보여주지 못했으며, 상관관계는 0에 가깝거나 약간 음수였습니다.

기여 및 의의
본 논문은 세 가지 주요 기여를 합니다:

경험적 귀무 결과(Empirical Null Result): YouTube 재생 히트맵이라는 특정 타겟과 전역 GFP라는 특정 판독값에 대해, 최첨단 예측 신경 신호가 행동 참여를 예측하지 못함을 입증했습니다. 이는 정확한 fMRI 인코더가 자동으로 신경 예측 능력을 상속받는다는 가설에 도전합니다.
방법론적 엄밀성: 위치 제어를 구현하고, 저수준 베이스라인과 비교하며, 시간적 자기상관을 보존하는 순열 검정을 활용함으로써 유의미한 귀무 결과와 혼란 변수를 엄격히 분리했습니다.
오픈 인프라: 저자들은 코드, 비디오 ID 매니페스트, 그리고 YouTube의 SABR 스트리밍 제한을 우회할 수 있는 새로운 획득 파이프라인을 공개하여, 다른 모델이나 행동 타겟을 이용한 재현 가능성과 향후 테스트를 가능하게 했습니다.

주장 및 한계
저자들은 자신들의 주장을 겸허하게 서술합니다. 그들은 이 특정 타겟(재생 히트맵), 이 특정 판독값(전역 GFP), 그리고 이 특정 모델(fMRI 정확도에 최적화된 TRIBE)에 대해, 예측 신호가 시간적 위치 및 저수준 특징을 넘어 재시청 행동을 예측하는 데 실패했다고 주장합니다.

논문은 다음과 같은 요인에 의해 결과가 제한될 수 있음을 명시적으로 언급합니다:

"가장 많이 재생된" 히트맵에 내재된 노이즈와 편향(예: 인트로/시작 효과).
제한된 분석 창(60초).
TRIBE가 행동 종단(behavioral endpoints)이 아닌 fMRI 재구축 정확도에 최적화되었다는 점.

저자들은 더 풍부한 판독값이나 더 깨끗한 행동 신호가 결과를 바꿀 수도 있겠지만, 현재의 증거는 오프더쉘(off-the-shelf) 뇌 인코딩 모델이 아직 자연스러운 비디오 콘텐츠에 대한 신뢰할 수 있는 참여 예측 도구 역할을 하지 못함을 시사한다고 결론짓습니다.