It Depends on the Dataset: When a Brain-Encoding Model's Predicted Responses Beat Their Visual Backbone for Video Memorability

당신이 인간의 뇌를 본 적이 없는 초지능 로봇을 가지고 있다고 상상해 보세요. 이 로봇은 영상 클립 자체만을 보고도 당신의 뇌가 어떻게 반응할지 정확하게 추측할 수 있습니다. 이것은 마법이 아닙니다. 이것은 "뇌 부호화(brain-encoding)"라고 불리는 새로운 종류의 과학입니다. 연구자들은 수천 시간의 비디오와 그것을 시청하는 사람들의 뇌 스캔 데이터를 사용하여 거대한 컴퓨터 모델을 훈련시킵니다. 결국, 이 모델은 실제 사람이 스캐너 안에 단 한 명도 없어도 뇌의 전기적, 화학적 신호를 예측하는 법을 배웁니다.

하지만 여기서 큰 질문이 생깁니다. 만약 이 로봇이 당신의 뇌 반응을 추측할 수 있다면, 그 추측이 인간의 행동을 이해하는 데 실제로 유용할까요? 구체적으로, 이 "예측된 뇌 신호"가 어떤 영상이 가장 기억에 잘 남는지(memorability) 파악하는 데 도움이 될 수 있을까요? 이 질문에 답하기 위해, 우리는 로봇의 "뇌 추측"을 로봇 자신의 "눈"과 비교해야 합니다. 로봇은 영상을 보는 시각 엔진(백본)과, 그 본 것이 무엇인지 뇌 신호로 번역하는 뇌 엔진을 가지고 있습니다. 논쟁의 핵심은 신호를 "뇌의 언어"로 번역하는 것이 추가적인 가치를 더하는 것인지, 아니면 단순히 시각 엔진이 이미 알고 있는 것을 화려하게 말하는 방식일 뿐인지 하는 것입니다.

---

뇌 vs 눈의 대결

이 연구에서 카슨 로드리게스(Carson Rodrigues)라는 연구자는 로봇의 "예측된 뇌"가 로봇 자신의 "시각적 눈"보다 영상의 기억 용이성(memorability)을 더 잘 예측하는지 알아보기 위해 매혹적인 실험을 설계했습니다. 이 로봇은 최근 뇌 활동을 추측하는 능력으로 우승한 초고성기 AI인 TRIBE v2입니다.

실험 설정은 전형적인 "맛 테스트"였습니다. 연구자들은 짧은 비디오 클립(약 3~7초 길이)을 로봇에게 입력했습니다. 로봇은 각 클립에 대해 두 가지 서로 다른 설명을 생성했습니다:

1. 시각적 백본(Visual Backbone): 영상이 어떻게 보이는지에 대한 표준적이고 기술적인 설명(색상, 모양, 움직임 등에 대한 상세한 목록과 같은 것).
2. 예측된 뇌(Predicted Brain): 실제 인간이 개입하지 않고 오직 컴퓨터에 의해 생성된, 해당 영상을 보고 있는 인간의 뇌가 어떤 모습일지에 대한 설명.

목표는 간단했습니다. 이 두 가지 설명 중 어떤 것이 인간이 나중에 그 영상을 기억할지를 예측하는 데 더 뛰어난가? 연구자들은 이를 Memento10k와 VideoMem이라는 두 가지 서로 다른 비디오 데이터셋을 통해 테스트했습니다.

반전: 플레이리스트에 따라 다르다

만약 당신이 "뇌" 버전이 더 과학적이라는 이유로 항상 승리할 것이라 기대했다면, 깜짝 놀랄 결과가 기다리고 있을 것입니다. 결과는 완벽한 "이중 해리(double dissociation)"를 보여주었습니다. 이는 쉽게 말해, 어떤 데이터셋을 보느냐에 따라 승자가 바뀐다는 뜻입니다.

• Memento10k 데이터셋의 경우: 로봇의 시각적 눈이 승리했습니다. 표준적인 시각적 설명이 예측된 뇌 신호보다 기억 용이성을 더 잘 예측했습니다. 뇌 신호는 여기서 오히려 성적이 더 낮았습니다.
• VideoMem 데이터셋의 경우: 예측된 뇌가 승리했습니다. 여기서는 뇌 신호가 시각적 눈을 제치고 명확한 챔피언이 되었습니다.

이것은 우연이 아니었습니다. 연구자들은 수천 번의 계산을 수행하여 결과가 확실한지 확인했고, 결과는 일관되었습니다. 뇌 신호는 단순히 "괜찮은" 수준이 아니라, VideoMem에서는 통계적으로 더 우수했으며, 시각 신호는 Memento10k에서 통계적으로 더 우수했습니다.

전이 테스트: 뇌 신호는 잘 전달되는가?

이것이 깊고 보편적인 진리인지, 아니면 특정 영상의 특이한 현상인지 확인하기 위해 연구자들은 "전이 테스트(transfer test)"를 실시했습니다. 연구자들은 한 데이터셋에서 기억 예측 시스템을 훈련시키고 다른 데이터셋에서 테스트했습니다.

• Memento10k에서 훈련하고 VideoMem에서 테스트했을 때: 예측된 뇌 신호가 영웅이었으며, 시각적 눈보다 현저히 높은 성능을 보였습니다.
• VideoMem에서 훈련하고 Memento10k에서 테스트했을 때: 예측된 뇌 신호는 처참하게 실패했으며, 시각적 눈보다 훨씬 낮은 성능을 보였습니다.

여기서 얻은 교훈은 "예측된 뇌"가 어디서나 작동하는 마법 같은 만능 도구가 아니라는 점입니다. 그것은 마치 특정 유형의 영상에는 완벽하게 초점을 맞추지만 다른 영상에서는 흐릿하게 보이는 특수 렌즈와 같습니다. 뇌 신호는 자신이 가장 잘 맞는 유형의 데이터에서 작업할 때만 승리합니다.

부정행위 가능성 배제

연구자들은 단순한 수학적 오류나 데이터의 "부정행위"에 속지 않도록 매우 주의를 기울였습니다. 그들은 다음과 같이 물었습니다. "뇌 신호는 그저 시각 신호의 화려하고 복잡한 버전일 뿐인가?"

그들은 시각 신호를 압축하거나 엄격한 규칙을 적용하여 뇌 신호처럼 강제로 작동하게 함으로써 이를 테스트했습니다. 시각 신호를 매우 엄격하고 단순하게 만들었음에도 불구하고, VideoMem 데이터셋에서는 예측된 뇌 신호를 이기지 못했습니다. 이는 뇌 신호가 기억 용이성에 대한 작지만 실질적인 비밀을 담고 있음을 증명했습니다. 그것은 단순히 정보를 재포장한 것이 아니라, 진정으로 다른 종류의 단서입니다.

뇌 신호 안에는 무엇이 들어있는가?

그렇다면 이 비밀스러운 성분은 무엇일까요? 연구자들은 더 깊이 파고들어 두 가지 흥imi로운 사실을 발견했습니다.

1. "뇌" 부분은 실재한다: 비록 Memento10k에서는 시각 신호가 승리했지만, 뇌 신호는 여전히 시각 신호가 놓친 아주 작은 정보 조각을 가지고 있었습니다. 이 둘을 결합했을 때 예측 성능은 더욱 향상되었습니다. 이는 뇌 신호가 단순한 복사본이 아니라, 자신만의 고유한 목소리를 가지고 있음을 시사합니다.
2. 그 위치: 예측된 뇌의 어디에서 이 추가 정보가 오는지 살펴보았을 때, 그 정보는 **복측 후두-측두 피질(ventral occipito-temporal cortex)**에 집중되어 있었습니다. 인간의 관점에서 보자면, 이곳은 사물과 얼굴을 인식하는 뇌의 뒷부분과 아래쪽 영역입니다. 이는 실제 뇌 스캔에서 과학자들이 발견한 것과 일치하며, 로봇이 우리가 무언가를 기억하는 방식에 대한 실제 생물학적 진리를 우연히 재발견했음을 시사합니다.

시간 제한: 로봇이 "늦은" 기억을 볼 수 없는 이유

마지막 반전은 시간과 관련되었습니다. 연구자들은 뇌 신호가 더 나은 이유가 기억의 타이밍(예: 느린, 늦은 반응)을 포착했기 때문인지 궁금했습니다. 그들은 영상의 타이밍을 아주 짧은 순간 단위로 나누어 "초기" 또는 "후기" 뇌 신호가 핵심인지 확인했습니다.

그 결과, 시간은 중요하지 않았습니다. 뇌 신호의 타이밍은 그저 평균적인 값의 노이즈 섞인 버전일 뿐이었습니다. 왜 그럴까요? 로봇은 몇 초에 걸쳐 변화하는 "슬로우 모션" 화학 신호(BOLD 신호)를 기반으로 뇌 활동을 예측하기 때문입니다. 하지만 실제 기억의 "아하!" 모먼트는 찰나의 순간(밀리초 단위)에 일어납니다. 로봇의 "뇌"는 이러한 찰나의 번뜩임을 보기에는 너무 느리기 때문에, 타이밍을 활용해 이점을 얻을 수 없습니다. 그저 모든 것을 평균화할 뿐입니다.

요약

결론은, 인간의 행동을 이해하기 위해 로봇의 "예측된 뇌"를 사용하는 것이 모든 상황에 적용되는 만능 해결책은 아니라는 것입니다. 때로는 로봇의 "눈"이 더 낫고, 때로는 로봇의 "뇌"가 더 낫습니다. 그것은 당신이 보고 있는 특정 유형의 영상에 달려 있습니다.

이 연구는 모델이 뇌 활동을 예측할 수 있다고 해서, 그 예측이 자동으로 모든 작업에 최적인 도구가 되는 것은 아님을 가르쳐 줍니다. "뇌" 기능은 유용하지만, 훈련된 데이터에 따라 매우 특화되어 있습니다. 그것들은 인간의 기억에 대한 보편적인 열쇠라기보다는, 어떤 방에서는 눈부시게 작동하고 어떤 방에서는 형편없이 작동하는 특수 도구에 가깝습니다. 연구자들은 다른 이들이 이러한 아이디어를 더 검증할 수 있도록 코드와 데이터를 공개했습니다만, 현재로서는 "뇌가 눈을 이기는가?"라는 질문에 대한 답변은 단호하게 **"데이터셋에 따라 다르다"**입니다.