Optimizing MR-based gaze-decoding for eyes-closed eye-tracking in fMRI

MRI 스캐너의 조용한 웅웅거림 속에서, 연구자들은 종종 사람들이 사진, 소리 또는 생각에 반응하여 뇌가 활성화되는 동안 완벽하게 가만히 누워 있도록 요청합니다. 수십 년 동안 과학자들은 사람이 어디를 보느냐가 무엇을 생각하느냐만큼 중요하다는 것을 알고 있었습니다. 참가자의 눈이 아주 조금이라도 옆으로 흐르면, 기록된 뇌 활동이 완전히 변하여 명확한 신호를 혼란스러운 노이즈로 바꿀 수 있습니다. 이를 방지하기 위해 대부분의 연구에서는 고속 카메라를 사용하여 눈을 추적하며, 사람이 정확히 보아야 할 곳을 보고 있는지 확인합니다. 하지만 이 카메라에는 사각지대가 있습니다. 바로 눈을 감았을 때를 볼 수 없다는 점입니다. 이는 거대한 이해의 공백을 남깁니다. 우리는 잠을 자거나, 눈을 감고 깊은 휴식을 취하거나, 머릿속으로 장면을 상상하도록 요청받을 때 뇌에서 어떤 일이 일어나는지 연구할 수 없습니다. 왜냐하면 그들의 눈이 움직이고 있는지, 혹은 어디를 향하고 있는지 알 방법이 없기 때문입니다.

한 연구팀은 이제 카메라가 아니라 안구 자체의 자기 신호를 들음으로써 그 어둠 속을 보는 방법을 찾아냈습니다. 뇌 스캔 패턴을 인식하도록 학습하는 강력한 컴퓨터 프로그램을 사용하여, 그들은 눈을 꽉 감고 있을 때조차 사람이 어디를 보고 있는지 추측하도록 기계를 가르쳤습니다. 이 돌파구는 값비싼 장비나 완벽한 조건을 필요로 하지 않습니다. 대신, 시스템이 서로 다른 스캐너와 서로 다른 과제에 적응할 수 있게 해주는 영리한 훈련 방법에 의존하며, 이를 통해 마음의 눈이 움직이는 숨겨진 세계를 들여다보는 창을 열었습니다.

이야기는 DeepMReye라고 불리는 도구로부터 시작됩니다. 이는 사람들이 화면을 보고 있을 때 잘 작동하는 것으로 이미 알려진 정교한 컴퓨터 프로그램입니다. 이 프로그램은 번역기처럼 작동하여, 스캐너 내부의 안구에서 나오는 희미한 자기적 파동을 시선이 향하는 곳의 지도로 변환합니다. 그러나 이 번역기의 원래 버전은 주로 눈을 크게 뜨고 있는 사람들의 데이터로 학습되었습니다. 연구자들이 이 프로그램을 눈을 감은 사람들에게 사용했을 때, 결과는 불안정했습니다. 눈꺼풀이 눌리면 눈의 물리적 형태가 미세하게 변하며, 컴퓨터가 한 번도 본 적 없는 방식으로 자기 신호가 변화하기 때문입니다. 이는 마치 영어만 할 줄 아는 번역가에게 갑자기 완전히 다른 문법을 사용하는 언어를 해석하라고 요구하는 것과 같았습니다.

이를 해결하기 위해 연구진은 새로운 종류의 훈련 세션을 설계했습니다. 그들은 15명의 자원봉사자를 스캐너로 불러와 뇌 스캔이 진행되는 동안 일련의 안구 운동을 수행하도록 요청했습니다. 먼저, 자원봉사자들은 화면 위의 타겟을 따라 움직이며, 공중에 삼각형을 그리는 것과 같은 특정 패턴을 따라 눈을 움직였습니다. 이 부분은 눈을 뜬 상태로 진행되었으며, 통제된 방식으로 눈이 움직일 때 자기 신호가 어떻게 보이는지에 대한 명확하고 완벽한 사례를 컴퓨터에 제공했습니다. 연구진은 이 신선한 데이터를 사용하여 컴퓨터 프로그램을 "미세 조정(fine-tuning)"했습니다. 즉, 해당 스캐너와 특정 설정이 세상을 어떻게 보는지 컴퓨터에게 가르친 것입니다.

결과는 즉각적이고 명확했습니다. 연구진이 새로 훈련된 프로그램을 동일한 개안(開眼) 과제에 테스트했을 때, 원래 버전보다 훨씬 더 나은 성능을 보였습니다. 프로그램은 움직임을 훨씬 더 정밀하게 추적하여, 컴퓨터가 생각하는 눈의 위치와 실제 눈의 위치 사이의 거리를 줄였습니다. 결정적으로, 연구진은 이러한 개선이 단순히 숫자를 더 큰 화면에 맞추기 위해 늘리는 문제가 아니라는 것을 발견했습니다. 프로그램은 실제로 해당 스캐너가 안구의 움직임을 포착하는 고유한 방식을 진정으로 학습했습니다. 더욱 놀랍게도, 연구진은 이 훈련을 하는 데 카메라 데이터가 필요하지 않다는 것을 발견했습니다. 그들은 단순히 컴퓨터에게 "이 사람이 이 특정 지점을 보고 있었다"라고 말해줄 수 있었고, 프로그램은 실제 눈의 움직임을 카메라로 기록한 것만큼이나 잘 학습했습니다. 이는 카메라가 없는 실험실이라도 자신들만의 방식으로 시스템을 가르칠 수 있음을 의미합니다.

하지만 진짜 마법은 불이 꺼졌을 때 일어났습니다. 연구진은 자원봉사자들에게 비프음 신호에만 의지하여 앞서 수행했던 것과 똑같은 삼각형 그리기 과제를 눈을 감은 채 수행하도록 했습니다. 또한 천천히 눈을 깜빡이거나, 아무것도 보지 않고 눈을 뜨고 있는 동작도 요청했습니다. 연구진이 이 폐안(閉眼) 세션의 뇌 스캔 데이터를 새로 훈련된 프로그램에 입력했을 때, 프로그램은 눈의 움직임을 성공적으로 재구성했습니다. 컴퓨터는 어둠 속에서 그려지는 삼각형을 "볼" 수 있었습니다. 이것이 운 좋은 추측이 아님을 증명하기 위해, 연구진은 데이터의 움직임 순서를 뒤섞었습니다. 순서가 깨지자 프로그램은 더 이상 모양을 식별할 수 없었으며, 이는 프로그램이 단순히 소리의 타이밍에 기반해 추측하는 것이 아니라 실제로 눈의 경로를 해독하고 있음을 입증했습니다.

이러한 폐안 움직임을 보는 능력은 단순한 기술 과시가 아니었습니다. 이는 뇌와 눈이 어떻게 상호작용하는지에 대한 심오한 사실을 드러냈습니다. 연구진은 프로그램이 열린 눈꺼집과 감긴 눈꺼풀의 차이를 높은 정확도로 구별할 수 있다는 것을 발견했습니다. 프로그램은 사람이 눈을 깜빡이는지, 혹은 눈을 완전히 감고 있는지를 자기 신호를 읽는 것만으로 감지할 수 있었습니다. 이는 눈꺼풀의 상태가 뇌 스캔에 독특한 지문을 남기며, 컴퓨터가 이를 인식할 수 있음을 시사합니다.

아마도 가장 실용적인 발견은, 프로그램이 폐안 과제를 수행하기 위해 반드시 폐안 데이터로 훈련될 필요는 없다는 점이었을 것입니다. 연구진은 앞서 수집한 개안 데이터만을 사용하여 시스템을 훈련시켜 보았습니다. 이 버전을 폐안 세션에 테스트했을 때, 프로그램은 개안 및 폐안 데이터를 모두 사용하여 훈련된 버전과 거의 대등한 성능을 보였습니다. 이는 향에 수면이나 정신적 이미지를 연구하기 위해 과학자들이 어둠 속에서 카메라를 작동시키려 애쓸 필요가 없음을 의미합니다. 그들은 피험자가 깨어 있고 화면을 보고 있을 때 시스템을 훈련시킨 다음, 그 지식을 폐안의 순간에 적용하기만 하면 됩니다.

연구는 또한 이러한 시스템이 사용되는 방식의 흔한 한계점도 다루었습니다. 흔히 연구자들은 출력의 규모를 조정하기만 하면 범용 프로그램이 어떤 설정에서도 작동할 것이라고 가정합니다. 그러나 연구진은 이것만으로는 부족하다는 것을 보여주었습니다. 단순한 수학적 숫자 확장은 해당 지역의 데이터에 특화되어 훈련된 프로그램의 성능을 따라잡을 수 없었습니다. 컴퓨터는 해당 스캐너의 특유한 "목소리"와 그 특정 공간에서 눈이 움직이는 고유한 방식을 배워야만 했습니다.

단순한 훈련 루틴과 강력한 학습 알고리즘을 결합함으로써, 연구진은 뇌 연구의 주요 장벽을 제거했습니다. 그들은 눈을 감고 있을 때도 마음이 어디를 보고 있는지, 카메라로 관찰하지 않고도 추적할 수 있음을 보여주었습니다. 이는 수면, 깊은 휴식, 그리고 상상의 내적 풍경을 이전에는 불가능했던 명확함으로 연구할 수 있는 문을 열어주었습니다. 기술이 완벽한 것은 아닙니다. 감은 눈의 움직임은 자연스럽게 뜬 눈보다 정밀도가 떨어지며, 컴퓨터 역시 그 현실을 반영합니다. 하지만 처음으로, 감은 눈의 어둠은 인간의 뇌를 이해하는 데 있어 더 이상 사각지대가 아닙니다.