EEG-Conformer for EEG Decoding: A Participant-Wise Evaluation and Ablation Study Across Three Datasets

인간의 뇌는 뉴런을 통해 미세한 신호를 끊임없이 쏘아 올리는, 지속적으로 웅웅거리는 전기적 활동의 엔진입니다. 두개골을 열지 않고 이 대화를 듣기 위해, 과학자들은 뇌전도, 즉 EEG라고 불리는 방법을 사용합니다. 그들은 머리 표면에 센서가 달린 캡을 씌워 이 희미한 전기적 물결을 포착합니다. 목표는 이러한 패턴을 읽음으로써 뇌가 무엇을 생각하거나 하고 있는지를 해독하는 것이며, 이 분야를 뇌-컴퓨터 인터페이스(BCI)라고 합니다. 수년 동안 연구자들은 이러한 지저식한 신호들을 명령어로 번역하기 위해, 종종 합성곱 신경망(CNN)에 기반을 둔 표준 컴퓨터 프로그램을 활용해 왔습니다. 이러한 프로그램들은 머리의 특정 지점에서 나타나는 특정한 리듬과 같은 국소적인 패턴을 찾아내는 데 능숙합니다. 하지만 뇌는 또한 한 영역의 활동이 멀리 떨어진 다른 영역에 영향을 줄 수 있는 장거리 연결이 존재하는 곳이기도 합니다. 이를 포착하기 위해, 트랜스포머(Transformer)라고 불리는 새로운 유형의 컴퓨터 모델이 도입되었습니다. 이 모델은 전체적인 그림을 한꺼번에 바라보도록 설계되어, 먼 거리의 신호들을 연결하여 더 큰 맥락을 이해합니다. 과학자들의 큰 의문은, 이러한 복잡한 장거리 사고 능력을 단순한 국소 패턴 매칭에 추가하는 것이 실제로 도움이 되는지, 아니면 그저 시스템에 불필요한 무게만을 더하는 것인지 하는 점입니다.

건양대학교의 연구팀은 신중하고 기초적인 조사를 통해 이 질문에 답하고자 했습니다. 그들은 새로운 기계를 발명한 것이 아니라, 국소 패턴 매칭과 장거리 사고 능력을 결합한 EEG-Conformer라는 기존 모델을 가져와 엄격한 스트레스 테스트를 거쳤습니다. 그들은 추가된 복잡성이 실제로 뇌를 읽는 능력을 향상시키는지, 아니면 더 단순하고 오래된 방법들도 충분히 좋은 성능을 내는지 확인하고 싶었습니다. 또한, 작은 움직임 센서인 가속도계의 데이터를 추가하는 것이 컴퓨터가 뇌를 더 잘 이해하도록 돕는지, 아니면 그 추가 정보가 그저 노이즈에 불과한지도 테스트했습니다. 이를 위해 그들은 48명의 건강한 자원생으로부터 새로운 녹화 데이터를 수집했습니다. 각 참가자는 머리에 19개의 센서가 달린 헤드셋을 착용하고 몸에 3개의 움직임 센서를 부착했습니다. 자원생들은 세 가지 간단한 과제를 수행했습니다: 눈을 뜨고 앉아 있기, 눈을 감고 앉아 있기, 그리고 팔을 공중에 일정 시간 동안 들고 있기입니다. 연구자들은 매우 높은 속도로 이 뇌파를 기록하여, 매 초당 500개의 전기적 활동 스냅샷을 포착했습니다.

연구진은 이 데이터를 컴퓨터 모델에 입력하여 그들이 어떤 과제를 수행하고 있는지 얼마나 잘 맞히는지 확인했습니다. 단 한 번의 테스트에서, 장거리 사고 능력을 갖춘 복잡한 모델은 기존의 단순한 모델들보다 약간 더 나은 성능을 보이며 약 67%의 정확도에 도달했습니다. 이는 새로운 기술의 작은 승리처럼 보였습니다. 그러나 연구자들은 단 한 번의 테스트가 마치 한 경기만 보고 선수의 실력을 판단하는 것처럼 오해를 불러일각 수 있다는 것을 알고 있었습니다. 진짜 이야기를 알아내기 위해, 그들은 참가자들을 서로 다른 그룹으로 섞고 컴퓨터의 학습 과정을 서로 다른 무작위 설정으로 시작하며 실험을 여러 번 반복했습니다. 그렇게 했을 때, 그림은 변했습니다. 첫 번째 테스트에서 복잡한 모델이 보여주었던 작은 우위는 사라지거나 매우 작아졌습니다. 실제로 여러 그룹에 걸쳐 데이터를 살펴보았을 때, 복잡한 모델은 단순한 모델보다 약 0.7% 정도만 더 정확했는데, 이는 사람마다 다른 뇌의 자연스러운 변동성을 고려할 때 거의 눈에 띄지 않는 차이였습니다.

연구는 또한 움직임 센서의 역할도 조사했습니다. 첫 번째 단일 테스트에서 움직임 센서를 제거했을 때 놀랍게도 컴퓨터의 성능이 더 좋아졌는데, 이는 움직임 데이터가 시스템을 혼란스럽게 만들었음을 시사했습니다. 하지만 연구자들이 반복 테스트를 수행했을 때, 결과는 뒤집혔습니다. 움직임 센서를 제거하는 것이 오히려 컴퓨터의 성능을 약 1.2% 떨어뜨려 성능을 저하시켰습니다. 이러한 역전 현상은 첫 번째 결과가 데이터가 우연히 한 번 그렇게 나누어졌던 결과, 즉 '플루크(fluke)'였음을 보여주었습니다. 움직임 센서는 움직임에 대한 유용한 정보를 포함하고 있었지만, 그 이점은 작았으며 테스트를 여러 번 실행하여 운을 평균화했을 때만 나타났습니다. 연구자들은 또한 500 스냅샷/초라는 높은 기록 속도가 필요한지도 테스트했습니다. 그들이 데이터를 125 스냅샷/초로 늦추었을 때, 컴퓨터의 뇌 읽기 능력이 크게 떨어지지 않는다는 것을 발견했습니다. 이는 이러한 과제들을 위한 뇌의 전기적 신호를 이해하는 데 그렇게 높은 속도의 포착이 필요하지 않으며, 빠른 기록의 미세한 디테일이 성공의 핵심이 아니라는 것을 시사합니다.

아마도 이 연구에서 가장 드러내는 바가 컸던 부분은 컴퓨터가 서로 다른 과제를 어떻게 처리했는가 하는 점이었습니다. 모델은 눈을 뜨고 있는 상태와 눈을 감고 있는 상태를 구분하는 데 탁월하여, 약 91%의 확률로 상태를 정확히 식별했습니다. 이는 눈을 감는 행위가 뇌 뒷부분에 강력하고 잘 알려진 리듬을 만들기 때문에 포착하기 쉽기 때문입니다. 그러나 모델은 눈을 뜬 상태와 팔을 들고 있는 과제를 구별하는 데 어려움을 겪었습니다. 모델은 이 두 상태를 약 40%의 확률로 혼동했습니다. 연구자들은 팔을 들고 있는 동작이 근육 움직임을 동반하며, 이것이 뇌 활동과 매우 유사해 보이는 전기적 노이즈를 생성한다는 것을 깨달았습니다. 이 연구는 근육 신호를 별도로 기록하거나 근육 노이즈를 제거하는 특수한 방법을 사용하지 않았기 때문에, 컴퓨터는 아마도 과제에 따른 특정 뇌 신호보다는 팔과 어깨 근육의 움직임에 반응했을 가능성이 높습니다. 이는 컴퓨터가 팔의 움직임이라는 '마음을 읽은' 것이 아니라, 물리적 움직임에 반응한 것임을 의미합니다.

이 연구는 뇌를 읽는 컴퓨터에 복잡한 장거리 사고 능력을 추가하는 것에 대한 기대가 과장되었을 수 있다고 결론지었습니다. 더 단순하고 오래된 모델들이 복잡한 모델들과 거의 대등한 성능을 보였으며, 추가된 구성 요소들은 오직 테스트 방식에 따라 크게 달라지는 아주 작고 일관되지 않은 향상만을 제공했습니다. 연구자들은 데이터를 나누는 방식이 매우 중요하다는 점을 강조했습니다. 만약 컴퓨터에게 어떤 사람의 일부 시행(trial)을 학습하게 하고, 동일한 사람의 다른 시행을 예측하게 한다면, 컴퓨터는 이미 그 사람의 뇌 패턴을 보았기 때문에 훨씬 똑똑해 보일 것입니다. 하지만 한 번도 본 적 없는 완전히 새로운 사람들을 대상으로 테스트할 때, 성능은 떨어지고 모델 간의 차이는 줄어듭니다. 이 연구는 인간의 뇌를 해독하려는 여정에서 가장 진보된 도구가 항상 최선은 아니며, 신중하고 반복적인 테스트만이 새로운 아이디어가 진정한 돌파구인지 아니면 그저 운 좋은 추측인지를 알려주는 유일한 방법이라는 사실을 상기시켜 줍니다.