Uncovering EEG Patterns Consistently Associated with Cybersickness Discomfort Using Deep Learning Interpretability Maps

가상 현실 헤드셋을 쓰고 가상 박물관 투어를 관람하거나 화면 위에서 회전하는 선들을 보고 있다고 상상해 보십시오. 어떤 이들에게 이 경험은 짜릿하지만, 다른 이들에게는 사이버 멀미(cybersickness)라고 불리는 메스꺼움, 어지러움, 그리고 전반적인 불쾌감을 유발합니다. 이러한 불편함은 가상 현실의 광범위한 사용에 있어 주요한 장벽이 되며, 사람들이 몰입할 수 있는 시간을 제한하고 많은 이들이 기술을 사용하는 것 자체를 막기도 합니다. 현재로서는 누군가가 아프다고 느끼는지 알 수 있는 유일한 방법은 경험이 끝난 후에 그들에게 물어보는 것뿐입니다. 하지만 그때는 이미 도움을 주기에는 너무 늦은 경우가 많습니다. 과학자들은 사람이 스스로 불편함을 느끼기도 전에 뇌가 미묘한 신호를 보낸다고 오랫동안 의심해 왔지만, 이 신호들은 혼란스러운 전기적 활동의 폭풍 속에 파묻혀 있었습니다. 과제는 사용자에게 단 한 마절의 질문도 던지지 않고도, 불편함의 시작을 안정적으로 예측할 수 있는 특정 패턴을 그 소음 속에서 찾아내는 것이었습니다.

연구진은 뇌의 전기적 언어를 직접 경청함으로써 이 퍼즐을 풀기 위해 나섰습니다. 그들은 참가자들이 가상 현실 헤드셋을 착용한 상태에서 일련의 비프음을 듣게 하며 뇌 활동을 기록했습니다. 이 설정은 연구진이 시각적 세계가 회전하는 동안 뇌의 반응을 포착할 수 있게 해주었습니다. 그들은 '사건 관련 전위(event-related potential)'라고 불리는 특정 유형의 뇌 신호에 집중했는데, 이는 뇌가 소리를 처리할 때마다 발생하는 짧고 시간차를 둔 전기적 반응입니다. 이 미세하고 찰나적인 반응들을 살펴봄으로써, 연구팀은 서로 다른 사람들과 서로 다른 가상 환경에서도 일관되게 나타나는 불편함의 지문을 찾고자 했습니다. 이를 위해 그들은 뇌 데이터로부터 학습하고, 결정적으로 자신이 결정을 내리는 데 사용한 데이터의 정확히 어느 부분을 사용했는지 설명할 수 있는 정교한 컴퓨터 시스템을 구축했습니다.

연구진은 가상 현실 연구에 참여했던 두 개의 별도 그룹을 대상으로 시스템을 테스트했습니다. 한 그룹은 가상 박물관 투어를 경험했고, 다른 그룹은 자기 운동(self-motion)의 감각을 만들어내도록 설계된 회전하는 선들을 관찰했습니다. 가상 세계와 사용된 장비, 그리고 참여한 사람들이 달랐음에도 불구하고, 컴퓨터 모델은 놀라울 정도로 일관된 패턴을 발견했습니다. 모델이 누군가가 불편함을 느끼고 있음을 성공적으로 식별했을 때, 모델은 일관되게 머리 피부의 세 가지 특정 영역, 즉 이마 왼쪽, 머리 중앙, 그리고 오른쪽 뒤편에서 오는 신호에 의존했습니다. 이 신호들은 단순한 무작위 소음이 아니었습니다. 이들은 뇌가 소리를 들은 후 약 80에서 260밀리초 사이의 매우 구체적인 시간 창 안에서 나타났습니다. 이는 사람이 스스로 아프다고 의식적으로 인지하기도 전인 믿기 힘들 정도로 짧은 시간입니다.

이 발견을 특히 강력하게 만든 것은 연구진이 단 한 종류의 컴퓨터 모델에 의존하지 않았다는 점입니다. 그들은 각기 다른 정보 처리 방식을 가진 세 가지 종류의 딥러닝 네트워크를 훈련시켰고, 약간의 변형을 주어 실험을 100번 이상 수행했습니다. 거의 모든 경우에 모델은 가장 중요한 단서로서 두피의 동일한 몇몇 전극들을 지목했습니다. 불편함을 느끼지 못한 사람들의 경우, 모델은 주로 머리 중앙과 뒷부분을 포함한 다른 지점들을 살펴보았습니다. 그러나 불편함을 느낀 사람들에게는 왼쪽 앞쪽과 오른쪽 뒤쪽 영역이 주요 초점이 되었습니다. 이러한 일관성은 연구진이 데이터를 조직하는 방식이나 참가자들이 들은 특정 소리를 변경했을 때도 유지되었습니다. 완전히 별개의 데이터셋이 서로 다른 국가에서 서로 다른 가상 현실 헤드셋을 사용하여 수집되었음에도 불구하고 동일한 결과를 냈다는 사실은, 이러한 뇌 패턴이 인간의 몸이 가상 운동 멀미에 반응하는 근본적인 부분임을 시사합니다.

연구 또한 이러한 신호의 타이밍이 매우 중요하다는 것을 밝혀냈습니다. 불편함을 신호하는 뇌 활동은 소리의 처리 과정 중 매우 초기에 발생했으며, 이는 가상 환경에 대한 더 복잡한 생각이 형성되기 훨씬 전의 일입니다. 이는 멀미를 느끼는 기분이 복잡한 감정적 반응이라기보다는, 우리가 큰 소리를 즉각적으로 인식하는 것과 유사한 기본적인 감각적 사건으로서 뇌에서 처리될 가능성이 높음을 시사합니다. 이러한 초기 특정 위치를 식별함으로써, 연구진은 미래 기술을 위한 명확한 목표를 제공했습니다. 사용자가 메스꺼움을 느끼고 보고하기를 기다리는 대신, 시스템은 이러한 뇌 신호를 실시간으로 모니터링할 수 있습니다. 만약 시스템이 불편함과 관련된 패턴을 감지하면, 사용자가 증상을 느끼기도 전에 움직임을 늦추거나 시야를 조정하는 등의 방식으로 가상 경험을 자동으로 조절할 수 있습니다.

결과가 유망하기는 하지만, 연구진은 이것이 완성된 해결책이라기보다 시작점이라는 점을 주의 깊게 언급했습니다. 뇌는 복잡한 기관이며, 두피에서 기록된 전기 신호는 많은 영역의 활동이 섞여 있는 것이기에 두개골 깊은 곳의 정확한 신호원을 짚어내는 것은 어렵습니다. 더욱이, 본 연구는 사이버 멀미라는 더 넓은 증후군의 한 측면인 일반적인 불편함의 느낌에 초점을 맞추었습니다. 모델들은 상대적으로 작은 규모의 집단을 대상으로 훈련되었으며, 데이터셋 간에 패턴이 유지되기는 했으나, 이 발견이 모든 사람에게 적용되는지 확인하기 위해서는 더 많은 연구가 필요합니다. 그럼에도 불구하고, 이 연구는 중요한 진전을 의미합니다. 이 연구는 단순히 누군가가 아프다는 것을 감지하는 단계에서 벗어나, 뇌에서 멀미가 시작되는 구체적이고 측정 가능한 순간을 이해하는 단계로 나아감으로써, 가상 현실이 타고난 저항력이 있는 소수뿐만 아니라 모두에게 편안할 수 있는 미래를 향한 문을 열어주었습니다.