당신이 아기 뇌 속의 미스터리를 풀려는 탐정이라고 상상해 보세요. 이 미스터리는 출생 전후에 산소나 혈류가 충분히 공급되지 않아 발생하는 '저산소성 허혈성 뇌병증(HIE)'이라는 질환입니다. 이 질환은 심각한 뇌 손상을 일으킬 수 있으며, 의사들은 최선의 치료를 결정하기 위해 손상이 얼마나 심각한지 알아내야 합니다. 보통 이 미스터리를 해결하는 "골드 스탠다드(표준)"는 뇌의 전기적 속삭임을 듣는 기계인 EEG(뇌파 검사)입니다. 하지만 EEG는 비용이 많이 들고, 이를 판독할 전문 인력이 필요하며, 항상 24시간 내내 사용할 수 있는 것도 아닙니다. 다행히도 아기들에게는 심장 박동이 있으며, 그 리듬의 미세한 변화(HRV, 심박 변이도라고 불림)는 신경계에 대해 많은 것을 말해줄 수 있습니다. 문제는 컴퓨터에게 이러한 신호를 읽는 법을 가르치려면 전문가가 라벨을 붙인 수천 시간의 데이터가 필요하다는 점입니다. 여기서 "자기 지도 학습(self-supervised learning)"이라는 새로운 인공지능 분야가 등장합니다. 이것은 마치 학생에게 정답지를 먼저 주지 않고, 도서관에 있는 책들을 통해 스스로 연습하게 함으로써 언어의 패턴을 익히게 한 뒤, 나중에 정답지를 가지고 시험을 치르게 하는 것과 같습니다.

당신이 이제 읽게 될 논문은 MAEConformer라는 새로운 탐정 도구를 소개합니다. 연구진은 숙련된 퍼즐 해결사처럼 작동하는 스마트한 컴퓨터 모델을 구축했습니다. 그들은 이 모델에 라벨이 없는 아기의 신호—6,000시간 이상의 뇌파와 거의 5,000시간의 심장 리듬—라는 거대한 라이브러리를 입력했습니다. 이때 아기의 상태가 어떤지는 알려주지 않았습니다. 모델의 임무는 신호의 한 부분을 보고, 그 부분 중 무작위로 일부를 숨긴 뒤, 나머지 부분을 바탕으로 숨겨진 부분이 어떻게 생겼을지 추측하는 것이었습니다. 이 과정을 수백만 번 반복함으로써, 모델은 건강한 아기와 부상당한 아기의 뇌 및 심장이 어떻게 행동하는지에 대한 깊고 숨겨진 규칙을 학습했습니다. 일단 이 규칙을 학습하고 나면, 연구진은 정답을 알고 있는 새로운 아기들의 데이터를 사용하여 모델을 테스트했습니다. 결과는 인상적이었습니다. 모델은 아주 적은 양의 라벨링된 데이터만으로도 뇌 손상을 포착하는 데 놀라운 능력을 보여주었으며, 이는 모델이 최종 테스트 단계에서 매우 적은 양의 라벨링된 데이터를 가지고 학습했을 때도 마찬가지였습니다. 이는 정답지가 있는 비싼 전문가의 예시를 잔뜩 모으는 대신, 라벨이 없는 방대한 데이터로 먼저 연습하게 함으로써 컴퓨터에게 의료 전문가가 되는 법을 가르칠 수 있음을 입증한 것입니다.

퍼즐 해결사의 비밀 무기

이 논문의 핵심 아이디어는 컴퓨터가 복잡한 생물학적 신호를 이해하도록 가르치는 가장 좋은 방법이 "빈칸 채우기" 게임을 하게 하는 것이라는 점입니다. 연구진은 MAEConformer라고 불리는 시스템을 만들었습니다. 이 이름이 어떻게 작동하는지 이해하기 위해 구조를 나누어 보겠습니다.

먼저, MAE(Masked Autoencoder, 마스크 오토인코더)가 있습니다. 아기의 심장 박동을 기록한 길고 연속적인 녹음 파일이 있다고 상상해 보세요. MAE는 이 녹음 파일을 작은 조각들로 자른 뒤, 그 조각들의 상당 부분(예를 들어 40%)을 무작위로 가려버립니다(마스킹). 그러면 컴퓨터는 보이는 부분만을 사용하여 사라진 조각들을 재구성해야 하는 도전에 직면합니다. 이는 잡음이 섞인 노래를 들으면서 빠진 음을 흥얼거리며 맞추는 것과 같습니다. 수천 시간의 데이터를 통해 이 과정을 반복하면서, 컴퓨터는 신호의 "문법"을 배웁니다. 즉, 정상적인 심장 박동 리듬이 어떤 모습인지, 뇌파가 어떻게 흘러가야 하는지, 그리고 문제가 생겼을 때 어떤 일이 벌어지는지를 배우는 것입니다.

두 번째는 컴퓨터가 퍼즐을 풀 때 사용하는 특정 유형의 "두뇌"인 Conformer입니다. 이전의 모델들은 두 가지 서로 다른 도구와 같았습니다. 어떤 모델은 큰 그림(장기적 패턴)을 보는 데는 뛰어나지만 세부 사항을 놓쳤고, 다른 모델은 아주 작은 국소적 세부 사항을 포착하는 데는 뛰어났지만 긴 이야기의 흐름을 놓치곤 했습니다. Conformer는 이 두 가지를 모두 수행하는 하이브리드 도구입니다. 이 모델은 "트랜스포머(Transformer)" 메커니즘을 사용하여 장기적인 연결(예: 한 시간 동안 아기의 심박수가 어떻게 변하는지)을 살피고, "컨볼루션(Convolutional)" 레이어를 사용하여 즉각적인 국소적 세부 사항(예: 신호의 갑작스러운 급증)을 확대해서 봅니다. 이러한 결합을 통해 모델은 즉각적인 맥락과 장기적인 이야기를 동시에 이해할 수 있습니다.

하지만 이전 버전의 퍼즐 게임에는 문제가 있었습니다. 컴퓨터가 빠진 조각을 추측할 때, 종종 파형의 모양(시간)에만 너무 집중한 나머지 신호의 "색깔"이나 "음조"(주파수)를 무시하곤 했습니다. 아기의 신호 세계에서 주파수는 매우 중요합니다. 주파수는 뇌가 활발한지 혹은 조용한지를 알려주기 때문입니다. 이를 해결하기 위해 연구진은 게임에 MR-STFT loss라는 특별한 규칙을 추가했습니다. 이것을 퍼즐 경연 대회의 두 번째 심판이라고 생각하세요. 첫 번째 심판은 빠진 조각이 파형의 모양과 일치하는지 확인합니다. 두 번째 심판인 MR-STFT는 빠진 조각이 올바른 "소리"나 주파수 스펙트럼을 가지고 있는지 확인합니다. 이를 통해 컴퓨터가 단순히 신호의 형태뿐만 아니라, 그 진정한 음악적 특성까지 학습하도록 보장합니다.

위대한 실험

연구진은 실제 신생아 집중치료실(NICU)의 데이터를 사용하여 새로운 MAEConformer를 테스트했습니다. 그들은 먼저 거대한 "사전 학습(pre-training)" 단계를 거쳤습니다. 모델에 라벨이 없는 EEG(뇌파) 기록 6,030시간과 라벨이 없는 HRV(심박 변이도) 기록 4,868시간을 입력했습니다. 이 단계에서 모델은 어떤 아기가 아픈지 건강한지 알지 못했습니다. 그저 신호의 빠진 부분을 예측하는 법을 배웠을 뿐입니다.

모델이 "학습"된 후, 연구진은 최종 시험을 치렀습니다. 전문가들이 이미 아기의 상태를 채점해 놓은 더 작은 규모의 데이터를 사용했습니다. 모델은 두 가지 과제를 수행했습니다.

1. 이진 분류(Binary Classification): 아기가 아픈가(치료가 필요한가) 아니면 건강한가?
2. 4등급 분류(Four-Class Classification): 상태가 얼마나 심각한가? (정상, 경증, 중등도, 또는 중증)

결과는 놀라웠습니다. 뇌파(EEG) 과제의 경우, 모델은 이진 분류에서 97.19%, 4등급 분류에서 **96.56%**의 테스트 정확도(AUC)를 달성했습니다. 이는 모델이 훨씬 더 많은 라벨링된 데이터로 학습된 기존의 최고 수준 모델들보다도 뇌 손상을 더 잘 찾아냈음을 의미합니다.

심박 변이도(HRV) 과제의 경우, 모델은 **82.42%**의 AUC를 달 기록했습니다. 이는 뇌파 결과보다는 낮지만(심박수는 뇌 손상을 나타내는 간접적인 징후이므로 당연한 결과입니다), 다른 자기 지도 학습 모델은 물론 전통적인 방식에 의존하는 일부 지도 학습 모델보다도 우수한 성적이었습니다.

이것이 왜 중요한가

이 발견에서 가장 흥üst한 부분은 모델이 정확하다는 것뿐만 아니라, 얼마나 효율적인가 하는 점입니다. 연구진은 모델이 방대한 양의 라벨 없는 데이터로부터 학습하고 나면, 전문가가 된 후에도 많은 양의 라벨링된 데이터가 필요하지 않다는 것을 발견했습니다. 실제로, 모델을 일반적인 전체 데이터셋의 **10%**의 라벨링된 데이터만으로 테스트했을 때, 모델은 전체 데이터셋으로 학습된 모델과 거의 대등한 성능을 보였습니다. 이는 전문가의 라벨을 얻는 과정이 느리고 비용이 많이 들며 어렵다는 점에서 게임 체인저가 될 수 있습니다. 만약 컴퓨터가 라벨이 없는 데이터의 "노이즈"로부터 배울 수 있고, 그 후 아주 적은 양의 전문가 가이드만으로도 진단 도구가 될 수 있다면, 이는 신생아 모니터링 방식을 혁신할 수 있습니다.

또한 연구진은 모델이 왜 그렇게 잘 작동하는지 내부를 들여다보았습니다. 그들은 모델이 신호의 서로 다른 부분에 어떻게 "주의(attention)"를 기울이는지 분석했습니다. 그 결과, 다른 모델들은 종종 같은 몇 가지 패턴에만 반복적으로 집중하며 "지루해하거나" "혼란스러워하는" 반과 달리, MAEConformer는 인간 전문가처럼 다양한 시간 척도와 주파수를 바라보며 주의력을 다양하고 활발하게 유지한다는 것을 발견했습니다. 이는 모델이 단순히 몇 가지 기술을 암기하는 것이 아니라, 풍부하고 견고한 신호 이해력을 학습했음을 시사합니다.

결론

저자들은 자신들의 MAEConformer 프레임워크가 생물학적 신호를 학습하는 강력한 새로운 방법이라고 결론짓습니다. 하이브리드 구조(Conformer), 스마트한 훈련 전략(Masked Autoencoder), 그리고 주파수 인지 손실 함수(MR-STFT)를 결합함으로써, 이들은 라벨이 없는 데이터로부터 견고하고 전이 가능한 표현을 학습하는 시스템을 만들어냈습니다. 이 모델은 우리가 이미 가지고 있는 방대한 양의 가공되지 않은 데이터로부터 컴퓨터가 연습하게 함으로써, 모든 것에 라벨을 붙여야 하는 불가능한 과업을 기다리는 대신, 더 나은 데이터 효율적인 신생아 케어 도구를 구축할 수 있음을 시사합니다. 이 논문이 이 모델이 만능 해결사라거나 의사를 대체할 수 있다고 주장하는 것은 아니지만, 이 접근 방식이 신생아의 뇌 손상을 감지하고 분류하는 능력을 크게 향ar시켜, 결과적으로 가장 작은 환자들에게 더 빠르고 정확한 케어를 제공할 수 있음을 강력하게 시사하고 있습니다.