⚡ electrical engineering

EEG-JEPA: Structured Latent Prediction for EEG Foundation Models

이 논문은 노이즈가 있는 원시 파형을 재구성하는 대신 마스킹된 전극-시간 영역으로부터 맥락적 잠재 상태를 추론함으로써 EEG 파운데이션 모델을 개선하는 구조화된 잠재 예측 프레임워크인 EEG-JEPA를 소개하며, 이를 통해 EEG-FM-Bench에서 최첨단 성능을 달성한다.

원저자: Jinhao Li, Zhiyuan Ma, Xueqiao Han, Zhongye Xia, Xinche Zhang, Shanghong Xie, Yixuan Liu, Yongjian Li, Runmin Gan, Tianlin Huo, Sen Song

게시일 2026-08-04

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jinhao Li, Zhiyuan Ma, Xueqiao Han, Zhongye Xia, Xinche Zhang, Shanghong Xie, Yixuan Liu, Yongjian Li, Runmin Gan, Tianlin Huo, Sen Song

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

마치 모든 것을 한꺼번에 잡아내는, 지직거리는 단일 라디오 방송을 들으며 북적이는 도시를 이해하려고 노력하는 상황을 상상해 보십시오. 그 방송에는 교통 소음, 바람 소리, 정전기, 그리고 실제 뉴스 방송이 모두 섞여 있습니다. 이것이 바로 과학자들이 EEG(뇌파)를 통해 인간의 뇌를 읽으려 할 때 직면하는 과제입니다. EEG는 두피에서 발생하는 전기 신호를 포착하는, 우리 마음을 들여다보는 비침습적인 창과 같습니다. 이는 수면 모니터링, 질환 진단부터 사람들이 생각만으로 컴퓨터를 제어하도록 돕는 일에 이르기까지 다양하게 사용됩니다. 하지만 이 신호들은 매우 지저분하기로 악명이 높습니다. 근육의 떨림, 눈 깜빡임, 또는 기록 장비의 웅웅거리는 소리와 같은 '정전기'가 실제 우리가 관심을 두는 뇌 활동과 뒤섞여 있기 때문입니다.

이러한 노이즈를 이해하기 위해, 연구자들은 거대한 AI 시스템인 '파운데이션 모델(foundation models)'을 구축하고 있습니다. 이 모델들은 마치 아이가 수천 번의 대화를 들으며 언어를 배우는 것처럼, 뇌가 작동하는 일반적인 규칙을 학습하기 위해 방대한 양의 데이터로 훈련됩니다. 여기서 핵심적인 질문은 '이 AI 모델들이 실제로 무엇을 배워야 하는가?'입니다. 만약 여러분이 학생에게 문장에서 빠진 단어를 채우라고 한다면, 학생은 그저 이전에 들어본 가장 흔한 단어를 추측할 수도 있습니다. 마찬가지로, AI에게 뇌 신호의 누락된 부분을 예측하라고 요청하면, AI는 실제 사고 방식의 깊고 전이 가능한 패턴을 학습하는 대신, 지루하고 예측 가능한 배경 소음이나 특정 기록 장비의 특성을 예측하는 법을 배울 수도 있습니다. 여러분이 읽게 될 논문은 바로 이 문제를 다루며, 어떻게 하면 AI 모델이 정전기를 무시하고 실제 이야기에 집중하도록 가르칠 수 있는지에 대해 질문을 던집니다.

논문: EEG-JEPA

칭화대학교와 다른 기관들의 연구팀인 이 논문의 저자들은 EEG-JEPA라고 불리는 새로운 방식의 뇌 읽기 AI 모델 훈련법을 소개합니다. 누락된 전압 스파이크를 정확히 재구성하려고 시도하는 기존 방식(이는 마치 소음이 심한 방에서 가수의 정확한 음높이를 맞추려는 것과 같습니다) 대신, EEG-JEPA는 주변 맥락을 바탕으로 누락된 부분의 의미나 상태를 예측하도록 AI에게 요구합니다.

이렇게 생각해보십시오. 여러분이 미스터리 소설을 읽고 있는데, 누군가 몇 페이지를 찢어간 상황을 가정해 봅시다.

기존 방식 (마스크된 파형 재구성): AI에게 찢어진 페이지를 잉크 얼룩, 커피 자국, 특정 글꼴까지 포함하여 원래 모습 그대로 다시 그려내라고 요구합니다. 결과적으로 AI는 플롯(줄거리)이 아니라 종이와 얼룩을 복사하는 법을 배우게 됩니다.
새로운 방식 (EEG-JEPA): AI에게 앞뒤 장의 단서들을 바탕으로 누락된 페이지에서 어떤 일이 일어났는지 요약하라고 요구합니다. AI는 특정 글꼴이나 커피 자국에 신경 쓰는 대신, 이야기(신경 구조)를 파악해야 합니다.

이것이 가능하게 하기 위해, 연구팀은 세 가지 특별한 규칙을 가진 "구조화된" 훈련 게임을 설계했습니다:

무엇을 예측할 것인가 (대상 콘텐츠): 모델은 가공되지 않은 전기 전압을 추측하는 대신 "잠재 상태(latent state)"를 추측합니다. 이는 캐릭터의 옷 색깔을 정확히 맞추는 것이 아니라 캐릭터의 감정을 추측하는 것과 같습니다. 모델은 전체 그림을 보는 "교사(teacher)"(지수 이동 평균 인코더)로부터 정답을 생성하며, "학생" 모델은 누락된 부분이 있는 부분만을 봅니다.
어디를 예측할 것할 것인가 (대상 서포트): 이 부분이 이 논문에서 정말 영리한 지점입니다. 뇌는 단순히 무작위적인 센서 격자가 아니라, 특정한 형태와 위상(예: 좌우 반구가 함께 작동하는 구조)을 가지고 있습니다. 연구팀은 N-MET(신경 위상 인식 다중 척도 전극-시간 마스킹)이라는 새로운 마스킹 전략을 만들었습니다. 데이터를 테트리스 게임처럼 무작위로 삭제하는 대신, N-MET은 의미 있는 덩어리들을 삭제합니다. 예를 들어, 모델이 리듬을 맞출 수 있는지 확인하기 위해 시간의 특정 "줄무늬"를 숨기거나, 모델이 뇌의 대칭성을 이해하는지 테스트하기 위해 머리 반대편의 센서 "쌍"을 숨깁니다. 이는 AI가 뇌의 서로 다른 부분들이 어떻게 서로 소통하는지를 배우도록 강제합니다.
얼마나 깊게 볼 것인가 (대상 깊이): 모델은 테스트 끝에 단 하나의 성적만 받는 것이 아닙니다. 모델의 "뇌"(인코더 레이어)의 여러 단계에서 감독을 받습니다. 초기에는 단순한 패턴을 예측하고, 나중에는 더 복잡하고 추상적인 패턴을 예측해야 합니다. 이를 통해 모델이 단순한 리듬부터 복잡한 인지 상태에 이르기까지 전체적인 계층 구조의 뇌 기능을 학습하도록 보장합니다.

연구 결과

연구팀은 방대한 벤치마크인 EEG-FM-Bench(수면 단계 감지부터 감정 인식, 운동 상상(손을 움직이는 상상)에 이르기까지 14가지 다양한 과제를 포함)를 사용하여 EEG-JEPA를 다른 최상위 뇌-AI 모델들과 비교 테스트했습니다.

결과는 인상적이었습니다. 모델을 동결했을 때(즉, 특정 과제를 위해 재학습시키지 않고 이미 보유한 지식만을 사용했을 때), EEG-JEPA는 14개 과제에 대해 **52.94%**의 균형 정확도를 달성했습니다. 이는 테스트한 모든 파운데이션 모델 중 가장 높은 점수였으며, 이전의 선두 모델이었던 EEGPT를 눈에 띄는 차이로 앞질렀습니다. 더욱 중요한 것은, 특정 과제에 맞춰 모델을 미세 조정(fine-tuning)했을 때 평균 정확도가 **68.98%**에서 **70.65%**로 향상되었다는 점입니다.

이 논문은 성공의 핵심이 단순히 더 큰 모델을 사용하는 것이 아니라, 모델이 무엇을 배우도록 요청하느냐를 바꾸는 데 있었다고 시사합니다. AI에게 단순히 노이즈 섞인 신호를 완벽하게 복사하라고 요구하는 대신, 구조화되고 높은 수준의 상태를 추론하도록 강제함으로써, 모델은 다양한 유형의 뇌 데이터에 훨씬 더 잘 작동하는 표현(representations)을 학습하게 되었습니다.

검증된 내용 (부정된 가설)

저자들은 자신들의 성공이 단순히 더 나은 교사를 사용했거나 다른 무작위 마스크를 사용했기 때문이 아님을 보여주기 위해 주의를 기울였습니다. 그들은 일련의 "절제 연구(ablation studies)"(시스템의 일부를 제거하여 어떤 결과가 나타나는지 확인하는 과정)를 수행했습니다:

단순히 "잠재적(latent)" 타겟을 사용하는 것(원시 신호 대신 상태를 예측하는 것)만으로는 충분하지 않으며, 특정한 마스킹 구조(N-MET)가 결정적이라는 것을 입증했습니다.
무작위 마스킹(데이터를 무질서하고 구조화되지 않은 방식으로 숨기는 것)이 그들의 신경 위상 인식 마스킹보다 성능이 현저히 떨어진다는 것을 보여주었습니다.
네트워크의 맨 마지막 단계에서만 예측하는 것이 여러 깊이(L3, L6, L9 및 최종 레이어)에서 감독하는 것보다 효과가 낮다는 것을 입증했습니다.

시사점

이 논문은 뇌의 미스터리를 해결했다고 주장하는 것이 아니라, AI를 위한 강력한 새로운 방향을 제시하고 있습니다. 만약 우리가 기계가 뇌를 이해하기를 원한다면, 단순히 그들에게 노이즈 섞인 신호를 완벽하게 복사하는 복사기가 되라고 요구해서는 안 된다는 것을 보여줍니다. 대신, 노이즈 속에 남겨진 단서들을 통해 숨겨진 신경 활동의 이야기를 추론하는 탐정이 되도록 가르쳐야 합니다. 뇌의 자연스러운 형태와 계층 구조를 존중하도록 학습 과정을 구조화함으로써, EEG-JEPA는 이전의 그 어떤 모델보다도 새로운 실세계 뇌 과제에 지식을 전이하는 데 뛰어난 모델을 만들어냈습니다.

기술 요약: EEG-JEPA

문제 정의

뇌파(EEG) 파운데이션 모델은 대규모 레이블 없는 데이터를 통해 다양한 다운스트림 애플리케이션(임상 모니터링, 뇌-컴퓨터 인터페이스, 인지 신경과학 등)을 지원할 수 있는 재사용 가능한 표현(representation)을 학습하는 것을 목표로 한다. 그러나 기존의 사전 학습 전략은 근본적인 한계에 직면해 있다: 모델이 무엇을 예측해야 하는가?

마스크된 파형 재구성(예: CBraMod)과 같은 현재의 지배적인 방식들은 노이즈가 섞인 원시 신호에 직접 감독(supervision)을 적용한다. 저자들은 이러한 방식이 모델로 하여가 근본적인 신경 구조를 학습하게 하기보다는, 예측 가능한 배경 활동, 획득 아티팩트(artifact), 또는 장치 특유의 패턴을 복구하도록 유도한다고 주장한다. 마찬가지로, 대조 학습(contrastive) 및 정렬 기반(alignment-based) 방법들은 태스크 독립적인 것이 아닐 수 있는 양의 쌍(positive pairs)이나 신호 변환에 대한 가설에 의존한다. 잠재 표현 공간에서 작동하는 잠재 예측(latent prediction)이 대안이 될 수 있으나, 기존의 EEG 연구들은 일관된 전이 성능 향상을 입증하지 못했거나, 채널 및 시간 척도 전반에 걸쳐 재사용 가능한 신경 구조를 강조하기 위해 어떻게 잠재 타겟(latent targets)을 구성할 것인지 명시적으로 정의하지 못했다.

방법론: EEG-JEPA

저자들은 EEG-JEPA를 소개한다. 이는 구조화된 전극-시간 컨텍스트로부터 잠재 상태(latent states)를 추론함으로써, 사전 학습의 초점을 누락된 측정값을 복구하는 것에서 구조화된 잠재 상태를 추론하는 것으로 전환한 구조적 잠재 예측 프레임워크이다. 이 프레임워크는 세 가지 결합된 설계 차원에 의해 제어된다:

1. 타겟 콘텐츠: EMA 컨텍스츄얼 상태 (EMA Contextual States)

EEG-JEPA는 원시 전압 샘플을 예측하는 대신 컨텍스츄얼 잠재 상태를 예측한다.

타겟 인코더 (Target Encoder): 지수 이동 평균(EMA) 인코더가 전체 EEG 크롭(crop)을 처리하여 참조 표현을 생성한다.
컨텍스트 인코더 (Context Encoder): 동일한 크롭을 처리하되, 타겟 패치(target patches) 부분이 제로(zero) 처리된 상태로 처리한다.
예측 (Prediction): 예측기는 가시적인 컨텍스트 표현과 위치 쿼리(positional queries)만을 사용하여 타겟 잠재 상태(EMA 인코더에 의해 생성된)를 추론한다. 이는 모델이 단순히 국소적인 신호 값을 보간하는 것이 아니라, 마스킹된 영역의 상태를 추론하기 위해 전체 입력으로부터 정보를 통합하도록 강제한다.

2. 타겟 서포트: 신경위상학 인지 다중 척도 전극-시간 마스킹 (N-MET)

EEG의 고유한 시공간적 의미론을 다루기 위해, 마스킹 전략은 무작위 패치 샘플링을 넘어선다. N-MET는 다음 여섯 가지 프리미티브(primitives)를 기반으로 구조화된 타겟 위치를 선택한다:

시간 스트라이프 (Temporal stripes): 형태학적 연속성과 리듬의 연속성을 추론하기 위해 누락된 이벤트 간격을 시뮬레이션한다.
채널 스트라이프 (Channel stripes): 인접한 두피 전계(scalp fields)를 추론하기 위해 지역적 센서 손실을 시뮬레이션한다.
로컬 블록 (Local blocks): 특정 전극과 시간 창에 국한된 국소적 활동을 타겟팅한다.
토포-페어 스트라이프 (Topo-pair stripes): 양측 대응성(bilateral correspondence)과 반구 비대칭성을 조사한다.
전체 채널 / 전체 토포-페어 (Full channel / Full topo-pair): 글로벌 컨텍스트를 요구하는 센서 드롭아웃을 시뮬레이션한다.
이러한 혼합 방식은 모델이 시간적 연속성, 공간적 상관관계, 그리고 다양한 척도에서의 센서 견고성을 학습하도록 보장한다.

3. 타겟 깊이: 계층적 감독 (Hierarchical Supervision)

최종 인코더 레이어에서만 감독하는 대신, EEG-JEPA는 여러 깊이( $L3, L6, L9$ 및 최종 레이어)에서 감독을 적용한다.

메커니즘: 예측기는 융합된 계층적 컨텍스트 특징을 전달받으며, 각 특정 깊이의 타겟을 추정하기 위해 별도의 헤드(head)를 사용한다.
이점: 이를 통해 모델이 다양한 수준의 추상화(국소 신호 구조에서부터 심층적인 컨텍스트 조직에 이르기까지)에서 표현을 학습할 수 있게 하며, 중간 인코더 프리픽스(prefix)를 사용하여 매개변수 효율적인 전이를 가능하게 한다.

학습 목적 함수 (Training Objective)

총 손실(total loss)은 다음을 결합한다:

잠재 예측 손실 ( $\mathcal{L}_{latent}$ ): 감독된 깊이 전반에 걸친 예측된 잠재 상태와 타겟 잠재 상태 사이의 Smooth L1 손실.
분산-공분산 정규화 (VCReg): 특징 붕괴(feature collapse)를 방지하고 예측기 출력의 중복성을 줄인다.

주요 기여

정식화 (Formulation): 본 논문은 EEG 사전 학습을 단순한 파형 재구성을 넘어, 구조화된 잠재 예측 문제로 정식화하며 타겟 콘텐츠, 신경위상학 인지 서포트, 표현 깊이를 명시적으로 정의한다.
구현 (Instantiation): 저자들은 이를 EMA 컨텍스츄얼 타겟, N-MET(양측 대칭성 및 지역적 손실과 같은 신경위상학적 구조를 인코딩), 그리고 깊이별 계층적 예측을 통해 구현하였다.
검증 (Validation): 엄격하게 매칭된 비교 및 절제 연구(ablation studies)를 통해, 이러한 설계 선택들이 집합적으로 성능 향상과 광범한 전이 가능성을 이끌어낸다는 것을 입증하였다.

실험 결과

저자들은 EEG-FM-Bench(14개 태스크)와 풀 파인튜닝을 위한 9개 태스크 세트에 대해 EEG-JEPA를 평가하였으며, 이때 동일한 백본, 코퍼스(TUEG, TDBRAIN, HBN), 그리고 훈련 기간을 사용하였다.

Frozen Multitask Transfer (동결된 멀티태스크 전이): EEG-JEPA는 14개 태스크 벤치마크에서 **52.94%**의 매크로 균형 정확도(BA)를 달로성했다. 이는 가장 우수한 마스크 파형 재구성 베이스라인(CBraMod: 40.49%)보다 12.45 퍼센트 포인트 높으며, 다른 파운데이션 모델인 EEGPT(52.15%)와 REVE(51.50%)를 능가한다.
Full Fine-Tuning (전체 파인튜닝): 프로토콜이 매칭된 조건 하에서, EEG-JEPA는 9개 태스크의 평균 BA를 68.98%(CBraMod)에서 **70.65%**로 향상시켰다. 가장 큰 폭의 향상은 운동 상상(motor imagery) 및 상상 언어(imagined speech) 태스크에서 관찰되었다.
매개변수 효율성 (Parameter Efficiency): 중간 인코더 프리픽스(L3, L6, L9)를 활용함으로써, EEG-JEPA는 유연한 정확도-용량 트레이드오프를 제공한다. 작은 프리픽스(예: 1.26M 파라미터의 L3)만으로도 더 큰 재구성 기반 모델들과 비교하여 경쟁력 있는 성능(48.87%)을 달성하였다.
절제 연구 (Ablation Studies):
- 무작위 마스킹에서 N-MET로 전환했을 때 유의미한 성능 향상(+1.35%)이 있었다.
- 계층적 예측을 추가했을 때 가장 큰 단일 이득(+3.66%)이 발생했다.
- 다중 소스 지속 (Multi-source continuation) (TDBRAIN 및 HBN 데이터 추가)은 성능을 2.52% 더 향상시켰다.

의의 및 주장

본 논문은 구조화된 잠재 예측이 직접적인 신호 재구성보다 EEG 파운데이션 모델을 위한 더 우수한 사전 학습 목적임을 입증한다고 주장한다. 학습 목표를 노이즈 섞인 측정값의 복구에서 구조화된 컨텍스트로부터 잠재 상태를 추론하는 것으로 전환함으로써, 모델은 노이즈, 아티팩트 및 도메인 변화에 더 강건한 표현을 학습한다.

저자들은 성능 향상이 단순히 모델 크기나 데이터의 양 때문이 아니라, 타겟의 구체적인 설계에서 비롯된 것임을 강조한다:

N-MET는 모델이 신경위상학적으로 유의미한 구조(예: 양측 대칭성)를 학습하도록 강제한다.
계층적 감독은 국소적인 신호 특성과 글로벌 컨텍스트 관계가 적절한 깊이에서 모두 포착되도록 보장한다.

레이어별 분석을 통해 EEG-JEPA가 **선택적 깊이 조직화(selective depth organization)**를 발달시킨다는 것이 밝혀졌다: 기초적인 신호 통계는 얕은 레이어에서 접근 가능하며, 복잡한 신호 내 상호작용 및 채널 간 관계는 더 깊은 레이어에서 풍부해진다. 이러한 구조적 조직은 다양한 임상 및 인지 태스크에 대한 모델의 탁월한 전이 능력과 상관관계를 가진다. 저자들은 결론적으로 EEG-JEPA가 EEG-FM-Bench에 대한 새로운 SOTA(State-of-the-Art)를 설정하며, 이질적인 EEG 애플리케이션을 위한 강력한 기반을 제공한다고 밝히고 있다.