기술 요약: DIVER-1

문제 제기

두개강 내 뇌전도 (iEEG) 는 인간의 신경 활동을 직접적이고 밀리초 단위로 기록하여, 인지 해독, 뇌 - 컴퓨터 인터페이스, 정밀 신경의학 분야에서 귀중한 가치를 지닙니다. 그러나 iEEG 를 위한 재사용 가능한 파운데이션 모델 개발은 세 가지 주요 병목 현상에 의해 방해받고 있습니다:

1. 제한된 어텐션 아키텍처: 기존 모델들은 종종 전극을 독립적으로 처리하거나 공간 및 시간 처리를 분리하여, 뇌의 지연된 영역 간 조율을 모델링하는 데 필수적인 직접적인 채널 간 및 시간 간 상호작용을 포착하지 못합니다.
2. 고정된 사전 학습 인터페이스: 임상 iEEG 데이터는 채널 수, 해부학적 커버리지, 전극 유형 (SEEG 대 ECoG), 그리고 참조 방식에서 환자 간에 크게 변합니다. 현재 모델들은 고정된 입력 창과 채널 배치를 가정하여, 다양한 임상 시나리오나 다른 시간적 맥락 (예: 초단위 해독 대 수초 간 발작 감지) 에 대한 일반화 능력을 제한합니다.
3. 과소 규모화된 사전 학습: 이전의 iEEG 파운데이션 모델들 (예: BrainBERT, PopT, BaRISTA) 은 상대적으로 작은 데이터셋 (예: 약 40~43 시간 분량의 BrainTreeBank) 으로 훈련되었으며, 종종 소아 영화 시청 기록으로 제한되었습니다. 이는 임상 모니터링에서 이용 가능한 방대하고 이질적인 데이터에 비해 사전 학습의 규모와 다양성을 제한합니다. furthermore, 이 분야는 성능 향상이 데이터 양 증가, 모델 파라미터 증가, 아니면 훈련 기간 증가 중 어디에서 비롯되어야 하는지 결정하기 위한 통제된, 컴퓨팅을 고려한 스케일링 법칙이 부족합니다.

방법론: DIVER-1 아키텍처 및 훈련

저자들은 이러한 병목 현상을 해결하기 위해 새로운 아키텍처와 대규모 사전 학습 전략을 통해 설계된 자기지도형 iEEG 파운데이션 모델인 DIVER-1을 소개합니다.

핵심 아키텍처 구성 요소

• Any-Variate Electrode–Time Attention: 시간 또는 공간 축으로 어텐션을 제한하는 표준 Transformer 와 달리, DIVER-1 은 모든 전극 - 시간 토큰에 대한 전체 자기 어텐션을 사용합니다. 고정된 Montage 를 가정하지 않고 이를 표현력 있게 만들기 위해 시공간 구조를 어텐션 메커니즘에 직접 주입합니다:
  • RoPE (Rotary Positional Embeddings): 시간 오프셋을 인코딩합니다.
  • 학습 가능한 편향 (Learnable Biases): 동일 채널 간 상호작용과 채널 간 상호작용을 구분하여, 명시적인 공간 메타데이터가 없더라도 채널 순열 등변성을 유지합니다.
• 입력 조건부 인코딩: 가변적인 전극 배치와 참조 방식을 처리하기 위해 DIVER-1 은 다음을 활용합니다:
  • 시공간 조건부 위치 임베딩 (STCPE): MOIRAI 아키텍처 기반의 슬라이딩 윈도우 메커니즘으로, 고정된 채널 순서나 절대 좌표에 의존하지 않고 국소적인 시공간 편향을 제공합니다.
  • 시공간 리샘플링 (STR): 사전 학습 동안 모델은 30 초 구간에서 채널과 시간 패치의 무작위 부분집합을 샘플링합니다. 이는 모델이 가변적인 입력 크기와 맥락에서 견고한 표현을 학습하도록 강제합니다.
  • 다중 도메인 재구성 (MDRO): 모델은 원시 파형뿐만 아니라 여러 신호 도메인 (원시 시간 도메인, FFT 주파수 스펙트럼, STFT 시간 - 주파수 표현) 에 걸쳐 마스킹된 패치를 재구성하도록 훈련됩니다.
• 위치 및 스펙트럼 임베딩: 모델은 채널 메타데이터 (3D MNI 좌표, 전극 유형) 와 스펙트럼 특징 (FFT 변환된 패치) 을 입력 임베딩으로 통합합니다.

사전 학습 및 스케일링 연구

• 데이터셋: DIVER-1 은 여러 센터에서 수집된 ECoG 및 SEEG 기록을 포함하는 37 명의 피험자에 걸친 5,310 시간의 iEEG 데이터 (352k 채널 - 시간) 로 사전 학습되었습니다. 이 양은 이전 모델에 사용된 BrainTreeBank 코퍼스보다 약 54 배 더 큽니다.
• 모델 변형: 서로 다른 시간적 세밀도에 맞추기 위해 두 가지 변형이 구현되었습니다: DIVER-1-0.1s(50 샘플 패치) 와 DIVER-1-1s(500 샘플 패치).
• 스케일링 법칙 분석: 저자들은 자기지도형 iEEG 사전 학습을 위한 최초의 통제된, 컴퓨팅을 고려한 스케일링 연구를 수행했습니다. 모델 너비 전반에 걸쳐 안정적인 하이퍼파라미터 전이를 보장하기 위해 **최대 업데이트 파라미터화 (µP)**를 사용하여 데이터 규모, 피험자 수, 훈련 기간, 그리고 모델 크기 (최대 18.3 억 파라미터) 를 스윕했습니다.

주요 결과

하류 작업 성능

DIVER-1 은 두 개의 홀드아웃 벤치마크인 Neuroprobe(15 작업 자연주의적 인지 해독) 와 MAYO(발작 감지) 에서 평가되었습니다.

• Neuroprobe: DIVER-1-0.1s 는 평가된 모든 iEEG 파운데이션 모델 및 지도식 베이스라인 중에서 최고 평균 AUROC를 달성했습니다. 특히, 누출을 고려한 평가 하에서 사전 학습된 iEEG 모델이 간단한 선형 베이스라인보다 성능이 낮다는 이전 발견을 반전시키며 선형 스펙트로그램 디코더를 능가했습니다. 이는 Neuroprobe 가 소아 데이터로 구성된 반면, 사전 학습은 외부 성인 데이터로 이루어졌음에도 달성된 것으로, 강력한 교차 데이터셋 전이를 보여줍니다.
• MAYO: DIVER-1-1s 는 발작 감지에서 최고 AUROC를 달성하여 BrainBERT 와 Brant 를 능가했습니다.
• 선형 프로빙: 고정된 DIVER-1-0.1s 모델은 매우 경쟁력이 있었으며, Neuroprobe 에서 완전히 파인튜닝된 대응 모델보다 종종 더 좋은 성능을 보여, 사전 학습된 표현이 이미 선형적으로 유용함을 나타냈습니다.

스케일링 법칙 발견

스케일링 연구는 iEEG 파운데이션 모델에 대한 데이터 제약 regime을 드러냈습니다:

• 데이터 대 파라미터: 파라미터 수만 증가시키는 것보다 고유한 데이터 기록과 훈련 기간을 늘리는 것이 더 신뢰할 수 있는 성능 향상을 가져왔습니다.
• 컴퓨팅 최적 할당:
  • 새로운 데이터가 이용 가능한 경우, 최적의 전략은 데이터를 먼저 확장한 다음 훈련 기간을, 마지막으로 모델 파라미터를 확장하는 것입니다.
  • 코퍼스가 고정된 경우, 최적의 전략은 매우 큰 모델을 짧게 훈련하는 것보다 작은 규모에서 중간 규모 모델에서 더 오래 훈련 (더 많은 패스) 하는 것입니다.
• 체감 수익: 이 연구는 반복된 데이터 ($R^*_D \approx 9.5$ 에포크) 와 과도한 파라미터 ($R^*_N \approx 3.4$) 에 대한 체감 수익을 정량화하여, 모델 크기를 적당하게 유지하면서 데이터셋 반복을 확장하는 것이 이익을 추구하는 가장 좋은 방법임을 시사했습니다.

중요성 및 주장

이 논문은 DIVER-1 이 다음과 같은 이유로 iEEG 파운데이션 모델링에서 중요한 도약이라고 주장합니다:

1. 전송 가능한 표현의 실현: 대규모 이질적 사전 학습이 소규모, 좁은 데이터셋으로 훈련된 이전 모델의 한계를 극복하고 피험자, 센터, 임상 작업 전반에 걸쳐 전송되는 표현을 생성할 수 있음을 입증합니다.
2. 새로운 스케일링 패러다임의 확립: iEEG 사전 학습이 데이터에 의해 제약받음을 보여주는 최초의 통제된 증거를 제공합니다. 저자들은 언어 모델에서 종종 관찰되는 파라미터 중심 스케일링 법칙과 대조적으로, 커뮤니티가 단순히 모델 파라미터 수를 늘리는 것보다 고유한 기록 양과 훈련 기간 확장을 우선시해야 한다고 주장합니다.
3. 아키텍처 혁신: Any-variate 어텐션과 입력 조건부 위치 임베딩을 통해 가변적인 채널, 참조, 시간적 맥락을 본질적으로 처리하는 아키텍처를 도입하여, 고정된 Montage 없이도 견고한 시공간 신경 역학을 모델링할 수 있게 합니다.

저자들은 iEEG 파운데이션 모델의 향후 방향이 "데이터를 먼저 확장하고, 그 다음으로 더 오래 훈련하며, 마지막으로 파라미터를 확장하는 것"이라고 결론지었습니다.