기술 요약: TFM-Tokenizer

문제 제기

기초 모델이 자연어 처리 (NLP) 를 혁신하고 뇌파 (EEG) 분석에 점점 더 적용되고 있지만, 중요한 병목 현상이 남아 있습니다: 효과적인 EEG 토큰화입니다. 기존 EEG 기초 모델 (예: BIOT, LaBraM) 은 일반적으로 연속적인 EEG 를 짧은 지속 시간의 패치로 직접 분할하여 이산 어휘를 학습하지 않고 신호를 토큰화합니다. 이 접근 방식은 단순히 신호를 이산화할 뿐, 통계적으로 근거 있고 데이터 기반의 표현을 포착하지 못합니다. 또한, 이전의 신경 토크나이저 시도들 (예: LaBraM 내) 은 주로 하류 추론 과정에서 폐기되는 학습 목적으로만 기능하여 재사용성과 입력 표현 품질 향상 능력을 제한했습니다.

저자들은 효과적인 EEG 토크나이저 설계에서 세 가지 구체적인 과제를 식별했습니다:

1. 토큰화 대상: 실제 세계의 EEG 는 장치, 채널 구성 및 기록 길이에 따라 광범위하게 변합니다. 토크나이저는 단일 채널 수준에서 작동하여 다중 채널 및 비표준 장치 (예: 귀-EEG) 로 일반화되는 채널 무관 토큰을 학습해야 합니다.
2. 토큰 해상도: EEG 신호에는 다양한 진동 패턴 (예: 알파, 베타) 및 과도 패턴 (예: 스파이크) 이 포함됩니다. 효과적인 토큰은 종종 잡음과 시간 왜곡에 의해 왜곡되는 이러한 근본적인 시간 - 주파수 모티프를 표현해야 합니다.
3. 학습 목적: 시간 기반 모티프에만 의존하면 스펙트럼 구조를 간과할 위험이 있습니다. 학습 목적은 대역별 및 교차 주파수 패턴을 포착하기 위해 명시적으로 시간 - 주파수 표현을 포함해야 합니다.

방법론: TFM-Tokenizer

본 논문은 단일 채널 EEG 신호에서 시간 - 주파수 모티프의 어휘를 학습하고 이를 이산 토큰으로 인코딩하는 모델-중립적 프레임워크인 TFM-Tokenizer를 제안합니다. 이 프레임워크는 두 단계로 작동합니다:

1. TFM-Tokenizer 사전 학습 (비지도, 단일 채널)

토크나이저는 연속적인 단일 채널 EEG 신호를 이산 토큰 시퀀스로 매핑하도록 훈련됩니다. 이는 이중 경로 인코딩 설계를 사용합니다:

• 국소화 스펙트럼 윈도우 인코더: 전체 스펙트럼 윈도우를 단일 선형 계층을 통해 투영하는 대신, 이 구성 요소는 스펙트로그램을 주파수 패치로 분할합니다. 이는 주파수 패치 인코더를 followed by 주파수 트랜스포머를 사용하여 윈도우 내 교차 주파수 의존성을 모델링합니다. 핵심적으로, 이는 관련 주파수 대역 (예: 수면을 위한 32Hz 까지) 을 강조하고 관련 없는 대역을 억제하기 위해 게이트형 패치별 집계 메커니즘을 사용합니다.
• 시간 인코더: 시간적 컨텍스트를 포착하기 위해 원시 EEG 패치를 처리합니다.
• 퓨전 및 양자화: 집계된 주파수 임베딩은 시간 임베딩과 연결되고 시간 트랜스포머에 의해 처리되어 장거리 의존성을 모델링합니다. 결과 임베딩은 학습 가능한 코드북을 기반으로 한 **벡터 양자화 (VQ)**를 사용하여 이산 어휘로 매핑되어 모티프 토큰을 생성합니다.
• 학습 목적: 모델은 결합 주파수 - 시간 마스킹 전략을 사용하여 훈련됩니다. 주파수 대역과 시간 세그먼트 모두 마스킹되며, 모델은 마스킹된 스펙트로그램을 재구성하고 이산 토큰 어휘를 예측해야 합니다. 이는 토크나이저가 고유한 국소화된 시간 - 주파수 패턴을 학습하도록 강제합니다.

2. 하류 트랜스포머 훈련

토크나이저가 훈련되면 고정됩니다. 경량 트랜스포머(선형 어텐션 사용) 가 하류 모델로 사용됩니다.

• 입력: 다중 채널 EEG 는 토큰 시퀀스를 생성하기 위해 각 채널별로 독립적으로 토크나이저에 의해 처리됩니다.
• 처리: 이러한 토큰 시퀀스는 평탄화되고, 채널 및 위치 임베딩과 결합된 후 트랜스포머에 의해 처리됩니다.
• 사전 학습: 하류 모델은 채널 내 및 채널 간 의존성을 학습하기 위해 마스킹 토큰 예측 (MTP) 사전 학습을 거칩니다.
• 파인튜닝: 모델은 특정 하류 작업 (예: 발작 감지, 수면 단계 분류) 을 위해 파인튜닝됩니다.

주요 기여

1. 단일 채널 EEG 토큰화 공식화: 저자들은 시간 - 주파수 모티프를 포착하고 하류 모델링의 입력으로 직접 재사용 가능한 단일 채널 EEG 신호를 위한 이산 토큰 어휘 학습을 조사한 최초의 연구자입니다.
2. 새로운 TFM-Token 프레임워크: 이중 경로 (시간 - 주파수) 인코더를 통해 EEG 를 이산 토큰 시퀀스로 변환하는 프레임워크의 도입입니다. 이 프레임워크는 모델-중립적이며 기존 기초 모델 (예: BIOT, LaBraM) 과 원활하게 통합되어 성능을 향상시킵니다.
3. 광범위한 평가 및 확장성: 이 방법은 네 가지 다양한 EEG 데이터셋 (TUEV, TUAB, CHB-MIT, IIIC Seizure) 에서 검증되었으며, 특히 귀-EEG를 사용한 수면 단계 분류와 같은 비표준 장치로 확장 가능함이 입증되어 베이스라인을 크게 능가했습니다.

실험 결과

논문은 여러 벤치마크에서 일관된 성능 향상을 보고합니다:

• 정확도: TUEV 데이터셋 (이벤트 분류) 에서 TFM-Tokenizer 는 다중 데이터셋 사전 학습 설정에서 강력한 베이스라인 대비 코헨의 카파 (Cohen's Kappa) 를 최대 11% 향상시켰습니다 (0.5588 에서 0.6189 로). IIIC Seizure 데이터셋에서는 다중 데이터셋 설정에서 LaBraM 대비 코헨의 카파를 36% 향상시켰습니다.
• 효율성: 경량 하류 모델 (약 190 만 파라미터) 과 결합된 TFM-Tokenizer 는 더 큰 베이스라인 (예: 580 만 파라미터의 LaBraM, 320 만 파라미터의 BIOT) 보다 우수한 성능을 보여주어 토큰화가 데이터 복잡성을 효과적으로 감소시킨다는 것을 입증했습니다.
• 일반화: 플러그 - 앤 - 플레이 구성 요소로서, TFM-Tokenizer 를 기존 기초 모델 (BIOT 및 LaBraM) 에 통합하는 것은 단일 및 다중 데이터셋 설정에서 그들의 성능을 일관되게 향상시켰습니다. 예를 들어, 단일 데이터셋 설정에서 CHB-MIT 데이터셋에 대한 LaBraM 의 성능을 AUC-PR 기준으로 147% 향상시켰습니다.
• 확장성 (교차 장치): 표준 10–20 시스템 외부의 전극을 사용한 EESM23 귀-EEG수면 단계 데이터셋의 도메인 외 실험에서 TFM-Tokenizer 는 베이스라인보다 14% 더 높은 성능을 보여 다양한 기록 장치 및 구성에 걸쳐 일반화할 수 있는 능력을 입증했습니다.
• 토큰 품질: 분석은 학습된 토큰이 잡음과 진폭 변화에도 불구하고 강력한 클래스 구별 고유성, 클래스 내 일관성, 그리고 의미 있는 생리학적 모티프 (예: PLED 및 GPED) 를 포착하는 능력을 보임을 밝혔습니다.

중요성 및 주장

본 논문은 TFM-Tokenizer 가 단순한 신호 분할을 넘어 토큰화를 위한 원칙적이고 데이터 기반의 방법을 제공함으로써 EEG 기초 모델의 근본적인 격차를 해소한다고 주장합니다. 그 중요성은 세 가지 영역에 있습니다:

1. 향상된 표현 품질: 명시적으로 시간 - 주파수 모티프를 모델링함으로써 토크나이저는 원시 연속 세그먼트보다 더 정보적이고 해석 가능한 고품질 입력 표현을 제공합니다.
2. 플러그 - 앤 - 플레이 다양성: 이 프레임워크는 특정 아키텍처에 묶여 있지 않아 처음부터 다시 훈련할 필요 없이 기존 기초 모델의 광범위한 범위를 향상시킬 수 있습니다.
3. 장치 무관성: 단일 채널 수준에서 작동함으로써 이 방법은 토큰화를 엄격한 채널 구성 (예: 10–20 시스템) 에서 분리하여 귀-EEG 센서와 같은 신흥 비표준 EEG 장치에 기초 모델을 적용할 수 있게 합니다.

저자들은 이 작업이 다양한 모달리티, 장치 및 임상 작업에 적응할 수 있는 더 견고하고 확장 가능하며 일반화 가능한 EEG 기초 모델의 기초를 마련했다고 결론지었습니다.