🤖 AI

NeuroRVQ: Multi-Scale Biosignal Tokenization for Generative Foundation Models

본 논문은 주파수별 컨볼루션, 계층적 RVQ 코드북, 위상 인식 손실 함수를 활용하여 고품질 생체신호 재구성을 달성함으로써 파운데이션 모델이 하위 작업에서 기존 모달리티별 접근법보다 우수한 성능을 발휘할 수 있게 하는 다중 스케일·모달리티 적응형 토크나이저인 NeuroRVQ 를 소개합니다.

원저자: Konstantinos Barmpas, Na Lee, Dimitrios Chalatsis, William Raftery, Yannis Panagakis, Dimitrios A. Adamos, Nikolaos Laskaris, Alexandros Koliousis, Dario Farina, Stefanos Zafeiriou

게시일 2026-05-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Konstantinos Barmpas, Na Lee, Dimitrios Chalatsis, William Raftery, Yannis Panagakis, Dimitrios A. Adamos, Nikolaos Laskaris, Alexandros Koliousis, Dario Farina, Stefanos Zafeiriou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 글은 개념을 명확히 하기 위해 비유를 사용하여 NeuroRVQ 논문을 쉽고 일상적인 언어로 설명합니다.

큰 그림: 신체 신호를 "언어"로 변환하기

상상해 보세요. 당신의 몸은 끊임없이 복잡한 언어를 말하고 있습니다. 뇌, 심장, 근육은 당신이 어떻게 생각하고, 느끼고, 움직이는지에 대한 이야기를 전달하는 전기 신호 (EEG, ECG, EMG 등) 를 보내고 있습니다.

오랜 시간 동안 컴퓨터는 이 언어를 이해하는 데 어려움을 겪어 왔습니다. 마치 완전히 이해하지 못하는 외국 문자로 쓰인 책을 읽으려 노력하는 학생과 같습니다. 그들은 종종 미묘한 세부 사항을 놓치거나 잡음에 혼란을 겪곤 합니다.

이 논문은 NeuroRVQ라는 새로운 도구를 소개합니다. NeuroRVQ 는 이러한 messy 한 연속적인 전기 파동을 디지털 토큰 (단어와 같은) 의 깔끔하고 조직화된 "사전"으로 변환하는 초지능 통역사라고 생각하세요. 컴퓨터가 이 "단어"들을 갖게 되면, 신체의 신호를 훨씬 더 잘 이해할 수 있게 됩니다.

문제: 이전 통역사들은 세부 사항을 놓쳤습니다

이러한 신호를 번역하려는 이전 시도들은 두 가지 주요 결함이 있었습니다:

너무 단순했습니다: 그들은 전체 신호를 하나의 "사전"으로 요약하려 시도하여, 고음역의 빠른 세부 사항 (갑작스러운 근육 경련이나 미세한 심장 이상과 같은) 을 놓쳤습니다.
"리듬"을 잘못 파악했습니다: 신호에는 위상 (타이밍 주기) 이 있습니다. 179 도와 -179 도 사이의 차이를 측정하려고 할 때, 표준 수학 공식은 두 값이 실제로는 거의 이웃임에도 불구하고 (거의 360 도) 멀리 떨어져 있다고 생각합니다. 이는 컴퓨터를 혼란스럽게 만들었습니다.

해결책: NeuroRVQ 의 작동 방식

저자들은 이러한 문제들을 해결하기 위해 세 가지 특별한 기능을 갖춘 통역사를 개발했습니다:

1. 멀티 스케일 귀 (서로 다른 주파수 청취)

오케스트라를 듣는다고 상상해 보세요. 깊은 베이스 (느린 심장 박동), 중간 음역의 바이올린 (정상적인 뇌파), 그리고 높은 피리의 소리 (빠른 근육 스파크) 를 모두 들어야 합니다.

구식 방식: 한 귀로 모든 것을 한 번에 듣는 것.
NeuroRVQ 방식: 동시에 여러 개의 "귀 (시간적 분기)"를 사용합니다. 한 귀는 느리고 긴 패턴을 듣고, 다른 귀는 빠르고 짧은 폭발음을 듣습니다. 신호를 특정 주파수 대역으로 분해하여 아무것도 잃지 않도록 합니다.

2. 계층적 사전 (RVQ 코드북)

신호가 분해되면 컴퓨터는 이를 "토큰 (디지털 단어)"으로 변환해야 합니다.

구식 방식: 거대한 단일 사전에서 완벽한 단어를 찾으려 노력하는 것.
NeuroRVQ 방식: **계층적 사전 시스템 (잔차 벡터 양자화)**을 사용합니다.
- 1 단계: 신호의 일반적인 모양에 가장 잘 맞는 "단어"를 선택합니다.
- 2 단계: *남은 부분 (오차)*을 살펴보고 세부 사항을 수정할 두 번째 단어를 선택합니다.
- 3 단계: 그림이 거의 완벽해질 때까지 단어 층을 계속 추가하여 정교하게 만듭니다.
- 비유: 초상화를 스케치하는 것과 같습니다. 먼저 윤곽을 그리고, 그 다음 코와 눈을 추가합니다. 마지막으로 명암과 작은 주근깨를 추가합니다. 각 층은 더 높은 충실도를 더합니다.

3. "원" 수학 (위상 인식 손실)

이것이 이 논문의 핵심 비법입니다. 179 도와 -179 도의 문제를 기억하시나요?

해결책: NeuroRVQ 는 신호의 타이밍을 직선으로 취급하는 대신 원으로 취급합니다. 타이밍을 원 위에 있는 사인과 코사인이라는 두 숫자 쌍으로 변환합니다.
중요한 이유: 원 위에서 179 도와 -179 도는 바로 옆에 있습니다. 이는 컴퓨터가 "랩어라운드 (wrap-around)" 효과에 혼란을 느끼지 않도록 하여, 재구성된 신호가 원래 신호와 정확히 일치하도록 보장합니다.

결과: 더 나은 기반

저자들은 단순히 통역사를 만든 것이 아니라, 그 위에 **기반 모델 (범용 AI)**을 구축했습니다. 그들은 세 가지 유형의 신호에서 이를 테스트했습니다:

EEG (뇌): 수면 단계, 감정, 움직임 감지에 사용됨.
ECG (심장): 심장 질환 진단에 사용됨.
EMG (근육): 손동작 인식에 사용됨.

주요 발견:

더 나은 재구성: NeuroRVQ 가 "단어"에서 원래 신호를 재구성했을 때, 이전 방법들보다 훨씬 더 잘 수행하여 느린 리듬과 빠른 스파이크 모두를 포착했습니다.
더 나은 하류 작업 성능: 이 고품질 "번역"을 사용하여 특정 작업 (사람이 잠들었는지 또는 부정맥이 있는지 판별하는 등) 을 위한 AI 를 훈련시켰을 때, AI 는 기존 최첨단 모델보다 훨씬 더 좋은 성능을 발휘했습니다.
효율성: 놀랍게도 NeuroRVQ 모델은 종종 경쟁사들보다 더 작고 단순했지만, 승리했습니다. 이는 AI 를 단순히 더 크고 복잡하게 만드는 것보다 **더 나은 통역사 (토크나이저)**를 갖는 것이 더 중요하다는 것을 증명합니다.

요약

이 논문은 건강 신호를 위한 훌륭한 AI 를 구축하기 위해 단순히 AI 를 더 크게 만드는 데만 초점을 맞추지 말아야 한다고 주장합니다. 대신 원시 데이터를 어떻게 번역하는지에 집중해야 합니다. NeuroRVQ 는 모든 주파수를 듣고, 계층적 사전을 사용하며, 타이밍의 순환적 특성을 이해하는 새로운 고흐실도 통역사입니다. 이 통역사를 사용하면 컴퓨터는 마침내 인간의 몸의 언어를 훨씬 더 명확하고 정확하게 "말할" 수 있게 됩니다.

기술 요약: NeuroRVQ: 생성형 기초 모델을 위한 다중 스케일 생체신호 토크나이징

문제 제기

뇌전도 (EEG), 심전도 (ECG), 근전도 (EMG) 와 같은 생체신호는 다양한 시간 및 주파수 스케일에 걸쳐 생리적 활동을 인코딩합니다. 자기지도식 마스킹 학습으로 훈련된 기초 모델이 일반화 가능한 표현을 학습하는 데 유망한 성과를 보여주고 있지만, 그 효과는 토크나이저의 품질에 의해 병목 현상을 겪고 있습니다. 기존 토크나이저들은 종종 고주파수 역동성과 미묘한 형태학적 특징과 같은 완전한 구조적 정보를 보존하는 데 어려움을 겪으며, 이는 견고한 생성형 마스킹 모델링에 필수적입니다. 현재 접근 방식들은 종종 생체신호의 다중 스케일 특성을 포착하지 못하는 단일 스케일 아키텍처나 단일 코드북에 의존하거나, 재구성 대상의 신호 처리 특성 (예: 푸리에 위상의 원형 위상) 을 존중하지 않는 훈련 손실 함수를 사용합니다. 결과적으로 생성된 토큰은 효과적인 하류 작업 수행에 필요한 충실도를 종종 결여합니다.

방법론

저자들은 고흐실도 신호 재구성을 위해 설계된 모달리티 적응형 생체신호 토크나이저 패밀리인 NEURORVQ를 소개합니다. 아키텍처와 훈련 전략은 세 가지 핵심 구성 요소로 정의됩니다:

1. 다중 스케일 시간 아키텍처

NEURORVQ 는 이산화 전에 원시 생체신호를 주파수별 표현으로 분해합니다.

패치 생성: 입력 다변량 시계열은 길이 $w$ 의 시간 패치로 분할됩니다.
다중 스케일 인코더: 인셉션 스타일 모듈이 각 패치를 $S$ 개의 서로 다른 시간 분기를 통해 처리합니다. 각 분기는 서로 다른 커널 크기 ( $K_{temporal}$ ) 를 가진 1 차원 시간 합성곱을 사용하여 서로 다른 해상도에서 특징을 포착합니다.
트랜스포머 통합: 학습 가능한 시간 및 공간 임베딩이 다중 스케일 특징에 추가된 후, 공유 트랜스포머 레이어를 처리하여 다중 스케일 패치 표현을 생성합니다.
계층적 RVQ: 단일 코드북 대신, 모델은 각 시간 분기당 $S$ 개의 잔차 벡터 양자화 (RVQ) 코드북을 사용합니다. 각 분기는 패치 표현의 잔차를 반복적으로 양자화하여 패치를 재구성하는 신경 토큰 시퀀스 ( $z_1, \dots, z_N$ ) 를 생성합니다. 이 계층적 접근 방식은 세밀한 세부 사항 보존을 가능하게 합니다.

2. 위상 인식 훈련 손실 함수

원시 파형이나 위상을 직접 재구성하는 것의 불안정성과 비최적성을 해결하기 위해, NEURORVQ 는 세 가지 구성 요소로 구성된 새로운 손실 함수를 사용하여 푸리에 도메인에서 작동합니다:

위상 손실: $\pm\pi$ 경계에서의 불연속성으로 인해 원시 위상 각도에 대한 평균 제곱 오차 (MSE) 를 최소화하는 대신, 모델은 위상의 사인과 코사인 성분 ( $\hat{c}, \hat{s}$ ) 을 예측합니다. 손실은 예측 벡터 $(\hat{c}, \hat{s})$ 와 목표 단위 벡터 $(\cos \phi, \sin \phi)$ 사이의 코사인 유사도를 통해 계산됩니다. 이는 위상의 원형 위상을 존중하고 연속적인 기울기를 보장합니다.
로그 진폭 손실: 모델은 원시 진폭 $A$ 대신 $\log(1 + A)$ 를 재구성합니다. 이 로그 스케일링은 동적 범위를 압축하고 고주파수 성분에 더 큰 중점을 둡니다.
시간 정규화: 예측된 스펙트럼에서 유도된 재구성 파형에 시간 도메인 MSE 손실이 적용되어 추가적인 시간 도메인 지침을 제공합니다.

3. 모달리티 적응형 구성

아키텍처는 통합되어 있지만, 하이퍼파라미터는 스펙트럼 - 시간 특성에 맞추어 모달리티별로 조정됩니다:

EEG: 200Hz 로 리샘플링; 패치 길이 $w=1$ s; 4 개 분기; 분기당 8 개 RVQ 코드북.
ECG: 200Hz 로 리샘플링; 패치 길이 $w=200$ ms (QRS 복합체를 분리하기 위해); 4 개 분기; 분기당 8 개 RVQ 코드북.
EMG: 500Hz 까지의 광대역 콘텐츠를 포착하기 위해 1000Hz 로 리샘플링; 패치 길이 $w=200$ ms; 4 개 분기; 분기당 16 개 RVQ 코드북.

주요 기여

모달리티 적응형 다중 스케일 토크나이저: 시간 합성곱을 통해 생체신호를 주파수별 표현으로 분해하고 계층적 RVQ 코드북으로 인코딩하여 EEG, ECG, EMG 전반에 걸쳐 고흐실도 재구성을 가능하게 하는 새로운 아키텍처.
위상 인식 손실 함수: 로그 진폭 손실과 코사인 유사도 기반 위상 손실을 사용하여 푸리에 스펙트럼을 재구성하는 훈련 목적 함수로, 위상 각도의 원형 위상을 효과적으로 처리하고 고주파수 콘텐츠를 강조합니다.
NEURORVQ-FM 기초 모델: 제안된 토크나이저를 사용하여 각 모달리티에 대한 간단한 마스킹 토큰 기초 모델을 훈련한 것. 이러한 모델들은 하류 성능의 주요 동인이 거대한 모델 규모나 아키텍처 복잡성이 아닌 고흐실도 토크나이징임을 보여줍니다.

결과

저자들은 신호 재구성 지표와 하류 작업 성능을 통해 NEURORVQ 를 검증했습니다:

재구성 충실도: NEURORVQ 는 최첨단 재구성 성능을 달성합니다. 제거 연구는 다중 스케일 아키텍처와 위상 인식 손실의 조합이 재구성 오차를 극적으로 감소시킴을 보여줍니다 (예: 간단한 베이스라인 대비 EEG MSE 43 배 감소). NEURORVQ 는 모든 주파수 대역에서 기존 코드북 기반 토크나이저 (LaBraM, BrainOmni) 보다 우수한 성능을 보입니다.
하류 성능:
- EEG: NEURORVQ-EEG 는 5 가지 분류 작업 (모터, ERP, 기억, 수면, 눈) 에서 평균 균형 정확도가 가장 높으며, 다음으로 좋은 모델보다 +4.2 백분율 포인트 더 높은 성능을 보입니다.
- ECG: PTB-XL 벤치마크에서 NEURORVQ-ECG 는 까다로운 43 클래스 세분화 분류 작업에서 HuBERT-ECG 의 균형 정확도를 두 배로 높입니다.
- EMG: NEURORVQ-EMG 는 4 가지 분류 벤치마크 (이산 제스처, EPN-612, NinaPro DB5, UCI-EMG) 에서 기존 기초 모델 (PhysioWave, TinyMyo) 보다 우수한 성능을 보입니다.
효율성: NEURORVQ-FM 모델은 EEG/EMG 의 경우 약 590 만 개, ECG 의 경우 약 264,000 개와 같은 컴팩트한 백본으로 이러한 결과를 달성하며, NeuroGPT(7950 만 개) 나 ECGFounder(3070 만 개) 와 같은 경쟁 모델보다 훨씬 작습니다.

중요성과 주장

이 논문은 고충실도 토크나이징이 효과적인 생체신호 기초 모델을 위한 핵심 요소라고 주장합니다. 저자들은 이 도메인에서 생성형 마스킹 모델링의 성공이 모델 규모나 아키텍처 복잡성을 증가시키는 것보다는 신호의 전체 구조적 정보, 특히 고주파수 역동성과 위상 관계를 보존하는 토크나이저의 능력에 더 의존한다고 주장합니다.

고충실도 토크나이저와 짝을 이루는 간단한 기초 모델 아키텍처가 더 크고 복잡한 기존 모델보다 우수한 성능을 낼 수 있음을 입증함으로써, 이 연구는 생체신호 AI 를 위한 새로운 설계 원칙을 제시합니다: 생성 모델의 크기보다 신호의 이산 표현 (신호의 "문법") 의 품질을 우선시하는 것입니다. 저자들은 NEURORVQ 가 생체신료 분야에서 기초 모델의 보다 광범위하고 효율적인 사용을 위한 길을 마련한다고 결론지었습니다.