Resumen Técnico: NeuroRVQ: Tokenización de Señales Biológicas Multiescala para Modelos Fundacionales Generativos

Declaración del Problema

Las señales biológicas, como el electroencefalograma (EEG), el electrocardiograma (ECG) y la electromiografía (EMG), codifican actividad fisiológica a través de diversas escalas temporales y espectrales. Aunque los modelos fundacionales entrenados con aprendizaje enmascarado auto-supervisado han demostrado ser prometedores para aprender representaciones generalizables, su eficacia se ve limitada por la calidad del tokenizador. Los tokenizadores existentes a menudo luchan por preservar la información estructural completa, particularmente las dinámicas de alta frecuencia y las características morfológicas sutiles, que son críticas para un modelado generativo enmascarado robusto. Los enfoques actuales dependen frecuentemente de arquitecturas de escala única o de libros de códigos únicos que no capturan la naturaleza multiescala de las señales biológicas, o emplean funciones de pérdida de entrenamiento que no respetan las propiedades de procesamiento de señales (por ejemplo, la topología circular de la fase de Fourier) de los objetivos de reconstrucción. En consecuencia, los tokens generados a menudo carecen de la fidelidad necesaria para un rendimiento efectivo en tareas posteriores.

Metodología

Los autores introducen NEURORVQ, una familia de tokenizadores de señales biológicas adaptativa a la modalidad diseñada para la reconstrucción de señales de alta fidelidad. La arquitectura y la estrategia de entrenamiento están definidas por tres componentes centrales:

1. Arquitectura Temporal Multiescala

NEURORVQ descompone las señales biológicas crudas en representaciones específicas de frecuencia antes de la discretización.

• Generación de Parches: Las series temporales multivariadas de entrada se segmentan en parches temporales de longitud $w$.
• Codificador Multiescala: Un módulo estilo Inception procesa cada parche a través de $S$ ramas temporales distintas. Cada rama utiliza convoluciones temporales 1-D con tamaños de kernel variables ($K_{temporal}$) para capturar características en diferentes resoluciones.
• Integración de Transformadores: Se añaden embebidos temporales y espaciales entrenables a las características multiescala, las cuales son luego procesadas por capas de transformador compartidas para producir representaciones de parches multiescala.
• RVQ Jerárquica: En lugar de un único libro de códigos, el modelo emplea $S$ libros de códigos de Cuantización Vectorial Residual (RVQ), uno por rama temporal. Cada rama cuantiza iterativamente el residuo de la representación del parche, produciendo una secuencia de tokens neuronales ($z_1, \dots, z_N$) que reconstruyen colectivamente el parche. Este enfoque jerárquico permite la preservación de detalles finos.

2. Función de Pérdida Consciente de la Fase

Para abordar la inestabilidad y la suboptimalidad de reconstruir formas de onda o fases crudas directamente, NEURORVQ opera en el dominio de Fourier con una función de pérdida novel compuesta por tres componentes:

• Pérdida de Fase: En lugar de minimizar el Error Cuadrático Medio (MSE) en ángulos de fase crudos (que sufre discontinuidad en los límites de $\pm\pi$), el modelo predice componentes seno y coseno ($\hat{c}, \hat{s}$) de la fase. La pérdida se calcula mediante similitud del coseno entre el vector predicho $(\hat{c}, \hat{s})$ y el vector unitario objetivo $(\cos \phi, \sin \phi)$. Esto respeta la topología circular de la fase y asegura gradientes continuos.
• Pérdida de Log-Amplitud: El modelo reconstruye $\log(1 + A)$ en lugar de la amplitud cruda $A$. Esta escala logarítmica comprime el rango dinámico y pone mayor énfasis en los componentes de alta frecuencia.
• Regularización Temporal: Se aplica una pérdida de MSE en el dominio temporal a la forma de onda reconstruida (derivada del espectro predicho) para proporcionar orientación adicional en el dominio del tiempo.

3. Configuración Adaptativa a la Modalidad

Aunque la arquitectura es unificada, los hiperparámetros se ajustan por modalidad para coincidir con las características espectro-temporales:

• EEG: Muestreado a 200 Hz; longitud de parche $w=1$s; 4 ramas; 8 libros de códigos RVQ por rama.
• ECG: Muestreado a 200 Hz; longitud de parche $w=200$ms (para aislar complejos QRS); 4 ramas; 8 libros de códigos RVQ por rama.
• EMG: Muestreado a 1000 Hz (para capturar contenido de banda ancha hasta 500 Hz); longitud de parche $w=200$ms; 4 ramas; 16 libros de códigos RVQ por rama.

Contribuciones Clave

1. Tokenizador Multiescala Adaptativo a la Modalidad: Una arquitectura novel que descompone las señales biológicas en representaciones específicas de frecuencia mediante convoluciones temporales y las codifica en libros de códigos RVQ jerárquicos, permitiendo una reconstrucción de alta fidelidad en EEG, ECG y EMG.
2. Función de Pérdida Consciente de la Fase: Un objetivo de entrenamiento que reconstruye el espectro de Fourier utilizando una pérdida de log-amplitud y una pérdida de fase basada en similitud del coseno, manejando efectivamente la topología circular de los ángulos de fase y enfatizando el contenido de alta frecuencia.
3. Modelos Fundacionales NEURORVQ-FM: El entrenamiento de modelos fundacionales de tokens enmascarados simples para cada modalidad utilizando los tokenizadores propuestos. Estos modelos demuestran que la tokenización de alta fidelidad, más que la escala masiva del modelo o la complejidad arquitectónica, es el impulsor principal del rendimiento en tareas posteriores.

Resultados

Los autores validan NEURORVQ mediante métricas de reconstrucción de señales y rendimiento en tareas posteriores:

• Fidelidad de Reconstrucción: NEURORVQ logra un rendimiento de reconstrucción de vanguardia. Los estudios de ablación muestran que la combinación de arquitectura multiescala y la pérdida consciente de la fase produce reducciones dramáticas en el error de reconstrucción (por ejemplo, una reducción de 43$\times$ en el MSE de EEG en comparación con una línea base simple). NEURORVQ supera a los tokenizadores basados en libros de códigos existentes (LaBraM, BrainOmni) en todas las bandas de frecuencia.
• Rendimiento en Tareas Posteriores:
  • EEG: NEURORVQ-EEG logra la mayor precisión balanceada media en cinco tareas de clasificación (Motor, ERP, Memoria, Sueño, Ojos), superando al siguiente mejor modelo en +4.2 puntos porcentuales.
  • ECG: En la referencia PTB-XL, NEURORVQ-ECG duplica la precisión balanceada de HuBERT-ECG en la desafiante tarea de clasificación fina de 43 clases.
  • EMG: NEURORVQ-EMG supera a los modelos fundacionales existentes (PhysioWave, TinyMyo) en cuatro referencias de clasificación (Gestos Discretos, EPN-612, NinaPro DB5, UCI-EMG).
• Eficiencia: Los modelos NEURORVQ-FM logran estos resultados con backbones compactos (por ejemplo, ~5.9M de parámetros para EEG/EMG, ~264K para ECG), significativamente más pequeños que modelos competidores como NeuroGPT (79.5M) o ECGFounder (30.7M).

Significado y Afirmaciones

El artículo postula que la tokenización de alta fidelidad es un ingrediente crítico para modelos fundacionales de señales biológicas efectivos. Los autores afirman que el éxito del modelado generativo enmascarado en este dominio depende menos de aumentar la escala del modelo o la complejidad arquitectónica y más de la capacidad del tokenizador para preservar la información estructural completa de la señal, incluidas las dinámicas de alta frecuencia y las relaciones de fase.

Al demostrar que una arquitectura de modelo fundacional simple, cuando se combina con un tokenizador de alta fidelidad, puede superar a modelos existentes más grandes y complejos, el trabajo sugiere un nuevo principio de diseño para la IA de señales biológicas: priorizar la calidad de la representación discreta (la "gramática" de la señal) sobre el tamaño del modelo generativo. Los autores concluyen que NEURORVQ allana el camino para un uso más amplio y eficiente de modelos fundacionales en el espacio de las señales biológicas.