SPOTR: Spatio-temporal Pooling One-Token Reconstruction for Universal Physiological Signal Self-supervised Learning

Resumen Técnico: SPOTR

Planteamiento del Problema
Las señales fisiológicas (EEG, ECG, PPG) son críticas para el monitoreo clínico, sin embargo, los métodos de aprendizaje autosupervisado (SSL) para estas señales enfrentan limitaciones significativas en la práctica. Los enfoques actuales luchan por la generalización a través de conjuntos de datos heterogéneos y a menudo fallan bajo el "linear probing" (sonda lineal), un entorno de adaptación ligero que refleja escenarios médicos del mundo real donde los datos etiquetados y el cómputo son escasos.
Específicamente, el artículo identifica dos modos de falla principales en los paradigmas de SSL existentes:

1. Aprendizaje Contrastivo (C-SSL): El rendimiento es altamente sensible al diseño de las vistas (aumento o reglas de dominio). Cambios leves en la fuerza del aumento o en los criterios de emparejamiento pueden desestabilizar la señal de supervisión, dificultando la generalización a través de diversos conjuntos de datos.
2. Reconstrucción de Máscaras (MR-SSL): Los modelos suelen aprender "atajos" explotando la continuidad temporal y la redundancia entre canales para recuperar segmentos enmascarados sin aprender representaciones globales compactas. Esto conduce a una baja pérdida de preentrenamiento pero a ganancias marginales en el rendimiento downstream.
   Además, los modelos basados en Transformers existentes suelen procesar secuencias espaciotemporales aplanadas de longitud $C \times N$ (canales $\times$ tokens de tiempo), lo que incurre en altos costos computacionales y de memoria. La mayoría de los modelos también son específicos de una modalidad, careciendo de un marco unificado para EEG, ECG y PPG.

Metodología: SPOTR
Los autores proponen SPOTR (Spatio-temporal Pooling One-Token Reconstruction), un marco de SSL universal construido sobre un esquema de preentrenamiento de compresión-reconstrucción con un cuello de botella global de un solo token. La arquitectura consta de tres componentes principales:

1. ST Compactor (S): Un módulo de compactación espaciotemporal eficiente que reduce la longitud de la secuencia de entrada. En lugar de procesar una secuencia aplanada de $C \times N$, comprime la entrada en dos flujos separados: tokens temporales y tokens espaciales. Esto reduce la longitud de la secuencia de $C \times N$ a $C + N$, disminuyendo significativamente la carga computacional mientras preserva la estructura espaciotemporal.
2. Latent Aggregator (A): Un codificador Transformer que fusiona los flujos de tokens temporales y espaciales comprimidos en un único token de clase global ($h_{cls}$). Este token sirve como el único cuello de botella de información, forzando al modelo a capturar estructuras globales a través de tiempo y canales.
3. Latent Renderer (G): Un decodificador que reconstruye la señal fisiológica completa condicionada únicamente al único token global $h_{cls}$. El decodificador utiliza un mecanismo de atención cruzada primero, donde los tokens enmascarados atienden a la condición global antes de interactuar entre sí. Este diseño evita que el modelo dependa del contexto visible local o de la redundancia para rellenar las regiones enmascaradas, imponiendo así el aprendizaje de representaciones globales robustas.

El objetivo de preentrenamiento minimiza el error de reconstrucción entre la señal original y la señal reconstruida únicamente a partir del cuello de botella de un solo token.

Contribuciones Clave

1. Marco Universal: Introducción de SPOTR, un marco de SSL agnóstico a la modalidad capaz de aprender representaciones generalizables a través de EEG, iEEG, ECG y PPG dentro de un solo modelo.
2. der Arquitectura Eficiente: Diseño del ST Compactor, que acorta la secuencia de tokens del codificador de $C \times N$ a $C + N$, mejorando la eficiencia de entrenamiento e inferencia sin sacrificar la calidad de la representación.
3. Cuello de Botella de un Solo Token: Implementación de un esquema de compresión-reconstrucción que suprime el aprendizaje de atajos al condicionar la reconstrucción a un único token global, promoviendo características compactas y transferibles.
4. Validación Empírica: Demostración de ganancias de rendimiento consistentes a través de diversas tareas y modalidades downstream, estableciendo a SPOTR como un marco de preentrenamiento universal.

Resultados
El modelo fue preentrenado en 20 conjuntos de datos que abarcan 17 millones de muestras de señales de más de 450,000 sujetos. La evaluación se realizó en 17 conjuntos de datos downstream utilizando linear probing, clasificación de pocos disparos (few-shot classification) y ajuste fino completo (full fine-tuning).

• Linear Probing: SPOTR superó consistentemente a las líneas base más fuertes (incluyendo modelos de series temporales de propósito general como MOMENT y modelos de SSL específicos de modalidad).
  • iEEG: Mejoró el AUC promedio en un 21.71%.
  • EEG: Mejoró el AUC promedio en un 18.49%.
  • ECG: Mejoró el AUC promedio en un 17.86%.
  • PPG: Mejoró el AUC promedio en un 4.64%.
  • En general, SPOTR logró un AUC promedio del 80.86% en los 17 conjuntos de datos, superando a MOMENT por un 19.11%.
• Aprendizaje de Pocos Disparos (Few-Shot Learning): SPOTR demostró mejoras estables y consistentes en configuraciones de 1 a 8 disparos en todas las modalidades, indicando un uso efectivo de datos etiquetados limitados.
• Eficiencia: Comparado con el modelo fundacional MOMENT, SPOTR logró:
  • 78.1% de menor latencia (p50).
  • 206.3% de mayor throughput.
  • 51.8% de menor uso de memoria GPU pico.
• Escalabilidad: El rendimiento mejoró consistentemente a medida que el tamaño del modelo aumentó de Small (3.69M parámetros) a Base (62.47M parámetros), mostrando leyes de escala favorables tanto para la pérdida de preentrenamiento como para la transferencia downstream.

Significancia
El artículo afirma que SPOTR aborda las brechas críticas en generalización y eficiencia para los modelos fundacionales de señales fisiológicas. Al imponer un cuello de botella global de un solo token, mitiga el aprendizaje de atajos prevalente en la reconstrucción de máscaras y la sensibilidad de la vista del aprendizaje contrastivo. El marco permite una adaptación ligera (vía linear probing) adecuada para el despliegue clínico en el mundo real donde los datos etiquetados son escasos. Además, su huella computacional reducida lo hace práctico para entornos con recursos limitados, ofreciendo una solución unificada para el análisis de señales fisiológicas multimodales.