Beyond Hearing: Learning Task-Agnostic ExG Representations from Earphones via Physiology-Informed Tokenization

Resumen Técnico: Más allá de la audición: Aprendizaje de representaciones de ExG independientes de la tarea mediante la tokenización informada por la fisiología a través de auriculares

Planteamiento del problema
El artículo identifica dos limitaciones primarias que dificultan el desarrollo de modelos fundacionales generalizables para señales electrofisiológicas (ExG: EEG, EMG, EOG, ECG):

1. Insuficiente diversidad de datos: Los conjuntos de datos de ExG existentes se recolectan predominantemente en entornos de laboratorio controlados utilizando equipos voluminosos y costosos. Esto restringe la escala y la diversidad de los datos, dejando gran parte de los datos de ExG de "vida libre" (diarios y no restringidos) sin aprovechar.
2. Diseños de modelos específicos para tareas: Los modelos actuales dependen de procesos de procesamiento adaptados, como filtros de frecuencia fijos y arquitecturas optimizadas para tareas específicas (por ejemplo, bandas de baja frecuencia para el seguimiento de la mirada frente a bandas más altas para el reconocimiento de emociones). Esta falta de transferibilidad impide que un solo modelo se generalice a través de diversas tareas fisiológicas.

Metodología
Los autores proponen un enfoque de codiseño integrado que involucra hardware, un nuevo conjunto de datos y un nuevo marco de entrenamiento.

• Hardware (NeuroBuds): El equipo desarrolló "NeuroBuds", un prototipo ligero y de bajo costo basado en auriculares. A diferencia de los auriculares tradicionales, NeuroBuds captura EEG cercano al oído, EMG facial y señales oculares EOG, lo que permite la recolección de datos a largo plazo y sin interrupciones en la vida diaria.
• Conjunto de datos (DailySense): Aprovechando los NeuroBuds, los autores curaron "DailySense", el primer conjunto de datos de ExG que abarca cinco sentidos humanos. Incluye:
  • 50 horas de grabaciones de vida libre no etiquetadas de 22 participantes.
  • 20 horas de datos etiquetados para tareas específicas que cubren la vista, el oído, el gusto, el tacto y el olfato.
• Arquitectura del modelo (PiMT): La contribución central es la Tokenización Multibanda Informada por la Fisiología (PiMT), un marco independiente de la tarea diseñado para aprender representaciones robustas sin personalización manual de la tarea.
  • Tokenización: En lugar de una única entrada de banda ancha, las señales ExG crudas se descomponen mediante un banco de filtros fijos en 12 subbandas informadas por la fisiología (por ejemplo, EEG-delta, EMG-LF, EOG-overall). Estas se segmentan en parches y se proyectan en tokens estructurados.
  • Codificador: Un codificador Bidirectional-Mamba procesa las secuencias de tokens, elegido por su complejidad de tiempo lineal para manejar dependencias de largo alcance y la dimensión de frecuencia añadida.
  • Pre-entrenamiento: El modelo se somete a un pre-entrenamiento autosupervisado en los datos de vida libre no etiquetados utilizando un objetivo de reconstrucción multitarea. Esto incluye auto-codificación, reconstrucción enmascarada (tiempo, canal, frecuencia) y reconstrucción de características en el dominio de la frecuencia (amplitud y fase).
  • Ajuste fino (Fine-tuning): El codificador pre-entrenado se ajusta para tareas posteriores utilizando cabezales de clasificación o regresión estándar.

Contribuciones clave

1. Identificación de limitaciones: El artículo destaca la falta de datos de ExG diversos y reales, así como la rigidez de los diseños específicos de tareas, como barreras para los modelos fundacionales.
2. NeuroBuds y DailySense: Introducción de un dispositivo de detección escalable basado en auriculares y el correspondiente conjunto de datos, que cierra la brecha entre los datos de ExG controlados en laboratorio y los de la vida libre.
3. Marco PiMT: Un esquema de tokenización novedoso que descompone las señales en 12 subbandas fisiológicas, permitiendo que el modelo extraiga automáticamente características relevantes para la tarea a través de todo el espectro sin supuestos previos de la tarea.
4. Desempeño: Experimentos extensos demuestran que PiMT alcanza un rendimiento de vanguardia (state-of-the-art) en diversas tareas.

Resultados experimentales
Los autores evaluaron PiMT en el conjunto de datos DailySense y en cuatro referentes públicos (DREAMER, SEED, Sleep-EDF, BCI Competition IV 2b).

• Desempeño de DailySense: PiMT logró un F1-score promedio del 87.6% en cinco tareas de clasificación (video, audio, gusto, tacto, olfato) y un error de seguimiento de la mirada de 6.00°, superando bases sólidas como PatchTST y Bidirectional-Mamba.
• Benchmarks públicos: PiMT superó consistentemente a los modelos de referencia en tareas de reconocimiento de emociones, estadios del sueño e imaginación motora.
• Ablación y análisis:
  • Tokenización: El banco de filtros de 12 bandas superó significativamente a las variantes de 1, 2 y 4 bandas, confirmando el beneficio de la descomposición espectral de grano fino.
  • Saliencia: El análisis mostró que el modelo atiende dinámicamente a las bandas de frecuencia relevantes para la tarea (por ejemplo, frecuencias bajas para la mirada/EOG, frecuencias altas para el tacto/gusto/EMG) sin supervisión explícita.
  • Escala de pre-entrenamiento: El desempeño mejoró con conjuntos de datos de pre-entrenamiento más grandes, aunque las tareas de clasificación se saturaron alrededor del 30% de los datos, mientras que las tareas de regresión continuaron beneficiándose de más datos.
  • Generalización: Los experimentos de Leave-One-Subject-Out (LOSO) confirmaron la capacidad del modelo para generalizarse a usuarios no vistos, aunque la variabilidad inter-sujeto sigue siendo un desafío.
  • Eficiencia: El modelo demostró un tiempo de ejecución eficiente en un smartphone comercial (latencia de inferencia de 25 ms).

Significancia y afirmaciones
El artículo afirma establecer una base escalable para el análisis de ExG en el mundo real al cerrar la brecha entre la detección portátil (wearable) y los modelos fundacionales. Argumenta que la combinación de un hardware no intrusivo (NeuroBuds), datos diversos de la vida libre (DailySense) y una arquitectura informada por la fisiología e independiente de la tarea (PiMT) supera las limitaciones de los enfoques actuales centrados en el laboratorio y específicos para cada tarea. Los autores posicionan este trabajo como un paso hacia la detección fisiológica generalizable para aplicaciones en el monitoreo de la salud personalizada e interfaces cognitivas, reconociendo al mismo tiempo que se necesita más trabajo para abordar la variabilidad inter-sujeto y escalar la recolección de datos a poblaciones más amplias.