A Multimodal Deep Learning Framework for Early Epileptic Seizure Prediction Using EEG, Wearable Signals, and Behavioral Patterns

Resumen Técnico: Un Marco de Aprendizaje Profundo Multimodal para la Predicción Temprana de Crisis Epilépticas

Planteamiento del Problema
La epilepsia afecta aproximadamente a 50 millones de personas en todo el mundo, caracterizándose por crisis repetitivas e impredecibles. Los enfoques clínicos actuales para la predicción de crisis enfrentan limitaciones significativas. La mayoría de los sistemas existentes dependen de datos unimodales, principalmente señales de electroencefalograma (EEG), que no logran capturar el contexto fisiológico y conductual holístico de la generación de las crisis. Además, los métodos predominantes suelen sufrir de estrategias de fusión ineficaces, una falta de adaptabilidad específica para cada paciente y una incapacidad para modelar dependencias temporales de largo alcance a través de diversas modalidades de datos. Adicionalmente, muchos sistemas operan como clasificadores binarios (crisis vs. no crisis) en lugar de proporcionar predicciones de "tiempo hasta la crisis" clínicamente significativas, y frecuentemente carecen de interpretabilidad y robustez frente a datos ruidosos o faltantes.

Metodología: El Marco M3F-EP
Los autores proponen el Marco de Fusión Multimodal y Multinivel para la Predicción Temprana de la Epilepsia (M3F-EP), una arquitectura de aprendizaje profundo diseñada para integrar señales de EEG, datos fisiológicos de dispositivos vestibles (wearables) y patrones conductuales. El marco se estructura en torno a cinco componentes principales:

1. Codificadores Específicos de Modalidad:

   • Módulo de Procesamiento de EEG: Utiliza un enfoque híbrido que combina Redes Neuronales Convolucionales (CNN) temporales 1D para capturar dependencias de corto plazo y cambios súbitos en la señal, Transformación Espectral (Transformada de Fourier de Tiempo Corto) para patrones en el dominio de la frecuencia, y Redes Neuronales de Grafos (GNN) para modelar la conectividad espacial entre los canales de EEG.
   • Codificador de Wearables: Procesa señales fisiológicas (por ejemplo, variabilidad de la frecuencia cardíaca, actividad electrodérmica, movimiento) utilizando codificadores Transformer para capturar dependencias temporales de largo alcance.
   • Codificador Conductual: Modela secuencias temporales de largo plazo (por ejemplo, ciclos de sueño, ritmos circadianos) utilizando arquitecturas basadas en Transformer para identificar dependencias contextuales y periódicas.

2. Atención Transmodal Consciente de la Fiabilidad:
   Un novedoso mecanismo de fusión que asigna dinámicamente pesos a cada modalidad basándose en la calidad de la señal y la relevancia contextual. Este módulo computa las interacciones intermodales mediante mecanismos de atención y asigna una puntuación de fiabilidad ($r_i$) a cada modalidad. La representación fusionada final es una suma ponderada donde las señales ruidosas o poco fiables contribuyen menos, mejorando la robustez del sistema.

3. Capa de Adaptación Específica del Paciente:
   Para abordar la variabilidad intersujeto, el marco introduce un embedding de paciente aprendible ($P_u$). Esta capa adapta la representación fusionada a las características específicas de un paciente individual, yendo más allá del modelado generalizado.

4. Cabezal de Predicción Multitarea:
   La representación adaptada alimenta un cabezal de doble salida:

   • Clasificación: Predice la probabilidad de una crisis (Crisis vs. No Crisis).
   • Regresión: Predice el "tiempo hasta la crisis", permitiendo capacidades de alerta temprana.
     El modelo se entrena utilizando una función de pérdida combinada ($\mathcal{L} = \lambda_1\mathcal{L}_{cls} + \lambda_2\mathcal{L}_{reg}$) optimizando ambas tareas simultáneamente.

5. Estrategia de Entrenamiento:
   El marco emplea un proceso de entrenamiento de dos etapas:

   • Aprendizaje Auto-supervisado (SSL): Un enfoque de aprendizaje contrastivo alinea los embeddings multimodales antes del entrenamiento supervisado.
   • Ajuste Fino (Fine-Tuning): El modelo se ajusta con datos de crisis etiquetados utilizando la pérdida multitarea.

Contribuciones Clave
El artículo identifica seis contribuciones primarias:

1. Nuevo Marco Multimodal: Un sistema de aprendizaje profundo de extremo a extremo que integra EEG, wearables y patrones conductuales.
2. Atención Transmodal Consciente de la Fiabilidad: Un mecanismo de fusión dinámica que pondera las modalidades según la calidad de la señal, mejorando la robustez respecto a la concatenación tradicional o la fusión tardía.
3. Modelado Temporal Basado en Transformers: Utilización de Transformers para modelar interacciones temporales de largo plazo a través de flujos multimodales.
4. Adaptación Específica del Paciente: Un módulo de personalización que tiene en cuenta las variaciones individuales en la epilepsia.
5. Estrategia de Aprendizaje Multitarea: Predicción simultánea de la ocurrencia de la crisis y del tiempo hasta la crisis.
6. Mejora de la Predicción Temprana: Mejora de los horizontes de predicción preictal y reducción de las tasas de falsas alarmas en comparación con los modelos base.

Resultados
La evaluación experimental en un conjunto de datos híbrido (que integra la base de datos pública de EEG CHB-MIT con señales de wearables y conductuales alineadas sintéticamente) demuestra la eficacia del marco:

• Métricas de Rendimiento: El modelo alcanzó una precisión del 96.8%, una sensibilidad del 95.4% y un ROC-AUC de 0.97.
• Ventaja Comparativa: El marco M3F-EP superó significativamente a los modelos base unimodales (solo EEG) y a los modelos de fusión convencionales.
• Predicción Temprana: El sistema demostró la capacidad de pronosticar crisis con hasta 20 minutos de antelación con una menor incidencia de falsas alarmas.
• Estudio de Ablación: Eliminar los datos conductuales, el módulo de fiabilidad o el componente de SSL resultó en caídas de rendimiento medibles, confirmando la necesidad de cada módulo.
• Interpretabilidad: Los mapas de calor de atención indicaron que el modelo destaca dinámicamente características y pasos de tiempo críticos antes del inicio de la crisis, ayudando a la interpretabilidad clínica.

Significado y Reivindicaciones
Los autores afirman que el marco M3F-EP cierra la breancia entre la investigación y la aplicación clínica práctica al abordar la heterogeneidad de la epilepsia y las limitaciones de los sistemas unimodales actuales. Al combinar fuentes de datos heterogéneas con un mecanismo de fusión consciente de la fiabilidad y la adaptación específica del paciente, el marco ofrece una solución escalable, robusta e interpretable para el pronóstico temprano de crisis. El enfoque multitarea se destaca como particularmente significativo para la utilidad clínica, ya que proporciona no solo una alerta binaria, sino también una estimación de riesgo progresiva y una predicción de tiempo hasta el evento, lo que permite intervenciones preventivas oportunas. El artículo concluye que este trabajo representa un paso adelante en el establecimiento de sistemas de predicción de crisis confiables y de vanguardia, adecuados para su despliegue en el mundo real.