Reducing the Complexity of Deep Learning Models for EEG Analysis on Wearable Devices

Resumen Técnico: Reducción de la Complejidad de los Modelos de Aprendizaje Profundo para el Análisis de EEG en Dispositivos Vestibles

Planteamiento del Problema
Los dispositivos médicos vestibles (wearables) representan un sector en rápido crecimiento del Internet de las Cosas (IoT), que ofrece el monitoreo continuo de signos vitales como el ECG y el EEG. Si bien las Redes Neuronales Profundas (DNN) se han convertido en el enfoque principal para analizar señales biológicas complejas como el EEG para tareas como la detección de crisis epilépticas, su despliegue en dispositivos vestibles se ve severamente obstaculizado por las limitaciones de recursos. Los sistemas vestibles suelen depender de procesadores miniaturizados y baterías pequeñas, careciendo de la potencia computacional, la capacidad energética y el ancho de banda de memoria necesarios para ejecutar DNN de vanguardia en tiempo real. Aunque la transferencia de datos a la nube es una solución alternativa común, esto introduce problemas relacionados con el consumo de energía, la privacidad de los datos, la seguridad y la necesidad de conectividad constante. En consecuencia, existe una necesidad crítica de adaptar las DNN para el "procesamiento en el borde" (edge processing) dentro del propio dispositivo vestible, equilibrando una alta precisión con una eficiencia computacional extrema.

Metodología
Este estudio investiga la viabilidad de desplegar modelos de DNN de vanguardia para el análisis de EEG en dispositivos vestibles con recursos limitados. La investigación se centra en la detección de crisis epilépticas utilizando el conjunto de datos TUSZ, que contiene 20 canales de EEG bipolares remuestreados a 200 Hz y segmentados en ventanas de 4 segundos. La metodología consiste en un enfoque de tres vertientes para la reducción de la complejidad:

1. Selección del Modelo: Los autores evaluaron diversas arquitecturas, incluyendo ResNet18, ChronoNet, 2D-CNN-LSTM, ResNet-GRU, ResNet-BiLSTM y ResNet-LSTM. La arquitectura ResNet-LSTM fue seleccionada como la base debido a su rendimiento superior al equilibrar la precisión y la velocidad de ejecución. Este modelo utiliza un front-end basado en CNN de ResNet para la extracción de características espaciales y un back-end de LSTM para el aprendizaje de la dependencia temporal.
2. Cuantización de Parámetros: El estudio exploró la reducción del ancho de bits de los parámetros y activaciones del modelo para disminuir la huella de memoria y acelerar la inferencia.
   • Cuantización Post-Entrenamiento (PTQ): Los autores compararon la Cuantización Estática (PTSQ) y la Cuantización Dinámica (PTDQ). Descubrieron que la cuantización uniforme de 8 bits en toda la red causaba una degradación significativa de la precisión. A través de una experimentación granular, determinaron que el componente CNN es altamente sensible a la reducción del ancho de bits, mientras que el LSTM es más robusto. Se identificó una configuración óptima utilizando una precisión de 13 bits para la CNN y una precisión de 8 bits para el LSTM.
   • Binarización (LQ-Net): El estudio aplicó además el método de vanguardia LQ-Net, que utiliza una binarización multinivel no uniforme para reducir los parámetros a 4 bits.
3. Reducción de Electrodos: Reconociendo que las configuraciones clínicas de EEG utilizan más de 20 electrodos, lo cual es impráctico para los dispositivos vestibles, los autores investigaron el impacto de reducir el número de canales de entrada. Probaron diversas combinaciones de electrodos, priorizando aquellos más sensibles a las señales epilépticas, para determinar el conjunto mínimo requerido para mantener la precisión diagnóstica.

Resultados Clave
La aplicación de estas técnicas de reducción de complejidad produjo mejoras significativas en la eficiencia con un impacto mínimo en el rendimiento:

• Configuración Óptima: El modelo ResNet-LSTM logró la mayor precisión base (90.40% AUROC) entre las arquitecturas probadas.
• Impacto de la Cuantización:
  • Al utilizar un enfoque de precisión híbrida (13 bits para la CNN, 8 bits para el LSTM), el tamaño del modelo se redujo de 15.75 MB a 6.4 MB (una reducción del 59%). El tiempo de ejecución mejoró 3.4× en comparación con la base de 32 bits.
  • Al aplicar la binarización LQ-Net (4 bits), el tamaño del modelo se redujo aún más a 2.3 MB y la velocidad de ejecución aumentó 4.1×, aunque esto conllevó una caída del 5% en el AUROC (de ~90.33% a 86.12%).
• Reducción de Electrodos: Reducir la entrada de 20 canales (19 electrodos) a 8 canales (10 electrodos) resultó en un AUROC de 89.23%, una disminución insignificante respecto a la configuración completa. Esta configuración mantiene una alta precisión al tiempo que reduce significativamente el volumen de datos y la complejidad del hardware.
• Optimización Combinada: Al combinar la entrada de 8 canales, los datos de entrada de 16 bits, los pesos de la CNN de 13 bits y los pesos de LSTM/FC de 8 bits, el modelo optimizado final logró:
  • Una reducción del 61% en el tamaño de la red.
  • Una reducción del 80% en el tamaño de la entrada de la red.
  • Una aceleración del 70% en el tiempo de inferencia de la red.
  • Una disminución del AUROC de menos del 1% y una disminución del 2.1% en la Tasa de Falsos Positivos (FPR).

Significancia y Reivindicaciones
El artículo sostiene que estos hallazgos demuestran los compromisos explícitos entre la precisión y la reducción de la complejidad al adaptar el análisis de EEG en línea basado en DNN para dispositivos vestibles. Los autores afirman que su enfoque demuestra la viabilidad de desplegar modelos de aprendizaje profundo sofisticados en dispositivos de borde sin depender de la transferencia de datos a la nube. Al identificar una configuración de red óptima y aplicar una cuantización y reducción de electrodos juiciosas, el estudio muestra que es posible lograr una reducción de 3× en el tamaño del modelo y una reducción de 5× en el tiempo de ejecución con una pérdida de precisión de menos del 1%.

La importancia de este trabajo radica en su contribución práctica al Internet de las Cosas Médicas (IoMT). Proporciona una vía para la creación de dispositivos vestibles ligeros, portátiles y energéticamente eficientes capaces de realizar un monitoreo neurológico continuo y en tiempo real. Este avance es crucial para mejorar la autonomía, la privacidad y la capacidad de respuesta de los servicios de salud automatizados, particularmente para pacientes de alto riesgo que requieren vigilancia constante de crisis fuera de entornos clínicos. El artículo establece explícitamente que no propone nuevas arquitecturas de DNN, sino que evalúa métodos existentes bajo restricciones específicas de reducción de complejidad para guiar la futura integración de hardware y software en la tecnología de salud vestible.