From Foundation ECG Models to NISQ Learners: Distilling ECGFounder into a VQC Student

Título: De Modelos Fundacionales de ECG a Aprendices NISQ: Destilando ECGFounder en un Estudiante VQC

1. Planteamiento del Problema

Los modelos fundacionales (foundation models) han mejorado significativamente el aprendizaje de representaciones para electrocardiogramas (ECG). Sin embargo, su despliegue en entornos reales está limitado por altos costos computacionales, requisitos de memoria y latencia, especialmente en dispositivos con recursos restringidos (edge computing).
El desafío principal es cómo transferir el conocimiento predictivo de estos modelos grandes y complejos a arquitecturas compactas sin sacrificar demasiado la precisión. Además, existe una oportunidad emergente para explorar si los modelos cuánticos, específicamente circuitos cuánticos variacionales (VQC) en la era NISQ (Noisy Intermediate-Scale Quantum), pueden actuar como estudiantes eficientes en este proceso de compresión.

2. Metodología

Los autores proponen un pipeline unificado para evaluar la destilación de conocimiento (Knowledge Distillation - KD) desde un modelo maestro hacia estudiantes clásicos y cuánticos.

• Modelo Maestro (Teacher): Se utiliza ECGFounder, un modelo fundacional preentrenado con más de 10 millones de registros de ECG. Este modelo se ajusta (fine-tuning) para la clasificación binaria de ECG en dos conjuntos de datos estándar: PTB-XL y MIT-BIH Arrhythmia Database.
• Arquitecturas de Estudiantes: Se evalúan tres tipos de estudiantes compactos:
  1. ResNet-1D: Un modelo clásico compacto basado en bloques residuales.
  2. CNN-1D: Una red neuronal convolucional ligera y feed-forward.
  3. Estudiante Cuántico (VQC): Un pipeline híbrido que combina un autoencoder convolucional (que comprime ventanas de 256 muestras de ECG a un vector latente de 6 dimensiones) con un circuito cuántico variacional de 6 qubits (implementado en Qiskit con un ansatz EfficientSU2 y codificación ZZFeatureMap).
• Proceso de Destilación:
  • Se utiliza una función de pérdida que combina la supervisión dura (etiquetas reales) y la supervisión blanda (logits del maestro suavizados con temperatura $T$).
  • Se realiza una búsqueda de hiperparámetros para la temperatura ($T \in \{2, 4\}$) y el coeficiente de mezcla ($\alpha \in \{0.3, 0.5, 0.7\}$).
  • Los estudiantes clásicos se entrenan con backpropagation (Adam), mientras que el estudiante cuántico utiliza un bucle híbrido cuántico-clásico con el algoritmo SPSA (Simultaneous Perturbation Stochastic Approximation).
• Evaluación: Se emplea validación cruzada estratificada de 5 pliegues en ambos conjuntos de datos, reportando métricas de precisión, recall, F1-score y exactitud.

3. Contribuciones Clave

• Compresión de Modelos Fundacionales: Demostración exitosa de la destilación de ECGFounder (76.3M parámetros) hacia modelos con órdenes de magnitud menos parámetros (hasta 25k parámetros), manteniendo un rendimiento competitivo.
• Integración Cuántica en KD: Evaluación sistemática de un estudiante basado en VQC dentro de un marco de destilación clásico, demostrando que los circuitos cuánticos pueden aprender la estructura de decisión de un maestro clásico grande.
• Análisis de Compensación Precisión-Eficiencia: Un estudio detallado de cómo los hiperparámetros de destilación (temperatura y coeficiente de mezcla) afectan el equilibrio entre precisión y eficiencia en diferentes arquitecturas y conjuntos de datos.

4. Resultados Cuantitativos

• Rendimiento General: El modelo maestro (ECGFounder) establece el límite superior de rendimiento en ambos conjuntos de datos. Sin embargo, los estudiantes destilados retienen una fracción sustancial del rendimiento del maestro con una reducción drástica de parámetros.
• Comparación de Estudiantes:
  • MIT-BIH: El pipeline Autoencoder+VQC logró la mejor precisión y F1-score entre los estudiantes (0.6879 de precisión, 0.8078 F1 a $T=2$), superando ligeramente a la CNN-1D y siendo comparable al ResNet-1D, a pesar de que la capa cuántica solo tiene 36 parámetros entrenables.
  • PTB-XL: El ResNet-1D mostró un rendimiento ligeramente superior en general, pero el estudiante VQC mantuvo una competitividad notable, especialmente en términos de recall a $T=2$.
• Efecto de la Compresión: Se observó que la compresión afecta más a la precisión (aumentando falsos positivos) que al recall (las detecciones perdidas son menos frecuentes). Los estudiantes tienden a mantener una alta sensibilidad.
• Hiperparámetros: Una temperatura más alta ($T=4$) tendió a proporcionar ganancias más estables en precisión, especialmente para el estudiante VQC, sugiriendo que los objetivos "blandos" más informativos ayudan a estabilizar el aprendizaje en modelos muy restringidos.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

1. Viabilidad de la Computación Cuántica en Salud: Demuestra que los estudiantes cuánticos (VQC) pueden ser alternativas viables bajo fuertes restricciones de compresión, actuando como módulos de decisión eficientes en parámetros dentro de pipelines híbridos.
2. Despliegue en Dispositivos Edge: Al reducir el tamaño del modelo de 76 millones a ~25 mil parámetros, se habilita el despliegue de modelos de IA de alta calidad en dispositivos médicos portátiles o con recursos limitados.
3. Validación de Estrategias de Destilación: Confirma que la destilación de conocimiento es una estrategia robusta para transferir el comportamiento de modelos fundacionales a arquitecturas heterogéneas (clásicas y cuánticas), preservando la estructura de decisión interna.
4. Futuro NISQ: Los resultados motivan futuras investigaciones sobre la ejecución de estos modelos en hardware cuántico real con ruido, para cuantificar la brecha entre las simulaciones actuales y los dispositivos NISQ reales.

En conclusión, el estudio valida que es posible comprimir modelos fundacionales de ECG masivos en aprendices extremadamente ligeros, incluyendo arquitecturas cuánticas, sin perder significativamente la capacidad diagnóstica, abriendo camino hacia sistemas de diagnóstico cardíaco más accesibles y eficientes.