Resumen Técnico: LSTrans

Planteamiento del Problema

El despliegue de modelos de aprendizaje profundo para la clasificación automatizada de electrocardiogramas (ECG) en dispositivos portátiles con recursos limitados y nodos del Internet de las Cosas Médicas (IoHT) enfrenta barreras significativas. Las redes profundas estándar imponen costos computacionales y huellas de memoria elevados que exceden los estrictos límites del hardware de borde (edge). Si bien las soluciones existentes intentan abordar esto, a menudo sufren de compromisos específicos:

• Arquitecturas Complejas: Los diseños de múltiples ramas (por ejemplo, ECGTransForm, MTA-Net) capturan las características espaciotemporales necesarias pero incurren en una pesada carga computacional.
• Alcance Limitado: Las redes ligeras (por ejemplo, CrossStateECG-Lite) a menudo no logran soportar diagnósticos clínicos multiderivación y multietiqueta, restringiéndose a entornos biométricos de derivación única.
• Artefactos de Conversión: Los métodos que convierten señales de ECG 1D en espectrogramas 2D (por ejemplo, HMT-KD) introducen errores de alineación de fase y costos computacionales adicionales.
• Riesgos de Compresión: La compresión directa de modelos puede degradar la sensibilidad diagnóstica, lo que conduce a diagnósticos de falsos negativos críticos en anomalías morfológicas sutiles.

En consecuencia, existe la necesidad de un modelo que equilibre una alta sensibilidad diagnóstica (particularmente para anomalías raras) con un uso mínimo de memoria y latencia de entrenamiento.

Metodología

Los autores proponen LSTrans, un modelo híbrido ligero diseñado para capturar eficientemente tanto las tendencias rítmicas macroscópicas como las variaciones morfológicas microscópicas. El marco integra una columna vertebral (backbone) convolucional 1D especializada con un codificador Transformer, optimizado mediante Adaptación de Bajo Rango (LoRA) y Destilación de Conocimiento (KD).

1. Backbone 1D-LSNet

En lugar de convertir las señales a 2D, LSTrans procesa directamente las señales de ECG 1D crudas a través de una abstracción temporal jerárquica. El backbone presenta una arquitectura entrelazada que alterna entre capas de índices pares e impares para equilibrar la captura de características de doble escala:

• Capas de Índice Par (Micro-morfología Local): Estas capas utilizan un Módulo Reparametrizado (RepVGGDW) combinado con Squeeze-and-Excitation (SE). El RepVGGDW captura patrones temporales multiescala (por ejemplo, elevaciones del segmento ST, ondas Q) y se pliega en un solo núcleo durante la inferencia para lograr latencia cero. El bloque SE recalibra dinámicamente los pesos de los canales para suprimir artefactos de fondo y resaltar las derivaciones con relevancia diagnóstica.
• Capas de Índice Impar (Contexto Global y Filtrado de Ruido): Estas capas emplean un módulo de Percepción de Gran Núcleo (LKP) y uno de Agregación de Núcleo Pequeño (SKA). El LKP genera pesos dinámicos a partir del contexto temporal para adaptarse a las variaciones de señal no estacionarias. El SKA aplica estos pesos a ventanas locales de alta resolución para filtrar el ruido de la línea base y enfatizar los picos críticos. En la etapa final (Etapa 3), se introduce un mecanismo de autoatención de múltiples cabezales 1D para modelar dependencias de largo alcance (por ejemplo, intervalos irregulares).

2. Integración de Transformer y LoRA

La salida de 1D-LSNet se introduce en un codificador Transformer para modelar las dependencias del ritmo cardíaco a largo plazo. Para asegurar la eficiencia de los parámetros, los autores emplean Adaptación de Bajo Rango (LoRA):

• Asignación Estratégica de Rango: Se asigna un rango mínimo ($r_c=4$) a las capas convolucionales (que extraen motivos invariantes a la traslación como los complejos QRS), actuando como un regularizador contra el ruido de alta frecuencia. Un rango superior ($r_t=16$) se asigna a los mezcladores Transformer para preservar la alta dimensionalidad intrínseca de la dinámica temporal global.
• Estrategia de Congelación: El backbone permanece mayormente congelado para preservar las representaciones morfológicas preentrenadas, actualizando únicamente los adaptadores de bajo rango durante el ajuste fino (fine-tuning). Esto evita el olvido catastrófico y estabiliza la trayectoria de optimización.

3. Marco de Destilación de Conocimiento

Para transferir la pericia diagnóstica de modelos maestros de alta capacidad al estudiante ligero, se exploran dos paradigios:

• Destilación Homogénea (KD-Homo): Utiliza un maestro con la misma estructura de backbone entrelazado, imponiendo un refinamiento propio dentro de la misma variedad estructural.
• Destilación Heterogénea (KD-Hetero): Utiliza una red residual pesada y un maestro Transformer. Esto permite que el estudiante herede diversos constructos estructurales sobreparametrizados, emulando efectivamente la capacidad de representación de un modelo híbrido profundo.

El objetivo de entrenamiento combina la pérdida de entropía cruzada binaria con una pérdida de destilación, escalada por un factor de temperatura $T$ y un hiperparámetro de equilibrio $\alpha$.

Contribuciones Clave

1. Refactorización de 1D-LSNet: Los autores refactorizan el paradigma heteroescala 2D en un backbone 1D especializado que procesa señales de ECG crudas directamente, maximizando la eficiencia mientras retienen representaciones morfológicas críticas.
2. Arquitectura Entrelazada: Un diseño de bloques alternos acopla filtros dinámicos de gran núcleo para el contexto global con unidades de atención de derivación multiescala para la morfología local. Esto evita la degradación de la señal durante el submuestreo y minimiza los errores de falsos negativos.
3. Estrategias de Destilación Diversas: El artículo analiza sistemáticamente la destilación homogénea y heterogénea, demostrando que la transferencia maestro-estudiante estructurada restaura eficazmente la sensibilidad diagnóstica bajo recursos restringidos.

Resultados Experimentales

Los experimentos se realizaron en tres conjuntos de datos de ECG de 12 derivaciones: G12EC, PTB-XL y Chapman-Shaoxing, siguiendo un protocolo de validación cruzada de 10 pliegues disjuntos por paciente.

• Desempeño: La variante LSTrans (Hetero+LoRA) alcanzó un AUC promedio de 0.949 y una puntuación $F_{\beta=2}$ promedio de 0.716. Superó a líneas base ligeras especializadas como H-Tuning y CE-SSL, mostrando mejoras relativas de aproximadamente 14.6% y 29.5% en las puntuaciones $F_{\beta=2}$, respectivamente.
• Comparación con Modelos Fundacionales: A pesar de tener significativamente menos parámetros (3.19M del estudiante frente a 30.68M de ECG-Founder), LSTrans igualó el desempeño del modelo fundacional a gran escala, reduciendo la brecha absoluta en macro $G_{\beta=2}$ a solo 0.036 puntos en PTB-XL.
• Eficiencia: LSTrans demostró ganancias sustanciales de eficiencia:
  • Redujo la huella de memoria GPU pico aproximadamente un 36.4% en comparación con ECG-Founder y un 41.09% en comparación con H-Tuning.
  • Aceleró el tiempo de ejecución promedio de entrenamiento casi 3 veces en comparación con ECG-Founder y 4.77 veces en comparación con H-Tuning.

Significancia y Limitaciones

El artículo afirma que LSTrans ofrece un equilibrio competitivo entre la sensibilidad diagnóstica y la eficiencia de recursos, lo que lo hace adecuado para el despliegue en dispositivos de borde donde la memoria y la potencia son limitadas. Al combinar un backbone 1D especializado con adaptación y destilación eficientes, el marco reduce las huellas de memoria pico y la latencia de entrenamiento sin comprometer la capacidad de detectar anomalías cardíacas sutiles.

Los autores reconocen varias limitaciones:

• Las evaluaciones de eficiencia se basan en métricas de la fase de entrenamiento; la latencia de inferencia real en hardware de borde que no sea GPU aún no ha sido medida.
• La generación de pesos en tiempo de ejecución de las convoluciones dinámicas puede incurrir en sobrecarga de control de flujo en plataformas con recursos limitados.
• La generalización sigue dependiendo de un preentrenamiento a gran escala.

El trabajo futuro propuesto se centrará en optimizar los operadores dinámicos, medir las latencias reales en el borde y realizar validaciones clínicas en parches de ECG portátiles.