Resumen Técnico: Extensión de Modelos Fundacionales de ECG Preentrenados de 10 Segundos a Horizontes Más Largos

Enunciado del Problema

Los modelos fundacionales de electrocardiograma (ECG) han demostrado una fuerte transferibilidad en aplicaciones clínicas cuando se preentrenan en segmentos diagnósticos estándar de 10 segundos. Sin embargo, existe una limitación crítica: estos modelos se entrenan como procesadores de "instantáneas" de longitud fija. Los escenarios clínicos del mundo real, como la monitorización continua, las grabaciones Holter y las unidades de cuidados intensivos, a menudo implican grabaciones de longitud variable que se extienden mucho más allá de los 10 segundos.

Aplicar directamente modelos preentrenados de 10 segundos a horizontes más largos presenta dos desafíos fundamentales:

1. Incompatibilidad Estructural: Las codificaciones de posición, los esquemas de tokenización y las suposiciones de entrada de los modelos de instantáneas están optimizados para segmentos cortos. La interpolación ingenua de los embebidos de posición (común en los transformadores de visión) es inadecuada para las señales biológicas, ya que confunde la resolución con la tasa de muestreo y la información fisiológica.
2. Limitaciones Semánticas: Los enfoques existentes para grabaciones largas dependen típicamente de la inferencia por ventana deslizante seguida de una agregación simple (por ejemplo, pooling de media) o capas secuenciales ligeras (por ejemplo, LSTM) sobre las representaciones de ventana. Estos métodos no modelan explícitamente las dependencias temporales de largo alcance, a menudo pasando por alto eventos dispersos o transitorios distribuidos de manera desigual en el tiempo.

Metodología

Los autores proponen un marco eficiente en parámetros que extiende los modelos fundacionales de ECG congelados de 10 segundos a entradas de mayor duración y longitud variable sin reentrenar la arquitectura base. El enfoque aprovecha el conocimiento del modelo preentrenado mientras introduce un módulo plug-in ligero guiado por tres ideas centrales: (1) preservación del conocimiento general de interpretación de ECG, (2) aprendizaje de representaciones conscientes de la localidad y (3) aprendizaje a largo plazo consciente de la dinámica.

El marco consta de dos extensiones complementarias:

1. Extensión Estructural

Para habilitar la compatibilidad con grabaciones de horizontes largos, los autores introducen un esquema de codificación de posición de dos niveles en lugar de interpolar los embebidos existentes:

• Componente Local: Reutiliza los embebidos de posición preentrenados originales ($E^{[10s]}$) para la estructura fina dentro de cada ventana de 10 segundos. Estos pesos se repiten para secuencias más largas para preservar la escala temporal de la morfología de la onda local (por ejemplo, complejos P-QRS-T).
• Componente Global: Introduce una matriz de embebidos aprendible ($E^{global}$) para modelar las relaciones entre segmentos consecutivos de 10 segundos. El embebido de posición final se construye sumando los componentes local y global.
• Ajuste de Prompt Suave: Se añaden tokens aprendibles adicionales al inicio de la secuencia de entrada y se insertan en capas intermedias para facilitar el aprendizaje de relaciones temporales globales con actualizaciones mínimas de parámetros.

2. Extensión Semántica

Para garantizar una agregación temporal significativa, el marco emplea un marco de maestro-alumno donde el modelo congelado de 10 segundos actúa como maestro para guiar la adaptación del modelo extendido:

• Aprendizaje de Representación Consciente de la Localidad: Una pérdida de contraste suave impone una alineación semántica entre el alumno (modelo extendido) y el maestro (arquitectura base congelada) a nivel de segmento. Esto preserva la estructura de similitud inducida por el maestro de los segmentos locales de 10 segundos sin imponer suposiciones explícitas de emparejamiento temporal.
• Aprendizaje de Consistencia Consciente de la Dinámica: Reconociendo que las señales fisiológicas no son estacionarias, el método utiliza la matriz de afinidad del maestro para identificar segmentos de alta afinidad (aquellos más consistentes con la grabación global). Una pérdida de consistencia alienta a estos segmentos de alta afinidad a mantenerse alineados con la representación global de toda la secuencia larga, asegurando que el modelo capture la dinámica global incluso cuando se excluyen segmentos dinámicos.

El objetivo total de entrenamiento combina la pérdida de tarea estándar con estas dos pérdidas auxiliares:
$$L = L_{task} + \lambda_1 L_{local} + \lambda_2 L_{dyn}$$

Contribuciones Clave

• Extensión Eficiente en Parámetros: Un marco que extiende los modelos fundacionales de instantáneas a entradas de longitud variable (hasta 180 s en los experimentos) sin reentrenar la arquitectura base, utilizando únicamente un módulo plug-in ligero.
• Codificación de Posición Novel: Una estrategia de codificación de posición jerárquica que evita los artefactos de interpolación combinando embebidos locales repetidos con embebidos de segmento globales aprendibles, específicamente adaptada para señales biológicas.
• Mecanismo de Guía Semántica: Un enfoque maestro-alumno que aprovecha las representaciones locales robustas del modelo preentrenado para guiar el aprendizaje de horizontes largos, abordando la brecha semántica en la agregación temporal.
• Robustez a través de Modalidades: Demostración de que el marco se generaliza más allá del ECG hacia otras señales fisiológicas (por ejemplo, PPG) y modalidades conjuntas.

Resultados Experimentales

El método se evaluó en cuatro tareas posteriores (reducción de alarmas de taquicardia ventricular, disposición en urgencias, agudeza de triaje y detección de FA paroxística) en cuatro arquitecturas base de modelos fundacionales (CSFM-Tiny/Base, MERL, ECG-JEPA).

• Rendimiento: El método propuesto superó consistentemente a las líneas base de agregación de instantáneas (Pooling de Tokens/Logits) y a los métodos de adaptación ligera (Sondeo Lineal, Adaptador, VPT, Ajuste de LSTM). Logró resultados de vanguardia o competitivos en todas las arquitecturas base, destacando especialmente en duraciones de entrada más largas (180 s).
• Generalización: Los modelos entrenados en grabaciones de 3 minutos se generalizaron eficazmente a duraciones de inferencia más cortas (de 10 s a 2 minutos) sin reentrenamiento.
• Estudios de Ablación:
  • La estrategia propuesta de codificación de posición global superó significativamente tanto a las codificaciones de posición repetidas como a las interpoladas.
  • La combinación de objetivos conscientes de la localidad y conscientes de la dinámica produjo el mejor rendimiento, confirmando la necesidad de tanto la preservación semántica local como el modelado dinámico global.
  • Análisis de la Fuente de Guía: Cuando la arquitectura base MERL (que mostró una autoguía más débil) se emparejó con una guía externa de arquitecturas base más fuertes (por ejemplo, CSFM-Base), el rendimiento mejoró significativamente, lo que sugiere que la calidad de la representación del maestro es crucial para la extensión semántica.
  • Eliminación Guiada por Afinidad: El uso de la selección de segmentos basada en afinidad para el aprendizaje de consistencia superó a la eliminación aleatoria, validando la importancia de la estructura basada en la similitud en el objetivo consciente de la dinámica.

Significado y Afirmaciones

El artículo afirma proporcionar un camino práctico y escalable para extender los modelos fundacionales de ECG de 10 segundos a los horizontes más largos requeridos en la monitorización continua y la toma de decisiones clínicas. Al evitar el reentrenamiento completo computacionalmente costoso, el método permite una adaptación robusta a horizontes largos mientras preserva el rico conocimiento de dominio incrustado en los modelos de instantáneas preentrenados.

Los autores notan modestamente que, aunque su método maneja longitudes variables de hasta 180 segundos de manera efectiva, extender los modelos de instantáneas a horizontes arbitrarios o substancialmente más largos bajo restricciones estrictas de memoria y computación sigue siendo un desafío abierto para trabajos futuros. El marco propuesto representa un paso significativo hacia la superación de la brecha entre el preentrenamiento de longitud fija y la implementación clínica real de longitud variable.