Resumen Técnico: ADAPTOOD – Ajuste Fino Consciente de la Incertidumbre para Modelos de Series Temporales de ECG Fuera de la Distribución

Declaración del Problema

El despliegue de modelos de aprendizaje automático entrenados en datos de sensores a gran escala en entornos clínicos reales enfrenta obstáculos significativos debido a los cambios de distribución. Aunque el preentrenamiento ofrece una base, los modelos suelen tener dificultades cuando se ajustan finamente (fine-tuning) en conjuntos de datos pequeños y anotados que difieren de la distribución de preentrenamiento. Estas discrepancias surgen de diversas fuentes, incluyendo la heterogeneidad de la población, la variedad de tipos de sensores, los diferentes protocolos de recolección y las derivas temporales.

Los métodos de adaptación existentes, como el aprendizaje por transferencia (transfer learning) y la adaptación de dominio, típicamente asumen cambios de distribución fijos o tratan los casos Fuera de la Distribución (OOD, por sus siglas en inglés) como un estado binario (dentro del dominio vs. fuera del dominio). Estos fallan al no contabilizar la severidad o la granularidad de estos cambios. En consecuencia, suelen aplicar estrategias de adaptación uniformes, independientemente de si el cambio es leve (por ejemplo, una población ligeramente distinta) o severo (por ejemplo, una nueva modalidad de sensor), lo que conduce a una generalización subóptima, sobreajuste en conjuntos de datos pequeños o olvido catastrófico.

Metodología: Marco de Trabajo ADAPTOOD

Los autores proponen ADAPTOOD, un marco diseñado para cuantificar la severidad del cambio de distribución y guiar el ajuste fino de forma dinámica. El sistema opera a través de cuatro módulos interconectados:

1. Cuantificación de la Severidad Guiada por la Incertidumbre

La innovación central es el uso de la incertidumbre de los datos para medir cuánto se desvía un conjunto de datos objetivo ($D_t$) de la distribución de la fuente de preentrenamiento ($D_s$).

• Reducción de Dimensionalidad: Las señales de ECG de alta dimensión se reducen a un componente dominante mediante el Análisis de Componentes Principales (PCA) para mejorar la estimación de densidad.
• Métricas de Distancia: El marco calcula la divergencia a nivel de distribución utilizando dos métricas complementarias:
  • Distancia de Mahalanobis ($d_m$): Mide la distancia de los nuevos lotes (batches) respecto al centro de la distribución conocida, teniendo en cuenta las correlaciones y la escala de las características.
  • Distancia de Hellinger ($d_h$): Cuantifica la similitud entre las distribuciones de probabilidad generales de la fuente y el objetivo.
• Métrica Combinada: Estas distancias se normalizan y se combinan en una puntuación de incertidumbre ponderada, $\sigma(D_t | P(D_s))$, donde una puntuación más alta indica un cambio OOD más severo.

2. Descongelamiento Selectivo de Capas

En lugar de realizar el ajuste fino de todo el modelo o de un subconjunto fijo, ADAPTOOD determina dinámicamente cuántas capas descongelar basándose en la puntuación de incertidumbre calculada.

• Estrategia: Emplea una combinación de funciones de decaimiento lineal y exponencial.
  • Lineal: El número de capas descongeladas es proporcional al inverso de la incertidumbre.
  • Exponencial: Utiliza un factor de decaimiento para aumentar la sensibilidad a los niveles de incertidumbre.
• Ejecución: El número final de capas entrenables es la media de estos dos cálculos. Las capas se descongelan comenzando desde la parte superior (más cercana a la salida) hacia la inferior. Esto asegura que los cambios leves requieran cambios arquitectónicos mínimos, mientras que los cambios severos activan una adaptación más extensa, equilibrando el riesgo de sobreajuste y subajuste.

3. Adaptación de Bajo Rango (LoRA)

Para mantener la eficiencia computacional y prevenir el sobreajuste en datos objetivo limitados, el marco integra LoRA en todas las capas Conv1D.

• Mecanismo: Los pesos preentrenados se congelan y se introducen matrices de bajo rango ligeras y entrenables.
• Beneficio: Esto reduce significativamente el recuento de parámetros y la huella de memoria, enfocando la capacidad del modelo en aprender patrones temporales locales donde más se necesita.

4. Optimización Adaptativa de Hiperparámetros

Reconociendo que los hiperparámetros óptimos para el preentrenamiento pueden no ser adecuados para tareas OOD, el marco utiliza Optimización Bayesiana.

• Proceso: Busca iterativamente configuraciones óptimas para el optimizador (por ejemplo, Adam, RMSprop) y la tasa de aprendizaje sobre un espacio de búsqueda definido.
• Objetio: Identificar configuraciones que acomoden mejor el cambio de distribución específico sin necesidad de un ajuste manual.

Contribuciones Clave

1. Cuantificación de la Severidad Novedosa: Introducción de un mecanismo que aprovecha la incertidumbre de los datos (vía distancias de Mahalanobis y Hellinger) para evaluar la severidad de los cambios OOD respecto a los datos de preentrenamiento, yendo más allá de las suposiciones binarias de dentro/fuera del dominio.
2. Adaptación Flexible a la Severidad: Desarrollo de un enfoque que utiliza puntuaciones de incertidumbre para guiar el descongelamiento selectivo de capas y la optimización de hiperparámetros, asegurando que la estrategia de adaptación coincida con la complejidad del cambio.
3. Eficiencia y Robustez: Integración de LoRA y optimización bayesiana para lograr un ajuste fino eficiente en parámetros que mantiene un alto rendimiento a través de diversas métricas incluso a medida que aumenta la severidad del cambio de distribución.

Resultados Experimentales

Los autores evaluaron ADAPTOOD en conjuntos de datos de series temporales de ECG que involucran diversos cambios (población, sensor, temporal, etiqueta, modalidad y dimensionalidad) comparándolo con líneas base que incluyen Transfer Learning estándar, Aprendizaje Supervisado, Adaptación de Dominio basada en Características y Adaptación de Dominio basada en Instancias.

• Ganancias de Rendimiento: ADAPTOOD superó consistentemente a todas las líneas base.
  • En el conjunto de datos MIT-BIH (cambio de sensor/población), alcanzó una precisión de 0.953 y una precisión (precision) de 0.930, superando a la mejor línea base (DA basada en características) por un 1.3% en precisión y un 0.9% en precisión.
  • En el conjunto de datos PTB-DB, mostró una mejora del 11.9% en la precisión (accuracy) sobre el Transfer Learning (0.922 vs. 0.803) y una mejora del 12.9% en la precisión (precision).
  • En el conjunto de datos MIMICPERform PPG (un cambio de modalidad severo de ECG a PPG), ADAPTOOD alcanzó una precisión de 0.975, superando a la mejor línea base por aproximadamente un 3% (0.945).
  • En el conjunto de datos CODEtest (cambio de dimensionalidad con ECG de 12 derivaciones), logró una precisión de 0.922, superando al siguiente mejor método (DA basada en características con 0.894).
• Estudios de Ablación: Eliminar componentes (métricas de incertidumbre, optimización de hiperparámetros o LoRA) degradó consistentemente el rendimiento, confirmando la necesidad del marco completo. Específicamente, la combinación de ambas métricas de distancia proporcionó resultados más consistentes que usar solo una de ellas.
• Eficiencia: Al utilizar LoRA y el descongelamiento selectivo, ADAPTOOD redujo significativamente el recuento total de parámetros y la huella de memoria. Por ejemplo, en el conjunto de datos MIT-BIH, el tamaño del modelo se redujo de ~29.17 MB (sin LoRA) a 8.61 MB.

Significado y Reivindicaciones

El artículo afirma que ADAPTOOD aborda una brecha crítica en la interpretación de bioseñales: la falta de métodos que puedan adaptarse a diversas severidades de cambios de distribución. Al tratar la adaptación OOD como un proceso dependiente de la severidad en lugar de un protocolo fijo, el marco logra:

• Generalización Robusta: Mantener una alta precisión y exactitud incluso cuando los datos de prueba divergen significamente de los datos de entrenamiento debido a múltiples tipos de cambios superpuestos.
• Eficiencia de Recursos: Lograr estas ganancias con menos parámetros y menores costos computacionales, lo que lo hace adecuado para despliegues en entornos con recursos limitados.
• Calibración: Proporcionar un rendimiento más equilibrado en diversas métricas (precisión, exactitud, exhaustividad/recall, F1) en comparación con las líneas base que a menudo sufren problemas de desequilibrio de clases (por ejemplo, baja sensibilidad).

Los autores posicionan a ADAPTOOD como un enfoque fiable y basado en datos para el ajuste fino de modelos preentrenados en escenarios del mundo real fuera de la distribución, particularmente donde los datos etiquetados son escasos y las características del cambio son desconocidas o variables.