HyDA: Hypernetworks for Test Time Domain Adaptation in Medical Imaging Analysis

1. El Problema: Desplazamiento de Dominio en Imagen Médica

En el análisis de imágenes médicas, los modelos de aprendizaje profundo a menudo sufren un desplazamiento de dominio (domain shift). Esto ocurre debido a variaciones en los protocolos de adquisición, tipos de escáneres, demografía de los pacientes y dispositivos de imagen entre el conjunto de datos de entrenamiento (fuente) y el de prueba (objetivo).

• Limitación de los métodos actuales: La mayoría de las técnicas de Adaptación de Dominio (DA) existentes requieren acceso a muestras del dominio objetivo (etiquetadas o no) durante la fase de entrenamiento para alinear distribuciones o aprender espacios de características invariantes.
• El desafío clínico: En entornos clínicos reales, los datos del dominio objetivo a menudo solo están disponibles en tiempo real durante la inferencia, no durante el entrenamiento. Esto impide el despliegue robusto de modelos que no pueden adaptarse dinámicamente a nuevas variaciones sin reentrenamiento.

2. Metodología: El Framework HyDA

Los autores proponen HyDA, un marco novedoso basado en redes hiper (hypernetworks) que aborda la adaptación en tiempo de prueba (Test-Time Domain Adaptation - TTDA) sin necesidad de datos de objetivo durante el entrenamiento.

Arquitectura Principal

El sistema consta de tres componentes clave:

1. Red Principal ($P$): Una red neuronal estándar (ej. DenseNet, CNN 3D) encargada de la tarea principal (clasificación o regresión).
2. Clasificador de Dominio ($D$): Compuesto por un codificador de dominio ($D_{enc}$) y una cabeza de clasificación. Aprende a predecir el dominio de origen de una imagen y genera un vector de características de dominio ($x_D$).
3. Hiperred ($h$): Una red neuronal que toma el vector de características de dominio ($x_D$) y genera dinámicamente los pesos y sesgos para una subred específica de la red principal (generalmente la "cabeza" o capas finales).

Mecanismo de Funcionamiento

• Entrenamiento: El sistema se entrena con múltiples dominios fuente. El clasificador de dominio aprende a mapear imágenes a un espacio de características de dominio ($f_D$). La hiperred aprende a interpolar entre estos dominios, generando parámetros específicos para cada dominio.
• Inferencia (Adaptación en Tiempo Real): Cuando llega una imagen de un dominio objetivo no visto:
  1. El codificador de dominio extrae $x_D$.
  2. La hiperred utiliza $x_D$ para generar instantáneamente los pesos externos ($w_h, b_h$) para la red principal.
  3. Esto permite que el modelo se adapte "sobre la marcha" a las características específicas del nuevo dominio, interpolando efectivamente en el espacio de dominios.

Funciones de Pérdida

El entrenamiento es end-to-end y utiliza una combinación de funciones de pérdida regularizadas:

• Pérdida de Tarea ($L_{task}$): Pérdida específica de la tarea (ej. Entropía Cruzada para clasificación, MSE para regresión).
• Pérdida del Clasificador de Dominio: Combina Entropía Cruzada ($L_{CE}$) para clasificar dominios y una Pérdida de Multi-Similitud ($L_{MSim}$) para asegurar que los vectores de características de diferentes dominios formen clusters separados pero bien estructurados.
• Regularización: Se aplica regularización $L_2$ a los pesos de la hiperred y la red principal para garantizar estabilidad.

3. Contribuciones Clave

1. Adaptación Dinámica sin Datos de Objetivo: HyDA elimina la necesidad de tener datos del dominio objetivo durante el entrenamiento, permitiendo la adaptación en tiempo de inferencia.
2. Interpolación de Dominios: En lugar de suprimir las diferencias de dominio (como hacen los métodos invariantes), HyDA las explota. Aprende representaciones implícitas que permiten al modelo interpolar hacia dominios no vistos basándose en la similitud de características.
3. Agnosticismo de Tarea y Modalidad: El framework es compatible con cualquier arquitectura de red y se ha validado tanto en tareas de clasificación (X-ray) como de regresión (predicción de edad cerebral en MRI).
4. Generación de Parámetros Externos: Utiliza una hiperred para generar pesos específicos del dominio, ofreciendo una flexibilidad superior a los métodos de ajuste de parámetros estáticos.

4. Resultados Experimentales

Los autores validaron HyDA en dos aplicaciones clínicamente relevantes:

A. Clasificación de Patologías en Radiografías de Tórax

• Datos: NIH, CheXpert y VinDr (90,570 escaneos, 5 clases).
• Comparativa: Se comparó contra un Baseline (sin adaptación), MDAN (UDA) y TENT (TTDA).
• Resultados: HyDA superó consistentemente a los baselines y otros métodos de adaptación en términos de AUC (Área bajo la curva).
  • En el escenario "Leave-One-Out" (entrenar con 2 dominios, probar con el 3ro), HyDA logró un AUC promedio de 0.80 en CheXpert y 0.85 en VinDr, superando a TENT y MDAN.
  • La mejora se correlacionó con la separabilidad de las características de dominio en el espacio aprendido.

B. Predicción de Edad Cerebral (MRI)

• Datos: 19 conjuntos de datos de MRI cerebral (26,691 escaneos).
• Resultados:
  • Supervisado: HyDA redujo el Error Absoluto Medio (MAE) de 2.86 a 2.71 comparado con el baseline.
  • Leave-One-Out: HyDA logró un MAE de 3.57 frente a 3.73 del baseline, demostrando una mejor capacidad de generalización a dominios no vistos.
• Visualización: Los gráficos t-SNE mostraron que las muestras de dominios no vistos se incrustan correctamente entre los clusters de los dominios de entrenamiento, confirmando la capacidad de interpolación.

Estudios de Ablación

• Se demostró que el uso combinado de la pérdida de entropía cruzada y la pérdida de multi-similitud es crucial para el rendimiento.
• La configuración óptima implica adaptar capas específicas de la red principal mediante la hiperred, combinando pesos específicos de la tarea con pesos específicos del dominio.

5. Significado e Impacto

HyDA representa un cambio de paradigma en la adaptación de modelos médicos:

• Viabilidad Clínica: Resuelve el problema de la falta de datos de objetivo en tiempo real, permitiendo que los modelos se desplieguen en hospitales con equipos o protocolos diversos sin necesidad de reentrenamiento costoso.
• Robustez: Al aprovechar la variabilidad del dominio en lugar de ignorarla, los modelos se vuelven más robustos y generalizables.
• Versatilidad: Su diseño agnóstico lo hace aplicable a una amplia gama de modalidades de imagen y tareas clínicas, ofreciendo un camino prometedor hacia sistemas de IA médica más fiables y adaptables a las variaciones del mundo real.

En resumen, HyDA demuestra que el uso de hiperredes para generar parámetros condicionados al dominio es una estrategia superior para la adaptación en tiempo de prueba, logrando un equilibrio óptimo entre la generalización y la especificidad del dominio.