Resumen Técnico: ProMoE-FL

Declaración del Problema

El artículo aborda el desafío del Aprendizaje Federado (FL) Multimodal con Modalidades Faltantes en entornos de atención médica. En entornos clínicos del mundo real, los datos están fragmentados entre instituciones debido a las regulaciones de privacidad y la disponibilidad variable de equipos. En consecuencia, los clientes participantes suelen poseer conjuntos incompletos de modalidades (por ejemplo, algunos solo tienen radiografías, otros solo informes de texto, y algunos tienen ambos).

Los enfoques existentes para este problema enfrentan limitaciones significativas:

• Los métodos centralizados (por ejemplo, basados en prompts, generativos o de dropout) son impracticables para el FL debido a las estrictas restricciones de privacidad y los requisitos de eficiencia de comunicación.
• Dependencia de Datos Públicos: Métodos como CAR-MFL requieren conjuntos de datos multimodales públicos adicionales para compensar la falta de datos de los clientes, lo cual es a menudo poco realista en la atención médica debido a las restricciones de privacidad y las brechas de dominio.
• Imputación Ingenua: Los enfoques como el llenado con ceros (zero-filling) distorsionan el espacio de características conjuntas y sesgan los modelos hacia las modalidades observadas con más frecuencia.
• Limitaciones de la Síntesis de Características: Los métodos como FeatImp sintetizan características basándose únicamente en las modalidades observadas sin modelar la información complementaria, mientras que los métodos basados en prototipos como PmcmFL asignan representaciones idénticas a todas las muestras dentro de una clase, fallando en capturar la variabilidad intra-clase que es crucial para los datos médicos.

Metodología: ProMoE-FL

Los autores proponen ProMoE-FL (Mezcla de Expertos Condicionada por Prototipos para el Aprendizaje Federado), un marco diseñado para la síntesis robusta de características de modalidades faltantes sin depender de datos públicos externos.

1. Banco de Prototipos Globales Consciente del Cliente

Para abordar la heterogeneidad de los clientes y los cambios de distribución, el marco construye un banco de prototipos globales que captura los priors de modalidad clínicamente significativos a través de las instituciones.

• Construcción de Prototipos: Cada cliente mantiene prototipos aprendibles y específicos de cada modalidad ($P^k_m$) para cada clase. Estos se actualizan localmente mediante una pérdida de alineación de prototipos ($L_{proto}$) que alinea las representaciones de características proyectadas con los centroides de clase.
• Agregación Global: A diferencia del promedio simple, el servidor acumula los prototipos de los clientes para formar un banco global ($P^{global}_m$). Este banco sirve como un "prior consciente del cliente" en el espacio latente, guiando la síntesis de características para tener en cuenta la variabilidad de la distribución entre los clientes.

2. Mezcla de Expertos (MoE) Condicionada por Prototipos

Para los clientes con modalidades faltantes, un Decodificador Condicionado por Prototipo (PCD) sintetiza las características faltantes.

• Arquitectura: El PCD se implementa como un decodificador Transformer. Toma las características latentes de la modalidad disponible como la consulta (query) y presta atención al banco de prototipos globales de la modalidad objetivo (la faltante) para recuperar el contexto necesario.
• Mezcla de Expertos: Para manejar las relaciones complejas y no lineales entre pares de modalidades heterogéneas, el sistema emplea una Mezcla de Expertos ($\Phi_{MoE}$). Esta consiste en múltiples PCDs independientes ($\phi_e$).
• Enrutamiento Orientado a la Dirección: Un Enrutador Consciente de la Modalidad ($R$) calcula una distribución de compuerta condicionada al contexto de la instancia y los índices de modalidad (fuente $i$, objetivo $j$). Esto enruta dinámicamente los datos a la combinación óptima de expertos, permitiendo que la red seleccione de forma adaptativa la mejor estrategia de síntesis para escenarios específicos de modalidad faltante.

3. Protocolo de Entrenamiento Federado

• Entrenamiento Local: Los clientes optimizan un objetivo combinado de pérdida de tarea ($L_{task}$) y pérdida de alineación de prototipos ($L_{proto}$).
• Reconstrucción Simétrica: Los clientes multimodales entrenan la red de síntesis utilizando un objetivo de reconstrucción simétrica, aprendiendo a reconstruir las características faltantes a partir de las disponibles y viceversa.
• Comunicación: Los clientes transmiten los parámetros actualizados del modelo, las cabezas de proyección y los prototipos locales. El servidor los agrega mediante FedAvg. La sobrecarga de comunicación es insignificante (~0.3% de los parámetros totales).

Principales Contribuciones

1. Propuesta de Marco: Introducción de ProMoE-FL, un marco de generación de características condicionado por prototipos que permite la síntesis de modalidades faltantes en el aprendizaje federado multimodal sin datos públicos externos.
2. Arquitectura Novedosa: La integración de la atención de prototipos consciente del cliente para manejar la heterogeneidad entre clientes y una arquitectura de Mezcla de Expertos (MoE) para la síntesis orientada a la dirección dentro de una parametrización compartida, evitando el crecimiento combinatorio de parámetros.
3. Validación de Robustez: Experimentos extensos que demuestran una robustez mejorada en entornos heterogéneos (non-IID) que reflejan los silos de datos clínicos del mundo real, respaldados por análisis tanto cuantitativos como cualitativos.

Resultados Experimentales

El método fue evaluado en cuatro conjuntos de datos públicos de radiografías de tórax: MIMIC-CXR, NIH Open-I, PadChest y CheXpert.

• Desempeño: ProMoE-FL superó consistentemente a las líneas base del estado del arte (Zero-filling, Uniform-filling, FeatImp, PmcmFL y CAR-MFL) tanto en entornos homogéneos como heterogéneos.
  • En entornos homogéneos, logró el mejor desempeño en 6 de 9 configuraciones.
  • En entornos heterogéneos (que representan escenarios federados realistas), superó consistentemente a todas las líneas base en cada configuración. Notablemente, mostró ganancias significativas sobre PmcmFL, que sufrió degradación debido a su dependencia de prototipos de clase única.
• Comparación con Datos Públicos: Incluso comparado contra CAR-MFL (que utiliza datos públicos), ProMoE-FL logró un desempeño competitivo, demostrando que su mecanismo interno de prototipos compensa eficazmente la falta de datos externos.
• Análisis Cualitativo:
  • t-SNE/UMAP: ProMoE-FL demostró una integración más estrecha entre las características sintetizadas y las reales, con una alineación de los centroides de clase más precisa en comparación con FeatImp.
  • Patologías Raras: El método mantuvo una separación clara entre los centroides de clase para patologías raras (por ejemplo, Cardiomediastino agrandado, Fractura, Lesión Pulmonar), mientras que FeatImp exhibió un colapso de modo donde diferentes patologías convergían.
  • Utilización de Expertos: Las distribuciones de compuerta mostraron una utilización equilibrada de los expertos (centrada cerca de 0.5), lo que indica una colaboración estable de múltiples expertos en lugar de un colapso hacia un solo experto.
• Heterogeneidad Lingüística: El estudio señaló la inclusión de informes radiológicos en español (PadChest) junto con conjuntos de datos en inglés, marcando una primera vez en la consideración de la heterogeneidad de dominio lingüístico en este contexto específico de FL.

Significado y Reivindicaciones

El artículo afirma que ProMoE-FL proporciona un enfoque práctico para abordar la heterogeneidad de los datos en el aprendizaje federado de atención médica del mundo real. Al ir más allá de la simple imputación de características hacia una síntesis adaptativa condicionada por prototipos, el marco:

• Preserva las estructuras diagnósticas, incluyendo las patologías raras, asegurando que los datos sintetizados retengan las señales discriminativas necesarias para un diagnóstico confiable.
• Opera eficazmente sin la suposición poco realista de la disponibilidad de conjuntos de datos multimodales públicos.
• Navega con éxito los desafíos de los datos no-IID y la disponibilidad variable de modalidades entre centros médicos, ofreciendo una solución robusta para la IA de salud multimodal preservando la privacidad.