Hospital Trust Aggregation for Multi-Hospital Medical Imaging under Non-IID Data and Malicious Clients: A Benchmark and Empirical Assessment

Resumen Técnico: Agregación de Confianza Hospitalaria para Imágenes Médicas Multi-Hospitalarias

Planteamiento del Problema
El aprendizaje federado (FL) permite a los hospitales entrenar modelos de diagnóstico compartidos sin intercambiar registros de pacientes, abordando las restricciones de privacidad de datos y regulatorias. Sin embargo, los consorcios clínicos del mundo real enfrentan dos desafíos compuestos que socavan los protocolos de agregación estándar como FedAvg:

1. Heterogeneidad No-IID Severa: Las cohortes hospitalarias difieren significendamente en patrones de derivación, mezclas de casos y tamaños de cohorte. Esto crea un escenario donde un hospital honesto con una mezcla de casos rara o inusual produce actualizaciones de modelo que son valores atípicos estadísticos, no porque sean maliciosos, sino porque su distribución de datos es única.
2. Clientes Maliciosos: Un hospital comprometido puede desviar el modelo global mediante envenenamiento de datos, ataques de puerta trasera (backdoor) o manipulación de actualizaciones (por ejemplo, reemplazo del modelo).

La tensión central identificada es que las reglas de agregación robustas, que típicamente descartan actualizaciones "inusuales" para defenderse de los ataques, luchan por distinguir entre un valor atípico legítimo (un centro especialista honesto con casos raros) y un valor atípico hostil (un nodo comprometido). Bajo una heterogeneidad severa, los mecanismos de defensa agresivos corren el riesgo de excluir precisamente a los sitios que poseen las condiciones raras que la federación pretende diagnosticar.

Metodología: Agregación de Confianza Hospitalaria (HTA)
Los autores proponen la Agregación de Confianza Hospitalaria (HTA), una regla de confianza de múltiples señales diseñada para evaluar a los hospitales a lo largo de múltiples rondas en lugar de hacerlo de forma aislada. HTA calcula una puntuación de reputación para cada hospital basada en tres señales acotadas (rango [0, 1]), fusionadas multiplicativamente:

1. Acuerdo Direccional ($s_h$): La similitud de coseno rectificada entre la actualización de un hospital y la mediana por coordenada de todas las actualizaciones (una dirección de consenso robusta). Las actualizaciones que apuntan en dirección opuesta al consenso reciben cero crédito.
2. Plausibilidad de Magnitud ($m_h$): Una penalización simétrica basada en la razón logarítmica de la norma de la actualización del hospital respecto a la norma de la mediana de las actualizaciones. Esto penaliza tanto las actualizaciones infladas (reemplazo del modelo) como las reducidas (free-riding).
3. Validación de Cohorte de Referencia ($v_h$): El servidor evalúa el modelo local del hospital en una pequeña cohorte de referencia disjunta y curada ($D_{root}$). La señal es la precisión balanceada en esta cohorte, normalizada contra la mediana de la ronda. Esto detecta ataques a nivel de datos (por ejemplo, inversión de etiquetas/label flipping) que preservan la dirección y magnitud de la actualización pero degradan la utilidad clínica.

Lógica de Reputación y Exclusión:

• Fusión: Las señales se combinan como $\tau_h = s_h^a m_h^b v_h^c$. La naturaleza multiplicativa asegura que una puntuación cercana a cero en cualquier dimensión suprima la influencia de un hospital, evitando que un adversario compense una falla en una señal sobresaliendo en otra.
• Suavizado de Reputación: La puntuación se suaviza mediante un Promedio Móvil Exponencial (EMA) y se penaliza por su propia varianza. Esto desincentiva las estrategias de "alternancia" donde un atacante se comporta benignamente en algunas rondas y maliciosamente en otras para enmascarar su puntuación media.
• Criterios de Exclusión: Un hospital es excluido solo si satisface dos condiciones simultáneamente:
  1. Es un valor atípico estadístico (puntuación $< \mu - \lambda \cdot \text{MAD}$).
  2. Está materialmente por debajo del consenso (puntuación $< \kappa \cdot \mu$).
     Esta doble condición está diseñada para evitar la exclusión de hospitales honestos pero atípicos que simplemente se encuentran en la cola inferior de una distribución heterogénea.

Configuración Experimental y Benchmark
El artículo introduce un benchmark reproducible para evaluar HTA contra siete líneas de base (FedAvg, FedProx, Mediana por Coordenada, Media Recortada, Krum, Multi-Krum, FLTrust).

• Datasets: DermaMNIST (diagnóstico dermatoscópico de 7 clases con desequilibrio de clases severo) y PneumoniaMNIST (radiografía de tórax binaria).
• Heterogeneidad: Cinco regímenes que van desde IID hasta un sesgo de etiquetas severo ($\alpha=0.1$) y sesgo de cantidad.
• Ataques: Seis ataques que incluyen ataques a nivel de datos (inversión de etiquetas, puerta trasera) y a nivel de actualización (inversión de signo, escalado, ALIE, IPM), con fracciones de adversarios del 5% al 30%.
• Métricas: Clínicas (precisión balanceada, recuperación de la peor clase, precisión por hospital), de Seguridad (tasa de éxito del ataque) y de Equidad (Fairness).

Resultos Clave

1. Heterogeneidad vs. Adversarios: La heterogeneidad es el desafío dominante. Pasar de IID a un sesgo de etiquetas severo ($\alpha=0.1$) causó una caída de 16.4 puntos en la precisión balanceada, mientras que los adversarios causaron una caída de 7.2 puntos.
2. Desempeño de HTA:
   • Ataques a Nivel de Datos: HTA desempeña de manera competitiva, a menudo liderando o empatando con las mejores líneas de base en ataques de inversión de etiquetas y de puerta trasera.
   • Ataques a Nivel de Actualización: HTA es superado significativamente por Multi-Krum en ataques de inversión de signo y escalado (brechas de 4.9 y 6.7 puntos, respectivamente). La selección geométrica de un subconjunto coherente de Multi-Krum resulta más efectiva que la estrategia de reponderación de HTA cuando la geometría de la actualización es manipulada.
   • Escala: Con 20 hospitales, HTA pierde por 5.7 puntos ante Multi-Krum.
   • Segunda Cohorte: En PneumoniaMNIST, HTA rinde por debajo de FLTrust entre 12 y 19 puntos en todas las condiciones, atribuido a la naturaleza binaria de la tarea que reduce el poder discriminativo de la señal de validación.
3. Precisión de Datos Limpios (Clean Accuracy): Contrario a la creencia común de que la robustez sacrifica la precisión de datos limpios, la mayoría de las reglas robustas (incluyendo HTA) lograron una precisión de datos limpios mayor que FedAvg (por ejemplo, HTA +4.6 puntos, Multi-Krum +5.9 puntos). Esto se atribuye a la reducción de la varianza: las reglas robustas amortiguan el ruido de los valores atípicos honestos extremos en entornos heterogéneos.
4. Hallazgos de Ablación:
   • Señal de Magnitud: La señal de magnitud de actualización ($m_h$) no contribuyó con ningún beneficio mensurable bajo ningún tipo de ataque. Eliminarla no degradó el desempeño. Los autores concluyen que bajo el sesgo de Dirichlet, una norma inusual es un indicador de un caso clínico honesto y raro tan fiable como lo es de un ataque, lo que hace que esta señal sea poco informativa y potencialmente perjudicial.
   • Reputación y Dirección: La memoria de reputación y el acuerdo direccional fueron los principales impulsores del desempeño.
5. Falla de Detección: Bajo heterogeneidad severa e inversión de etiquetas, las puntuaciones de reputación de los hospitales honestos y maliciosos se convergieron y se solaparon completamente. La regla no logró separar exitosamente ambas poblaciones; su éxito se debió al amortiguamiento de la varianza en lugar de la detección de adversarios.

Significancia y Reivindicaciones
El artículo posiciona su trabajo no como una nueva solución de estado del arte, sino como un benchmark y un resultado negativo.

• El Benchmark: Proporciona un marco de evaluación riguroso y reproducible que integra métricas clínicas (precisión balanceada, equidad) con métricas de seguridad, revelando que las defensas que sacrifican la recuperación de la clase minoritaria son clínicamente inútiles.
• El Resultado Negativo: Los autores concluyen que una señal de confianza basada en la magnitud de la actualización no sobrevive a la heterogeneidad médicamente realista. Además, un sistema de reputación construido sobre estas señales falla en distinguir entre hospitales honestos y maliciosos bajo ataques de nivel de datos en entornos heterogéneos.
• Clarificación del Mecanismo: Los beneficios observados de HTA y otras reglas robustas provienen del amortiguamiento de la varianza (suprimir el ruido de los valores atípicos honestos) en lugar de la detección de adversarios.
• Dirección Futura: Los autores sugieren que el componente efectivo de su método es un sistema de reputación impulsado por el acuerdo direccional con recorte de norma, y que la señal de magnitud debería descartarse. Enfatizan la necesidad de trabajos futuros contra adversarios adaptativos que conozcan las señales de confianza y para abordar la tensión entre la inspección por actualización y las técnicas de preservación de la privacidad como la agregación segura.