Resumen Técnico: FED-FBD

Planteamiento del Problema

El Aprendizaje Federado (FL, por sus siglas en inglés) permite el entrenamiento colaborativo de modelos sobre datos médicos descentralizados sin compartir registros de pacientes en bruto. Sin embargo, los métodos dominantes como FedAvg, FedProx y FedNova tratan a los clientes como cajas negras, lo que conduce a tres vulnerabilidades críticas en despliegues médicos realistas:

1. Falta de Aislamiento: Un único cliente adversarial o con etiquetas erróneas puede corromper todo el modelo global porque cada gradiente de cliente contribuye a cada parámetro.
2. Garantías de Privacidad Débiles: El FL estándar no ofrece privacidad inherente; la protección depende de mecanismos "añadidos" como la privacidad diferencial o la agregación segura.
3. Desaprendizaje Ineficiente: Respetar el "derecho al olvido" de un participante requiere típicamente reentrenar el modelo desde cero o utilizar aproximaciones costosas.

Los autores argumentan que estos problemas surgen de una raíz común: cada peso es un recurso compartido. Si los parámetros fueran, en su lugar, propiedad de conjuntos pequeños y conocidos de clientes, la contaminación podría contenerse por construcción, la memorización se limitaría estructuralmente y la eliminación de clientes se reduciría a una operación de conjuntos.

Metodología: FED-FBD

El artículo propone FED-FBD (Diversificación de Bloques Funcionales Federados), una arquitectura modular que descompone un backbone ResNet en seis bloques funcionales: el stem (tallo), cuatro grupos residuales y la cabeza de clasificación.

Arquitectura Central

• El Almacén (The Warehouse): El servidor mantiene un almacén de $N$ "variantes de color" (modelos completos). Cada color se ensambla a partir de un bloque por cada posición funcional.
• Sellado de Contribuyente (Contributor Stamping): A cada tensor de pesos de bloque se le asigna un hash único y un rastro de entrenamiento que registra los IDs de los clientes específicos que lo actualizaron.
• Plan de Envío (Shipping Plan): Un plan predefinido restringe a cada cliente a un subconjunto conocido de colores. Por ejemplo, en una configuración de 6 clientes y 6 colores, al Cliente 0 solo se le permite escribir en los bloques para los colores $M_0, M_1, M_2$. En consecuencia, los colores $M_3, M_4, M_5$ están arquitectónicamente aislados del Cliente 0.
• Objetivo de Entrenamiento: Los clientes minimizan una función de pérdida que combina la precisión de entropía cruzada con un término de divergencia de Kullback-Leibler (KL) para fomentar la diversidad funcional y prevenir el colapso, atrayendo las predicciones de un cliente hacia un "color hermano" elegido al azar y con parámetros diferentes.
• Protocolo del Servidor: El servidor realiza un reemplazo directo de los pesos de los bloques en lugar de un promedio ponderado. Cuando un cliente devuelve un bloque actualizado, este sobrescribe el tensor existente para esa intersección específica de bloque-color.

Mecanismos Clave

1. Aislamiento a Nivel de Bloque: Debido a que los bloques se sobrescriben directamente, cualquier bloque excluido del plan de envío de un cliente está matemáticamente garantizado de no contener nunca información derivada de los datos de dicho cliente.
2. Desaprendizaje Quirúrgico: Para eliminar a un cliente, el servidor identifica todos los bloques donde el cliente es un contribuyente y reemplaza dichos bloques con el promedio de los colores "limpios" restantes en esas posiciones. Esto no requiere reentrenamiento.
3. Enrutamiento de Inferencia: En la inferencia, el sistema puede enrutar las predicciones al color más confiable por muestra o promediar el ensamble, permitiendo la exclusión de colores comprometidos post-hoc.

Principales Contribuciones

1. Aislamiento Arquitectónico: FED-FBD proporciona un aislamiento perfecto a nivel de bloque. Los experimentos muestran que, incluso bajo ataques adversariales severos (inversión de etiquetas, inyección de ruido), los colores "limpios" (aquellos que el atacante no puede tocar) se desvían no más de $\pm 0.01$ AUC, mientras que los colores envenenados se degradan significativamente.
2. Privacidad por Diseño: El marco estructuralmente suprime la memorización. La ventaja de los ataques de inferencia de membresía (MIA) es indistinguible del azar ($0.50 \pm 0.01$) antes de aplicar cualquier mecanismo de privacidad explícito, ya que ningún bloque individual ve suficientes datos para memorizar muestras individuales.
3. Desaprendizaje en Sub-segundos: El artículo demuestra un desaprendizaje de máquina "quirúrgico" mediante el reemplazo de bloques agregados. Esto logra la eliminación exacta de la contribución de un cliente en un tiempo de ejecución de sub-segundo con una pérdida de utilidad de menos del $0.25\%$ de AUC, evitando la necesidad de reentrenamiento.
4. Caracterización de la Transición de Fase: Los autores identifican una transición de fase de "datos por cliente $\times$ heterogeneidad". FED-FBD se desempeña de manera competitiva (dentro de $\sim 4\%$ de FedAvg) cuando los clientes tienen suficientes datos (ej. $\ge 15,000$ muestras), incluso bajo alta heterogeneidad ($\alpha=0.25$), pero su rendimiento colapsa en conjuntos de datos muy pequeños con alta asimetría.

Resultados Experimentales

Los experimentos se realizaron en seis conjuntos de datos MedMNIST-2D, PathMNIST a resolución de $224\times224$, y CIFAR-10 utilizando 6 clientes y 100 rondas de comunicación.

• Compensaciones de Precisión (Accuracy Trade-offs): En conjuntos de datos adecuadamente dimensionados, FED-FBD intercambia una modesta brecha de precisión de $0.3\%$–$3.1\%$ frente a FedAvg por sus garantías de seguridad. En PathMNIST ($224\times224$), la brecha se reduce a $1.2\%$.
• Rendimiento Non-IID: Bajo una heterogeneidad leve ($\alpha=1.0$), FED-FBD permanece dentro del $0.8\%$–$4.0\%$ de FedAvg en tres de cuatro conjuntos de datos. El rendimiento se degrada bajo una asimetría extrema en conjuntos de datos pequeños, pero la brecha se reduce a medida que aumentan las muestras por cliente.
• Robustez Adversarial: A través de seis configuraciones de ataque, los colores limpios permanecieron aislados. Un simple z-score del servidor sobre la pérdida de validación detectó entre el $39\%$ y el $76\%$ de los ataques con bajos falsos positivos.
• Eficiencia de Desaprendizaje: Las operaciones de desaprendizaje se completaron en menos de 1 segundo con una pérdida de AUC insignificante (peor caso $-0.0022$).

Significado y Reivindicaciones

El artículo afirma que FED-FBD cambia el paradigma del aprendizaje federado de una seguridad "probabilística" (que depende de la agregación robusta o el ruido) a una seguridad estructural. Al hacer que la propiedad de los parámetros sea granular y explícita:

• La contaminación se vuelve imposible en lugar de meramente improbable.
• El desaprendizaje se convierte en una operación de búsqueda y agregación en lugar de un problema de optimización.
• La privacidad es inherente a la arquitectura, no un complemento.

Los autores posicionan a FED-FBD como una solución motivada específicamente por las estrictas necesidades de gobernanza de datos de las redes hospitalarias, ofreciendo una forma viable de manejar clientes envenenados y solicitudes de eliminación sin un reentrenamiento costoso. Reconocen limitaciones, incluyendo los planes de envío fijos y el hecho de que el desaprendizaje exacto solo es posible para bloques de propiedad exclusiva, pero argumentan que la compensación en precisión se justifica para aplicaciones médicas de alto riesgo donde el aislamiento y la auditabilidad son primordiales.