Communication-Efficient Byzantine-Robust Federated Conformal Prediction via Partial Model Sharing

Resumen Técnico: PRISM-FCP – Predicción Conforme Federada con Eficiencia de Comunicación y Robustez Bizantina mediante el Uso de Compartición Parcial de Modelos

Planteamiento del Problema
El Aprendizaje Federado (FL) permite el entrenamiento colaborativo de modelos sin compartir datos brutos, pero introduce vulnerabilidades ante clientes bizantinos (maliciosos) que pueden envenenar las actualizaciones durante el entrenamiento o manipular los datos de calibración. Si bien los métodos existentes abordan estas amenazas de forma aislada, persiste una brecha crítica: las defensas actuales son típicamente específicas para cada etapa. Las reglas de agregación robustas protegen la fase de entrenamiento, pero ignoran la manipulación de la calibración, mientras que la calibración conforme robusta (por ejemplo, Rob-FCP) asume una fase de entrenamiento segura. Esta separación es insuficiente porque un modelo global mal entrenado (debido al envenenamiento en la fase de entrenamiento) produce residuos inestables, lo que ensancha las distribuciones de los puntajes de no conformidad de los clientes benignos y reduce la separabilidad entre los clientes benignos y bizantinos durante la calibración. En consecuencia, los enfoques existentes no logran proporcionar una solución de extremo a extremo que garantice tanto predicciones de puntos precisas como una cuantificación de la incertidumbre calibrada bajo condiciones adversas, a menudo a costa de una alta sobrecarga de comunicación.

Metodología: PRISM-FCP
Los autores proponen PRISM-FCP (Partial shaRing and robust calIbration with Statistical Margins for Federated Conformal Prediction), un marco que integra la compartición parcial de modelos con una calibración robusta basada en histogramas para mitigar los ataques bizantinos a través de las fases de entrenamiento y calibración.

1. Fase de Entrenamiento (Compartición Parcial de Modelos):
   En lugar de transmitir actualizaciones de modelos completos, los clientes intercambian solo un subconjunto seleccionado aleatoriamente de $M$ parámetros de un total de $D$ parámetros por ronda. Este mecanismo, diseñado originalmente para la eficiencia de la comunicación, actúa como un filtro estocástico contra los ataques de envenenamiento de modelos. Cuando un cliente bizantino inyecta una perturbación adversaria, el enmascaramiento aleatorio atenúa la energía esperada de la perturbación que entra en la actualización agregada por un factor de $M/D$. Esto reduce el componente inducido por el cliente bizantino en el Error Cuadrático Medio (MSE) en estado estacionario, lo que conduce a un modelo global más preciso y a distribuciones de residuos más ajustadas para los clientes benignos.

2. Fase de Calibración (Filtrado Basado en Histogramas):
   Los clientes computan los puntajes de no conformidad (residuos absolutos) sobre conjuntos de calibración locales. Para preservar la privacidad y reducir la comunicación, los clientes convierten estos puntajes en vectores de caracterización (histogramas de puntajes normalizados) en lugar de compartir puntajes brutos o valores individuales.

   • El servidor computa las distancias $\ell_2$ por pares entre estos vectores.
   • Se asigna un "puntaje de malicia" a cada cliente basado en la suma de las distancias a sus $K_b - 1$ vecinos más lejanos (donde $K_b$ es el número de clientes benignos).
   • Los clientes con los puntajes de malicia más altos (sospechosos de ser bizantinos) son filtrados.
   • El cuantil conforme se estima utilizando únicamente los resúmenes de puntajes seguros de los clientes benignos restantes.

Contribuciones Clave

• Robustez de Extremo a Extremo: El artículo demuestra que la compartición parcial no es meramente una técnica de ahorro de comunicación, sino un mecanismo de defensa basado en principios. Al atenuar las perturbaciones de la fase de entrenamiento, fortalece indirectamente la robustez de la fase de calibración.
• Análisis Teórico:
  • Los autores demuestran que la compartición parcial atenúa la energía de la perturbación bizantina inyectada por un factor proporcional a $M/D$.
  • Derivan cotas que muestran cómo la reducción del error de entrenamiento conduce a distribuciones de residuos más ajustadas, lo que a su vez reduce la desviación del cuantil conforme y estrecha los intervalos de predicción.
  • El análisis establece que la reducción del error de entrenamiento concentra los vectores de caracterización benignos, aumentando el margen de separación de los valores atípicos bizantinos y mejorando la fiabilidad del filtrado basado en distancias.
• Eficiencia de Comunicación: El marco reduce significamente la sobrecarga de comunicación (al transmitir solo $M/D$ de los parámetros) mientras mantiene o mejora la robustez en comparación con las bases de comparación de compartición completa.

Resultados Experimentales
Se realizaron experimentos extensos en datos sintéticos y en el conjunto de datos UCI Superconductivity bajo tres escenarios de ataque: ataques de eficiencia (deflactación de puntajes), ataques de cobertura (inflación de puntajes) y ataques aleatorios (adición de ruido).

• Cobertura y Ancho de Intervalo: PRISM-FCP mantuvo una cobertura empírica casi nominal (aprox. 90%) en todos los tipos de ataque. En contraste, la Predicción Conforme Federada (FCP) estándar sufrió una inflación significativa de los intervalos (por ejemplo, 4.4 veces más anchos bajo ataques de cobertura) o falta de cobertura.
• Comparación con Rob-FCP: Mientras que Rob-FCP (que utiliza compartición completa con filtrado de calibración) mantuvo la cobertura correcta, PRISM-FCP produjo intervalos de predicción significativamente más ajustados (por ejemplo, 1.2 veces más estrechos en experimentos sintéticos). Esta mejora se atribuye al reducido error de entrenamiento logrado mediante la compartición parcial.
• Robustez ante el Tamaño de Ataque Desconocido: El método se mantuvo efectivo incluso cuando el número de clientes bizantinos era desconocido, utilizando una regla de valor absoluto de la mediana (MAD) basada en valores atípicos.
• Modelos No Lineales: El enfoque se extendió con éxito a la regresión no lineal utilizando un Perceptrón Multicapa (MLP) con un mecanismo de compartición parcial por capas, demostrando aplicabilidad más allá de los modelos lineales.
• Ataques Sigilosos: PRISM-FCP mostró resistencia contra ataques adaptativos "ALIE", manteniendo una cobertura casi nominal donde otras bases de agregación robusta (como Krum) tuvieron dificultades.

Significancia y Reivindicaciones
El artículo afirma que PRISM-FCP ofrece un enfoque robusto y eficiente en comunicación para la cuantificación de la incertidumbre federada. Su principal significancia radica en el tratamiento conjunto de las fases de entrenamiento y calibración. Los autores argumentan que el entrenamiento robusto y la calibración robusta son interdependientes; al mitigar la influencia bizantina durante el entrenamiento mediante la compartición parcial, el marco mejora naturalmente la separabilidad de los clientes benignos y maliciosos durante la calibración. Este acoplamiento permite que PRISM-FCP logre intervalos de predicción más ajustados que los métodos que solo filtran durante la calibración, todo ello reduciendo los costos de comunicación. El trabajo posiciona la compartición parcial de modelos como una herramienta de doble propósito: un mecanismo para la eficiencia y una defensa estocástica contra las perturbaciones adversarias.

Limitaciones y Trabajo Futuro
Los autores señalan que su análisis teórico se basa en un modelo de regresión lineal y un modelo de perturbación Gaussiana estocástica para los ataques de entrenamiento. Reconocen que extender la teoría a adversarios totalmente adaptativos que podrían explotar las máscaras de selección aleatoria es una dirección abierta. Además, aunque el método fue probado en MLPs no lineales, un marco teórico exhaustivo para redes profundas sigue siendo un trabajo futuro. El artículo también señala que extender el enfoque a tareas de clasificación requeriría puntajes de no conformidad específicos y reglas de predicción de conjuntos con valores.