Partial Model Sharing Improves Byzantine Resilience in Federated Conformal Prediction

Resumen Técnico: El Intercambio Parcial de Modelos Mejora la Resiliencia Bizantina en la Predicción Conformal Federada

Enunciado del Problema
El Aprendizaje Federado (FL) permite el entrenamiento colaborativo de modelos en dispositivos descentralizados sin compartir datos crudos, pero sigue siendo vulnerable a adversarios bizantinos. Estos clientes maliciosos pueden manipular el proceso de aprendizaje enviando gradientes corruptos o información engañosa, degradando el modelo global. Aunque la Predicción Conformal Federada (FCP) ofrece cuantificación de incertidumbre libre de distribuciones con garantías de cobertura estadística, la FCP estándar hereda las vulnerabilidades del FL. Los enfoques robustos existentes, como Rob-FCP, se centran principalmente en endurecer la fase de calibración detectando clientes maliciosos basándose en puntuaciones de no conformidad. Sin embargo, no abordan el envenenamiento durante la fase de entrenamiento federado, donde los adversarios ya pueden corromper el modelo aprendido, propagando así errores a los intervalos conformales. Además, los métodos de calibración robustos a menudo incurrir en una sobrecarga de comunicación adicional.

Metodología
Los autores proponen un marco de FCP resistente a ataques bizantinos que integra el Aprendizaje Federado Online de Intercambio Parcial (PSO-Fed) con una calibración conformal robusta. El método opera en dos fases distintas:

1. Fase de Entrenamiento (Intercambio Parcial de Modelos):
   En lugar de intercambiar vectores completos de parámetros del modelo, los clientes y el servidor intercambian solo un subconjunto de coordenadas del modelo en cada iteración. Este mecanismo, definido por una matriz de selección diagonal $S_{k,n}$, restringe inherentemente la superficie de ataque. Al limitar la fracción de parámetros que un adversario puede influir en el modelo agregado, el intercambio parcial atenúa el impacto de las actualizaciones envenenadas mientras reduce simultáneamente los costos de comunicación. El análisis teórico de trabajos anteriores indica que PSO-Fed mantiene la convergencia incluso cuando los clientes bizantinos inyectan ruido.

2. Fase de Calibración (Detección Basada en Histogramas):
   Para defenderse contra la manipulación bizantina de las puntuaciones de no conformidad, los clientes benignos comprimen sus puntuaciones locales en vectores de caracterización basados en histogramas. Estos vectores representan la distribución de probabilidad empírica de las puntuaciones a través de $H$ bins. El servidor luego calcula las distancias $\ell_2$ pares entre estos vectores para asignar una puntuación de malicia ($m_k$) a cada cliente, definida como la distancia promedio a sus $K_b - 1$ vecinos más cercanos. Los clientes con las puntuaciones de malicia más bajas se identifican como benignos y se retienen para estimar el cuantil conformal, mientras que los valores atípicos (clientes bizantinos) se excluyen.

Contribuciones Clave

• Resiliencia de Doble Fase: A diferencia de trabajos anteriores que se centran únicamente en la calibración, este enfoque protege tanto la fase de entrenamiento federado como la de calibración conformal. Aprovecha el intercambio parcial para mitigar el envenenamiento durante el entrenamiento y el análisis de vectores basados en histogramas para filtrar ataques durante la calibración.
• Eficiencia en la Comunicación: El método reduce la sobrecarga de comunicación transmitiendo solo una fracción de los parámetros del modelo durante el entrenamiento y vectores de histograma comprimidos durante la calibración, evitando la transmisión de puntuaciones crudas o estadísticas completas.
• Estimación Robusta de Cuantiles: Al filtrar a los contribuyentes bizantinos basándose en puntuaciones de malicia basadas en distancias, el servidor estima el cuantil conformal utilizando únicamente datos benignos, garantizando intervalos de predicción válidos.

Resultados Experimentales
Los autores evaluaron el método propuesto frente a la FCP estándar y Rob-FCP bajo tres escenarios de ataque bizantino: ataques de eficiencia (informar puntuaciones anormalmente pequeñas), ataques de cobertura (informar puntuaciones artificialmente grandes) y ataques aleatorios.

• Eficacia de Detección: Las puntuaciones de malicia distinguieron claramente a los clientes bizantinos de los benignos en todos los tipos de ataque, permitiendo una exclusión fiable.
• Cobertura y Ancho del Intervalo: Bajo diversos escenarios de ataque, el método propuesto logró una cobertura más cercana al objetivo nominal del 90% en comparación con la FCP estándar (que sufrió de cobertura inflada e intervalos amplios) y Rob-FCP.
• Ganancias de Rendimiento: El enfoque propuesto produjo intervalos de predicción que fueron 1.8 veces más estrechos que Rob-FCP y 2.2 veces más estrechos que la FCP estándar. Esta mejora se atribuye a la atenuación del envenenamiento del modelo durante el entrenamiento (mediante intercambio parcial) y a la estimación robusta de cuantiles durante la calibración.

Significado y Afirmaciones
El artículo afirma establecer un enfoque robusto y eficiente en comunicación para la cuantificación de incertidumbre federada. Al acoplar el intercambio de parámetros parciales eficiente en comunicación con una calibración conformal robusta, el método logra resiliencia contra ataques bizantinos en toda la pipeline de FCP. Los autores afirman que su enfoque produce intervalos de predicción válidos y fiables con límites sustancialmente más estrechos que los métodos existentes, incluso cuando una parte significativa de los clientes (por ejemplo, el 20%) son bizantinos. Concluyen que integrar PSO-Fed en marcos de calibración robustos ofrece una dirección prometedora para un FL confiable, aunque señalan que establecer garantías teóricas que cuantifiquen los efectos específicos del intercambio parcial sobre la robustez y la cobertura sigue siendo una dirección para trabajos futuros.