Resumen Técnico: VARS-FL

Enunciado del Problema

Los sistemas de Aprendizaje Federado (FL), particularmente en entornos de Internet de las Cosas (IoT) y IoT Industrial (IIoT), enfrentan desafíos significativos debido a la heterogeneidad de datos (No-IID) y la sobrecarga de comunicación. Las estrategias existentes de selección de clientes, como FedAvg estándar, suelen emplear una selección sin estado, tratando cada ronda de comunicación de forma independiente sin aprovechar el rendimiento histórico de los clientes. Esto conduce a un entrenamiento ineficiente y a una convergencia lenta, especialmente cuando los clientes poseen clases de datos raras pero críticas (por ejemplo, tipos específicos de ataques en la detección de intrusos).

Un problema más sutil pero crítico es el desalineamiento de objetivos. Muchos métodos de selección dependen de proxies locales (por ejemplo, pérdida de entrenamiento local o normas de gradiente) para estimar la utilidad del cliente. Bajo condiciones No-IID, un cliente con alta pérdida local puede simplemente tener una distribución de datos divergente del modelo global, en lugar de ser globalmente informativo. Priorizar a tales clientes puede sesgar el modelo global hacia óptimos locales, causando dinámicas de entrenamiento inestables y fallos en la convergencia. Además, en entornos de IoT altamente heterogéneos, los clientes que poseen clases minoritarias a menudo son subseleccionados debido al muestreo aleatorio, lo que lleva a una mala generalización en tipos de ataques raros.

Metodología: VARS-FL

Los autores proponen VARS-FL (Puntuación de Reputación Alineada con Validación para Aprendizaje Federado), un marco de selección de clientes diseñado para abordar la falta de estado y el desalineamiento de objetivos sin modificar los protocolos de entrenamiento local o de agregación.

Componentes Principales

1. Puntuación de Calidad Alineada con Validación:
   En lugar de utilizar proxies locales, el servidor evalúa la contribución de cada cliente midiendo la reducción en la pérdida de validación del lado del servidor inducida por la actualización del cliente.

   • Sea $L_{val}(\theta)$ la pérdida de validación. Para un cliente $i$ en la ronda $t$, la mejora $\delta_i^t$ se calcula como $\max(0, L_{val}(\theta^{t-1}) - L_{val}(\theta_i^t))$.
   • Esta señal está intrínsecamente alineada con el objetivo de optimización global, asegurando que los clientes seleccionados contribuyan a la generalización global en lugar de solo al ajuste local.
   • Las puntuaciones se normalizan dentro de la ronda para enfatizar la contribución relativa.

2. Mecanismo de Reputación:
   Para superar el ruido de las señales de una sola ronda, VARS-FL agrega evidencia a lo largo del tiempo en una puntuación de reputación ($R_i^t$).

   • Combina un promedio de ventana deslizante ($\bar{Q}_i^{(t)}$) de las puntuaciones de calidad recientes con un término de participación escalado logarítmicamente ($\log(1 + p_i^t)$).
   • El término logarítmico asegura que la participación frecuente por sí sola no garantice la selección; se requiere calidad consistente. Esto previene el fenómeno de "los ricos se hacen más ricos" mientras mantiene la robustez.

3. Estrategia de Selección Exploración-Explotación:
   La selección de clientes se formula como un problema de Brazo Multi-Armero (MAB).

   • Explotación: La mayoría de las ranuras ($m_{rep}$) se llenan con clientes que tienen las puntuaciones de reputación más altas.
   • Exploración: Las ranuras restantes ($m_{rnd}$) se llenan mediante muestreo aleatorio uniforme para asegurar que los clientes potencialmente informativos (especialmente aquellos con datos raros) no sean excluidos permanentemente.
   • Un período de "arranque en frío" ($T_0$) utiliza selección aleatoria antes de que se establezcan las puntuaciones de reputación.

Propiedades del Sistema

• Compatibilidad: VARS-FL es totalmente compatible con la agregación estándar de FedAvg. No requiere cambios en el entrenamiento local, el cómputo del lado del cliente o los protocolos de comunicación.
• Sobrecarga: No introduce sobrecarga adicional de comunicación (los clientes solo envían actualizaciones del modelo). El costo computacional adicional es estrictamente del lado del servidor (pasadas forward en el conjunto de validación) y escala linealmente con el número de clientes seleccionados y el tamaño del conjunto de validación, independientemente del número total de clientes.

Resultados Experimentales

El marco se evaluó en el conjunto de datos Edge-IIoTset, un punto de referencia de detección de intrusos de IoT a gran escala con 15 clases (incluyendo ataques raros) y 100 clientes bajo particionamiento No-IID.

• Rendimiento: VARS-FL superó consistentemente a FedAvg, Oort y Power-of-Choice en múltiples semillas aleatorias.
  • Precisión: Logró una precisión media de 0.8185 (vs. 0.7671 para FedAvg).
  • F1-Macro: Mejoró significativamente a 0.6422 (vs. 0.5565 para FedAvg), indicando un mejor manejo del desequilibrio de clases y tipos de ataques minoritarios.
  • Pérdida: Redujo la pérdida de prueba a 0.4937 (vs. 0.5852 para FedAvg).
• Velocidad de Convergencia: VARS-FL aceleró la convergencia, requiriendo hasta 36% menos rondas para alcanzar el 80% de precisión en comparación con las líneas base. En algunas semillas, las líneas base no lograron alcanzar el 80% dentro de 100 rondas, mientras que VARS-FL tuvo éxito consistentemente.
• Estabilidad: A diferencia de Oort, que exhibió oscilaciones de alta amplitud debido al desalineamiento de la pérdida local, VARS-FL demostró dinámicas de entrenamiento estables y menor varianza entre semillas.
• Recall por Clase: El método mejoró significativamente el recall para seis clases donde FedAvg tuvo un rendimiento deficiente (por ejemplo, Escaneo de Puertos, Ransomware), demostrando su capacidad para poner de relieve datos raros pero críticos.
• Robustez: El marco demostró ser robusto a la composición del conjunto de validación del lado del servidor. Un conjunto de validación pequeño y equilibrado por clases (2,250 muestras) tuvo un rendimiento comparable al de un conjunto estratificado grande (110,407 muestras), sugiriendo viabilidad práctica para implementaciones de IIoT donde la distribución global es desconocida.

Significado y Afirmaciones

El artículo afirma que VARS-FL proporciona una solución principista y práctica para la selección de clientes en entornos heterogéneos y No-IID. Su significado principal radica en:

1. Alineación de Objetivos: Al reemplazar los proxies locales con la reducción de la pérdida de validación del lado del servidor, alinea directamente la selección de clientes con el objetivo de optimización global, mitigando la inestabilidad causada por los cambios de distribución local.
2. Conciencia Histórica: El mecanismo de reputación captura tendencias de contribución a largo plazo, distinguiendo entre clientes consistentemente útiles y aquellos que son meramente ruidosos o afortunados en una sola ronda.
3. Adecuación para IoT: Aborda las restricciones específicas de IoT/IIoT (ancho de banda, soberanía de datos, heterogeneidad) al no requerir comunicación adicional del lado del cliente y funcionar eficazmente con conjuntos de validación pequeños e independientes.

Los autores posicionan a VARS-FL como el primer marco que combina simultáneamente señales de utilidad alineadas globalmente, agregación temporal (reputación) y selección de exploración-explotación dentro de una tubería FL estándar, ofreciendo una alternativa confiable a estrategias sin estado o basadas en proxies.