Resumen Técnico: Selección de Clientes Federados bajo Visibilidad Parcial

Formulación del Problema

El Aprendizaje Federado (FL) depende típicamente de una selección efectiva de clientes para mitigar la degradación del rendimiento causada por la heterogeneidad de los datos (datos no IID). Sin embargo, la mayoría de los métodos existentes de selección de clientes asumen visibilidad total, donde el servidor tiene acceso a información sobre toda la población de clientes en cada ronda de comunicación.

Este artículo aborda el desafío de la Visibilidad Parcial, un escenario que surge en implementaciones a gran escala o basadas en el borde, donde el servidor solo puede acceder a un subconjunto de clientes debido a restricciones como:

• Movilidad: Un servidor móvil que se desplaza por regiones de la red solo puede interactuar con clientes dentro de su cobertura actual (por ejemplo, escenarios EdgeFlow).
• Disponibilidad: Los clientes pueden estar no disponibles debido a problemas de programación, conectividad o preferencias de privacidad.

En este entorno, el servidor observa solo un subconjunto de clientes ($C_t$) en la ronda $t$, lo que hace que el estado global de entrenamiento sea parcialmente observable. Los enfoques existentes de Aprendizaje por Refuerzo (RL), que típicamente modelan la selección de clientes como un Proceso de Decisión de Markov (MDP) asumiendo visibilidad total del estado, son insuficientes para este problema.

Metodología

1. Formulación POMDP

Los autores formulan el problema de selección de clientes bajo visibilidad parcial como un Proceso de Decisión de Markov Parcialmente Observable (POMDP).

• Estado ($s_t$): Definido conceptualmente como los parámetros actualizados potenciales de todos los $N$ clientes. Crucialmente, el servidor no tiene acceso a los gradientes o actualizaciones de los clientes invisibles.
• Acción ($a_t$): Seleccionar un subconjunto de $K$ clientes del clúster visible actual $C_t$.
• Observación ($o_t$): Un subconjunto enmascarado del estado que contiene los parámetros actualizados y los IDs de solo los clientes visibles ($j \in C_t$).
• Recompensa ($r_t$): Definida en función de la puntuación F1 del modelo global después de la agregación, suavizada en el tiempo para controlar la varianza.

2. Solución de Aprendizaje Q Profundo (DQL)

Para resolver el POMDP, el artículo propone un agente basado en DQL. Dado que mantener un historial completo de interacciones es computacionalmente poco práctico, el método aproxima la función Q óptima utilizando un contexto temporal truncado de las $H$ rondas más recientes.

• Descomposición del Valor Q por Cliente: Para manejar tamaños de clúster variables y espacios de acción combinatorios, la función Q global se descompone en contribuciones individuales de clientes. El agente evalúa cada cliente visible independientemente y selecciona los $K$ superiores con los valores Q estimados más altos.
• Optimización Multi-paso: El agente utiliza aprendizaje de diferencia temporal multi-paso con un factor de descuento $\gamma$, optimizando la red Q para predecir retornos sobre un horizonte de $H$ pasos.

3. Arquitectura de Atención Espacio-Temporal

La innovación central es una novedosa Red Q basada en Atención Espacio-Temporal diseñada para procesar entradas de longitud variable y capturar dependencias complejas.

• Reducción de Dimensionalidad: Los parámetros del modelo de alta dimensionalidad se mapean a un espacio de características de baja dimensionalidad utilizando Proyección Aleatoria (RP). A diferencia de PCA, RP no requiere muestras pre-recopiladas, lo que la hace adecuada para la visibilidad dinámica.
• Contexto Temporal: La red ingiere una secuencia de parámetros globales históricos ($W_{glob}^{t-H} \dots W_{glob}^t$) para capturar la trayectoria de entrenamiento.
• Atención Espacial: Un módulo procesa los tokens de los clientes actualmente visibles para razonar sobre sus contribuciones relativas dentro del clúster específico.
• Atención Temporal: Un módulo procesa los tokens de parámetros globales históricos utilizando codificación posicional y enmascaramiento causal para aprender dependencias temporales.
• Atención Cruzada: Los tokens espaciales y temporales se integran mediante atención cruzada, permitiendo que las representaciones de los clientes atiendan a contextos globales históricos.
• Incrustación Consciente de la Identidad: Para abordar la dispersión temporal causada por la participación intermitente de los clientes, el modelo incluye vectores identificables entrenables (incrustaciones) para cada cliente. Estos actúan como una "memoria" para capturar características específicas persistentes de los clientes a través de rondas, incluso cuando los clientes no son visibles.
• Arquitectura Duelo: La red Q separa la estimación del valor del estado global y la ventaja relativa de seleccionar clientes específicos para mejorar la estabilidad del aprendizaje.

Contribuciones Clave

1. Marco POMDP: La primera formulación de la selección de clientes federados bajo visibilidad parcial como un POMDP, abordando explícitamente la brecha entre las suposiciones de visibilidad total y las restricciones del mundo real.
2. Red de Atención Espacio-Temporal: Una arquitectura novedosa que integra modelos globales históricos con observaciones actuales de clientes, permitiendo al agente razonar sobre el estado global a pesar de observaciones incompletas.
3. Memoria Consciente de la Identidad: Un mecanismo para rastrear características específicas de los clientes a través de participaciones discontinuas, mitigando el impacto de la dispersión de observaciones.
4. Estrategia Robusta de DQL: Un enfoque de descomposición por cliente y optimización multi-paso adaptado a la naturaleza discreta e irreversible de la selección de clientes en FL.

Resultados Experimentales

El método propuesto fue evaluado en tres conjuntos de datos (CIFAR-10, Fashion-MNIST, UCI-HAR) bajo dos configuraciones de visibilidad parcial (Servidor Móvil y Disponibilidad Aleatoria) y dos niveles de heterogeneidad (distribución Dirichlet y Sesgo de Etiquetas).

• Rendimiento: El método propuesto logró una precisión superior en comparación con las líneas base (FedProx, HA-EdgeFlow, FedAWAC) en casi todos los escenarios. Mejoró la precisión promedio entre 3.6% y 7.9% sobre los métodos existentes.
• Estabilidad: El método demostró una reducción en las fluctuaciones de rendimiento (desviación estándar más baja) después de la convergencia, indicando una mayor estabilidad en el entrenamiento.
• Estudios de Ablación:
  • Longitud del Contexto ($H$): El rendimiento mejoró a medida que $H$ aumentó de 1 (MDP) a 5, validando la necesidad del contexto histórico. Aumentos adicionales ($H=8, 10$) produjeron rendimientos decrecientes, sugiriendo que el historial reciente es suficiente.
  • Incrustaciones de Identidad: Eliminar el módulo Consciente de la Identidad resultó en caídas significativas de precisión bajo un Sesgo de Etiquetas severo y aumentó las fluctuaciones bajo distribuciones Dirichlet, confirmando su papel en la memoria del cliente y la estabilidad.

Significado y Afirmaciones

El artículo afirma que su enfoque proporciona una solución fundamentada al problema poco explorado de la selección de clientes bajo visibilidad parcial. Al modelar el problema como un POMDP y aprovechar la atención Espacio-Temporal, el método cierra eficazmente la brecha de información causada por observaciones incompletas. Los autores afirman que su marco es particularmente efectivo en entornos heterogéneos y parcialmente visibles, ofreciendo una alternativa robusta a las estrategias de selección existentes basadas en MDP o heurísticas que fallan cuando el servidor no puede observar a toda la población de clientes. El trabajo valida que incorporar contexto histórico y memoria de identidad de cliente es crítico para mantener el rendimiento del modelo en entornos de borde dinámicos y del mundo real.