Federated Learning by Utility-Constrained Stochastic Aggregation for Improving Rational Participation

Resumen Técnico: FedUCA – Aprendizaje Federado por Agregación Estocástica Constrained por Utilidad

Planteamiento del Problema
Los algoritmos estándar de Aprendizaje Federado (FL), como FedAvg, asumen implícitamente que los clientes cumplen pasivamente con la orquestación del servidor. Sin embargo, en entornos de silos cruzados (por ejemplo, hospitales, empresas), los clientes son agentes racionales que incurren en costos operativos no triviales (computación, cumplimiento, infraestructura). En consecuencia, la participación se convierte en una decisión estratégica: un cliente solo colaborará si la utilidad percibida del modelo global supera estrictamente su línea base local. Bajo una heterogeneidad estadística significativa, un único vector de agregación determinista a menudo falla en satisfacer simultáneamente los diversos umbrales de Rationalidad Individual (IR) de todos los participantes. Esto conduce a la deserción de clientes, donde los clientes racionales optan por retirarse, causando un colapso en el rendimiento del modelo global y una degradación del proceso de entrenamiento federado.

Metodología
Los autores proponen FedUCA, un marco que reformula el rol del servidor como un optimizador que busca maximizar el rendimiento del modelo global manteniendo la participación de los clientes mediante una agregación estocástica constrained por utilidad.

1. Modelo de Participación Racional:

   • Los clientes se modelan como agentes racionales que evalúan el modelo global $\theta_t$ frente a su línea base local utilizando un conjunto de validación.
   • La participación es condicional: un cliente $k$ participa si y solo si su utilidad $u_k(r_k; \zeta_k) \ge \gamma_k$, donde $r_k$ es el peso de agregación, $\zeta_k$ son los parámetros de utilidad y $\gamma_k$ es el umbral mínimo aceptable.
   • El trabajo asume que la utilidad del cliente es una función cóncava del peso de agregación. Esto captura los rendimientos marginales decrecientes: un cliente se beneficia de un aumento en la influencia hasta un punto óptimo, más allá del cual la sobre-representación degrada la generalización.

2. Agregación Estocástica y Brecha de Jensen:

   • En lugar de optimizar un único vector de pesos determinista, el servidor genera un conjunto de $n_s$ estrategias de agregación candidatas $\{r^j_k\}$ muestreadas de una distribución $s$.
   • La distribución $s$ es fija y se muestrea de una distribución Dirichlet caracterizada por un parámetro de concentración $\delta$.
   • El mecanismo central explota la brecha de Jensen: debido a la concavidad de las utilidades de los clientes, la utilidad del peso de agregación esperado es mayor o igual que la utilidad esperada de los pesos de agregación aleatorios ($u_k(\mathbb{E}[r]) \ge \mathbb{E}[u_k(r)]$).
   • Esta brecha crea un superávit de utilidad implícito. Al optimizar sobre una mezcla de estrategias, el servidor puede satisfacer las restricciones de IR de clientes heterogéneos que un único vector determinista no podría.

3. Formulación de Optimización:

   • El servidor resuelve un problema de factibilidad constrained para encontrar pesos de agregación que satisfagan $\sum s_i u_k(r^i_k) \ge \gamma_k + \epsilon$.
   • Si la optimización falla en satisfacer a todos los clientes, un mecanismo de respaldo asegura que al menos un cliente participe para evitar actualizaciones degeneradas.
   • El parámetro de concentración Dirichlet $\delta$ modula la geometría de la mezcla de estrategias. El análisis teórico muestra que la brecha de Jensen esperada (y por tanto la factibilidad de participación) es no monótona con respecto a $\delta$, alcanzando su punto máximo en valores intermedios.

4. Análisis de Convergencia:

   • El trabajo proporciona una caracterización de convergencia para este sistema endógeno donde los conjuntos de participación y los pesos de agregación co-evolucionan.
   • El límite de convergencia incluye un término para la discrepancia de agregación ($E_{agg}$), que representa el sesgo introducido al desviarse de los pesos objetivo para satisfacer las restricciones de IR. Esta discrepancia está acotada por el parámetro Dirichlet $\delta$ y el número de estrategias $n_s$.

Contribuciones Clave

• Marco FedUCA: Introduce un marco de agregación no monetario y orientado al rendimiento que trata la coordinación del servidor como un problema de factibilidad constrained para satisfacer la racionalidad individual.
• Mecanismo de Superávit de Jensen: Demuestra que optimizar una cota inferior de Jensen sobre múltiples estrategias de agregación induce un superávit de utilidad bajo utilidades cóncavas, actuando como un amortiguador de robustez frente a la heterogeneidad.
• Mecanismo Estocástico: Propone un mecanismo de pesos de mezcla muestreados de Dirichlet donde el parámetro de concentración $\delta$ regula el superávit de Jensen inducido y la factibilidad de participación.
• Caracterización de Convergencia: Proporciona el primer análisis de convergencia para un sistema federado de naturaleza endógena, vinculando la discrepancia de agregación directamente con el parámetro de diseño del mecanismo $\delta$.

Resultados Experimentales
Los autores evaluaron FedUCA en CIFAR-10, CIFAR-100, F-MNIST y 20 Newsgroups bajo diversos grados de heterogeneidad de datos (divisiones Dirichlet).

• Tasas de Participación: Bajo restricciones de participación racional, las líneas base estándar (FedAvg, FedProx, AAggFF-S) sufrieron un colapso de realimentación positiva, con una participación que cayó por debajo del 12% en CIFAR-10. IncFL mejoró esto pero se estancó alrededor del 35%. FedUCA mantuvo tasas de participación entre 51% y 54%.
• Precisión Global: FedUCA logró una precisión significativamente mayor del modelo del servidor en comparación con las líneas base. Por ejemplo, en CIFAR-10 con Dirichlet(0.5, 1.0), FedUCA alcanzó una precisión del 66.89% frente al 16.63% de FedAvg y al 32.35% de IncFL.
• Sensibilidad de Parámetros: Los experimentos confirmaron la predicción teórica de que el parámetro de concentración Dirichlet $\delta$ tiene un efecto no monótono sobre la participación, con un rendimiento óptimo observado en el rango $\delta \in [0.5, 1.0]$.

Significado y Afirmaciones
El trabajo afirma que FedUCA ofrece una alternativa práctica y no monetaria a los enfoques basados en equilibrio y dirigidos por incentivos (como la teoría de contratos o mecanismos de precios). Al reformular la agregación como un problema de factibilidad bajo participación racional, FedUCA permite una colaboración estable de silos cruzados sin requerir recompensas externas o modelado estratégico complejo. Los autores enfatizan que la discrepancia de agregación inducida por el mecanismo es una huella matemática de la gestión de la participación racional, controlada directamente por el parámetro Dirichlet, cerrando efectivamente el ciclo entre el diseño de mecanismos y la teoría de optimización. El trabajo valida que la aleatorización estratégica no es meramente una heurística, sino un método fundamentado matemáticamente para cerrar la brecha de Jensen y estabilizar la participación en entornos de FL racional.