Resumen Técnico: Entrenamiento de Políticas Colaborativo pero Personalizado mediante Actor-Critic Federado de Escala Temporal Única

Formulación del Problema

El artículo aborda el desafío del entrenamiento de políticas colaborativo pero personalizado en el Aprendizaje por Refuerzo Federado (FRL) bajo heterogeneidad ambiental. En muchas aplicaciones modernas, como la IA Encarnada, los agentes operan en entornos distintos caracterizados por diferentes núcleos de transición ($P^k$) y funciones de recompensa ($R^k$).

Los enfoques existentes suelen caer en dos categorías:

1. Ignorar la Heterogeneidad: Entrenar una única política compartida en todos los agentes, lo que a menudo conduce a una degradación del rendimiento debido a señales de aprendizaje desalineadas.
2. Abandonar la Colaboración: Entrenar políticas locales completamente independientes, renunciando a las ganancias de eficiencia en la muestra que ofrece la colaboración.

Si bien el Aprendizaje Federado Personalizado (PFL) ha tenido éxito en el aprendizaje supervisado, su aplicación al FRL sigue siendo poco explorada. Específicamente, existe una falta de marcos teóricos que manejen métodos de actor-critic (AC) personalizados bajo muestreo markoviano (donde los datos están correlacionados temporalmente) y núcleos de transición heterogéneos. Trabajos anteriores suelen centrarse en métodos basados en valores, políticas comunes o asumen datos independientes e idénticamente distribuidos (i.i.d.), fallando en capturar la dinámica acoplada de las actualizaciones de políticas y el ruido markoviano heterogéneo en un entorno de escala temporal única.

Metodología: pFedAC

Los autores proponen pFedAC, un algoritmo federado de actor-critic personalizado de escala temporal única. La innovación arquitectónica central es una representación compartida en subespacio lineal combinada con cabezas locales personalizadas.

Estructura del Modelo

La función de valor para el agente $k$ se aproxima como:
$$V^k_\theta(s) \approx \phi(s)^\top B \omega^k_\theta$$
donde:

• $\phi(s) \in \mathbb{R}^d$ es un mapa de características conocido.
• $B \in \mathbb{R}^{d \times r}$ es un subespacio ortonormal común (compartido entre todos los $K$ agentes) que representa la estructura subyacente de las funciones de valor.
• $\omega^k_\theta \in \mathbb{R}^r$ son parámetros de cabeza local específicos para cada agente $k$, permitiendo la personalización.

Mecánica del Algoritmo

El algoritmo opera en rondas $t = 0, \dots, T-1$ con tres pasos de actualización acoplados por agente, seguidos de un paso de agregación en el servidor:

1. Actualización del Crítico (Cabeza Local y Subespacio):

   • Los agentes realizan una actualización local TD($L$) para estimar la función de ventaja.
   • Utilizando el error TD $\delta^k_{t,L}$, los agentes actualizan su cabeza local $\omega^k_t$ y la estimación del subespacio común $B_t$.
   • La actualización de $B_t$ implica un paso de gradiente estocástico proyectado seguido de una descomposición QR para mantener la ortonormalidad. Esta proyección es crucial para controlar la amplificación de perturbaciones en presencia de ruido heterogéneo.

2. Actualización del Actor (Política):

   • Para mitigar la discrepancia entre la distribución límite de estados (usada en las actualizaciones del crítico) y la distribución de visita de estados descontada (usada en los gradientes de política), los autores emplean un MDP compañero con un núcleo de transición $\tilde{P}^k = \gamma P^k + (1-\gamma)\eta$.
   • Los agentes muestrean trayectorias de esta cadena auxiliar para calcular gradientes de política, asegurando una estimación de gradiente más precisa bajo muestreo markoviano.

3. Agregación:

   • Los agentes envían sus estimaciones actualizadas del subespacio $\bar{B}_{t+1}$ al servidor.
   • El servidor calcula el promedio $\bar{B}_{t+1}$ y realiza una descomposición QR para transmitir la base ortonormal actualizada $B_{t+1}$ de vuelta a todos los agentes.

Contribuciones Clave

1. Primer AC Personalizado en RL Federado

El artículo presenta el primer algoritmo que permite el aprendizaje de actor-critic personalizado en un entorno federado. A diferencia de trabajos anteriores que se centran en políticas compartidas o funciones de valor, pFedAC aprende explícitamente una representación compartida mientras mantiene componentes de política específicos del agente.

2. Análisis de Convergencia en Tiempo Finito

Los autores establecen garantías de convergencia en tiempo finito para el algoritmo bajo muestreo markoviano y núcleos de transición heterogéneos. El análisis introduce un nuevo marco de aproximación lineal conjunta que rastrea simultáneamente tres dinámicas de error estrechamente acopladas:

• El error en las estimaciones de la cabeza local ($\omega^k$).
• El error en la estimación del subespacio compartido ($B$).
• El error en el gradiente de política (Actor).

Tasas de Convergencia:
El artículo demuestra que:

• El error del crítico converge a cero a una tasa de $\tilde{O}\left(\frac{1}{(1-\gamma)^4 \sqrt{TK}}\right)$.
• La norma del gradiente de política converge a cero a una tasa de $\tilde{O}\left(\frac{1}{(1-\gamma)^6 \sqrt{TK}}\right)$.

Aquí, $T$ es el número de rondas, $K$ es el número de agentes y $\gamma$ es el factor de descuento. La notación $\tilde{O}$ oculta factores polilogarítmicos y constantes dependientes del problema.

3. Aceleración Lineal

Los resultados demuestran una aceleración lineal con respecto al número de agentes $K$. Esto implica que añadir más agentes al sistema federado reduce proporcionalmente la complejidad de muestra requerida para alcanzar una precisión objetivo, incluso en presencia de trayectorias markovianas heterogéneas.

4. Innovaciones Técnicas en el Análisis

Para lograr estos resultados, los autores desarrollaron varias nuevas herramientas analíticas:

• Análisis de Perturbación para la Descomposición QR: Un nuevo análisis que acota la distorsión causada por los pasos de descomposición QR en presencia de ruido markoviano heterogéneo.
• Argumentos de Mezcla Condicional: Técnicas para manejar el acoplamiento entre las actualizaciones de políticas y el muestreo markoviano, caracterizando específicamente las discrepancias entre las evaluaciones de funciones bajo muestreo markoviano versus políticas temporalmente congeladas.
• Explotación de la Estructura Geométrica: Utilización de las propiedades geométricas del subespacio compartido y las distancias de ángulos principales para controlar la interacción entre los errores de la cabeza local y los errores de estimación del subespacio.

Resultados Experimentales

Los autores implementaron el marco dentro de la Optimización de Política Próxima (PPO), creando FedPer PPO, y lo evaluaron en una prueba federada de Hopper-v5 con heterogeneidad de mapa de acciones (donde los agentes comparten dinámicas pero tienen mapeos de acciones diferentes).

• Rendimiento: FedPer PPO superó significativamente tanto a Single PPO (entrenado independientemente) como a FedAvg PPO (promedio federado estándar). En la configuración "6-UNIQUE" (donde cada agente tiene un mapa de acción distinto), FedPer logró una mejora de 2.63$\times$ sobre Single PPO y de 3.78$\times$ sobre FedAvg PPO.
• Aprendizaje por Transferencia: Se demostró que el "tronco" compartido aprendido (el subespacio $B$) es una base transferible. Cuando el tronco se congeló y solo se entrenaron nuevas cabezas en tareas posteriores (incluyendo variantes fuera de distribución), el modelo logró 5.42$\times$ el rendimiento de entrenar desde cero en tareas estándar y 3.50$\times$ en tareas OOD.

Significado y Afirmaciones

El artículo afirma que pFedAC cierra exitosamente la brecha entre la colaboración y la personalización en entornos FRL heterogéneos. Al aprovechar un subespacio lineal compartido, los agentes pueden beneficiarse del aprendizaje colectivo sin sacrificar la adaptabilidad a las características del entorno local.

Los autores señalan explícitamente que, si bien las tasas de convergencia demuestran una aceleración lineal, la dependencia del factor de descuento $(1-\gamma)$ puede no ser óptima, particularmente en el régimen casi sin descuento ($\gamma \to 1$). Identifican mejorar esta dependencia como una dirección clave para trabajos futuros, sugiriendo que análisis más precisos de la estructura markoviana o técnicas de reducción de varianza podrían generar mejoras adicionales.

En resumen, este trabajo proporciona una base teórica rigurosa y validación empírica para métodos de actor-critic federado personalizado, abordando la necesidad crítica de aprendizaje por refuerzo escalable, colaborativo y adaptable en sistemas complejos y heterogéneos.