Resumo Técnico: Treinamento de Políticas Colaborativo e Personalizado via Actor-Critic Federado de Escala Única

Formulação do Problema

O artigo aborda o desafio do treinamento de políticas colaborativo e personalizado em Aprendizado por Reforço Federado (FRL) sob heterogeneidade ambiental. Em muitas aplicações modernas, como IA Embutida, agentes operam em ambientes distintos caracterizados por diferentes kernels de transição ($P^k$) e funções de recompensa ($R^k$).

As abordagens existentes geralmente se enquadram em duas categorias:

1. Ignorar Heterogeneidade: Treinar uma única política compartilhada entre todos os agentes, o que frequentemente leva à degradação do desempenho devido a sinais de aprendizado desalinhados.
2. Abandonar a Colaboração: Treinar políticas locais inteiramente independentes, perdendo os ganhos de eficiência de amostragem da colaboração.

Embora o Aprendizado Federado Personalizado (PFL) tenha obtido sucesso no aprendizado supervisionado, sua aplicação ao FRL permanece pouco explorada. Especificamente, há uma falta de frameworks teóricos que lidem com métodos personalizados de actor-critic (AC) sob amostragem markoviana (onde os dados são correlacionados temporalmente) e kernels de transição heterogêneos. Trabalhos anteriores frequentemente focam em métodos baseados em valor, políticas comuns ou assumem dados independentes e identicamente distribuídos (i.i.d.), falhando em capturar a dinâmica acoplada de atualizações de políticas e ruído markoviano heterogêneo em um cenário de escala única.

Metodologia: pFedAC

Os autores propõem o pFedAC, um algoritmo federado personalizado de actor-critic de escala única. A inovação arquitetônica central é uma representação de subespaço linear compartilhado combinada com cabeças locais personalizadas.

Estrutura do Modelo

A função valor para o agente $k$ é aproximada como:
$$V^k_\theta(s) \approx \phi(s)^\top B \omega^k_\theta$$
onde:

• $\phi(s) \in \mathbb{R}^d$ é um mapa de características conhecido.
• $B \in \mathbb{R}^{d \times r}$ é um subespaço ortonormal comum (compartilhado entre todos os $K$ agentes) representando a estrutura subjacente das funções valor.
• $\omega^k_\theta \in \mathbb{R}^r$ são parâmetros de cabeça local específicos para cada agente $k$, permitindo a personalização.

Mecânica do Algoritmo

O algoritmo opera em rodadas $t = 0, \dots, T-1$ com três etapas de atualização acopladas por agente, seguidas por uma etapa de agregação no servidor:

1. Atualização do Crítico (Cabeça Local e Subespaço):

   • Os agentes realizam uma atualização local TD($L$) para estimar a função vantagem.
   • Usando o erro TD $\delta^k_{t,L}$, os agentes atualizam sua cabeça local $\omega^k_t$ e a estimativa do subespaço comum $B_t$.
   • A atualização de $B_t$ envolve um passo de gradiente estocástico projetado seguido por uma decomposição QR para manter a ortonormalidade. Essa projeção é crucial para controlar a amplificação de perturbações na presença de ruído heterogêneo.

2. Atualização do Actor (Política):

   • Para mitigar a discrepância entre a distribuição limite de estados (usada nas atualizações do crítico) e a distribuição de visitação de estados descontada (usada nos gradientes de política), os autores empregam um MDP companheiro com um kernel de transição $\tilde{P}^k = \gamma P^k + (1-\gamma)\eta$.
   • Os agentes amostram trajetórias dessa cadeia auxiliar para calcular gradientes de política, garantindo uma estimativa de gradiente mais precisa sob amostragem markoviana.

3. Agregação:

   • Os agentes enviam suas estimativas de subespaço atualizadas $\bar{B}_{t+1}$ para o servidor.
   • O servidor calcula a média $\bar{B}_{t+1}$ e realiza uma decomposição QR para transmitir a base ortonormal atualizada $B_{t+1}$ de volta a todos os agentes.

Principais Contribuições

1. Primeiro AC Personalizado em RL Federado

O artigo apresenta o primeiro algoritmo que permite o aprendizado de actor-critic personalizado em um cenário federado. Diferentemente de trabalhos anteriores que focam em políticas ou funções valor compartilhadas, o pFedAC aprende explicitamente uma representação compartilhada enquanto mantém componentes de política específicos do agente.

2. Análise de Convergência em Tempo Finito

Os autores estabelecem garantias de convergência em tempo finito para o algoritmo sob amostragem markoviana e kernels de transição heterogêneos. A análise introduz um novo framework de aproximação linear conjunta que rastreia simultaneamente três dinâmicas de erro acopladas:

• O erro nas estimativas da cabeça local ($\omega^k$).
• O erro na estimativa do subespaço compartilhado ($B$).
• O erro no gradiente de política (Actor).

Taxas de Convergência:
O artigo prova que:

• O erro do crítico converge para zero a uma taxa de $\tilde{O}\left(\frac{1}{(1-\gamma)^4 \sqrt{TK}}\right)$.
• A norma do gradiente de política converge para zero a uma taxa de $\tilde{O}\left(\frac{1}{(1-\gamma)^6 \sqrt{TK}}\right)$.

Aqui, $T$ é o número de rodadas, $K$ é o número de agentes e $\gamma$ é o fator de desconto. A notação $\tilde{O}$ oculta fatores polilogarítmicos e constantes dependentes do problema.

3. Aceleração Linear

Os resultados demonstram uma aceleração linear em relação ao número de agentes $K$. Isso implica que adicionar mais agentes ao sistema federado reduz proporcionalmente a complexidade de amostragem necessária para atingir uma precisão-alvo, mesmo na presença de trajetórias markovianas heterogêneas.

4. Inovações Técnicas na Análise

Para alcançar esses resultados, os autores desenvolveram várias novas ferramentas analíticas:

• Análise de Perturbação para Decomposição QR: Uma nova análise que limita a distorção causada por etapas de decomposição QR na presença de ruído markoviano heterogêneo.
• Argumentos de Mistura Condicional: Técnicas para lidar com o acoplamento entre atualizações de política e amostragem markoviana, caracterizando especificamente discrepâncias entre avaliações de função sob amostragem markoviana versus políticas congeladas temporalmente.
• Exploração de Estrutura Geométrica: Utilização das propriedades geométricas do subespaço compartilhado e distâncias de ângulo principal para controlar a interação entre erros de cabeça local e erros de estimativa de subespaço.

Resultados Experimentais

Os autores implementaram o framework dentro da Otimização de Política Proximal (PPO), criando o FedPer PPO, e o avaliaram em um benchmark federado Hopper-v5 com heterogeneidade de mapeamento de ações (onde os agentes compartilham dinâmicas, mas possuem mapeamentos de ações diferentes).

• Desempenho: O FedPer PPO superou significativamente tanto o Single PPO (treinado independentemente) quanto o FedAvg PPO (média federada padrão). No cenário "6-UNIQUE" (onde cada agente possui um mapa de ações distinto), o FedPer alcançou uma melhoria de 2,63$\times$ sobre o Single PPO e 3,78$\times$ sobre o FedAvg PPO.
• Aprendizado por Transferência: O "tronco" compartilhado aprendido (o subespaço $B$) mostrou-se uma base transferível. Quando o tronco foi congelado e apenas novas cabeças foram treinadas em tarefas a jusante (incluindo variantes fora de distribuição), o modelo alcançou 5,42$\times$ o desempenho do treinamento do zero em tarefas padrão e 3,50$\times$ em tarefas OOD.

Significado e Afirmações

O artigo afirma que o pFedAC conecta com sucesso a lacuna entre colaboração e personalização em ambientes heterogêneos de FRL. Ao aproveitar um subespaço linear compartilhado, os agentes podem se beneficiar da aprendizagem coletiva sem sacrificar a adaptabilidade às características locais do ambiente.

Os autores observam explicitamente que, embora as taxas de convergência demonstrem aceleração linear, a dependência do fator de desconto $(1-\gamma)$ pode não ser ótima, particularmente no regime quase sem desconto ($\gamma \to 1$). Eles identificam a melhoria dessa dependência como uma direção chave para trabalhos futuros, sugerindo que análises mais precisas da estrutura markoviana ou técnicas de redução de variância poderiam gerar melhorias adicionais.

Em resumo, este trabalho fornece uma base teórica rigorosa e validação empírica para métodos personalizados de actor-critic federado, abordando a necessidade crítica de aprendizado por reforço escalável, colaborativo e adaptável em sistemas complexos e heterogêneos.