Resumo Técnico: Aprendizado de Invariância Guiado por Operadores para Aprendizado por Reforço Contínuo

Declaração do Problema

O Aprendizado por Reforço (RL) em tempo contínuo com espaços de estado e ação contínuos é frequentemente intensivo em dados e frágil ao enfrentar variabilidade indesejada e deslocamentos distribucionais. Embora métodos existentes explorem simetrias específicas (por exemplo, equivariância exata em rotação ou translação) ou características invariantes, eles lutam para descobrir estruturas mais gerais, orientadas por dados, que preservam funções de valor. Especificamente, há uma falta de frameworks capazes de identificar transformações gerais que preservam o valor — tanto exatas quanto aproximadas — que requerem operadores não lineares para mapear entre sistemas contínuos com funções de valor isomórficas. O desafio central é avançar além de simetrias prescritas para descobrir estruturas intrínsecas que estabilizem o aprendizado e melhorem a eficiência de dados, sem assumir conhecimento prévio do grupo de transformação.

Metodologia: VPSD-RL

Os autores propõem VPSD-RL (Descoberta de Estrutura que Preserva Valor para Aprendizado por Reforço), um framework que modela o RL contínuo como um processo de difusão controlado. A metodologia fundamenta-se na teoria de operadores e ações de grupos de Lie, procedendo através de três etapas principais:

1. Formulação Teórica

O framework define a preservação de valor no nível do gerador controlado (o gerador infinitesimal do semigrupo de Markov) e do funcional de recompensa.

• Estrutura Exata que Preserva Valor: Um par de transformações $(g_\vartheta, h_\vartheta)$ (atuando em estados e ações, respectivamente) preserva o valor se a retração da função de valor e o avanço das ações comutarem com o gerador controlado $L_a$ e a recompensa $r$. Formalmente, isso requer:
  $$L_a(f \circ g_\vartheta) = (L_{h_\vartheta(a)}f) \circ g_\vartheta \quad \text{e} \quad r(g_\vartheta(s), h_\vartheta(a)) = r(s, a)$$
• Equações Determinantes: Ao diferenciar essas identidades de operadores ao longo de subgrupos de um parâmetro, os autores derivam restrições locais de Equações Diferenciais Parciais (EDP) (as "equações determinantes") sobre o desvio $b$, a matriz de difusão $Q$ e a recompensa $r$. Essas equações caracterizam os geradores infinitesimais $(X, Y)$ das ações de grupos de Lie que preservam o valor.
• Estrutura Aproximada: Reconhecendo que simetrias exatas são raras em dados do mundo real, o framework estende-se para estruturas aproximadas que preservam valor. Aqui, a comutação de operadores é limitada por um erro de incompatibilidade $(\epsilon_L, \epsilon_r)$. Os autores provam que uma incompatibilidade limitada entre gerador/recompensa implica um limite de estabilidade quantitativo na função de valor ótima $V^\star$, onde o erro escala linearmente com a incompatibilidade e é amplificado pelo horizonte efetivo ($1/\beta$).

2. Pipeline Algorítmico

O VPSD-RL operacionaliza esses princípios através de um pipeline de aprendizado:

1. Aprendizado de Geradores Infinitesimais: O algoritmo aprende campos vetoriais $X_\theta$ (gerador de estado) e $Y_\phi$ (gerador de ação) minimizando resíduos empíricos das equações determinantes (Eqs. 12–14) derivadas de modelos de ambiente diferenciáveis (desvio, difusão e recompensa).
2. Exponenciação via Integração de Fluxo: Os geradores infinitesimais aprendidos são exponenciados usando fluxos de Equações Diferenciais Ordinárias (EDOs) para obter transformações finitas $(g_\alpha, h_\alpha)$. Esta etapa recupera a ação de grupo finita a partir do nível infinitesimal.
3. Integração com RL: As transformações finitas descobertas são integradas ao loop de RL através de:
   • Aumento de Transição: Transformando tuplas de experiência coletadas $(s, a, s', r)$ em $(g_\alpha(s), h_\alpha(a), g_\alpha(s'), r)$ para popular o buffer de replay, efetivamente compartilhando experiência ao longo de órbitas que preservam o valor.
   • Regularização de Consistência de Transformação: Adicionando penalidades à função de perda para incentivar que as redes de valor e política produzam previsões consistentes para pares de estado-ação transformados.

3. Garantias Teóricas

O artigo estabelece garantias de ponta a ponta:

• Otimização: A otimização estocástica do objetivo de descoberta de estrutura converge para pontos estacionários aproximados nas taxas padrão de SGD ($O(1/\sqrt{T})$).
• Consistência Estatística: Sob suposições de realizabilidade, os geradores aprendidos convergem em média $\rho$ para soluções das equações determinantes, levando a incompatibilidade de operadores a zero no suporte dos dados.
• Estabilidade: Para estruturas aproximadas, o operador de Bellman perturbado permanece uma contração, e o erro do ponto fixo é limitado pela magnitude da incompatibilidade.

Resultados Chave

Os autores avaliam o VPSD-RL em difusões controladas sintéticas interpretáveis e em benchmarks padrão de controle contínuo (MuJoCo: Hopper, Walker2d, Ant; e variantes SymNav).

• Descoberta de Estrutura: Em ambientes sintéticos com simetrias de verdade fundamental conhecidas (por exemplo, rotação planar, reflexão), a minimização de resíduos de equações determinantes recupera com sucesso geradores infinitesimais alinhados com as simetrias verdadeiras. Isso leva a uma redução na não-invariância de valor empírica ao longo do fluxo aprendido.
• Ganhos de Desempenho:
  • SymNav: O VPSD-RL demonstra eficiência amostral e robustez aprimoradas em 15 variantes de uma tarefa de navegação com obstáculos e perturbações de vento, superando bases como SAC, TD3 e PPO.
  • MuJoCo: O método mostra melhorias dependentes da tarefa. Os ganhos são modestos no Hopper (modelo único de salto), mas mais pronunciados no Walker2d (correspondência de fase esquerda-direita) e mais fortes no Ant-v4, onde a coordenação de múltiplos membros cria padrões mais ricos aproximadamente que preservam o valor.
  • Métricas Quantitativas: No Ant-v4, o VPSD-RL alcança um retorno final mais alto (5822 vs. 4477 para SAC) e uma maior Área Sob a Curva (AUC) em comparação com bases de última geração, com sobrecarga computacional moderada.

Significado e Alegações

O artigo alega que o VPSD-RL fornece um framework inovador, em nível de operador, para descobrir e explorar estruturas que preservam o valor no RL contínuo, sem depender de simetrias prescritas.

• Generalização de Simetria: O framework subsume simetrias de Lie clássicas como um caso especial, e não como uma premissa de design, permitindo a descoberta de estruturas gerais orientadas por dados.
• Estabilidade Rigorosa: Fornece garantias teóricas rigorosas que ligam a incompatibilidade entre gerador/recompensa à estabilidade da função de valor ótima, oferecendo uma compreensão quantitativa de como a invariância aproximada afeta o desempenho da política.
• Eficiência de Dados: Ao aproveitar estruturas descobertas para aumento de transição e regularização de consistência, o método melhora a eficiência de dados e a robustez em configurações de controle contínuo, particularmente quando transformações úteis existem, mas não são conhecidas a priori.

Os autores enfatizam que os fluxos aprendidos são locais e sua confiabilidade é avaliada por meio de diagnósticos de resíduo e invariância, reconhecendo que o método depende de modelos substitutos diferenciáveis e pode degradar-se se a relação que preserva o valor valer apenas em um suporte de dados estreito ou se as dinâmicas forem fortemente descontínuas.