Resumo Técnico: Controle Regularizado por KL Bem Postulado via Divergências de Wasserstein e Kalman–Wasserstein

1. Definição do Problema

A divergência de Kullback-Leibler (KL) é um regularizador padrão em aprendizado por reforço (RL) e controle ótimo, aparecendo em processos de decisão de Markov linearmente solúveis, controle de integral de caminho e métodos de região de confiança. No entanto, a divergência KL clássica exibe uma patologia crítica em regimes de baixo ruído. Quando comparando a dinâmica controlada com a dinâmica passiva com pequeno ruído de processo gaussiano, a penalidade KL reduz-se a um custo de controle quadrático cujo coeficiente escala inversamente com a covariância do ruído. À medida que a covariância do ruído desaparece (o limite determinístico), esta penalidade diverge para o infinito, tornando o problema de controle regularizado singular. Esta "instabilidade de baixa variância" faz com que os ganhos de feedback ótimos desapareçam, levando a um desempenho de malha fechada pobre e instabilidade em configurações determinísticas ou quase determinísticas.

Além disso, a divergência KL clássica é definida via geometria de Fisher–Rao, que é intrínseca à variedade estatística, mas ignora a geometria do espaço de estados subjacente. Consequentemente, a KL reage descontinuamente a incompatibilidades de suporte (ex: $KL(\delta_x | \delta_y) = \infty$ para qualquer $x \neq y$), falhando em codificar a distância entre estados.

2. Metodologia

Os autores propõem um framework informacional-geométrico unificado para construir análogos de KL "cientes do espaço de estados". A metodologia central envolve substituir a geometria de Fisher–Rao na formulação dinâmica da divergência KL por geometrias baseadas em transporte.

2.1 Framework Geométrico

O artigo define uma classe geral de divergências, $D_G$, baseadas em uma geometria Riemanniana $G$ na variedade de densidades de probabilidade.

• Formulação Dinâmica: A divergência é definida como uma integral de ação ponderada pelo tempo ao longo de geodésicas $G$-duais:
  $$D_G(\mu | \nu) = \inf \left\{ \int_0^1 t \|\dot{\gamma}(t)\|_{\gamma(t)}^2 dt : \gamma(0)=\mu, \gamma(1)=\nu \right\}$$
  onde $\gamma$ é uma geodésica $G$-dual.
• Escolhas Geométricas: Os autores investigam a substituição da métrica de Fisher–Rao ($G=FR$) por:
  • Wasserstein-2 ($G=O$): Métrica de Otto, codificando a geometria do espaço de estados.
  • Wasserstein Linearizada ($G=\dot{H}^{-1}$): Uma estrutura plana.
  • Kalman–Wasserstein ($G=KW$): Uma métrica que incorpora um parâmetro de regularização $\lambda$ e informação de covariância.
  • Geometria de Stein: Usando um kernel bilinear.

2.2 Derivação Teórica

• Geodésicas Duais: Os autores caracterizam as geodésicas $G$-duais como fluxos de gradiente métrico de um funcional de energia potencial.
• Expressões de Forma Fechada: Eles derivam fórmulas explícitas para estas divergências entre distribuições elípticas (uma classe que inclui distribuições Gaussianas e Student's $t$).
  • Para o caso Wasserstein ($WKL$), a divergência permanece finita mesmo quando as covariâncias degeneram.
  • Para o caso Kalman–Wasserstein ($KWKL$), a divergência incorpora um "piso de ruído" via um parâmetro de regularização $\lambda$, interpolando efetivamente entre a KL clássica e a KL de Wasserstein.

2.3 Aplicação ao Controle

As divergências propostas são aplicadas como regularizadores em problemas de Regulador Quadrático Linear (LQR) com ruído de processo gaussiano.

• Termo de Regularização: A divergência entre a distribuição de transição controlada $p_t$ e a distribuição não controlada $p_0$ resulta em uma penalidade de controle quadrática aditiva $u_t^\top R_\circ u_t$.
• Penalidades de Controle:
  • KL Clássica ($FR$):$R_{FR} = B^\top \Sigma_w^{-1} B$ (singular conforme $\Sigma_w \to 0$).
  • Wasserstein ($O$): $R_O = B^\top B$ (independente do ruído).
  • Kalman–Wasserstein ($KW$):$R_{KW} = B^\top (\Sigma_w + \lambda I)^{-1} B$ (finito conforme $\Sigma_w \to 0$).

3. Principais Contribuições

1. Construção Geral: Introdução de geodésicas $G$-duais e a divergência associada $D_G$ para geometrias arbitrárias, recuperando a KL clássica para Fisher–Rao e variantes cientes do espaço de estados para geometrias de transporte.
2. Caracterização de Fluxo de Gradiente: Prova de que as geodésicas $G$-duais correspondem a fluxos de gradiente métrico de energia potencial, ligando as divergências à otimização geométrica e à dinâmica de redes neurais de campo médio.
3. Fórmulas Explícitas: Derivação de expressões de forma fechada para $D_G$ entre distribuições elípticas em geometrias Wasserstein, Wasserstein linearizada e Kalman–Wasserstein. Estas fórmulas demonstram explicitamente como as geometrias baseadas em transporte incorporam informações do espaço de estados ausentes na KL clássica.
4. Controle Bem Postulado: Demonstração de que, em configurações LQR, os regularizadores Wasserstein e Kalman–Wasserstein permanecem finitos quando o ruído de processo desaparece, gerando problemas de controle ótimo bem postulados onde a KL clássica falha.
5. Validação Empírica: Análise de sistemas de duplo integrador e pêndulo invertido (cart-pole) mostrando que os métodos propostos preservam feedback não trivial e alcançam melhor desempenho de malha fechada em regimes de baixo ruído comparado ao controle regularizado por KL.

4. Resultados

• Limites Teóricos: No limite de desaparecimento do ruído ($\Sigma_w \to 0$), o ganho de feedback ótimo para a regularização KL clássica ($F_{FR}$) converge para zero, removendo efetivamente o controle. Em contraste, o ganho Kalman–Wasserstein ($F_{KW}$) converge para um limite não nulo (especificamente $F_O$), preservando o feedback estabilizador.
• Interpolação: A divergência Kalman–Wasserstein ($D_{KW}$) atua como uma interpolação suave entre a KL clássica (alto ruído) e a KL de Wasserstein (baixo ruído) controlada pelo parâmetro $\lambda$.
• Estabilidade: Experimentos em um duplo integrador mostram que, conforme o ruído diminui, os controladores regularizados por KL aproximam-se da fronteira de estabilidade (raio espectral $\to 1$), levando a grandes oscilações. Controladores WKL e KWKL mantêm raios espectrais bem abaixo de 1, garantindo estabilidade.
• Ruído Anisotrópico: Em cenários de ruído anisotrópico, a KWKL adapta-se direcionalmente, tratando dimensões de baixo ruído como WKL (ignorando a escala do ruído) e dimensões de alto ruído como KL (escalando com o ruído), enquanto a KL suprime o controle inteiramente em dimensões de baixo ruído.

5. Significância e Alegações

O artigo afirma que as divergências propostas, cientes do espaço de estados, fornecem uma solução fundamentada para a degenerescência de baixo ruído da regularização KL sem exigir uma reformulação completa dos algoritmos de RL. Ao substituir a geometria de Fisher–Rao por geometrias baseadas em transporte, os autores alcançam:

• Robustez: Problemas de controle permanecem bem postulados no limite determinístico.
• Consistência Geométrica: Os regularizadores respeitam a geometria subjacente do espaço de estados, evitando o comportamento descontínuo da KL em relação a incompatibilidades de suporte.
• Utilidade Prática: As expressões de forma fechada derivadas permitem a integração imediata em frameworks padrão de LQR e políticas Gaussianas usados em controle contínuo.

Os autores posicionam este trabalho como um framework geométrico para construir divergências do tipo KL, em vez de um algoritmo completo de RL profundo. Eles sugerem que, embora validado no cenário tratável de LQR, o próximo passo lógico é a avaliação empírica em aprendizado por reforço baseado em modelo e livre de modelo. O trabalho é financiado pelo Conselho Europeu de Pesquisa (ERC) sob o projeto NEITALG.