Input-Side Variance Suppression under Non-Normal Transient Amplification in Continuous-Control Reinforcement Learning

Título: Supressão de Variância no Lado da Entrada sob Amplificação Transiente Não-Normal em Aprendizado por Reforço de Controle Contínuo

1. O Problema

O Aprendizado por Reforço (RL) de controle contínuo, embora eficaz em tarefas de robótica e decisão dinâmica, frequentemente exibe problemas de desempenho em tempo de execução, como:

• Alta variância no estado do sistema fechado.
• "Jitter" (tremores) de controle de alta frequência.
• Sensibilidade excessiva à injeção de perturbações.

A literatura existente tende a atribuir esses fenômenos exclusivamente às fontes de perturbação (ruído de ação, perturbações de exploração, erros de aproximação de função ou não-suavidade da política). No entanto, essa visão centrada apenas na fonte ignora uma questão crucial: por que pequenas perturbações na entrada podem gerar uma variância de estado desproporcionalmente grande, mesmo quando o sistema em malha fechada é nominalmente estável?

O artigo identifica que, em sistemas com geometria fortemente não-normal, o operador de transição de estado pode amplificar transitoriamente perturbações, mesmo que o raio espectral (estabilidade assintótica) seja menor que 1. O problema central é a falta de distinção entre a "fonte" da perturbação e o "amplificador" (a geometria do sistema) que a processa.

2. Metodologia

O autor propõe uma decomposição Fonte-Amplificador e desenvolve uma metodologia baseada em intervenções controladas para isolar os efeitos de cada componente:

• Decomposição Conceitual:

  • Fonte: Ruído de ação, exploração e jitter da política.
  • Amplificador: A geometria não-normal da matriz de transição em malha fechada ($A_{cl}$), caracterizada pelo número de condição dos autovetores ($\kappa(V)$) e pelo ganho de pico transitório ($G_{peak}$).
  • Objetivo: Reduzir a variância de estado sem reestruturar o amplificador (ou seja, sem mudar a política aprendida).

• Camada de Supressão de Variância (Input-Side Suppressor):

  • É inserida uma camada simples entre a política aprendida e a entrada do atuador.
  • Implementação: Um suavizador temporal de primeira ordem (filtro passa-baixa causal) que modifica as estatísticas da entrada aplicada ($u^{app}_t$) sem alterar a política bruta ($u^{\pi}_t$) ou a dinâmica estrutural do sistema.
  • A camada atua apenas nas estatísticas da fonte injetada, não no amplificador estrutural.

• Intervenções Controladas (Evidência Sintética e Validade Externa):
  O estudo utiliza três blocos de intervenção para provar a causalidade:

  1. CI-1 (Isolamento do Amplificador): Mantém-se fixos os autovalores, raio espectral e estatísticas de perturbação. Varía-se apenas a geometria dos autovetores (não-normalidade). O objetivo é demonstrar que o aumento da não-normalidade eleva a variância de estado e o ganho de pico, mesmo com estabilidade nominal.
  2. CI-2 (Intervenção Apenas na Fonte): Mantém-se fixa a geometria não-normal do sistema. Aplica-se a supressão na entrada (alterando as estatísticas da fonte). O objetivo é mostrar que a variância de estado diminui sem alterar o ganho estrutural de pico ($G_{peak}$).
  3. CI-3 (Validação em UAV Planar): Validação externa em um cenário não-linear (quadrotor planar) com diferentes cenários (hover nominal, carga pesada, manobras ágeis, erro de modelo). O objetivo é verificar se a lógica de supressão da fonte permanece benéfica em dinâmicas complexas.

• Ferramentas de Análise: O uso de surrogados de Koopman/ALE é estritamente limitado a diagnóstico e certificação, não sendo parte do caminho de controle direto.

3. Principais Contribuições

1. Interpretação Fonte-Amplificador: Introduz uma nova perspectiva para a variância em RL, identificando a não-normalidade transitória como um amplificador de perturbações frequentemente subestimado em sistemas nominalmente estáveis.
2. Supressor Pós-Treinamento: Propõe uma camada simples de supressão de variância no lado da entrada que atua sobre as estatísticas da entrada aplicada sem exigir retreinamento da política ou modificação da arquitetura do controlador.
3. Evidência de Isolamento Mecanístico: Fornece evidências controladas que separam matematicamente e experimentalmente os efeitos do amplificador (geometria do sistema) dos efeitos da fonte (estatísticas de entrada), provando que a redução de variância pode ocorrer sem alterar o ganho estrutural de pico.

4. Resultados Chave

• CI-1 (Amplificador): Em sistemas com raio espectral fixo ($\rho(A_{cl}) = 0.93$), o aumento da não-normalidade ($\kappa(V)$) resultou em uma correlação de 0,970 com o traço da covariância de estado e 0,996 com o ganho de pico transitório. Isso confirma que a não-normalidade é um amplificador crítico de variância.
• CI-2 (Fonte): Com a geometria do amplificador fixa, a aplicação do supressor resultou em:
  • Redução de 92,0% na variância da ação aplicada (de 0,0399 para 0,00317).
  • Redução de 21,8% no traço da covariância de estado (de 15,85 para 12,39).
  • Redução de 25,3% na norma de estado de pico esperada.
  • Crucialmente: O ganho de pico estrutural ($G_{peak}$) permaneceu inalterado (5,55), provando que a melhoria veio da supressão da fonte, não da mudança do sistema.
• CI-3 (Validação em UAV): No cenário de quadrotor planar sob alta perturbação (nível 0,20), a intervenção na fonte resultou em uma redução média de 87,67% na variância da ação e 37,47% na covariância de estado, mantendo a consistência do mecanismo em diferentes cenários de dinâmica não-linear.

5. Significado e Impacto

O artigo oferece uma contribuição teórica e prática importante para o campo de RL de controle:

• Mudança de Paradigma: Desloca o foco da simples "suavização da política" para a compreensão de como a geometria do sistema (amplificador) interage com as perturbações.
• Eficiência Operacional: Demonstra que é possível mitigar o jitter e a variância de estado em controladores RL já treinados através de uma camada de pós-processamento leve, sem a necessidade de retreinamento complexo ou redesenho do controlador.
• Validação Mecanística: Estabelece que a variância em RL não é apenas um problema de ruído de entrada, mas também de como o sistema amplifica esse ruído. Isso abre caminho para novas estratégias de projeto que considerem a "robustez transitória" e a geometria não-normal, além da estabilidade assintótica tradicional.

Em resumo, o trabalho prova que, em sistemas de controle contínuo aprendidos, a supressão de variância pode ser alcançada eficazmente tratando a entrada como uma fonte manipulável, reconhecendo que o sistema em malha fechada atua como um amplificador sensível a perturbações transitórias.