Resumo Técnico: Controle de Variância Residual Guiado por Certificados para Controladores Aprendidos por Resíduo em Sistemas Não Lineares

1. Definição do Problema

O artigo aborda uma lacuna crítica no controle residual aprendido para sistemas não lineares em tempo discreto. Neste paradigma, uma rede neural aprendida (o ator residual) compensa erros de modelagem ou distúrbios sobre um controlador nominal. Embora a média do resíduo possa corrigir o viés, suas flutuações (variância) são injetadas no malha fechada.

O problema central identificado é que, em sistemas que exibem amplificação transitória não normal, uma fonte de ação residual que parece pequena em variância euclidiana pode gerar excursões de energia de Lyapunov e de covariância de estado desproporcionalmente grandes após a propagação através da dinâmica local de malha fechada. Os métodos de segurança existentes falham em abordar este mecanismo específico:

• Regularização no lado da fonte (ex: penalizar a magnitude da ação ou a suavidade temporal) trata todas as direções de resíduo com o mesmo tamanho euclidiano como igualmente arriscadas, ignorando a geometria do amplificador local de malha fechada.
• Filtros de segurança downstream (ex: Funções de Barreira de Controle) reparam comandos inseguros, mas não explicam nem previnem o porquê de direções específicas de covariância residual criarem repetidamente um fardo elevado para esses filtros.
• Certificados substitutos locais fornecem garantias de estabilidade, mas carecem de um mecanismo para trazer essas métricas do lado do estado de volta ao espaço de ação residual para guiar o treinamento do ator.

O artigo argumenta que, sem um caminho integrado conectando a fonte residual, o amplificador não normal local e o certificado downstream, o suavizamento no lado da fonte não pode reduzir efetivamente a covariância do estado, e as camadas de reparo downstream permanecem sobrecarregadas.

2. Metodologia: Controle de Variância Residual Guiado por Certificado (CG-RVC)

Os autores propõem o CG-RVC, um invólucro (wrapper) informado pelo controle em torno de uma estrutura padrão de ator-crítico de resíduo (especificamente TD3 nos experimentos). Ele não substitui o aprendizado por reforço, mas o aumenta com um mecanismo de modelagem da fonte guiado por certificado.

A. Cadeia de Modelagem

O método constrói uma cadeia de modelagem específica:

1. Planta Não Linear: O sistema físico $x_{t+1} = f(x_t, u_t, d_t)$.
2. Substituto Local: Um modelo levantado ou linearizado em coordenadas de entrada em $z_t$: $z_{t+1} = K_0 z_t + \Phi_u u_t + w_t$. Aqui, $\Phi_u$ representa o canal de entrada residual.
3. Amplificador Bruto: O substituto de malha fechada nominal $K_{raw} = K_0 - \Phi_u L$.
4. Modelo de Certificado Projetado: Para garantir a estabilidade para análise, $K_{raw}$ é projetado para uma matriz estável $K_{proj}$ com um raio espectral $\rho(K_{proj}) \le \beta < 1$.
5. Certificado de Lyapunov: Uma matriz $P$ é computada tal que $K_{proj}^\top P K_{proj} - P = -Q$ (com $Q \succ 0$).

B. O Mecanismo Central: Métrica de Pullback

A inovação principal é a derivação de uma métrica de covariância de ação residual anisotrópica ao puxar o certificado de Lyapunov do lado do estado de volta através do canal de entrada:
$$M = \Phi_u^\top P \Phi_u$$
Esta métrica $M$ pondera as direções de resíduo com base no seu potencial de crescimento de energia downstream (certificado por $P$), em vez de sua magnitude euclidiana.

C. Objetivo do Ator e Execução

• Atualização do Ator: O objetivo do ator é modificado para incluir uma penalidade de variância residual ponderada pelo certificado (denominada P-ALE). O termo de penalidade é proporcional a $\text{tr}(M \hat{\Sigma}_r)$, onde $\hat{\Sigma}_r$ é a covariância empírica das saídas residuais. Isso incentiva o ator a suprimir a variância nas direções que o amplificador local mais amplificaria.
• Camada de Execução: A ação aplicada passa por suavização programada por risco, limitação de taxa e projeção de segurança. O artigo distingue entre modelagem da fonte (a penalidade P-ALE) e reparo de viabilidade (projeção). O P-ALE reduz a probabilidade e a magnitude das grandes correções necessárias pela camada de projeção.
• Diagnósticos: O sistema registra resíduos de Bellman-Lyapunov posteriores para verificar se o comportamento aprendido permanece consistente com o modelo do certificado local.

3. Principais Contribuições

1. Identificação de uma Lacuna: O artigo identifica a ausência de um caminho de aprendizado residual que considere conjuntamente o canal de entrada residual, o amplificador não normal local e o certificado downstream.
2. Métrica Treinável ($M$): Converte esta lacuna em uma métrica treinável ao puxar o certificado de Lyapunov projetado de volta para o espaço de ação ($M = \Phi_u^\top P \Phi_u$), ponderando as direções residuais pelo nível de energia do certificado downstream.
3. Estrutura CG-RVC: Propõe um invólucro completo que integra esta métrica em um loop ator-crítico padrão, separando a modelagem da fonte do reparo em tempo de execução.
4. Limites Teóricos: O artigo fornece limites robustos de propagação de variância sob descasamento não linear levantado, mostrando que mesmo pequenos erros de modelo euclidianos podem produzir grandes erros de energia de Lyapunov se alinhados com direções de alto ganho não normais.

4. Resultados Experimentais

O estudo utiliza intervenções controladas e comparações correspondentes para isolar o mecanismo fonte-amplificador.

A. Intervenções Controladas (Validação do Mecanismo)

• Isolamento do Amplificador (CI-1): Usando um sistema 2D sintético com autovalores fixos, mas variando o condicionamento dos autovetores, os autores demonstraram que o aumento do número de condição $\kappa(V)$ (não normalidade) aumentou a traço da covariância do estado de ~0,37 para ~15,66, confirmando que a geometria não normal atua como um amplificador de variância independente.
• Intervenção no Lado da Fonte (CI-2): Filtrar a fonte de entrada sob um amplificador não normal fixo reduziu a covariância do estado em ~21,8% e a variância da ação em ~92,1%, provando que a supressão na fonte é eficaz mesmo com um amplificador fixo.
• Injeção Direcional MIMO: Em simulações de quadricóptero Full3D, a injeção de covariâncias residuais de traço igual em diferentes direções resultou em razões de energia de estado medidas de 94,2–141,0×. Isso confirmou que a métrica $M$ ponderada pelo certificado prevê corretamente que a direção importa muito mais do que a magnitude.

B. Comparações de Desempenho

Em uma tarefa de RL restrita com alto ruído ($\sigma=0,30$) (oscilador de Liénard) com 5 sementes:

• CG-RVC vs. TD3 Direto: O CG-RVC reduziu o RMSE em 47,1%, a variância da ação aplicada em 94,7%, o MSE de diferença de ação em 97,7% e o máximo de Bellman-Lyapunov posterior em 94,3%.
• Segurança: O CG-RVC reduziu as violações densas de segurança de 0,9389 (TD3 Direto) para 0,0.
• Análise de Componentes: As comparações mostraram que nem penalidades de variância escalar, nem suavidade temporal, nem projeção isoladamente foram suficientes. Apenas a combinação de P-ALE (modelagem da fonte), suavização e projeção alcançou o desempenho ideal em todas as métricas.

C. Simulações Aéreas

• Quadricóptero Planar: O filtragem reduziu a variância da ação em todos os cenários. No entanto, em um caso limite de "Descasamento de Carga Útil", a variância escalar da fonte caiu enquanto a covariância do estado subiu, validando a necessidade de penalidades sensíveis à direção.
• Quadricóptero Full3D: Em um diagnóstico numérico de 5 sementes (não treinamento de RL completo), a injeção de fonte filtrada reduziu a covariância do estado em 65,7–83,8% e a variância dos motores em 90,3–94,5% em quatro cenários.

5. Significância e Alegações

O artigo afirma que o CG-RVC fornece uma maneira fundamentada de moldar o aprendizado residual na presença de dinâmicas não normais.

• Papéis Distintos: Esclarece que a modelagem da fonte (via P-ALE) e a projeção de segurança desempenham papéis distintos: a primeira reduz o fardo da segunda ao prevenir excursões de alta energia antes que ocorram.
• Além do Suavizamento Euclidiano: Os resultados demonstram que reduzir a variância euclidiana da ação ou a rugosidade temporal é insuficiente; a covariância residual deve ser moldada de acordo com a geometria local de malha fechada.
• Escopo Modesto: Os autores declaram explicitamente que as simulações aéreas servem como diagnósticos de mecanismo, não como benchmarks de RL de ponta a ponta para implantação física. Os resultados Full3D são suplementos numéricos à evidência de RL 2D. O método é apresentado como um invólucro para estruturas de RL existentes, não como um substituto, e depende da disponibilidade de um substituto local e um certificado de segurança.

O trabalho conclui que integrar a modelagem da fonte guiada por certificado com o reparo em tempo de execução oferece um caminho robusto para implantar controladores aprendidos em ambientes não lineares de missão crítica, onde a amplificação transitória é um risco.