Resumo Técnico: Aprendizado de Quando Agir via Garantia em Tempo de Execução

Declaração do Problema

O aprendizado por reforço (RL) seguro concentrou-se amplamente em determinar o que um agente deve fazer, negligenciando frequentemente a questão crítica de quando ele precisa agir. Em sistemas ciber-físicos críticos para a segurança, o controle de taxa fixa executa a cada passo de tempo independentemente de mudanças de estado, incorrendo em custos desnecessários em sensoriamento, computação e largura de banda. Embora métodos analíticos clássicos como Controle Auto-Disparado (STC) e Controle Disparado por Eventos (ETC) ofereçam garantias robustas de estabilidade, eles frequentemente dependem de regras de disparo conservadoras baseadas em Lyapunov ou em modelos, que falham em explorar economias de comunicação em sistemas não lineares, subatuados ou de alta dimensionalidade. Por outro lado, abordagens baseadas em aprendizado existentes frequentemente carecem de garantias formais de segurança na decisão de disparo, dependem de modelos de dinâmica aprendidos ou abordam configurações de tempo contínuo sem mecanismos rígidos de segurança temporal.

O desafio central abordado é levantar a suposição de taxa fixa sem sacrificar a segurança. O objetivo é aprender uma política que otimize conjuntamente entradas de controle e intervalos inter-amostrais (o tempo até a próxima atualização) para maximizar o Intervalo Inter-Amostral Médio (MSI), garantindo ao mesmo tempo a estabilidade do laço fechado.

Metodologia

Os autores propõem um framework unificado de RL supervisionado por uma camada de Garantia em Tempo de Execução (RTA) atuando como um escudo de segurança. O sistema opera em STC de tempo discreto, onde, em cada instante de decisão $t_k$, o agente seleciona uma entrada de controle $u_k$ e uma duração $\tau_k$ de um conjunto discreto $\mathcal{T} = \{\tau_{min}, 2\tau_{min}, \dots, N\tau_{min}\}$.

1. Camada de Garantia em Tempo de Execução (RTA)

A camada RTA fornece uma anulação de segurança rígida, distinta de métodos de MDPs com restrições que impõem segurança apenas em expectativa.

• Previsão: A cada passo, o sistema computa uma previsão linearizada de um passo à frente de um escalar crítico para a segurança $q_k = c^\top x_k$:
  $$\hat{q}_{k+1} = q_k + \tau_k \dot{q}_k + \frac{1}{2}\tau_k^2 \ddot{q}_{lin}(x_k, u_k)$$
• Mecanismo de Anulação: Se o estado previsto violar um limite de segurança ($|\hat{q}_{k+1}| > \theta_{RTA}$) ou exceder limites de posição, a ação de RL é imediatamente anulada. O sistema substitui uma ação de controle de backup pré-computada do Regulador Linear-Quadrático (LQR) $u_k = -Kx_k$ e redefine o intervalo para a duração segura mínima $\tau_{min}$.
• Garantia de Segurança: O controlador de backup é projetado de modo que, se não estiver saturado, a função de Lyapunov $V(x)$ seja garantida a diminuir pontualmente. Isso fornece uma garantia estritamente mais forte do que restrições baseadas em expectativa.

2. Framework de Aprendizado

• Recompensa de Lyapunov: O framework utiliza uma função de Lyapunov $V(x) = x^\top P x$ derivada da Equação Algébrica de Riccati Contínua (CARE) da planta linearizada. A função de recompensa inclui um termo de estabilidade baseado na diminuição de $V(x)$ e um termo de eficiência de comunicação proporcional ao quadrado do intervalo inter-amostral normalizado.
• Espaço de Ação: O agente aprende uma política conjunta para $(u_k, \tau_k)$. Para sistemas de Entrada Única Saída Única (SISO), uma Rede Q Profunda (DQN) é utilizada; para sistemas de Múltiplas Entradas Múltiplas Saídas (MIMO) com grandes espaços de ação (por exemplo, o Quadrotor 3D), o Soft Actor-Critic (SAC) é empregado em um espaço de ação contínuo.
• Extensão Condicionada a Preferências: Para evitar o treinamento de modelos separados para diferentes compensações entre estabilidade e comunicação, um agente condicionado a preferências é treinado, onde um peso $w_c$ (controlando a compensação) é amostrado no início de cada episódio. Isso permite que um único modelo recupere toda a fronteira de compensação.

Contribuições Principais

1. Formulação Conjunta de RL com Segurança Rígida: Uma formulação inovadora que aprende simultaneamente entradas de controle e intervalos inter-amostrais sob um certificado de segurança pontual rígido. Diferentemente de RL com escudo anterior que atua em passos de tempo fixos, este escudo atua diretamente na decisão de temporização $\tau_k$.
2. Recompresa de Lyapunov Derivada de CARE: Um sinal de recompensa transferível derivado de soluções CARE que funciona em ambientes SISO e MIMO sem redesenho, permitindo que um único peso $w_c$ trace toda a fronteira de compensação estabilidade-comunicação.
3. Validação Empírica Sistemática: Avaliação extensa em quatro ambientes (Pêndulo Invertido, CartPole, Quadrotor Planar e Quadrotor 3D) demonstrando:
   • Ganhos de Desempenho: A política aprendida alcança um MSI 1,45× a 3,51× maior comparado a baselines clássicas de STC-Lyapunov.
   • Necessidade de Temporização Adaptativa: Um controlador LQR fixo operando na mesma média de taxa que a política aprendida é instável em todas as plantas testadas, provando que a temporização adaptativa (amostragem rápida perto da instabilidade e lentamente perto do equilíbrio) é essencial para a segurança, não apenas uma taxa média reduzida.
   • Necessidade da RTA: Estudos de ablação mostram que remover o escudo RTA reduz o MSI em 1,27–1,84× e degrada significativamente as normas de estado, confirmando o papel do escudo em moldar o espaço de políticas viáveis.
   • Comparação com Métodos Lagrangianos: Diferentemente das baselines Lagrangiano-DQN que impõem segurança em expectativa, o método proposto alcança zero violações de segurança rígida, enquanto os métodos Lagrangianos acumulam até 35% de violações rígidas e alcançam 21–52% de MSI menor.
4. Escalabilidade para Altas Dimensões: Um estudo de caso em um Quadrotor 3D de 12 estados onde o projeto analítico de STC é intratável. O framework alcança um MSI de 0,302 s (94% do intervalo máximo possível) com 0% de ativação de RTA, enquanto o STC clássico permanece preso no intervalo mínimo $\tau_{min}$.

Resultados

• Eficiência de Comunicação: No Pêndulo Invertido, CartPole e Quadrotor Planar, a política RL-STC supera significativamente as baselines analíticas clássicas. Por exemplo, o Quadrotor Planar alcança uma melhoria de 3,51× no MSI sobre o STC clássico.
• Robustez: O framework demonstra degradação graciosa sob variação de massa da planta de $\pm 30\%$ e distúrbios aditivos. Embora a ativação de RTA aumente com a amplitude do distúrbio, o sistema permanece estável, e a camada RTA absorve perturbações que a política aprendida não consegue lidar sozinha.
• Agnosticismo de Algoritmo: Os resultados são consistentes entre DQN (ações discretas) e SAC (ações contínuas), confirmando a validade do framework através de diferentes paradigmas de otimização.
• Eficiência Computacional: A extensão condicionada a preferências recupera toda a fronteira de compensação a partir de um único modelo treinado com apenas 2/11 da computação requerida para uma varredura completa de pesos.

Significado e Alegações

O artigo alega que a questão de quando agir é tão consequente quanto o que fazer. Ao integrar um escudo rígido de RTA com otimização conjunta de RL, o framework permite que agentes descubram intervalos inter-amostrais não conservadores que são analiticamente difíceis de derivar, particularmente em sistemas de alta dimensionalidade ou não lineares.

Os autores enfatizam que sua abordagem fornece garantias formais de segurança pontual (via o backup de diminuição de Lyapunov) que métodos de restrição baseados em expectativa não podem fornecer por construção. O framework é delimitado à estabilização em torno de equilíbrios conhecidos onde soluções CARE e previsões linearizadas são bem definidas, mas os resultados empíricos no Quadrotor de 12 estados sugerem que a abordagem pode se estender a regimes onde certificados formais não se aplicam estritamente no intervalo mínimo escolhido, confiando em vez disso no sinal de moldagem no tempo de treinamento para respeitar predicados de segurança.

O trabalho estabelece que a temporização adaptativa é o habilitador chave da esparsidade segura; a redução estática das taxas de controle é insuficiente e frequentemente leva à instabilidade. O framework proposto oferece um caminho tratável para controle eficiente em comunicação em sistemas críticos para a segurança sem sacrificar as garantias rigorosas de segurança exigidas para implantação.