Resumo Técnico: Exploração Segura para Processos Não Lineares Usando Aprendizado Online com Processos Gaussianos

Declaração do Problema

O artigo aborda o desafio de controlar sistemas não lineares com dinâmicas parcialmente conhecidas em aplicações críticas para a segurança (por exemplo, robótica, aeroespacial, indústrias de processo). Embora métodos baseados em dados, como aprendizado por reforço, ofereçam adaptabilidade, eles frequentemente carecem de garantias rigorosas de estabilidade e satisfação de restrições durante a fase de exploração. Abordagens existentes de aprendizado seguro frequentemente dependem de suposições idealizadas, como conhecimento total das dinâmicas não lineares ou superaproximações de Lipschitz conservadoras da incerteza, o que limita sua praticidade.

O problema específico tratado é o projeto de um framework de controle que garanta exploração segura para sistemas não lineares onde:

1. Apenas uma aproximação linear estabilizável do processo é conhecida.
2. Dinâmicas não lineares não modeladas (resíduos) devem ser aprendidas online.
3. O sistema deve satisfazer restrições de estado e entrada com alta probabilidade ao longo de todo o processo de aprendizado.

Metodologia

O framework proposto integra regressão com Processo Gaussiano (GP), teoria de estabilidade de Lyapunov e otimização convexa para alcançar uma exploração segura e informativa.

1. Decomposição do Sistema e Modelagem com GP

As dinâmicas do sistema são modeladas como um sistema não linear afim em relação ao controle:
$$\dot{x} = Ax + Bu + g(x)$$
onde $(A, B)$ é uma linearização conhecida e estabilizável, e $g(x)$ é um resíduo suave desconhecido. O resíduo $g(x)$ é modelado online usando um Processo Gaussiano. À medida que os dados são coletados, o GP fornece uma média a posteriori $\mu_t(x)$ e um desvio padrão $\sigma_t(x)$. Um envelope de confiança de alta probabilidade é construído de modo que:
$$\|g(x) - \mu_t(x)\|_2 \leq \beta_t \sigma_t(x)$$
com probabilidade $1-\delta$, onde $\beta_t$ é um parâmetro de confiança variante no tempo derivado de agendamentos GP-UCB de amostras finitas.

2. Conjuntos Probabilísticos de Invariância de Controle (PCIS)

A segurança é imposta através de um Conjunto Probabilístico de Invariância de Controle (PCIS) derivado de uma Função de Lyapunov de Controle (CLF), $V(x) = x^\top P x$. O PCIS é definido como o conjunto de estados onde existe uma entrada de controle que garante que a função de Lyapunov diminua, mesmo sob a pior incerteza do GP dentro do envelope de confiança.
A condição para o conjunto $S_t$ é:
$$\nabla V \cdot (Ax + Bu + \mu_t(x)) + \beta_t \sigma_t(x) \|\nabla V\| + \lambda V(x) \leq 0$$
Esta construção garante que, se o sistema começar dentro do PCIS, ele permaneça lá com alta probabilidade ($1-\delta$), assegurando a viabilidade recursiva das restrições.

3. Controlador Baseado em Otimização

Em cada passo de tempo, o controlador resolve um Programa Quadrático Convexo (QP) para determinar a entrada de controle $u$. O objetivo é maximizar o ganho de informação (encorajando excitação em direções de alta incerteza) enquanto adere estritamente às restrições de segurança.
O QP minimiza o desvio de um controlador estabilizante nominal $u_{lin}$:
$$\min_{u, s \geq 0} \|u - u_{lin}\|_2^2 + \rho s$$
sujeito à condição de diminuição de Lyapunov (incorporando o limite de incerteza do GP) e às restrições de entrada. Uma variável de folga $s$ garante a viabilidade, penalizada por $\rho$ para priorizar a segurança.

4. Expansão Adaptativa

À medida que o GP aprende as dinâmicas residuais, a incerteza $\sigma_t(x)$ diminui. Essa redução permite que o PCIS se expanda adaptativamente, liberando regiões de exploração progressivamente mais ricas sem violar as garantias de segurança.

Contribuições Principais

O artigo delineia três contribuições principais:

1. Decomposição Nominal-Resíduo: Um framework que combina um modelo linear conhecido com um resíduo GP online, permitindo o aprendizado seguro de não linearidades desconhecidas sem exigir conhecimento completo do modelo.
2. Construção de PCIS Baseada em Lyapunov: Um método para construir conjuntos invariantes probabilísticos que incorporam a incerteza do GP, fornecendo garantias probabilísticas de amostra finita para estabilidade e satisfação de restrições.
3. Controlador Baseado em Otimização: Um controlador em tempo real que resolve um QP convexo a cada passo para equilibrar o ganho de informação (exploração) com garantias estritas de segurança (diminuição da CLF), evitando o conservadorismo da propagação de incerteza multi-etapa encontrada em outras formulações de MPC Segura.

Resultados Experimentais

O framework foi validado em dois benchmarks: um sistema polinomial 2D e um processo de nível de água de três tanques MIMO.

Sistema Polinomial 2D

• Desempenho de Aprendizado: O modelo GP alcançou melhorias significativas de precisão (RMSE reduzido de ~1,11 para ~0,03) ao longo de 12 iterações.
• Calibração de Incerteza: A cobertura empírica dos intervalos de confiança de 95% melhorou de 37% para 100% após a calibração, garantindo que os certificados de segurança fossem confiáveis.
• Segurança: O controlador GP-PCIS proposto manteve todas as trajetórias dentro do conjunto seguro certificado com zero violações de restrições. Em contraste, uma linha de base insegura (LQR sem camadas de segurança) violou restrições de estado.
• Expansão do Conjunto: O volume do conjunto seguro certificado expandiu-se aproximadamente 27,7% à medida que a incerteza diminuiu, demonstrando a natureza adaptativa do framework.

Processo de Nível de Água de Três Tanques

• Complexidade: Este sistema acoplado MIMO testou a escalabilidade e a viabilidade em tempo real do framework.
• GP Esparsos vs. Exatos: Aproximações de GP esparsas (usando pontos indutores) mostraram-se viáveis, oferecendo tempos de inferência >1000x mais rápidos em comparação com GPs exatos, mantendo cobertura quase nominal (~94,5%) e RMSE aceitável.
• Segurança: Ao longo de um horizonte de identificação de 2000 segundos, o framework alcançou zero violações das restrições de nível de água (45%–87%), enquanto uma linha de base insegura mergulhou brevemente abaixo do limite inferior.
• Desempenho em Tempo Real: Os tempos médios de resolução do QP por passo estavam na faixa de milissegundos, confirmando a viabilidade para implementação em tempo real.

Significância e Alegações

O artigo alega fornecer um framework unificado e implementável para exploração segura em sistemas não lineares parcialmente conhecidos. Sua significância reside em:

• Equilibrando Tratabilidade e Conservadorismo: Ao contrário de formulações de MPC Segura multi-etapa que podem se tornar excessivamente conservadoras, esta abordagem impõe uma diminuição de Lyapunov de um passo com limites de confiança do GP, resultando em um QP convexo sem explosão de incerteza multi-etapa.
• Praticidade: Requer apenas um modelo linear estabilizável (comum na prática) em vez de dinâmicas não lineares exatas, tornando-o aplicável a sistemas do mundo real onde efeitos não modelados devem ser aprendidos online.
• Garantias Teóricas: Oferece garantias probabilísticas de segurança de amostra finita, assegurando que o sistema permaneça estável e dentro das restrições com alta probabilidade, mesmo durante a fase de aprendizado ativo.

Os autores reconhecem limitações, incluindo o conservadorismo dos limites de pior caso de um passo e a escala cúbica do treinamento de GP exato, sugerindo trabalho futuro sobre restrições de chance multi-etapa e atualizações de GP esparsas para tarefas de dimensão mais elevada. No entanto, os resultados demonstram que o método proposto permite efetivamente uma exploração informativa enquanto adere estritamente às restrições de segurança.