⚡ electrical engineering

Learning-Based Stochastic Optimal Control with Infinite-Horizon Probabilistic Constraints

Este artigo propõe um algoritmo de ascensão dupla baseado em aprendizagem que reformula problemas de controle ótimo estocástico de horizonte infinito com restrições de chance conjunta como processos de decisão de Markov não restritos via aumento de estado, permitindo a computação eficiente de políticas determinísticas ótimas e viáveis para espaços contínuos de estado-entrada.

Autores originais: Francesco Cordiano, Kanghui He, Bart De Schutter

Publicado 2026-08-04

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Francesco Cordiano, Kanghui He, Bart De Schutter

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o capitão de uma nave espacial navegando por um campo de asteroides denso. Sua missão é chegar a uma estrela distante usando o mínimo de combustível possível. Mas há um detalhe: você não pode apenas evitar os asteroides que vê agora; você tem que garantir que toda a sua jornada, do lançamento ao pouso, permaneça segura com uma probabilidade muito alta. Este é o cerne de um campo chamado controle ótimo estocástico. É a ciência de tomar as melhores decisões quando o futuro é incerto e cheio de surpresas.

Para entender o desafio, pense em duas maneiras de lidar com o perigo. A primeira é como verificar o seu espelho retrovisor a cada segundo e dizer: "Ok, estou seguro agora". Isso é uma verificação "por etapa" (stagewise). A segunda, muito mais difícil, é como olhar para todo o seu trajeto de voo em um mapa e dizer: "Eu prometo que cada único ponto nesta linha estará livre de asteroides". Isso é uma restrição de chance conjunta (joint chance constraint). É uma promessa "para toda a missão". O problema é que fazer essa promessa é incrivelmente difícil para os computadores porque o caminho futuro depende de cada pequeno solavanco e curva que aconteceu antes, fazendo com que a matemática exploda em complexidade. Geralmente, para tornar a matemática gerenciável, os engenheiros precisam ser excessivamente cautelosos, fazendo desvios largos e lentos que desperdiçam combustível, ou têm que assumir que o universo deixa de ser perigoso após um certo tempo.

Este artigo, escrito por Francesco Cordiano, Kanghui He e Bart De Schutter, aborda o problema de como navegar nesse caminho infinito e perigoso sem ser excessivamente cauteloso ou assumir que o perigo desaparece. Eles propõem uma nova e inteligente maneira de ensinar um computador a tomar essas decisões perfeitas, seguras e eficientes em termos de combustível para sistemas que funcionam para sempre, como uma rede elétrica ou um carro autônomo em uma rodovia.

O Truque de Mágica: Transformando um Problema de Memória em um Problema de Estado

O maior pesadelo com a promessa de segurança "para toda a missão" é que ela é não-markoviana. Em termos simples, isso significa que o computador precisa se lembrar de tudo o que aconteceu desde o início dos tempos para saber se ainda está seguro. Se você nunca bateu em um asteroide, você está seguro. Se você bateu em um ontem, você já "falhou". Um cérebro de computador padrão (uma política de Markov) geralmente olha apenas para onde você está agora para decidir o que fazer a seguir. Ele não tem uma memória de longo prazo.

O primeiro avanço dos autores é um "truque de mágica" chamado aumento de estado (state augmentation). Eles inventam um novo conjunto de "sensores virtuais" para anexar à nave espacial.

A Luz de "Tudo Limpo" (Estado $\xi$ ): Este é um interruptor binário que permanece "LIGADO" (1) enquanto a nave nunca tiver atingido um asteroide. No momento em que ela atinge um, o interruptor muda para "DESLIGADO" (0) e permanece assim para sempre.
O Alarme de "Primeiro Impacto" (Estado $\psi$ ): Este é um alarme especial que toca apenas no exato momento em que a nave atinge seu primeiro asteroide. Se ele tocar, o sistema sabe: "Ah, este é o momento em que falhamos".
O "Dial de Tempo" (Estado $\phi$ ): Como a nave está tentando minimizar o uso de combustível em um futuro infinito, a importância do uso de combustível futuro muda ao longo do tempo. Este dial rastreia essa importância variável.

Ao adicionar esses três sensores virtuais à posição real da nave, o computador não precisa mais lembrar de todo o histórico. Ele só precisa olhar para o estado atual desses sensores. Se a luz de "Tudo Limpo" estiver LIGADA, ele sabe que está seguro até agora. Se estiver DESLIGADA, ele sabe que já falhou. Isso transforma um problema complexo e pesado em memória em um problema padrão e gerenciável que o computador pode resolver passo a passo.

O Equilíbrio: O Preço da Segurança

Agora que o problema é gerenciável, o próximo desafio é a parte do "horizonte infinito". A nave precisa permanecer segura para sempre, não apenas pelos próximos 10 minutos. Os autores usam um conceito matemático chamado dualidade de Lagrange para resolver isso.

Imagine que você está contratando um robô para dirigir seu carro. Você diz a ele: "Dirija o mais rápido possível, mas não bata". O robô não sabe como equilibrar velocidade e segurança. Então, você introduz um "Preço da Segurança". Você diz: "Cada vez que você chegar perto de bater, terá que pagar uma multa".

Se a multa for muito baixa, o robô dirige de forma imprudente e bate.
Se a multa for muito alta, o robô dirige tão devagar que nunca chega a lugar nenhum.

O artigo propõe um algoritmo que age como um negociador inteligente. Ele começa com uma multa baixa e deixa o robô dirigir. Se o robô bater com muita frequência, o algoritmo aumenta a multa. Se o robô estiver dirigindo de forma lenta e segura demais, o algoritmo baixa a multa. O objetivo é encontrar a multa "Goldilocks" (o ponto ideal, chamado de variável dual, $\lambda$ ) onde o robô dirige o mais rápido possível enquanto atende exatamente ao requisito de segurança.

Os autores provam que essa negociação funciona perfeitamente. Eles mostram que existe um preço específico onde a estratégia de "melhor velocidade" do robô é também a estratégia "mais segura". Isso permite que eles transformem o difícil problema de "restrição de segurança" em um problema mais simples de "minimizar custo mais multa".

Ensinando o Robô com Redes Neurais

A peça final do quebra-cabeça é que os sistemas do mundo real (como robôs ou redes elétricas) têm possibilidades infinitas de onde podem estar e o que podem fazer. Você não pode escrever uma regra para cada possibilidade individual. Para lidar com isso, os autores usam aprendizado de máquina.

Eles treinam uma Rede Neural (um tipo de cérebro de computador inspirado no cérebro humano) para aprender o "valor" de estar em qualquer situação.

Primeiro, eles ensinam à rede o que acontece se a regra de segurança já tiver sido quebrada. Neste caso, o robô apenas tenta chegar ao objetivo o mais rápido possível, ignorando a segurança.
Depois, eles ensecinam à rede a situação de "Tudo Limpo". Aqui, a rede aprende a equilibrar velocidade e a multa do "Preço da Segurança".

O treinamento acontece offline, o que significa que o computador faz todo o trabalho pesado de pensamento antes de o robô sequer começar a se mover. Uma vez treinada, a nave pode tomar decisões em uma fração de segundo (0,01 segundos em seus testes) apenas olhando para seu estado atual e para o conselho da rede neural.

Os Resultados: Mais Rápidos, Mais Seguros e Mais Inteligentes

Os autores testaram seu método em uma simulação de um robô "uniciclo" (um robô que se equilibra em uma roda) tentando navegar em um labirinto com um obstáculo perigoso no meio. Eles compararam seu método com uma técnica popular chamada Controle Preditivo de Modelo (MPC), que é como um robô que planeja seus próximos passos, verifica se são seguros e depois replaneja.

Os resultados foram impressionantes:

Segurança: O novo método manteve o robô seguro com uma taxa de violação de cerca de 4,5%, que está bem abaixo do limite permitido de 10%. O método tradicional de MPC, mesmo com ajustes pesados, teve uma taxa de violação de 17%, falhando no teste de segurança.
Desempenho: O novo método usou significativamente menos "combustível" (custo) para chegar ao objetivo. O novo método teve um custo de 528,3, enquanto o método MPC teve um custo de 672,0. O novo método foi mais inteligente ao assumir riscos: se ele realmente atingisse o obstáculo (nos raros casos em que isso acontecia), ele mudava imediatamente para o caminho mais rápido até o objetivo, enquanto o método MPC ficava preso em um loop conservador.
Velocidade: Esta é a maior vitória. O método tradicional de MPC levou uma média de 2,94 segundos para decidir o que fazer em cada etapa, e às vezes atingiu um limite de 10 segundos, causando atrasos. O novo método levou apenas 0,01 segundos. Foi quase 300 vezes mais rápido.

Por Que Isso Importa

Este artigo não diz apenas "nós conseguimos"; ele fornece uma prova matemática rigorosa de que seu método funciona e converge para a melhor solução possível. Ele mostra que você não precisa escolher entre ser seguro e ser eficiente. Ao usar um aumento de estado inteligente e um algoritmo de aprendizado esperto, você pode construir sistemas que são simultaneamente incrivelmente rápidos e rigorosamente seguros para um futuro infinito.

Os autores admitem que seu método depende de simulações e que o processo de aprendizado precisa de dados suficientes para ser preciso, especialmente perto das zonas de perigo. No entanto, eles demonstram que, para sistemas contínuos complexos, esta abordagem é um salto gigantesco. Ela transforma um problema que antes era difícil demais para ser resolvido em algo que um computador pode resolver num piscar de olhos, abrindo as portas para sistemas autônomos mais seguros e eficientes no mundo real.

Resumo Técnico: Controle Ótimo Estocástico Baseado em Aprendizado com Restrições Probabilísticas de Horizonte Infinito

Formulação do Problema
O artigo aborda o desafio de resolver problemas de controle ótimo estocástico de horizonte infinito sujeitos a restrições de chance conjunta. Diferente das restrições de chance individuais (por estágio), que exigem segurança em cada passo de forma independente, as restrições de chance conjunta exigem que o estado do sistema permaneça dentro de um conjunto seguro $X$ para toda a trajetória com uma probabilidade de pelo menos $1-\varepsilon$ . Esta formulação é crítica para sistemas de segurança crítica, mas apresenta duas dificuldades principais:

Natureza Não-Markoviana: A restrição depende de todo o histórico da trajetória, tornando inaplicáveis as formulações padrão de Processos de Decisão de Markov (MDP).
Intratabilidade Computacional: Métodos tradicionais frequentemente dependem de aproximações conservadoras (ex: desigualdade de Boole) ou suposições de horizonte finito, que ou degradam o desempenho ou falham em abordar o cenário de horizonte infinito sem suposições restritivas sobre o suporte da perturbação.

Metodologia
Os autores propõem um framework que transforma o problema original não-markoviano e restrito em um problema markoviano não restrito, solucionável via programação dinâmica baseada em aprendizado. A metodologia procede em três estágios principais:

Aumento de Estado e Reformulação:
Os autores introduzem um espaço de estados aumentado $S = \mathbb{R}^n \times \{0, 1\}^2 \times [0, 1]$ . O estado original $x_t$ é aumentado com três variáveis auxiliares:
- $\xi_t$ : Um indicador binário que é 1 se a trajetória satisfez as restrições até o tempo $t$ , e 0 caso contrário.
- $\psi_t$ : Um indicador binário que é 1 se o estado atual $x_t$ é o primeiro estado a violar a restrição, e 0 caso contrário.
- $\phi_t$ : Uma variável escalar inicializada em 1 e atualizada como $\phi_{t+1} = \gamma \phi_t$ para contabilizar o fator de desconto na função de custo, eliminando o descompasso temporal entre o custo descontado e a restrição não descontada.
Este aumento permite que a restrição de chance conjunta seja reformulada como uma restrição aditiva sobre a esperança da soma de $\psi_t$ ao longo do horizonte infinito: $\mathbb{E}[\sum \psi_t] \leq \varepsilon$ .
Estrutura de Dual de Lagrange e Dualidade Forte:
O problema restrito é inserido em uma estrutura dual de Lagrange. Os autores provam que a dualidade forte ocorre para esta formulação sob a condição de Slater. Isso permite que o problema restrito seja reformulado como um problema não restrito equivalente, onde a restrição de chance é tratada como um termo de penalidade na função objetivo. O objetivo resultante é:
$\inf_{\pi} \mathbb{E} \left[ \sum_{t=0}^{\infty} (\phi_t \ell(x_t, u_t) + \lambda \psi_t) \right] - \lambda \varepsilon$
onde $\lambda \geq 0$ é a variável dual.
Algoritmo de Ascensão Dual e Aprendizado:
Para resolver o problema não restrito em espaços contínuos de estado-ação, os autores propõem um algoritmo de ascensão dual:
- Passo Primal: Para um $\lambda$ fixo, a minimização interna é um problema de controle ótimo não restrito resolvido via programação dinâmica (DP).
- Passo Dual: A variável dual $\lambda$ é atualizada via ascensão de gradiente projetado baseada na violação da restrição de risco.
Para lidar com espaços contínuos, os autores desenvolvem um framework baseado em aprendizado usando redes neurais (NN) para aproximar a função de valor. Eles exploram as propriedades estruturais do estado aumentado:
- Se uma violação ocorreu ( $\xi=0$ ), o problema reduz-se a uma otimização não restrita do custo, aproximada por uma rede $\hat{W}$ .
- Se nenhuma violação ocorreu ( $\xi=1$ ), a função de valor $\hat{J}$ é aprendida, incorporando a probabilidade de transição para o estado de violação.
  A análise teórica confirma que a função de valor é contínua, justificando o uso de aproximadores universais como redes neurais.

Principais Contribuições

Formulação Markoviana Equivalente: O artigo estende as técnicas de aumento de estado de horizontes finitos para horizontes infinitos, enquadrando o problema como um MDP restrito sem recorrer a aproximações conservadoras como a desigualdade de Boole.
Dualidade Forte e Política Determinística: Os autores provam a dualidade forte para o caso de horizonte infinito. Crucialmente, eles demonstram que o algoritmo de ascensão dual proposto converge para uma política de Markov determinística que é tanto ótima quanto viável. Isso contrasta com trabalhos anteriores que frequentemente dependem de políticas mistas ou viabilidade média sobre iterações de aprendizado.
Condições de Viabilidade Relaxadas: O artigo mostra que a suposição de suporte de incerteza limitado (comum na literatura de horizonte infinito) não é estritamente necessária; a viabilidade pode ser garantida se a probabilidade da primeira violação de restrição decair suficientemente rápido (ex: via estabilidade de média quadrática).
Solução Baseada em Aprendizado: Um esquema de treinamento offline dedicado é proposto para aproximar a função de valor e a função dual, reduzindo significamente a complexidade computacional da fase de controle online em comparação ao Controle Preditivo Baseado em Modelo (MPC).

Resultos
A abordagem foi validada em um exemplo numérico envolvendo um unicycle navegando em um campo de obstáculos com uma restrição de chance conjunta ( $\varepsilon = 0.1$ ).

Desempenho: A abordagem baseada em aprendizado alcançou um custo de malha fechada inferior ( $L_{cl} = 528.3$ ) comparado a um esquema de MPC aleatório ( $L_{cl} = 672.0$ ).
Segurança: A taxa de violação de restrição empírica para o método proposto foi de $0.045$, satisfazendo o requisito de $\varepsilon = 0.1$ . Em contraste, o esquema MPC com 25 amostras apresentou uma taxa de violação de $0.17$, falhando em atender à especificação de segurança.
Eficiência: O tempo de computação online para o método proposto foi de aproximadamente 0.01 segundos por passo (resolvendo um problema de um passo), enquanto o enfoque MPC exigiu uma média de 2.94 segundos (com um limite de 10 segundos), frequentemente lutando para encontrar soluções viáveis próximos aos obstáculos.
Comportamento: A política aprendida identificou corretamente que, uma vez ocorrida uma violação de restrição para uma trajetória específica, a estratégia ótima é desconsiderar a restrição de segurança e minimizar o custo, um comportamento que o esquema MPC falhou em replicar eficientemente.

Significância
O artigo afirma fornecer uma solução computacionalmente eficiente e teoricamente rigorosa para uma classe de problemas que permanecem como desafios abertos: controle estocástico de horizonte infinito com restrições de chance conjunta. Ao evitar aproximações conservadoras e alavancar a dualidade forte, o método alcança melhor desempenho e garantias de segurança do que abordagens de estado da arte de MPC, mantendo baixa complexidade computacional online. O trabalho faz a ponte entre a teoria de MDPs restritos e o controle prático baseado em aprendizado para sistemas contínuos.

O Truque de Mágica: Transformando um Problema de Memória em um Problema de Estado

O Equilíbrio: O Preço da Segurança

Ensinando o Robô com Redes Neurais

Os Resultados: Mais Rápidos, Mais Seguros e Mais Inteligentes

Por Que Isso Importa

Mais como este