⚡ electrical engineering

Deep Reinforcement Learning for Reach-Avoid-Stay Problems

Este artigo propõe uma estrutura de aprendizado por reforço profundo de duas etapas que aprende conjuntamente o conjunto Reach-Avoid-Stay máximo e robusto e uma política de controle de comutação correspondente, demonstrando precisão e desempenho superiores em garantir que os sistemas alcancem e permaneçam com segurança dentro de conjuntos alvo sob distúrbios limitados em comparação com métodos existentes.

Autores originais: Gabriel Chenevert, Jingqi Li, Achyuta kannan, Sangjae Bae, Donggun Lee

Publicado 2026-09-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Gabriel Chenevert, Jingqi Li, Achyuta kannan, Sangjae Bae, Donggun Lee

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da robótica e das máquinas autônomas, a segurança não se trata apenas de evitar uma colisão; trata-se de saber exatamente para onde uma máquina pode ir e, mais importante, onde ela deve parar. Imagine um carro autônomo ou um drone de entrega navegando por uma cidade movimentada. Engenheiros usam ferramentas matemáticas para mapear "zonas seguras", garantindo que, se a máquina partir de um determinado ponto, ela possa chegar ao seu destino sem bater em nada. No entanto, uma falha comum nesses mapas de segurança é que eles frequentemente dizem a uma máquina como chegar a um alvo, mas falham em dizer como permanecer nele. Um veículo pode alcançar uma vaga de estacionamento mas, devido ao vento ou a uma velocidade repentina, ser incapaz de desacelerar o suficiente para permanecer estacionado, fazendo com que ele saia da zona segura e entre em perigo. Essa lacuna entre chegar e permanecer tem sido um problema difícil para cientistas da computação que tentam tornar as máquinas verdadeiramente confiáveis em ambientes imprevisíveis.

Para resolver isso, uma equipe de pesquisadores da North Carolina State University e da University of Texas at Austin desenvolveu uma nova maneira de ensinar as máquinas a alcançar um objetivo e manter sua posição contra qualquer perturbação. Eles se concentraram em um desafio específico chamado problema "alcançar-evitar-permanecer" (reach-avoid-stay). Em termos simples, isso questiona: a partir de quais pontos de partida uma máquina pode alcançar com segurança um alvo, evitar todos os obstáculos e, em seguida, permanecer dentro desse alvo para sempre, mesmo que o vento sopre ou a estrada fique escorregadia? Métodos anteriores tinham dificuldades com isso porque dependiam de designs matemáticos complexos que eram difíceis de criar para máquinas complicadas, ou faziam suposições irreais, como assumir que um veículo poderia parar instantaneamente. Os pesquisadores propuseram um processo de aprendizado de duas etapas usando um tipo de inteligência artificial conhecido como aprendizado por reforço profundo (deep reinforcement learning), onde um computador aprende por tentativa e erro em um mundo simulado.

A abordagem da equipe funciona como uma jornada de dois estágios. Primeiro, o computador aprende a identificar uma zona interna especial dentro da área do alvo. Esta zona interna é um lugar onde a máquina pode permanecer segura para sempre, não importa quais perturbações enfrente. Os pesquisadores chamam isso de "núcleo de viabilidade robusta" (robust viability kernel). Para encontrar isso, a IA aprende uma política, ou um conjunto de regras, que mantém a máquina se movendo de uma forma que nunca a deixe sair deste círculo interno seguro. Uma vez que o computador tenha dominado esse comportamento de "permanecer", ele passa para a segunda etapa. Aqui, ele aprende como levar a máquina de qualquer ponto de partida até essa zona interna segura o mais rápido possível, enquanto ainda evita todos os obstáculos ao longo do caminho. Os pesquisadores provaram matematicamente que, se uma máquina conseguir alcançar esta zona interna e depois permanecer nela, ela terá completado com sucesso toda a tarefa. Ao combinar esses dois comportamentos aprendidos em um único sistema de alternância, a máquina sabe exatamente quando dirigir em direção ao objetivo e quando mudar para um modo que a mantenha travada no lugar.

Os pesquisadores testaram este método em vários cenários diferentes, desde um simples carrinho bidimensional em uma pista até simulações de alta dimensão de um táxi de decolagem e pouso vertical (VTOL) voando através de uma cidade e um trator descarregando colheitas de uma colheitadeira em movimento. No caso do carrinho simples, eles compararam seu novo método com uma técnica antiga que utiliza funções matemáticas complexas. Sua nova abordagem identificou uma área de partida segura que era quase quinze vezes maior do que a área encontrada pelo método antigo, o que significa que permitiu que a máquina partisse de muito mais posições sem arriscar uma falha. Nas simulações mais complexas envolvendo o táxi voador e o trator, o novo método identificou as áreas de partida segura com mais de 95 por cento de precisão, mesmo quando o processo de aprendizado incluiu pequenos erros típicos do treinamento de computadores.

Os resultados mostraram uma diferença marcante entre máquinas treinadas com os métodos antigos e aquelas treinadas com este novo framework de duas etapas. Quando testado no táxi voador, o antigo método "alcançar-e-evitar" (reach-and-avoid), que apenas se preocupa em chegar ao alvo, falhou completamente na tarefa de permanecer nele, alcançando uma taxa de sucesso de zero por cento. Em contraste, o novo método teve sucesso 93 por cento das vezes. Da mesma forma, para o cenário do trator, o novo método obteve 99,3 por cento de sucesso, enquanto o método antigo obteve apenas 73,5 por cento. Os pesquisadores descobriram que os métodos antigos frequentemente conduziam as máquinas para a área do alvo em velocidade total, não deixando nenhuma maneira de desacelerar e permanecer no lugar. O novo método, no entanto, aprendeu a desacelerar a máquina precocemente, garantindo que ela entrasse na zona interna segura em uma velocidade onde pudesse permanecer indefinidamente.

Embora as simulações tenham sido altamente bem-sucedidas, os pesquisadores observaram que seu sistema depende de ter uma compreensão precisa do ambiente e da física da máquina antes do início do treinamento. Se o mundo real se comportar de forma diferente do modelo computacional — por exemplo, se o vento for mais forte do que o previsto ou o solo for mais escorregadio — a máquina treinada pode não ser capaz de garantir a segurança. A equipe sugere que trabalhos futuros precisarão integrar dados de sensores do mundo real para lidar com esses desconhecidos. Por enquanto, este framework de aprendizado de duas etapas oferece um avanço significativo, fornecendo uma maneira de ensinar às máquinas não apenas como chegar, mas como permanecer, transformando uma garantia teórica de segurança em uma ferramenta prática para aplicações complexas do mundo real.

Resumo Técnico: Aprendizado por Reforço Profundo para Problemas de Alcance-Evitação-Permanência (Reach-Avoid-Stay)

Definição do Problema

O artigo aborda o problema de Alcance-Evitação-Permanência (RAS - Reach-Avoid-Stay) para sistemas dinâmicos não lineares sujeitos a perturbações adversárias limitadas. Diferente dos problemas padrão de Alcance-Evitação (RA), que exigem que um sistema alcance um conjunto alvo $T$ enquanto evita regiões inseguras, o problema RAS exige que o sistema não apenas alcance $T$ , mas também permaneça nele indefinidamente, apesar de todas as perturbações limitadas.

O desafio central identificado é que os métodos de RA existentes frequentemente falham em distinguir entre o conjunto alvo $T$ e o núcleo de viabilidade robusta (o subconjunto máximo robustamente controlável-invariante de $T$ ). Se um sistema atinge $T$ , mas não o núcleo de viabilidade (por exemplo, entrando com velocidade excessiva), ele pode ser incapido de permanecer dentro de $T$ sob perturbação, levando a violações de segurança. As abordagens atuais para RAS enfrentam limitações significativas:

Métodos de Função de Lyapunov-Barreira de Controle (CLBF) são difíceis de projetar para sistemas de alta dimensão ou não lineares.
Métodos baseados em funis (funnel-based) dependem da premissa restritiva de que os sistemas podem parar instantaneamente.
Abordagens de RL existentes frequentemente falham em identificar o conjunto RAS robusto maximal, resultando em políticas conservadoras ou classificações de segurança imprecisas.

O objetivo é computar o conjunto RAS robusto maximal (o conjunto de todos os estados iniciais a partir dos quais a tarefa RAS é realizável) e uma política de controle correspondente que garanta a conclusão da tarefa sob todas as perturbações limitadas.

Metodologia

Os autores propõem uma estrutura de Aprendizado por Reforço Profundo (RL) de dois passos que aprende conjuntamente o conjunto RAS robusto maximal e a política associada. A estrutura utiliza o Gradiente de Política Determinística Profunda (DDPG) para sistemas de alta dimensão.

Passo 1: Computação do Núcleo de Viabilidade Robusta ( $A_S$ )

O primeiro passo identifica o núcleo de viabilidade robusta $A_S$ dentro do conjunto alvo $T$ . Este é o conjunto de estados a partir dos quais o sistema pode permanecer em $T \cap C$ (conjuntos alvo e de restrição) indefinidamente.

Uma função de valor descontada $H(x)$ é definida para caracterizar $A_S$ .
$H(x)$ é a solução única de uma equação de Bellman envolvendo um operador min-max sobre as políticas de controle e perturbação.
O conjunto $A_S$ corresponde ao conjunto de nível zero de $H$ (onde $H(x)=0$ ).
Uma política $\pi_H$ é derivada para manter o sistema dentro de $A_S$ uma vez que esteja lá dentro.

Passo 2: Computação do Conjunto RAS Robusto Maximal

O segundo passo formula o problema RAS como um problema de RA onde o alvo é o núcleo de viabilidade robusta $A_S$ , em vez do conjunto $T$ original.

Transformação da Função de Valor: Como $H(x)$ $H (x)$ é zero em $A_S$ $A_{S}$ , ele não pode servir como uma recompensa para alcançar $A_S$ $A_{S}$ (pois não fornece incentivo para alcançar o conjunto rapidamente). Os autores introduzem uma função de valor transformada $H_g(x)$ $H_{g} (x)$ :
- $H_g(x) = H(x)$ se $H(x) < 0$ (fora de $A_S$ ).
- $H_g(x) = g(x)$ (positivo) se $x \in A_S$ .
- Isso garante que $H_g$ seja estritamente positivo dentro de $A_S$ e não positivo em outro lugar.
Formulação de RA: Uma nova função de valor $V(x)$ é definida usando $H_g$ como a recompensa alvo. $V(x)$ caracteriza o conjunto RAS robusto maximal.
Política de Alternância (Switching Policy): Uma política unificada $\pi_{RAS}$ $π_{R A S}$ é construída alternando entre a política de "alcance" ( $\pi_V$ $π_{V}$ ) e a política de "permanência" ( $\pi_H$ $π_{H}$ ):
- Usa-se $\pi_V$ quando $H_g(x) \leq 0$ (fora de $A_S$ ) para conduzir o sistema em direção a $A_S$ .
- Alterna-se para $\pi_H$ quando $H_g(x) > 0$ (dentro de $A_S$ ) para garantir a segurança indefinida.

Contribuições Principais

Prova Teórica de Maximalidade: Os autores provam que, na ausência de erros de treinamento, sua estrutura identifica o exato conjunto RAS robusto maximal. Eles demonstram que a política de alternância resultante garante a tarefa RAS para todos os estados neste conjunto sob todas as perturbações limitadas. Isso é alcançado via a proposta transformação de função de valor ( $H_g$ ), que permite a integração da análise de núcleo de viabilidade com métodos de RA.
Aprendizado de Alta Precisão com Deep RL: A estrutura é adaptada para sistemas de alta dimensão usando DDPG. Os autores mostram que, mesmo com os erros de treinamento inerentes às redes neurais, a estrutura caracteriza o conjunto RAS robusto maximal com alta precisidade (>95%).
Aplicabilidade Prática: O método lida com ambientes complexos onde o design de CLBF é intratável e não depende da premissa de "parada instantânea" exigida pelos métodos baseados em funis.
Validação Empírica: Simulações em sistemas de baixa dimensão (Double Integrator) e alta dimensão (VTOL Taxi, Nonlinear Harvester) validam a abordagem.

Resultados

Identificação do Conjunto Maximal: Em um exemplo de Double Integrator 2D, a estrutura proposta identificou um conjunto RAS com um volume de 28,67, significativamente maior que o volume de 1,98 identificado por uma linha de base CLBF. Isso indica que o método proposto é menos conservador e identifica mais estados viáveis.
Precisão: Em experimentos de alta dimensão (VTOL e Harvester), a estrutura alcançou, respectivamente, 95,8% e 99,4% de precisão na identificação do conjunto RAS em comparação com o ground truth gerado pela própria política.
Taxas de Sucesso da Tarefa: A política RAS proposta superou significativamente o método de linha de base RA no cumprimento da tarefa RAS:
- VTOL: Taxa de sucesso de 93,0% (RAS) vs. 0% (linha de base RA).
- Harvester: Taxa de sucesso de 99,3% (RAS) vs. 73,5% (linha de base RA).
Análise de Falha: O artigo demonstra que as políticas de RA falham na tarefa RAS porque alcançam o conjunto alvo $T$ em altas velocidades sem entrar no núcleo de viabilidade $A_S$ . Consequentemente, elas não conseguem manter o estado dentro de $T$ sob perturbação. A política RAS reduz corretamente a velocidade do sistema antes de entrar em $T$ para garantir que ele aterrisse dentro de $A_S$ .

Significância e Alegações

O artigo alega que sua principal significância reside em fornecer uma estrutura baseada em dados e teoricamente fundamentada que resolve o problema RAS para sistemas não lineares gerais sem suposições restritivas.

Ele preenche a lacuna entre análise de alcançabilidade e Deep RL, provando que a abordagem de dois passos produz o conjunto robusto maximal.
Ele aborda o problema do "falso negativo" de métodos conservadores (como CLBF) e o risco de segurança de "falso positivo" de métodos RA padrão.
Os autores reconhecem que a estrutura depende do conhecimento prévio da dinâmica do sistema e das restrições do ambiente. Eles observam que, embora o RL crítico para segurança atual careça de garantias teóricas rigorosas, este trabalho fornece tais garantias para o problema RAS, desde que o modelo seja preciso. Sugere-se como trabalho futuro a integração de dados de sensores do mundo real e o tratamento de informações de ambiente desconhecidas.