💻 computer science

OGR-MARL: Option-Guided Residual Multi-Agent Reinforcement Learning for Heterogeneous USV Cooperative Pursuit in Constrained Port Waterways

Este artigo propõe o OGR-MARL, um framework de aprendizado por reforço multiagente residual desacoplado e guiado por opções que aprimora a perseguição cooperativa de USVs heterogêneos em vias navegáveis portuárias restritas ao permitir que agentes guiados por regras aprendam ações corretivas, alcançando altas taxas de captura e generalização zero-shot através de vários backbones de MARL.

Autores originais: Mao Jiayang, Wang Lanfeng, Peng Zhao-Han

Publicado 2026-08-14

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mao Jiayang, Wang Lanfeng, Peng Zhao-Han

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os robôs aprendem a pensar e agir não apenas seguindo um manual de instruções rígido, mas jogando um jogo, experimentando coisas e aprendendo com seus erros. Isso é o coração do Aprendizado por Reforço Multiagente (MARL - Multi-Agent Reinforcement Learning). Pense nisso como um grupo de amigos aprendendo a jogar um esporte de equipe complexo juntos. Em vez de um único treinador dizendo exatamente o que todos devem fazer a cada segundo, cada jogador observa o jogo, entende o que seus companheiros de equipe estão fazendo e aprende as melhores jogadas através de tentativa e erro. A parte "Multiagente" significa apenas que há toda uma equipe desses robôs aprendendo a trabalhar juntos, e não apenas um lobo solitário.

Agora, imagine pegar essa equipe de robôs aprendizes e colocá-los em um ambiente muito difícil e movimentado: um porto movimentado. É aqui que as coisas ficam complicadas. Em oceano aberto, os robôs têm bastante espaço para se mover. Mas em um porto, eles precisam desviar de outros navios, evitar bater na costa, seguir faixas de tráfego rigorosas e trabalhar juntos para capturar um "evadido" rápido (um barco tentando escapar). Este é um jogo de pega-pega de alto risco onde as regras são estritas, o espaço é apertado e o outro time é inteligente. Os cientistas se importam com isso porque, se pudermos ensinar robôs a navegar nessas águas lotadas e perigosas de forma segura e eficaz, poderíamos usá-los para trabalhos do mundo real, como patrulhas de segurança, monitoramento ambiental ou busca e salvamento, sem arriscar vidas humanas.

A Grande Ideia do Artigo: O "Treinador" e o "Jogador"

Este artigo apresenta uma nova maneira de ensinar essas equipes de robôs a jogar o jogo de "Capturar o Evadido" em um porto movimentado. Os autores chamam seu novo sistema de OGR-MARL. Para entender o que o torna especial, vamos usar uma analogia.

Imagine que você está ensinando um grupo de novos jogadores de futebol a jogar em um quintal pequeno e lotado. Se você apenas disser: "Vão chutar a bola!" e deixá-los descobrir por conta própria (que é o que o aprendizado de IA padrão costuma fazer), eles podem passar horas correndo contra a cerca, tropeçando uns nos outros ou chutando a bola no quintal do vizinho. Eles podem nunca aprender o jogo porque as regras são muito confusas ou os erros são muito custosos.

Por outro lado, se você der a eles um treinador rigoroso que diz exatamente para onde correr e quando chutar, eles seguirão as regras perfeitamente. Mas aqui está o problema: se o outro time (o evadido) subitamente mudar sua estratégia ou correr em uma direção estranha, o plano do treinador rigoroso pode falhar porque ele não consegue se adaptar rapidamente o suficiente.

OGR-MARL é a mistura perfeita de ambos. É como ter um treinador inteligente que dá um plano de jogo geral ("Orientação por Opção" ou Option Guidance) enquanto permite que os jogadores usem seus próprios cérebros para fazer pequenos ajustes rápidos ("Aprendizado Residual" ou Residual Learning).

Como Funciona: A Equipe de Robôs

Neste estudo, a equipe de robôs é composta por diferentes tipos de barcos, chamados de USVs (Veículos de Superfície Não Tripulados). Eles não são todos iguais; é uma equipe "heterogênea", o que significa que possuem diferentes superpoderes:

Os Batedores (Scouts): São barcos mais lentos, mas possuem olhos gigantes (um raio de detecção enorme). Seu trabalho é avistar o evadido de longe e monitorar onde ele está.
Os Interceptadores (Interceptors): São barcos rápidos com olhos pequenos. Eles não conseguem enxergar longe, mas são os únicos rápidos o suficiente para realmente capturar o evadido.

O objetivo é capturar o evadido antes que ele escape do porto, tudo isso obedecendo a regras estritas: não bater na costa, não colidir com outros navios de carga e permanecer nas faixas de tráfego corretas.

O Segredo: Aprendizado Residual Orientado por Opção

A principal inovação do artigo é como ele combina o "Treinador" e o "Jogador".

O Treinador (Orientação por Opção): O sistema utiliza um algoritmo simples baseado em regras (como um mapa básico e um conjunto de leis de trânsito) para sugerir um objetivo de alto nível. Por exemplo, o treinador pode dizer: "Batedor, vá procurar o alvo", ou "Interceptador, mova-se para bloquear a saída". Isso dá aos robôs um ponto de partida seguro para que não percam tempo batendo em paredes.
O Jogador (Aprendizado Residual): É aqui que a mágica da IA acontece. Os robôs não seguem cegamente o treinador. Eles possuem um cérebro "residual" que aprende a fazer pequenos ajustes corretivos. Se o treinador diz "Vá para a esquerda", mas o evadido de repente dispara para a direita, o cérebro do robô diz: "Ok, eu vou para a esquerda principalmente, mas vou ajustar meu ângulo levemente para a direita para capturá-lo".

Esta parte "Residual" é crucial. Ela permite que os robôs aprendam comportamentos cooperativos complexos — como os Batedores mantendo o alvo à vista enquanto os Interceptadores se aproximam furtivamente para a captura — sem terem que aprender tudo do zero em um ambiente caótico.

O Que Eles Descobriram: Os Resultados

Os pesquisadores testaram seu sistema OGR-MARL em um porto simulado (baseado em um lugar real chamado Xiazhimen, na China). Eles colocaram seu novo sistema contra métodos antigos e encontraram resultados empolgantes:

Os Métodos Antigos Tiveram Dificuldades: Quando tentaram usar apenas as regras estritas, os robôs capturaram o evadido apenas 35% das vezes. Quando tentaram usar apenas o aprendizado de IA sem a ajuda do treinador, a taxa de sucesso foi terrível (às vezes tão baixa quanto 1% ou 2%). A IA se perdia, batia ou desistia.
O Novo Método Teve Sucesso: Quando combinaram o treinador e a IA, a taxa de sucesso disparou. A melhor versão de seu sistema, chamada OGR-MASAC, conseguiu capturar o evadido 75% das vezes.
Seguiu as Regras: Não apenas capturaram o evadido com mais frequência, mas também seguiram as regras do porto muito melhor. Eles não colidiram com a costa ou outros navios com tanta frequência quanto os outros métodos.
Funcionou em um Mapa Real (Sem Retreinamento): A parte mais impressionante? Os pesquisadores pegaram o sistema treinado em um mapa simples e abstrato e o aplicaram diretamente em um mapa detalhado e real do porto (usando dados reais de tráfego de navios). Eles não retreinaram os robôs nem uma única vez. Mesmo nesta transferência de "zero disparo" (zero-shot transfer), o sistema ainda capturou o evadido cerca de 66,7% das vezes. Isso sugere que o sistema é inteligente o suficiente para lidar com a bagunça do mundo real sem precisar ser ensinado novamente.

Por Que Isso Importa

O artigo sugere que, ao dar aos robôs de IA uma "rede de segurança" de regras e objetivos de alto nível, podemos ensiná-los a resolver problemas de trabalho em equipe incrivelmente difíceis de forma muito mais rápida e confiável. Não se trata apenas de criar robôs que possam capturar um barco; trata-se de criar uma estrutura onde diferentes tipos de robôs possam aprender a trabalhar juntos em ambientes complexos do mundo real, como portos movimentados.

Embora os resultados sejam baseados em simulações (e o teste do mundo real ainda foi uma simulação usando dados reais), os autores mostram que esta abordagem é um passo promissor. Ela faz a ponte entre a segurança rígida baseada em regras e a IA flexível e inteligente, provando que, às vezes, a melhor maneira de ensinar um robô é dar a ele um pouco de orientação e deixar o resto do aprendizado acontecer sobre a marcha.

Resumo Técnico: OGR-MARL para Perseguição Cooperativa de USV Heterogêneos

1. Formulação do Problema

O artigo aborda o desafio da perseguição cooperativa de múltiplos USVs (Veículos Superficiais Não Tripulados) heterogêneos em vias navegáveis portuárias restritas. Diferente de cenários em mar aberto, os ambientes portuários impõem restrições de navegação rigorosas, incluindo canais estreitos, zonas de ancoragem, regiões de amortecimento e fluxos de tráfego bidirecionais.

O problema específico envolve uma equipe de quatro perseguidores heterogêneos incumbidos de interceptar um evadido que tenta escapar para um limite leste. A equipe consiste em:

Interceptadores ( $P_1, P_2$ ): USVs de alta velocidade com capacidade de captura, mas com raio de detecção limitado.
Batedores ( $P_3, P_4$ ): USVs mais lentos com grandes raios de detecção, encarregados de manter a visibilidade do alvo e atualizar um estado de crença compartilhado.

O evadido é modelado como um ponto de massa que utiliza um planejador global A* e um módulo de desvio de obstáculos por Campo de Potencial Artificial (APF) para navegar ao redor de margens, navios de carga em movimento e perseguidores. O ambiente é parcialmente observável; apenas os batedores podem detectar o evadido a longas distâncias, exigindo que a equipe mantenha um estado de crença compartilhado que decai ao longo do tempo se não for atualizado.

A dificuldade central reside em equilibrar a conformidade com as regras (evitar margens, violações de tráfego e intrusões em ancoradouros) com a eficácia da missão (capturar um evadido tático que replaneja rotas) sob observabilidade parcial e dinâmicas heterogêneas.

2. Metodologia: OGR-MARL

Os autores propõem o OGR-MARL (Option-Guided Residual Multi-Agent Reinforcement Learning), um framework agnóstico ao algoritmo projetado para desacoplar comportamentos guiados por regras do processo de aprendizado. O framework opera sob um paradigma de Treinamento Centralizado e Execução Descentralizada (CTDE).

Componentes Arquiteturais Principais:

Camada de Orientação por Opções (Option Guidance Layer):
- Um módulo leve baseado em regras que atribui "opções" (modos) de alto nível aos agentes com base em seu papel, confiança de crença e estado de conformidade com as regras.
- Opções: {busca (search), rastreamento (track), interceptação (intercept), bloqueio (block), recuperação (recover)}.
- Função: Batedores selecionam busca ou rastreamento para manter a cobertura; Interceptadores selecionam interceptação ou bloqueio para formar manobras de pinça; recuperação guia os agentes para longe de violações.
- Esta camada gera um alvo geométrico e uma ação de alto nível ( $a^{opt}$ ) independente do algoritmo MARL específico utilizado.
Aprendizado de Política Residual (Residual Policy Learning):
- Um backbone MARL genérico (ex: MADDPG, MATD3, MAPPO, MASAC) aprende uma ação residual ( $a^{rl}$ ) condicionada a observações locais.
- A ação executada final ( $a_i$ ) é uma mistura limitada entre a ação da opção guiada por regra e a ação residual aprendida:
  $a_i = \text{clip}((1 - \beta_i)a^{rl}_i + \beta_i a^{opt}_i, -1, 1)$
- Isso permite que o agente MARL aprenda ações corretivas (ajustes de tempo, movimentos locais, coordenação) sobre prioridades seguras e em conformidade com as regras, em vez de explorar o ambiente restrito do zero.
Recompensa Estruturada e Aprendizado por Currículo:
- Modelagem de Recompensa (Reward Shaping): A função de recompensa ( $r_{ind}$ $r_{in d}$ ) é decomposta em:
  - Progresso da tarefa: Incentiva a saída do porto, rastreamento e formação de pinça.
  - Conformidade com regras: Penaliza intrusões em margens/ancoradouros e violações de tráfego.
  - Papel heterogêneo: Promove comportamentos complementares (batedores rastreando, interceptadores fechando distância).
  - Terminais: Recompensa a captura ou penaliza a fuga/tempo esgotado.
- Aprendizado por Currículo: O treinamento prossegue através de cinco estágios ( $S_0$ a $S_4$ ), aumentando gradualmente a velocidade do evadido, estreitando o raio de captura e fortalecendo as penalidades de regras para guiar os agentes de comportamentos básicos para uma coordenação precisa e em conformidade.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

Cenário de Benchmark: O estabelecimento de um cenário de via portuária realista e restrito (abstração do porto de Xiazhimen) apresentando USVs heterogêneos, tráfego em movimento, zonas de ancoragem e observabilidade parcial.
Framework OGR-MARL: A proposta de um framework agnóstico ao algoritmo que integra crença compartilhada do evadido, alvos de opções condicionados ao papel, penalidades de regras adaptativas e aprendizado de política residual. Ele permite que diferentes backbones MARL aprendam ações corretivas sobre comportamentos guiados por regras.
Avaliação Abrangente: Uma avaliação rigorosa envolvendo comparações de backbones, estudos de ablação de recompensa e transferência zero-shot para um mapa do mundo real informado por QGIS e AIS (Automatic Identification System).

4. Resultados Experimentais

Experimentos foram conduzidos em um domínio abstrato de 1000x400 e transferidos para um mapa do mundo real sem retreinamento.

Comparação de Desempenho:
- Controladores puramente baseados em regras alcançaram uma taxa de captura de 35,0%.
- Baselines de MARL puro (sem orientação por opção) tiveram desempenho insatisfatório (taxas de captura de 1,0% – 16,0%), lutando com recompensas esparsas e violações de regras.
- Variantes OGR-MARL superaram significativamente seus equivalentes puros.
- OGR-MASAC (instância do OGR com Soft Actor-Critic) obteve o melhor desempenho com uma taxa de captura de 75,0%, o menor custo de tempo médio de tarefa (121,94s) e o maior Score de Coordenação Heterogênea (HCS: 0,6802).
- O OGR-MATD3 também mostrou melhoria significativa, subindo de 1,0% para 59,0%.
Estudos de Ablação:
- A remoção das recompensas de regra ou de papel degradou significativamente o desempenho (ex: OGR-MASAC sem regras caiu para 31,0% de SR), confirmando a necessidade de recompensas estruturadas para ambientes restritos.
Transferência Zero-Shot:
- Ao ser transferido para um mapa real de Xiazhimen informado por QGIS/AIS sem retreinamento, o OGR-MASAC alcançou uma taxa de captura de 66,67%.
- Embora inferior à simulação abstrata, isso demonstra o potencial de generalização apesar de desafios como linhas costeiras curvas e padrões de tráfego irregulares.
Análise de Falhas:
- As falhas foram atribuídas principalmente à interceptação de aproximação terminal ineficiente, em vez de uma perda total de visibilidade do alvo. Episódios bem-sucedidos mostraram interceptadores chegando significativamente mais perto do evadido (distância média 4,17) comparado a episódios falhos (8,19).

5. Significância e Alegações

O artigo afirma que o OGR-MARL efetivamente preenche a lacuna entre a interpretabilidade dos métodos baseados em regras e a adaptabilidade do aprendizado por reforço. Ao desacoplar o algoritmo MARL da lógica de controle específica, o framework permite que os agentes:

Aprendam ações corretivas sobre comportamentos seguros e guiados por regras, evitando a ineficiência de explorar ambientes restritos do zero.
Alcancem coordenação heterogênea, onde batedores e interceptadores desempenham papéis complementares de forma eficaz.
Generalizem para cenários portuários complexos do mundo real via transferência zero-shot, sugerindo que o framework é robusto a variações ambientais sem necessidade de retreinamento.

Os autores concluem que, embora o método seja promissor, trabalhos futuros devem focar na melhoria da eficiência de amostragem usando modelos de mundo (world models) e na validação do desempenho em ambientes marítimos ainda mais realistas ou físicos.