Resumo Técnico: Aprendizado por Reforço Multiagente Hierárquico Seguro e Generalizável via Controle de Variedade de Restrição

Definição do Problema

Sistemas multiagentes (MAS) são críticos para aplicações de segurança crítica, como robótica de armazéns, veículos autônomos e enxames de drones. Esses cenários exigem que os agentes colaborem de forma eficiente enquanto aderem a restrições de segurança rigorosas, como a prevenção de colisões. As abordagens existentes enfrentam um compromisso fundamental:

• Métodos baseados em aprendizado (ex: Processos de Decisão de Markov Restritos, CMDPs) alcançam um forte desempenho empírico, mas carecem de garantias formais de segurança e frequentemente sofrem com instabilidade no treinamento.
• Métodos baseados em teoria de controle (ex: Funções de Barreira de Controle, CBFs) fornecem garantias de segurança, mas muitas vezes resultam em comportamentos excessivamente conservadores, seleção de caminhos subótimos e impasses (deadlocks). Além disso, muitas abordagens baseadas em CBF exigem a resolução de um Programa Quadrático (QP) a cada passo de tempo, introduzindo um custo computacional significativo que prejudica a eficiência do treinamento.
• Abordagens hierárquicas tentam desacoplar coordenação e segurança, mas frequentemente herdam os problemas de não-estacionaridade do aprendizado por reforço hierárquico ou os custos computacionais de resolvedores de QP.

O desafio central é desenvolver um framework que garanta simultaneamente garantias de segurança teórica, eficiência de treinamento (evitando a resolução de QP a cada passo) e coordenação escalável em cenários multiagentes complexos.

Metodologia: Hierarchical Manifold Multi-Agent PPO (HMM)

Os autores propõem o HMM, um framework de aprendizado por reforço hierárquico que desacopla cooperação e segurança através de dois níveis:

1. Alto Nível: Planejamento de Submetas Cooperativas

• Arquitetura: Utiliza um paradigma de Treinamento Centralizado com Execução Descentralizada (CTDE) baseado em Multi-Agent PPO (MAPPO).
• Função: Em cada época de decisão (a cada $\tau$ passos de tempo), a política de alto nível gera uma submeta (uma posição alvo) para cada agente.
• Coordenação: A política emprega uma Rede Neural de Grafos (GNN) com passagem de mensagens baseada em atenção para agregar informações de agentes vizinhos e obstáculos. Isso garante invariância de permutação e generalização para números variáveis de agentes e obstáculos.
• Objetivo: Maximizar o retorno descontado esperado sobre o processo de decisão de Markov semi-marcoviano (CSMDP), tratando a segurança como uma restrição rígida gerenciada pelo baixo nível.

2. Baixo Nível: Controlador de Variedade de Restrição (Constraint Manifold)

• Mecanismo: Em vez de resolver um QP, o controlador de baixo nível impõe a segurança projetando ações nominais em uma variedade de restrição (constraint manifold).
• Formulação da Restrição: Restrições de segurança (ex: prevenção de colisões) são definidas como restrições de desigualdade $h(s) \leq 0$. Estas são convertidas em restrições de igualdade $c(s, \mu) = h(s) + \mu = 0$ usando variáveis de folga $\mu$, definindo uma variedade $\mathcal{M}$ em um espaço de estados aumentado.
• Lei de Controle: O controlador garante que o estado do sistema permaneça em $\mathcal{M}$ ao restringir as ações ao espaço tangente da variedade. A entrada de controle $u_s$ é computada via uma solução de forma fechada:
  $$u_s = \underbrace{-J_u^\dagger \psi}_{\text{Compensação de Drift}} - \underbrace{\lambda J_u^\dagger c}_{\text{Contração da Variedade}} + \underbrace{B_u u_{\text{ref}}}_{\text{Ação Tangencial}}$$
  • Compensação de Drift: Cancela o drift natural do sistema.
  • Contração da Variedade: Retrai o estado para a variedade caso ocorram erros numéricos.
  • Ação Tangencial: Permite que o agente siga a submeta de alto nível ($u_{\text{ref}}$) livremente dentro do espaço tangente seguro.
• Eficiência: Esta abordagem substitui os resolvedores iterativos de QP por projeções eficientes no espaço tangente usando pseudoinversas.

Principais Contribuições

1. Framework Inovador: Introdução do HMM, um framework de MARL hierárquico que integra uma política de coordenação aprendível de alto nível com um controlador de baixo nível de variedade de restrição baseado em modelo.
2. Garantias Teóricas de Segurança: O artigo fornece provas formais de que, sob suposições leves, a trajetória conjunta de todos os agentes permanece dentro do conjunto seguro global em cada passo de tempo, tanto durante o treinamento quanto na execução.
3. Dinâmicas de Aprendizado Estacionárias: Ao delegar a segurança para um controlador de baixo nível fixo, o framework elimina a não-estacionaridade tipicamente causada por políticas de baixo nível em evolução no RL hierárquico. Isso reduz o problema a um MDP de alto nível estacionário, garantindo convergência estável.
4. Eficiência Computacional: O método evita resoluções de QP a cada passo de tempo, utilizando projeções de forma fechada.

Resultados Experimentais

Os autores avaliaram o HMM em seis ambientes baseados em LiDAR (2D e 3D), incluindo tarefas de navegação com diferentes dinâmicas (massa pontual, bicicleta, quadrotor).

• Desempenho e Segurança: O HMM alcançou taxas de segurança quase perfeitas (frequentemente >99%) em todos os ambientes, superando significativamente os baselines como DGPPO, InforMARL e MAPPO-Lagrangian. Diferente dos baselines baseados em aprendizado que frequentemente violam a segurança durante o início do treinamento, o HMM manteve a segurança durante todo o processo de treinamento.
• Taxa de Sucesso: O HMM demonstrou taxas de sucesso de tarefa superiores, indicando que o planejador de alto nível coordena efetivamente os agentes para evitar impasses e caminhos subótimos, ao contrário da variante "Nominal + Manifold" que carecia de coordenação de alto nível.
• Eficiência Computacional: Em uma GPU NVIDIA H200, o HMM alcançou um aceleração de 14,4× no throughput de treinamento em comparação com os baselines de CBF baseados em QP. Uma execução de treinamento que exigiria cerca de 5 dias para o baseline de CBF foi completada em 8–10 horas pelo HMM.
• Generalização: Políticas treinadas com 3 agentes e 3 obstáculos generalizaram-se efetivamente para cenários com até 21 agentes ou obstáculos. Enquanto os baselines degradaram significativamente em segurança e taxas de sucesso conforme o número de agentes/obstáculos aumentava, o HMM manteve alto desempenho.

Significância e Alegações

O artigo afirma que o HMM preenche a lacuna entre o sucesso empírico dos métodos baseados em aprendizado e o rigor da segurança dos métodos baseados em teoria de controle. Ao integrar a coordenação baseada em aprendizado com mecanismos de segurança baseados em teoria de controle, o framework oferece uma solução escalável e confiável para sistemas multiagentes.

Os autores destacam que sua abordagem:

• Fornece garantias formais de segurança sem o fardo computacional dos resolvedores de QP.
• Permite um treinamento estável ao induzir dinâmicas de aprendizado estacionárias.
• Demonstra uma forte generalização para escalas de tarefas variáveis, tornando-o adequado para implantação no mundo real onde o número de agentes e a complexidade do ambiente podem flutuar.

O artigo reconhece uma limitação: a política de baixo nível depende de mecanismos de teoria de controle que podem ser menos adequados para tarefas envolvendo interações físicas complexas, como manipulação rica em contato ou transporte de objetos, onde as restrições de segurança são mais difíceis de definir analiticamente.