Learning Safe Multi-Robot Coordination in Industrial Cyber- Physical Systems

Declaração do Problema

Os Sistemas Ciber-Físicos (CPS) industriais dependem cada vez mais de frotas de robôs autônomos para realizar tarefas de manufatura e logística distribuídas dentro de espaços de trabalho físicos compartilhados. O desafio central reside em equilibrar a eficiência operacional com a segurança física. Embora o Aprendizado por Reforço Multi-Agente (MARL) ofereça uma abordagem baseada em dados para a coordenação, as estruturas padrão de maximização de recompensa frequentemente falham em garantir a evasão de colisões contínua em ambientes densos e dinâmicos. Além disso, a escalabilidade permanece uma barreira significativa; à medida que o tamanho das frotas aumenta, a complexidade das interações entre pares cresce, frequentemente saturando canais de comunicação de capacidade fixa e levando a comportamentos de agentes não estacionários. Abordagens existentes, como o escalonamento baseado em regras ou o planejamento de trajetória determinístico, carecem da flexibilidade para lidar com intrusões não planejadas ou falhas de agentes, enquanto abordagens puramente de MARL muitas vezes carecem de restrições rigorosas de segurança necessárias para o implante físico.

Metodologia

Os autores conduziram um estudo baseado em simulação usando o Multi-Agent Particle Environment (MAPE), um framework baseado em física que modela um espaço de trabalho industrial 2D. O cenário envolveu $N$ agentes autônomos navegando para $N$ estações de trabalho fixas organizadas em uma formação de círculo unitário.

Configuração Experimental:

• Ambiente: Um espaço de trabalho delimitado $[-1.2, 1.2] \times [-1.2, 1.2]$ metros com dinâmica Newtoniana, forças de contato e ruído de atuador Gaussiano.
• Agentes: Robôs de massa pontual com um raio de segurança de 0,25m, velocidade máxima de 1,5 m/s e um canal de comunicação de 4 dimensões entre agentes.
• Políticas Avaliadas:
  1. Baseline Aleatório: Os agentes selecionam ações uniformemente ao acaso, sem consciência de tarefa ou comunicação.
  2. Política Gananciosa (Greedy): Um heurístico determinístico onde os agentes navegam para a estação mais próxima não reivindicada usando controle proporcional. Eles inferem a ocupação da estação por meio de observações, mas carecem de evasão de colisão explícita.
  3. Política Safe MARL: Uma política composta e artesanal que integra três componentes:
     • Força de Navegação: Controle proporcional em direção a uma estação estática, atribuída por índice (round-robin).
     • Repulsão de Segurança: Um campo de potencial artificial (APF) que gera uma força repulsiva quando os agentes entram em uma zona de segurança ($r_{safe} = 0,625$m).
     • Evasão Baseada em Comunicação: Um vetor de 4 dimensões transmitido contendo distância do alvo, componentes de força de repulsão ($x, y$) e uma flag de chegada. Os agentes aplicam uma correção de evasão leve baseada nos sinais recebidos dos vizinhos.

Métricas de Avaliação:
O desempenho foi medido através de 30 episódios (para $N=4$) e testes de escalabilidade ($N \in \{2, 3, 4, 5, 6\}$) usando:

• Recompensa Cumulativa (eficiência de cobertura vs. penalidade de segurança).
• Taxa de Colisão (contatos inter-robôs entre pares).
• Taxa de Cobertura de Estação (porcentagem de estações alcançadas).
• Makespan (tempo para atingir a cobertura total).
• Eficiência de Comunicação (magnitude e estrutura dos vetores transmitidos).

Principais Contribuições

1. Construção de Framework: Os autores implementaram um cenário de cobertura de tarefas de CPS industrial dentro do MAPE, incorporando dinâmica de colisão baseada em física, raios de segurança configuráveis e um canal de comunicação de 4 dimensões alinhado com restrições industriais.
2. Design de Política Composta: Eles projetaram uma política "Safe MARL" que unifica navegação proporcional, campos de repulsão de segurança ponderados por distância (inspirados no APF de Khatib) e evasão de conflitos baseada em comunicação em uma única formulação de ação.
3. Análise Empírica de Escalabilidade: O estudo fornece uma avaliação sistemática do desempenho de coordenação através de tamanhos de frota, quantificando a relação entre densidade de agentes, capacidade de comunicação e frequência de colisão.
4. Identificação de Gargalos: A pesquisa estabelece empiricamente que, sob atribuição fixa e comunicação de canal fixo, a complexidade da coordenação cresce superlinearmente, criando uma barreira de escalabilidade para frotas maiores.

Resultados

• Comparação de Baselines ($N=4$):
  • A Política Gananciosa (Greedy) alcançou 100% de cobertura de estação com o menor makespan (51,3 passos), mas sofreu uma alta taxa de colisão (11,57 colisões/episódio), estatisticamente indistinguível da baseline Aleatória.
  • A Política Safe MARL alcançou 85% de cobertura com um makeso maior (120,0 passos). Embora menos eficiente em velocidade, demonstrou trajetórias estruturadas e padrões de comunicação emergentes alinhados com as fases da tarefa (navegação vs. chegada).
  • Segurança: Contrário à expectativa de que camadas de segurança eliminariam colisões, a Safe MARL não eliminou totalmente as colisões (16,57/episódio) em comparação com a Greedy, devido a mínimos locais no landscape de repulsão causando movimento oscilatório em regiões densas.
• Escalabilidade ($N=2$ a $6$):
  • As taxas de colisão exibiram crescimento superlinear, subindo de 0,65 colisões (em $N=2$) para 71,55 colisões (em $N=6$).
  • A cobertura de estação permaneceu relativamente estável (74–98%), indicando que o mecanismo de atribuição de tarefas estático permaneceu robusto, mas a eficiência do planejamento de trajetória degradou significativamente conforme a contenção espacial aumentou.
  • O canal de comunicação fixo de 4 dimensões foi identificado como um ponto de saturação, incapaz de lidar com o crescimento $O(N^2)$ das mensagens de interação entre pares.

Significância e Alegações

O artigo afirma estabelecer limites empíricos para o desempenho de coordenação segura em CPS industriais. Sua principal significância reside em demonstrar que eficiência e segurança são objetivos concorrentes sob estratégias de atribuição fixa. Enquanto a política Greedy maximiza o rendimento (throughput), ela falha em fornecer garantias de segurança. Por outro lado, a política Safe MARL oferece um perfil operacional equilibrado de múltiplas métricas, adequado para ambientes industriais onde a segurança é inegociável, mesmo ao custo de velocidade reduzida.

Os autores concluem modestamente que, embora sua abordagem atual integre segurança via campos de potencial e comunicação artesanal, ela não escala indefinidamente. Eles identificam a largura de banda de comunicação adaptativa e a atribuição dinâmica de tarefas como variáveis de design críticas para futuros implantes escaláveis. O trabalho serve como um passo fundamental em direção a políticas aprendidas de ponta a ponta (ex: via MADDPG) e configurações de espaço de trabalho 3D com certificados de segurança baseados em Lyapunov, em vez de reivindicar uma solução completa para o implante industrial de grande escala.