Navigating the Clutter: Waypoint-Based Bi-Level Planning for Multi-Robot Systems

Título: Navegando o Caos: Planejamento Bi-Nível Baseado em Waypoints para Sistemas Multi-Robô

1. O Problema

O controle de sistemas multi-robô em ambientes desordenados (com muitos obstáculos) é um desafio complexo que envolve restrições físicas rigorosas, como colisões entre robôs, colisões robô-obstáculo e movimentos inalcançáveis.

• Desacoplamento Ineficiente: A maioria das abordagens existentes trata o planejamento de tarefas (alto nível) e o planejamento de movimento (baixo nível) de forma separada ou sequencial.
  • Falhas de Tarefa: Ocorre quando o plano de alto nível atribui tarefas a robôs em regiões sobrepostas ou inalcançáveis, tornando a execução impossível independentemente do planejador de movimento.
  • Falhas de Movimento: Ocorre mesmo com um plano de tarefa válido, se o planejador de movimento (ex: RRT fixo) não conseguir encontrar trajetórias livres de colisões em ambientes densos.
• Desafios de Otimização Conjunta: Otimizar ambos os níveis simultaneamente é difícil devido à alta dimensionalidade das trajetórias de movimento contínuas e à ambiguidade na atribuição de crédito (saber se um erro de execução foi causado por uma decisão de tarefa ruim ou por uma falha local de movimento).

2. Metodologia: Framework WAYPLAN

Os autores propõem o WAYPLAN, um framework híbrido de controle multi-robô que otimiza conjuntamente o planejamento de tarefas e de movimento utilizando Grandes Modelos de Linguagem (LLMs).

A. Representação por Waypoints (Ponto de Referência)

Para resolver o problema de parametrização de alto nível e dimensionalidade:

• Em vez de prever diretamente configurações de juntas contínuas e densas (como fazem os modelos VLA - Vision-Language-Action), o planejador de movimento gera trajetórias de waypoints (coordenadas 3D intermediárias).
• Esses waypoints são então convertidos em trajetórias executáveis de juntas robóticas usando um algoritmo clássico de planejamento de movimento (como RRT - Rapidly-exploring Random Trees).
• Vantagem: Isso delega a viabilidade cinemática e de colisão para um planejador confiável, reduzindo drasticamente a complexidade de aprendizado e os requisitos de dados para o LLM.

B. Estratégia de Treinamento em Currículo (Curriculum Training)

Para abordar a ambiguidade na atribuição de crédito e garantir estabilidade, o treinamento ocorre em três estágios:

1. Estágio 1 (SFT - Fine-Tuning Supervisionado):
   • Treinamento separado dos planejadores de tarefa e movimento.
   • Para o planejador de tarefa, utiliza-se uma estratégia de reflexão consciente de falhas: os dados de treinamento incluem rastros de raciocínio onde o modelo aprende a identificar e corrigir erros (ex: colisões, alcance inválido) antes de gerar o plano, em vez de apenas imitar planos bem-sucedidos.
2. Estágio 2 (RLVR Separado - Reforço com Recompensa Verificável):
   • Refinamento independente de cada planejador usando RLVR.
   • O planejador de tarefa é recompensado apenas pela conclusão da tarefa e eficiência, sem penalidades de movimento.
   • O planejador de movimento é treinado em tarefas de movimento de único robô para garantir robustez local.
3. Estágio 3 (RLVR Conjunto):
   • Otimização conjunta dos dois planejadores.
   • Mecanismo Chave: O planejador de tarefa recebe uma recompensa que inclui uma penalidade de viabilidade de movimento. Se um plano de tarefa levar a passos de movimento inviáveis, o planejador de tarefa é penalizado.
   • O planejador de movimento é treinado em consultas de movimento geradas pelo planejador de tarefa atual, criando um acoplamento forte onde ambos evoluem juntos.

3. Contribuições Principais

1. BoxNet3D-OBS: Introdução de um novo benchmark multi-robô desafiador com até 9 robôs operando em grades com obstáculos densos e restrições de movimento complexas.
2. Framework WAYPLAN: Um sistema de controle híbrido baseado em LLMs que acopla explicitamente decisões de alto nível com a viabilidade de movimento de baixo nível.
3. Estratégia de Treinamento Híbrida: Desenvolvimento de uma estratégia de currículo e um algoritmo RLVR modificado que resolve a ambiguidade na atribuição de crédito entre os níveis de tarefa e movimento.
4. Superioridade de Waypoints: Evidência empírica de que o planejamento de movimento baseado em waypoints supera os modelos VLA (que preveem trajetórias densas) sob orçamentos de dados semelhantes.

4. Resultados Experimentais

Os experimentos foram realizados no benchmark BoxNet3D-OBS, comparando o WAYPLAN com planejadores de tarefas agnósticos ao movimento e modelos VLA.

• Desempenho Geral: O WAYPLAN superou consistentemente os baselines.
  • Um modelo de tarefa de apenas 4 bilhões de parâmetros (Qwen3-4B), quando acoplado ao planejador de movimento baseado em waypoints e treinado com RLVR conjunto, alcançou uma taxa de sucesso de 0.62.
  • Isso supera significativamente modelos LLMs muito maiores (como GPT-5 e Gemini) que não possuem consciência de movimento ou usam planejadores fixos.
• Impacto do Planejador de Movimento: A escolha do planejador de movimento é crítica. O planejador baseado em waypoints obteve o melhor desempenho, seguido pelo VLA e, por último, pelo RRT fixo. Isso demonstra o forte acoplamento entre o planejamento de tarefas e a execução.
• Replanejamento (Replanning): Modos de replanejamento (especialmente NC-REPLAN, que reinicia o contexto com o novo estado) superaram o planejamento de plano único (FULLPLAN), alcançando taxas de sucesso ainda mais altas (até 0.62 com waypoints).
• Estabilidade de Treinamento: O uso do algoritmo GSPO (Group Sequence Policy Optimization) mostrou-se mais estável do que o GRPO padrão para tarefas de raciocínio de longo horizonte, evitando colapsos no treinamento.
• Análise de Falhas:
  • Com planejadores VLA, a falha dominante foi a execução de movimento (trajetórias inviáveis).
  • Com waypoints, a falha dominante deslocou-se para passos de movimento inalcançáveis no nível de tarefa, indicando que o planejador de movimento se tornou robusto e o gargalo passou a ser a coordenação de alto nível.

5. Significado e Conclusão

O trabalho demonstra que a otimização conjunta de planejamento de tarefas e movimento é essencial para o controle confiável de multi-robôs em ambientes complexos.

• Eficiência de Modelo: A abordagem permite que modelos menores (4B parâmetros) superem modelos gigantes (GPT-5) ao incorporar explicitamente restrições físicas no processo de raciocínio.
• Simplicidade vs. Complexidade: A abstração de waypoints provou ser mais eficaz e estável para aprendizado por reforço do que a previsão direta de trajetórias contínuas (VLA), reduzindo a complexidade do espaço de ação.
• Aplicabilidade: Embora os testes tenham sido feitos em simulação, o framework oferece um caminho viável para implantação em cenários do mundo real, como automação de armazéns, onde a coordenação segura e eficiente é crítica.

O código e os dados estão disponíveis publicamente no repositório do GitHub mencionado no artigo.