Resumo Técnico: CrazyMARL

Definição do Problema

O transporte colaborativo de cargas suspensas por cabos por equipes de Veículos Aéreos Não Tripulados (VANTs) oferece um potencial significativo para aumentar a capacidade de carga e adaptar-se a cargas irregulares. No entanto, controlar tais sistemas é desafiador devido à complexa dinâmica de pêndulo, ao acoplamento de tensão e à transição entre os modos de cabo "frouxo" (slack) e "esticado" (taut). As estratégias de controle existentes enfrentam limitações específicas:

• Abordagens baseadas em modelos frequentemente dependem de suposições de hastes rígidas para os cabos, que falham em capturar dinâmicas híbridas (transições frouxo-esticado) e limitam a agilidade. Métodos centralizados sofrem com gargalos de escalabilidade e pontos únicos de falha, enquanto controladores descentralizados baseados em modelos podem carecer de garantias de desempenho ou enfrentar dificuldades com comunicação iterativa.
• Abordagens de Aprendizado por Reforço (RL) têm mostrado promessa em cenários de agente único e algumas tarefas multiagente, mas trabalhos anteriores em transporte de carga multi-VANT concentraram-se amplamente em suposições de ligação rígida ou arquiteturas de treinamento centralizado com execução descentralizada (CTDE) que exigem sobrecarga de comunicação.
• Restrições de Hardware: A maioria dos métodos existentes não aborda o controle de múltiplos robôs operando em microcontroladores embarcados com recursos limitados (ex: Crazyflie 2.1) próximos aos seus limites de atuação, onde a baixa relação empuxo-peso torna comum a operação próxima da saturação do motor.

Metodologia

Os autores propõem o CrazyMARL, um framework de Aprendizado por Reforço Multiagente (MARL) descentralizado projetado para o transporte aéreo cooperativo com dinâmica de cabos realista.

1. Framework e Arquitetura

• Algoritmo: O sistema utiliza Otimização de Política de Proximidade Independente (IPPO) com compartilhamento de parâmetros. Isso segue um regime de execução completamente descentralizado onde cada agente age com base em observações locais sem comunicação entre robôs, evitando gargalos de escalabilidade.
• Pipeline de Treinamento: O treinamento é conduzido de ponta a ponta usando JAX e MuJoCo MJX em GPUs, permitindo milhares de ambientes paralelos. Esta configuração de alto rendimento possibilita uma extensa randomização de domínio (DR) em um curto espaço de tempo (2 bilhões de passos em 70 minutos).
• Espaço de Observação: Cada agente $i$ recebe uma observação local $o^i_t$ composta por:
  • Erro da carga ($e^P_t$) e velocidade ($v^P_t$).
  • Posição relativa ($\delta^i_t$), orientação ($vec(R^i_t)$), e velocidades ($v^i_t, \omega^i_t$) do agente.
  • A ação anterior do agente ($a^i_{t-1}$).
  • Posições relativas de companheiros de equipe ($\{\delta^j_t\}_{j \neq i}$) para coordenação.
• Espaço de Ação: Os agentes produzem comandos de motor normalizados mapeados diretamente para ciclos de trabalho de Modulação por Largura de Pulso (PWM) a 250 Hz. A política ignora controladores em cascata de baixo nível (ex: PID ou mistura de empuxo), mapeando diretamente para a atuação do motor para operar efetivamente próximo aos limites físicos.

2. Simulação e Dinâmica

• Modelo de Cabo Híbrido: Diferente de trabalhos anteriores que usam hastes rígidas, a simulação emprega tendões do Mujoco para modelar cabos que exercem tensão apenas quando esticados e força zero quando frouxos. Isso captura as dinâmicas híbridas frouxo-esticado essenciais para manobras ágeis.
• Randomização de Domínio (DR): Para garantir a transferência sim-to-real robusta, o treinamento incorpora a randomização de:
  • Estados iniciais (incluindo partidas do solo e cabos frouxos).
  • Parâmetros de atuador (limites de empuxo, constantes de tempo, offsets de motor).
  • Ruído de observação e perturbações externas estocásticas (vento, empurrões).
  • Posições alvo.

3. Design de Recompensa

Uma função de recompensa modular e composta $r = r_{track} \cdot r_{stable} + r_{safe}$ é utilizada:

• Rastreamento ($r_{track}$): Minimiza o erro da carga e alinha a velocidade da carga com o alvo.
• Estabilidade ($r_{stable}$): Penaliza oscilações excessivas, inclinação e velocidade, ao mesmo tempo que incentiva cabos esticados.
• Segurança ($r_{safe}$): Incentiva ações suaves, empuxo de motor equilibrado e evasão de colisões.
  Os termos de recompensa são limitados a [0, 1] para facilitar gradientes suaves e evitar que o agente aprenda a encerrar episódios prematuramente.

Principais Contribuições

1. Controle Descentralizado de Ponta a Ponta: A primeira demonstração de uma política MARL totalmente descentralizada para transporte de carga suspensa por cabos multi-VANT que gera comandos diretos de PWM de motor sem cascata de baixo nível, especificamente adaptada para plataformas de recursos limitados como o Crazyflie 2.1.
2. Dinâmica de Cabo Híbrida: O framework modela explicitamente e aprende a controlar as transições entre os modos de cabo frouxo e esticado, uma capacidade anteriormente não abordada em contextos multi-VANT, que tipicamente assumiam ligações rígidas.
3. Transferência Zero-Shot Sim-to-Real: Implementação bem-sucedida da política aprendida em hardware real (Crazyflie 2.1) sem ajuste fino, demonstrando robustez contra vento, empurrões externos e condições iniciais severas.
4. Pipeline de Treinamento de Alto Rendimento: Um pipeline JAX/MJX paralelizado em GPU que treina políticas complexas de múltiplos robôs em minutos, acelerando significativamente o ciclo de iteração em comparação com métodos tradicionais.

Resultados Experimentais

Simulação

• Rejeição de Perturbações: Em cenários de recuperação severos (estados iniciais randomizados, incluindo partidas do solo e cabos frouxos), a política CrazyMARL alcançou uma taxa de recuperação de 80% (797/1000 tentativas), superando significativamente um controlador baseado em modelo de referência (taxa de sucesso de 44%).
• Agilidade: A política aprendida manteve uma velocidade média de 0.58 m/s comparada a 0.27 m/s da linha de base, com amortecimento mais rápido da oscilação da carga e trajetórias mais diretas.
• Generalização: A política generalizou bem para variações no comprimento do cabo, massa da carga e ruído de observação, embora o desempenho tenha degradado com cabos muito longos (>1m) ou escalas de ruído extremas.
• Escalabilidade: O sistema escalou com sucesso de 1 para 3 quadricópteros. Equipes de 6 quadricópteros mostraram limites de coordenação (encerramento precoce), mas o framework demonstrou compartilhamento de carga e recuperação eficaz para equipes menores.

Hardware (Mundo Real)

• Plataforma: Implementado em dois quadricópteros Crazyflie 2.1 carregando uma carga de 10g.
• Desempenho: O sistema executou decolagens autônomas e manteve voo estável sob ventos médios de 3.5 m/s.
• Precisão: A política manteve um Erro Quadrático Médio (RMSE) de posição de 0.077 m sob vento, um aumento marginal sobre o RMSE de 0.064 m em condições calmas.
• Robustez: Os robôs recuperaram-se com sucesso de empurrões externos fortes e mantiveram trajetórias em forma de oito com a carga, capacidades que o controlador de linha de base não conseguiu alcançar.

Significância e Alegações

O artigo afirma que o CrazyMARL fornece uma solução escalável e resiliente para manipulação aérea cooperativa em ambientes não estruturados. Ao combinar execução descentralizada com controle direto de motor e dinâmica de cabos híbridos realistas, o trabalho permite que equipes de VANTs operem próximas aos seus limites físicos de atuação enquanto rejeitam perturbações. Os autores posicionam este trabalho como um passo em direção a equipes autônomas capazes de missões de carga complexas onde controladores tradicionais baseados em modelos encontram dificuldades devido a imprecisões de modelagem e sobrecarga de comunicação. A transferência bem-sucedida zero-shot para hardware com robôs de baixa relação empuxo-peso destaca a viabilidade prática de políticas de RL de alta frequência e ponta a ponta em cenários do mundo real.