Resumo Técnico: Aprendizado por Reforço com Estimador de Dinâmica de Loop Interno para Manipulação Aérea sob Incerteza

Declaração do Problema

Manipuladores aéreos, que integram UAVs multirotores com braços robóticos, são essenciais para a interação física em ambientes 3D complexos. No entanto, alcançar uma manipulação aérea direta de corpo inteiro confiável continua sendo um desafio significativo. A dificuldade central reside no forte acoplamento entre a base aérea subatuada e o braço manipulador. Movimentos rápidos do braço, mudanças de carga útil (pegar/soltar) e distúrbios externos causam deslocamentos transientes no centro de gravidade, inércia e acoplamento dinâmico. Essas incertezas são difíceis de modelar analiticamente, tornando o controle estável e preciso sob variadas condições operacionais um problema amplamente não resolvido. Métodos existentes frequentemente dependem de modelos lineares simplificados ou estratégias de controle desacopladas que falham em considerar essas dinâmicas não lineares e acopladas, levando à degradação do desempenho durante manobras agressivas ou variações de carga útil.

Metodologia

Os autores propõem um framework de controle hierárquico que combina Aprendizado por Reforço (RL) para coordenação de alto nível com um estimador de dinâmica de loop interno para compensação de incerteza de baixo nível. O sistema opera sem exigir um modelo dinâmico acoplado totalmente preciso na camada da política.

1. Arquitetura Hierárquica

• Loop Externo (Política de RL): Uma política aprendida mapeia uma pose alvo desejada do efetor final em 6-DOF para comandos coordenados de corpo inteiro. O espaço de observação (33 dimensões) inclui erros geométricos no espaço da tarefa, estados da base (posição, velocidade, atitude) e estados das juntas. O espaço de ação (10 dimensões) gera aceleração linear desejada da base, yaw desejado, taxas de corpo desejadas e posições de junta desejadas.
  • Treinamento: A política é treinada usando Otimização de Política Próxima (PPO) em uma simulação vetorizada acelerada por GPU (Aerial Gym) com randomização de domínio (variando massa de carga útil, comprimentos de elos, constantes de tempo de motor, etc.).
  • Modelagem de Recompensa (Reward Shaping): A função de recompensa utiliza um modelagem exponencial de duas escalas para equilibrar a convergência global (alcançar o alvo) com a precisão local (manter estabilidade e suavidade). Uma recompensa de progresso temporal incentiva o movimento em direção ao objetivo enquanto penaliza o movimento para trás para evitar oscilações.
• Loop Interno (Controlador Baseado em Estimador): Esta camada rastreia os comandos de alto nível gerados pela política de RL. Ela emprega um estimador de dinâmica baseado em atraso para compensar deslocamentos inerciais transientes e acoplamento não modelado sem conhecimento prévio do sistema.
  • O controlador trata a dinâmica desconhecida agrupada (incluindo termos de acoplamento, forças de Coriolis e distúrbios) como uma função de incerteza $\bar{H}_\eta$.
  • Usando uma matriz de inércia nominal diagonal $\bar{M}_\eta$ e um atraso $L$, o controlador estima a incerteza $\hat{\bar{H}}_\eta(t)$ a partir de entradas de estado e controle passadas: $\hat{\bar{H}}_\eta(t) = \tau_\eta(t-L) - \bar{M}_\eta \ddot{\eta}(t-L)$.
  • A lei de controle combina um termo de rastreamento padrão com esta incerteza estimada para gerar comandos de torque de baixo nível tanto para o corpo do quadrotor quanto para as juntas do manipulador.

2. Implementação do Sistema

O framework foi validado em uma plataforma de hardware customizada consistindo em um quadrotor Tarot-450, um manipulador de 3-DoF Dynamixel e um Jetson Orin Nano Super para computação de alto nível. A política de RL roda a 100 Hz, enquanto o controlador de loop interno opera a 300 Hz.

Principais Contribuições

1. Arquitetura Hierárquica: Uma integração inovadora de geração de comando de corpo inteiro baseada em RL com um loop interno baseado em estimador para rastreamento e compensação de incerteza.
2. Camada de Execução Livre de Modelo: Uma camada de execução de estimativa de dinâmica capaz de lidar com mudanças de acoplamento dinâmico UAV-braço transiente, incluindo variações inerciais de eventos de agarrar/soltar e movimento rápido do manipulador, sem a necessidade de um modelo de sistema a priori.
3. Avaliação Robusta: Avaliação abrangente sob condições fora do nominal, especificamente variações de carga útil e acoplamento dinâmico durante o movimento do braço.
4. Melhoria Demonstrada: Evidência empírica mostrando que a combinação de coordenação aprendida com feedback baseado em estimador melhora significativamente a precisão de regulação e a suavidade do efetor final sob incerteza dinâmica.

Resultados Experimentais

O método proposto foi testado em uma trajetória planar de figura em oito com cargas úteis variáveis (200g e 400g) e velocidades (0.5 m/s e 1.0 m/s), incluindo ações de coleta e entrega em voo. Foi comparado contra dois baselines: RL+PID e RL+INDI+PID (Controle Adaptativo Indireto).

• Precisão de Rastreamento: O método proposto alcançou o menor Erro Quadrático Médio (RMSE) em todas as condições testadas.
  • Comparado ao RL+PID, reduziu o RMSE médio em 40,9%.
  • Comparado ao RL+INDI+PID, reduziu o RMSE médio em 26,4%.
• Taxa de Sucesso: O método proposto demonstrou maiores taxas de sucesso de tarefa, particularmente em cenários agressivos (ex: carga útil de 400g a 1.0 m/s), onde os baselines mostraram degradação significativa de desempenho.
• Repetibilidade: O desvio padrão do RMSE foi o mais baixo para o método proposto (0.024 m) em comparação com os baselines (0.038 m e 0.062 m), indicando repetibilidade superior sob variabilidade de hardware.

Significância e Alegações

O artigo afirma que a abordagem proposta aborda efetivamente o desafio aberto da manipulação aérea direta de corpo inteiro sob mudanças abruptas de carga útil e incerteza dinâmica. Os autores asseveram que a coordenação de corpo inteiro aprendida é mais eficaz quando pareada com compensação de baixo nível baseada em estimador. Esta combinação permite que o sistema:

• Gere comandos de nível de tarefa sem depender de um modelo analítico preciso da dinâmica acoplada.
• Compense deslocamentos inerciais transientes e distúrbios não modelados em tempo real.
• Melhore a precisão, robustez e repetibilidade em regimes de alta velocidade e alta carga útil onde abordagens tradicionais de modelo ou de aprendizado simplificado têm dificuldade.

Os resultados são apresentados como evidência empírica forte apoiando a eficácia deste design hierárquico, embora os autores notem que o estudo é limitado ao experimento específico de hardware da figura em oito e não inclui testes formais de significância.