Resumo Técnico: Voo Externo Guiado por Visão e Evasão de Obstáculos via Aprendizado por Reforço

Declaração do Problema

Enquanto os quadricópteros oferecem alta mobilidade, sua aplicação em ambientes sem GNSS e sem telemetria (por exemplo, florestas sob copas, subterrâneos, zonas de guerra) é atualmente limitada pela necessidade de controle contínuo do piloto ou dependência de trajetórias pré-definidas. A navegação autônoma tradicional frequentemente decompõe tarefas em unidades separadas de percepção, planejamento e controle, o que pode sofrer com erros cumulativos na estimativa de estado e ruído dos sensores. Além disso, métodos existentes baseados em aprendizado frequentemente produzem políticas vinculadas a dinâmicas específicas de drones ou exigem controladores preditivos de modelo (MPC) que não podem ser implantados diretamente em drones comerciais prontos-fora-da-fábrica por meio de APIs de comando de velocidade padrão. O desafio central abordado é alcançar navegação autônoma robusta, zero-shot, em ambientes externos desconhecidos e ricos em obstáculos, utilizando apenas sensores a bordo (visão estéreo e VIO) e uma interface genérica de comando de velocidade, sem exigir ajuste específico da plataforma.

Metodologia

Os autores propõem uma política sensorimotora modular, ponta a ponta, treinada por meio de um paradigma de Aprendizado por Reforço (RL) e Aprendizado Privilegiado em duas etapas. A arquitetura do sistema e o pipeline de treinamento são os seguintes:

1. Arquitetura do Sistema

• Cabeça de Percepção: Um autoencoder denoising pré-treinado mapeia imagens de profundidade estéreo de alta dimensão ($192 \times 108$) para um espaço latente de baixa dimensão ($R^{128}$). Este codificador é treinado no conjunto de dados DIML com ruído gaussiano injetado para garantir robustez ao ruído de profundidade estéreo e a ambientes variados.
• Planejamento e Controle: Uma rede de Memória de Curto e Longo Prazo (LSTM) processa as características de profundidade latente concatenadas e o vetor de estado (posição relativa do objetivo, taxas de rolagem/arfagem/yaw, erro de rumo). A LSTM comanda comandos de velocidade ($v_x, v_z, \omega$) diretamente compatíveis com APIs de drones comerciais (por exemplo, DJI).
• Espaço de Estado: Inclui posição relativa do objetivo, taxas angulares, diferença de rumo e imagens de profundidade achatadas.
• Espaço de Ação: Velocidade horizontal, velocidade vertical e velocidade angular de yaw, escaladas para as capacidades máximas do drone.

2. Pipeline de Treinamento

A política é treinada no simulador Flightmare usando Otimização de Política Proximal (PPO) através de três fases distintas:

• Etapa 1: Geração de Trajetória Ótima: Um planejador de movimento global gera trajetórias dinamicamente viáveis, minimizando o "jerk" (derivada terceira), em ambientes aleatorizados.
• Etapa 2: Aprendizado Privilegiado: A política é treinada em um ambiente simples (pilares espaçados) usando as trajetórias ótimas como sinal supervisor. A função de recompensa inclui um termo para proximidade da trajetória ótima para guiar a convergência inicial e ensinar comportamentos de voo eficientes em termos de tempo.
• Etapa 3: Ajuste Fino com Currículo: A política é ajustada finamente em um ambiente complexo de currículo com três regiões de dificuldade crescente (pilares, painéis, paredes). Crucialmente, a recompensa de trajetória ótima é removida nesta etapa para evitar que a política se ajuste excessivamente a um único caminho em ambientes multimodais, incentivando a generalização robusta.

3. Ponte Sim-Real

Para garantir a transferência para hardware do mundo real, os autores empregam:

• Aleatorização de Domínio: Aleatorização da massa do drone, inércia e latência de controle; adição de ruído gaussiano às medições de estado; e desfoque gaussiano nas entradas de profundidade para simular a degradação de sensores do mundo real.
• Moldagem de Recompensa: Penalidades específicas são aplicadas à magnitude da velocidade angular de yaw, aceleração e "jerk" (derivada terceira) para desencorajar oscilações de alta frequência e garantir perfis de voo suaves e mecanicamente sólidos que se generalizem entre diferentes dinâmicas de drone.

Resultados Chave

Avaliação em Simulação

• Desempenho: A política alcançou altas taxas de sucesso (99,2% a 1,0 m/s, caindo para 78% a 7,0 m/s) em percursos de obstáculos simulados.
• Estudos de Ablação: A remoção de termos de recompensa para "jerk", aceleração ou magnitude de velocidade resultou em oscilações erráticas de alta frequência, confirmando a necessidade de penalidades de suavidade para controle estável.
• Estratégia de Treinamento: A abordagem híbrida (Aprendizado Privilegiado + Currículo) superou políticas treinadas apenas em aprendizado privilegiado ou apenas em aprendizado por currículo, alcançando as maiores taxas de sucesso estáveis e o menor tempo até o objetivo.
• Robustez: Comparado à linha de base MAVRL, o método proposto manteve altas taxas de sucesso conforme as dinâmicas do drone foram escaladas (simulando um aumento de peso de 10x), enquanto o desempenho do MAVRL degradou-se rapidamente. A política proposta gerou "jerk" de trajetória significativamente menor em escalas variadas.

Experimentos no Mundo Real

• Configuração: Os experimentos foram conduzidos em um DJI Matrice 300 RTK (6,3 kg, ~10x mais pesado que o drone Kingfisher simulado) equipado com uma câmera estéreo Zed2i e Jetson AGX Xavier.
• Ambientes: Os testes foram realizados em três configurações externas (Parede, Triângulo, Triângulo Invertido) com posições de início/objetivo variadas, incluindo ambientes modificados com obstáculos ocultos e espaço livre reduzido.
• Ensaios VIO: Usando apenas Odometria Visual-Inercial (VIO) para posicionamento, o sistema alcançou uma taxa de sucesso de 100% em 18 ensaios. A distância média até o objetivo foi de 2,27m, atribuída ao desvio do VIO (até 3m) e não a falha de navegação, pois o drone evitou com sucesso obstáculos e alcançou a vizinhança do objetivo.
• Ensaios GNSS: Ao usar GNSS para posicionamento, o sistema alcançou uma taxa de sucesso de 100% com uma distância média até o objetivo de 0,81m, demonstrando navegação precisa sem colisões.
• Velocidade: O drone manteve uma velocidade média de 2,58 m/s, próxima ao máximo comandado de 3,0 m/s.

Significado e Alegações

O artigo afirma que o sistema proposto conecta com sucesso a lacuna Sim-Real para voo autônomo baseado em visão em ambientes desconhecidos. O significado principal reside na demonstração de transferência zero-shot para uma plataforma de drone (DJI M300) com dinâmicas substancialmente diferentes da simulação de treinamento (diferença de peso de 10x) e em ambientes nunca encontrados durante o treinamento.

Os autores enfatizam que, ao usar aprendizado por reforço com moldagem específica de recompensa e aleatorização de domínio, em vez de aprendizado por imitação vinculado a dinâmicas específicas, a política aprende a gerar comandos de velocidade robustos e de baixo "jerk". Isso permite que o sistema interfira com drones comerciais prontos-fora-da-fábrica por meio de APIs padrão, sem ajuste específico da plataforma. O trabalho valida que políticas robustas podem abstrair dinâmicas de voo complexas, permitindo navegação confiável em ambientes externos desordenados e sem GNSS, usando apenas visão estéreo a bordo e VIO.