Aerial Inspection Behaviors via RL-based Quadrotor Control for Under-canopy Forest Environments

Resumo Técnico: Comportamentos de Inspeção Aérea via Controle de Quadrotor Baseado em RL para Ambientes Florestais Sob Copa

Declaração do Problema
Este artigo aborda o desafio de implantar quadrotor autônomos para missões de inspeção dentro de ambientes florestais sob copa. Embora os quadrotor sejam bem adequados para espaços confinados e cluttered, as pipelines de autonomia convencionais geralmente dependem de uma pilha de controle estruturada (por exemplo, PID ou rastreamento geométrico) combinada com planejadores de movimento. Os autores investigam se um controlador de nível de motor aprendido, de ponta a ponta, pode servir como uma camada de execução prática alternativa dentro de uma pilha de autonomia guiada por planejador. O problema específico envolve alcançar o rastreamento simultâneo de referência de posição e guinada (rastreamento de pose de visão) para suportar vários comportamentos de inspeção, como navegação ponto a ponto, varredura circular e trajetórias helicoidais, enquanto opera sob ruído de medição de estado e perturbações externas.

Metodologia
A solução proposta utiliza uma arquitetura de autonomia hierárquica composta por três camadas distintas:

1. Navegação de Alto Nível (Planejador TSP): Dado um mapa conhecido da floresta e um conjunto de regiões de inspeção definidas pelo usuário, um planejador do Problema do Caixeiro Viajante (TSP) calcula a sequência ótima para visitar esses alvos. A função de custo é baseada na distância euclidiana, ignorando altitude e guinada para a geração inicial da sequência.
2. Planejamento de Caminho de Nível Intermediário (Planejador RRT):* Um planejador informado de Árvore Aleatória de Exploração Rápida Estrela 3D (RRT*) gera caminhos livres de colisões entre os alvos sequenciais definidos pelo TSP. Este planejador respeita as limitações específicas de rastreamento e os limites de segurança do controlador de nível inferior (por exemplo, garantindo que os pontos de passagem estejam dentro de um raio de 3 metros para contabilizar as condições de término do treinamento). Ele produz uma sequência de pontos de passagem livres de colisões e perfis de rumo.
3. Execução de Baixo Nível (Controlador RL): A contribuição central é uma política de Aprendizado por Reforço (RL) profunda que mapeia observações de estado diretamente para comandos de RPM do motor.
   • Formulação: O problema é modelado como um Processo de Decisão de Markov Parcialmente Observável (POMDP).
   • Espaço de Observação: Inclui erro de posição ruidoso, erro de quaternion, velocidade linear, velocidade angular e a ação anterior (para manter propriedades de Markov). Ruído gaussiano é injetado durante o treinamento para aumentar a robustez.
   • Espaço de Ação: A política produz RPMs normalizados do motor, que são convertidos em valores brutos de RPM na simulação.
   • Moldagem de Recompensa: Uma função de recompensa multi-componente incentiva a sobrevivência (evitando colisões), rastreamento preciso de posição (usando recompensas exponenciais de banda dupla para erros horizontais e verticais), minimização de velocidade, rastreamento preciso de ângulo geodésico (guinada) e suavidade da ação (penalizando mudanças rápidas nos comandos do motor).
   • Arquitetura: A política é um Perceptron Multicamadas (MLP) com 17 entradas e 4 saídas, treinado usando a biblioteca Stable-Baselines3 dentro de um ambiente Gym-PyBullet-Drones.

Principais Contribuições
Os autores apresentam três contribuições primárias:

1. Política de Controle de Ponta a Ponta: Um controlador de baixo nível baseado em RL que mapeia observações de estado diretamente para RPMs do motor para rastreamento simultâneo de posição e guinada, eliminando a necessidade de decomposição explícita em controle de posição de malha externa e controle de atitude de malha interna.
2. Integração de Sistema: Uma demonstração de que este controlador aprendido pode ser implantado de forma confiável como módulo de execução dentro de um framework de navegação de nível superior (TSP + RRT*) para missões de longo alcance sob copa.
3. Validação: O sistema completo é validado em cinco cenários de inspeção distintos, provando a viabilidade do controlador RL em ambientes complexos semelhantes a florestas.

Resultados e Validação
O sistema foi avaliado em um ambiente florestal simulado contendo 200 troncos de árvores cilíndricos. A validação cobriu cinco cenários específicos:

1. Navegação Sob Copa: O quadrotor navegou com sucesso entre oito alvos de inspeção, com o TSP determinando a ordem e o RRT* gerando o caminho. O controlador RL rastreou os pontos de passagem resultantes livres de colisões.
2. Rastreamento de Pose de Visão: O drone inspecionou cinco árvores em altitudes variadas, mantendo uma distância de segurança de 1 metro e apontando seu eixo x do corpo para cada árvore.
3. Varredura de Cena Estacionária: O quadrotor manteve uma posição fixa enquanto girava 360 graus para escanear uma área específica.
4. Rastreamento de Trajetória Circular: O drone rastreou um caminho circular ao redor de um tronco de árvore em uma altitude constante e distância horizontal de 50 cm.
5. Rastreamento de Trajetória Helicoidal: O drone executou uma trajetória em espiral ao redor de uma árvore, variando sua guinada para manter uma visão do centro do tronco durante toda a subida/descida.

Em todos os cenários, o controlador demonstrou movimento suave e preciso com pequenos erros de rastreamento de posição e guinada. Os resultados indicam que o controlador baseado em RL lida efetivamente com a execução de comportamentos de inspeção complexos gerados pelos planejadores de alto nível.

Significado e Alegações
O artigo alega que um controlador estabilizador de nível de motor aprendido, quando apoiado por uma camada de orientação de navegação, é um módulo de execução de baixo nível viável e eficaz para inspeção florestal sob copa. O trabalho sugere que políticas de ponta a ponta podem reduzir a necessidade de decomposição de controladores projetados manualmente, preservando ao mesmo tempo as garantias de segurança fornecidas por planejadores de nível superior. Os autores permanecem modestos quanto à implantação imediata, observando que o trabalho atual é uma validação baseada em simulação. Eles afirmam que o trabalho futuro focará na transferência sim-to-real e na validação em hardware real para avaliar a aplicabilidade do controlador em missões práticas de inspeção aérea no mundo real.