Resumo Técnico: Um Drone de RL Treinado em Simulação para Busca Eficiente de Objetos na Agricultura

Declaração do Problema

Veículos aéreos não tripulados (drones) oferecem um potencial significativo para a agricultura de precisão, permitindo tarefas como detecção precoce de doenças, localização de ervas daninhas e avaliação de solo. No entanto, sua eficiência operacional é severamente limitada pela capacidade reduzida da bateria, o que restringe a área passível de cobertura em um único voo. As abordagens tradicionais dependem de planejadores de cobertura total que mapeiam campos inteiros com distribuição espacial uniforme. Isso é frequentemente subótimo para tarefas agrícolas onde os objetos alvo (ex: espécies específicas de ervas daninhas ou manchas de doenças) são distribuídos de forma não uniforme em clusters espaciais, em vez de estarem espalhados aleatoriamente. Em tais cenários, a cobertura exaustiva é desnecessária; o objetivo é detectar a maioria dos objetos com um caminho de voo mínimo. Embora existam planejadores de trajetória adaptativos, métodos baseados em regras muitas vezes exigem redesenho explícito para novos ambientes e têm dificuldade com a incerteza. Este artigo aborda o desafio de desenvolver um planejador de trajetória adaptativo baseado em aprendizado que possa navegar eficientamente por objetos distribuídos de forma não uniforme, equilibrando a revocação de detecção com o comprimento do caminho de voo, e transferir com sucesso da simulação para a implantação no mundo real.

Metodologia

Estrutura de Aprendizado por Reforço

O núcleo da abordagem é um agente de Deep Q-Network (DQN) treinado para maximizar recompensas de longo prazo ao tomar decisões sequenciais em um Processo de Decisão de Markov (MDP).

• Espaço de Estados: O agente observa um mapa global centrado no drone (baixa resolução, cobrindo todo o campo) e um mapa local (alta resolução, correspondente ao campo de visão da câmera). Esses mapas incluem camadas para bordas do campo, objetos encontrados anteriormente, um mapa de cobertura (para desencorajar a revisitação) e um mapa de conhecimento prévio (derivado de levantamentos de alta altitude). O estado também inclui o nível atual de bateria do drone.
• Espaço de Ações: O agente seleciona entre oito ações direcionais (Norte, Sul, Leste, Oeste e quatro diagonais) e uma ação de "pousar" para terminar a busca. Cada ação move o drone um número fixo de células de grade.
• Função de Recompensa: O agente recebe recompensas positivas por detectar objetos corretamente e penalidades negativas por passos de voo, entrar em zonas de exclusão aérea, bater (depleção de bateria) e revisitar células de grade já exploradas.

Simulação e Randomização de Domínio

O treinamento ocorre em um ambiente de simulação abstrato projetado para reduzir o gap sim-to-real através de randomização de domínio:

• Ambiente: Os campos são gerados como polígonos convexos ou côncavos aleatórios. As distribuições de objetos são modeladas como clusters seguindo distribuições Gaussianas multivariadas, com variados números de clusters e objetos.
• Modelagem de Ruído: A simulação incorpora erros de detecção realistas (falsos positivos e falsos negativos) tanto para o mapa de observação (câmera simulada) quanto para o mapa de conhecimento prévio.
• Treinamento: O agente é treinado usando experiência de replay e um fator de desconto de 0,99 ao longo de $2 \times 10^7$ passos. A arquitetura da rede processa os mapas globais e locais via camadas convolucionais paralelas, concatena-os com o status da bateria e gera valores de ação através de camadas totalmente conectadas.

Pipeline de Aplicação no Mundo Real

Para implantar a política treinada em simulação:

1. Detecção de Objetos: Uma rede YOLOv11-m detecta objetos em imagens de drones em tempo real.
2. Conversão de Coordenadas: Coordenadas UTM do mundo real são transformadas no sistema de grade da simulação, contabilizando a rotação e a escala do campo.
3. Geração de Conhecimento Prévio: Um voo de alta altitude com cobertura total (sem sobreposição) gera um mapa de conhecimento prévio binário. Este mapa é intencionalmente ruidoso, priorizando a revocação sobre a precisão para garantir que nenhum alvo potencial seja perdido.
4. Execução: As ações do agente de RL são convertidas em coordenadas GPS e executadas via uma aplicação MAVLink customizada em um drone DJI M350.

Estratégia de Avaliação: Seis Níveis de Realismo

O artigo introduz um framework de avaliação sistemática usando seis níveis de realismo para quantificar a contribuição de cada componente para o gap sim-to-real:

• Nível 1: Simulação pura (todos os componentes simulados).
• Nível 2: Posições reais de objetos (de ortomosaicos) em um ambiente simulado.
• Nível 3: Posições reais de objetos + Conhecimento prévio real (gerado de ortomosaicos).
• Nível 4: Posições reais de objetos + Conhecimento prévio real + Observações reais (YOLOv11 aplicado a culturas de ortomosaicos).
• Nível 5: Posições reais de objetos + Conhecimento prévio real (coletado durante o voo) + Observações reais (de ortomosaicos).
• Nível 6: Implantação total no mundo real (voo ao vivo com controlador real e feed de câmera ao vivo).

Principais Contribuições

1. Simulador Aperfeiçoado: Extensão do simulador original para incluir campos maiores de formatos aleatórios e um conjunto expandido de ações de voo diagonais.
2. Randomização de Domínio: Treinamento em uma diversidade de distribuições de objetos, contagens de clusters e formas de campos para melhorar a generalização.
3. Conhecimento Prévio do Mundo Real: Integração de conhecimento prévio derivado de voos reais de alta altitude.
4. Análise Sistemática de Gap: Avaliação através de seis níveis de realismo usando 28 repetições baseadas em ortomosaicos e dois testes de voo no mundo real para isolar fontes específicas de degradação de desempenho.
5. Implantação no Mundo Real: Demonstração do agente de RL controlando diretamente um drone DJI M350 para decisões de navegação.
6. Código Aberto: Lançamento público de código, dados e pipelines de avaliação.

Resultados

Desempenho Simulação-para-Realidade

• Trade-off Eficiência vs. Revocação: Em simulação pura (Nível 1), o agente de RL alcançou um caminho de voo 57% menor comparado a um planejador de cobertura total, com uma revocação 13% menor (0,85 vs. 0,98).
• Ortomosaicos do Mundo Real (Nível 4): Em dados de ortomosaicos reais, o agente de RL alcançou um caminho de voo 38% menor com uma revocação 21% menor (0,77 vs. 0,98) comparado à cobertura total.
• Generalização: O agente generalizou bem para distribuições de objetos reais (a queda do Nível 1 para o 2 foi de apenas ~2%). A transição para redes de detecção reais (Nível 3 para 4) causou uma queda de 6% na revocação, indicando que a simulação de erros de detecção foi razoavelmente precisa.

Testes de Voo no Mundo Real

Dois voos no mundo real (Nível 6) foram realizados:

• Teste 1: O agente encontrou 73% das ervas daninhas em 91 passos.
• Teste 2: O agente encontrou apenas 23% das ervas daninhas em 93 passos.
• Análise de Causa Raiz: O baixo desempenho no Teste 2 (e a queda no Teste 1 em comparação com as avaliações de ortomosaico) foi atribuído principalmente ao conhecimento prévio de baixa qualidade. No Teste 2, a revocação do conhecimento prévio caiu para 0%, fornecendo efetivamente nenhuma orientação ao agente. No Teste 1, a revocação do conhecimento prévio foi de apenas 5%. O estudo observa que, embora o conhecimento prévio não precise ser perfeito, uma revocação de 0% leva a uma degradação significativa de desempenho.

Ineficiências no Caminho de Voo

O agente exibiu comportamento de looping (voando repetidamente de um ponto a outro) e às vezes continuou voando após a maioria dos alvos ter sido encontrada. Isso sugere que a penalidade de recompensa por revisitar áreas ($r_{nocov}$) foi insuficiente para desencorajar totalmente tal comportamento em cenários complexos do mundo real.

Significância e Alegações

O artigo afirma que o planejamento de trajetória adaptativo baseado em aprendizado pode melhorar significativamente a eficiência da coleta de dados na agricultura de precisão quando a cobertura exaustiva não é necessária. Ao trocar uma redução moderada na revocação por uma redução substancial no tempo de voo (caminhos 38% mais curtos), a abordagem oferece uma alternativa viável aos planejadores de cobertura total para tarefas como detecção de ervas daninhas e doenças, onde os alvos estão agrupados.

Os autores enfatizam que o gap sim-to-real é gerenciável, mas sensível a componentes específicos:

• Distribuição de Objetos: O agente generaliza bem para padrões espaciais reais.
• Redes de Detecção: Erros simulados preparam efetivamente o agente para o ruído de detecção do mundo real.
• Conhecimento Prévio: Este é o fator mais crítico. O estudo destaca que o conhecimento prévio impreciso ou ausente é a fonte dominante de falha na implantação no mundo real, mais do que a qualidade do controlador de voo ou do feed da câmera ao vivo.

O artigo conclui que, embora a abordagem mostre promessa para implantação prática, melhorias adicionais na qualidade do conhecimento prévio (ex: reutilização de dados de voos anteriores) e na eficiência do caminho de voo (ex: roteamento híbrido ou estratégias hierárquicas) são necessárias antes da adoção generalizada. O trabalho serve como uma prova de conceito de que políticas de RL treinadas em simulação podem ser transferidas para drones reais para tarefas de busca adaptativa.