Deep Visual Servoing of an Aerial Robot Using Keypoint Feature Extraction

Título: Controle Visual Servoing Baseado em Imagem (IBVS) Profundo para Robôs Aéreos usando Extração de Características por Pontos Chave

1. Problema Abordado

O artigo aborda o desafio da estimativa de pose e do controle de movimento de robôs aéreos (UAVs) em ambientes onde sistemas de captura de movimento (como motion capture) são inviáveis e o GPS é indisponível (ambientes GPS-denied).

• Limitações Atuais: Técnicas convencionais de Visual Servoing (Controle Visual) frequentemente dependem de marcadores artificiais ou são sensíveis a fatores como oclusão, variações de iluminação, desordem visual (clutter) e mudanças de fundo.
• Desafio Computacional: Métodos baseados em aprendizado profundo que processam imagens inteiras ou realizam estimativa de pose 6D completa podem ter uma complexidade computacional excessiva para execução em tempo real em dispositivos de borda de drones.
• Objetivo: Desenvolver um sistema de controle Image-Based Visual Servoing (IBVS) robusto que utilize redes neurais convolucionais (CNNs) para extrair características (pontos-chave) de objetos naturais, eliminando a necessidade de marcadores artificiais e mantendo a eficiência computacional.

2. Metodologia

A abordagem proposta integra a extração de características baseada em aprendizado profundo com um controlador de servoing visual clássico.

• Arquitetura de Controle (IBVS):

  • O sistema utiliza uma câmera monocromática RGB montada no drone.
  • O objetivo é minimizar o erro entre as coordenadas dos pontos de interesse na imagem atual ($s$) e as coordenadas desejadas ($s_d$).
  • A lei de controle calcula a velocidade do drone baseada na matriz de interação (Jacobian da imagem) e no erro de características, transformando o comando para o referencial do UAV.
  • O sistema lida com a sub-atuação do drone (não controlando diretamente pitch e roll) através de um conceito de "câmera virtual".

• Extração de Características (Deep Learning):

  • Modelo: Utiliza uma arquitetura CNN baseada no VGG-19, pré-treinada no ImageNet e adaptada via transfer learning.
  • Modificações: Camadas de max-pooling foram substituídas por average-pooling para reduzir o overfitting. A camada final de saída foi modificada para regressão, prevendo 8 coordenadas de pixels (4 cantos de um objeto retangular).
  • Treinamento: O modelo foi treinado com um conjunto de dados de 400 imagens de um saquinho de chá (objeto de interesse), aumentado por rotações e espelhamentos. O otimizador Adam foi usado com uma taxa de aprendizado de $10^{-5}$ por 300 épocas.
  • Saída: A CNN retorna as coordenadas normalizadas dos quatro cantos do objeto, que são então usadas para calcular a matriz de interação no controlador IBVS.

• Ambiente de Simulação:

  • Os testes foram realizados no simulador ROS Gazebo com física realista (diferente de muitos estudos que usam simulações sem física).
  • Um drone Parrot Bebop 2 foi simulado com uma câmera de 1080p.
  • Cenários testados: Condição ideal, oclusão parcial, iluminação forte, ambiente com desordem (clutter) e mudança de fundo.

3. Contribuições Principais

1. Robustez sem Marcadores: Desenvolvimento de um sistema IBVS para UAVs que não depende de marcadores artificiais, utilizando objetos naturais (saquinho de chá) detectados via CNN.
2. Resiliência a Condições Adversas: O sistema demonstra robustez contra oclusão parcial, variações de iluminação e ambientes com desordem visual, superando limitações de técnicas tradicionais baseadas em SIFT ou marcadores.
3. Simulação Física Realista: Implementação e avaliação extensiva em um ambiente ROS Gazebo com física, oferecendo uma validação mais próxima da realidade do que simulações puramente cinemáticas.
4. Análise de Desempenho: Avaliação detalhada do impacto de fatores como oclusão e mudanças de fundo na estabilidade do controle e na precisão da extração de características.

4. Resultados Experimentais

Os experimentos foram conduzidos em cinco cenários distintos no Gazebo:

• Condição Ideal: O erro de características normalizado convergiu para zero em aproximadamente 40 segundos, estabilizando o drone na posição desejada.
• Oclusão: O método mostrou-se robusto à oclusão parcial dos cantos. No entanto, houve oscilações no comando de velocidade ($v_x$) quando a detecção de um canto foi temporariamente perturbada.
• Iluminação Forte: O desempenho degradou-se ligeiramente em comparação ao ideal, mas o drone ainda alcançou a posição final com pequenas flutuações.
• Ambiente com Desordem (Clutter): O sistema identificou corretamente as características na maior parte do tempo. Erros pontuais de predição causaram mudanças súbitas no comando de velocidade, mas foram corrigidos rapidamente nos ciclos subsequentes.
• Mudança de Fundo: O sistema mostrou-se sensível a mudanças drásticas no fundo (ex: parede de tijolos). Isso resultou em um erro de estado estacionário de 0.4 e, em um caso, levou a uma colisão do UAV com a parede. A análise indica que o conjunto de dados de treinamento não cobriu variações significativas de intensidade de pixel no fundo.

Desempenho Computacional:

• Tempo de inferência da CNN: 60–130 ms.
• Pré-processamento (equalização de histograma e redimensionamento): ~90 ms.
• Cálculo do controlador: ~2 ms.
• Frequência de publicação da imagem: 30 Hz.

5. Significância e Conclusão

O artigo demonstra que a integração de CNNs para extração de pontos-chave específicos é uma abordagem viável e eficiente para o controle visual de drones, eliminando a dependência de marcadores artificiais. O sistema é altamente robusto a oclusões e variações de iluminação, o que é crucial para operações em ambientes dinâmicos.

No entanto, o estudo identifica uma limitação crítica: a sensibilidade a mudanças de fundo não vistas durante o treinamento. Isso sugere que, para aplicações em larga escala, futuros trabalhos devem focar em:

• Melhorar a generalização da extração de características para lidar com fundos complexos e superfícies sem textura.
• Refinar a detecção para evitar falsos positivos em ambientes altamente desordenados.

Em suma, o trabalho avança o estado da arte ao combinar controle visual clássico com aprendizado profundo, validado em um ambiente de simulação física rigoroso, oferecendo uma base sólida para futuras implementações em robótica aérea autônoma.