Relative State Estimation using Event-Based Propeller Sensing

1. Problema e Motivação

O voo em formação autônoma de enxames de drones (UAVs) requer uma estimativa precisa e rápida do estado relativo entre os robôs. Métodos tradicionais baseados em câmeras de quadro (frame-based RGB) enfrentam limitações significativas em condições desafiadoras:

• Baixa resolução temporal e alta latência: Dificultam o rastreamento de movimentos rápidos.
• Ambiguidade de escala e ruído: Problemas comuns em ambientes com desfoque de movimento, mudanças extremas de iluminação e ruído de fundo.
• Dependência de comunicação: A maioria das formações depende de comunicação explícita para trocar estados, o que pode falhar devido a latência ou perda de pacotes.

O artigo propõe superar essas limitações utilizando câmeras de eventos (event cameras), que oferecem alta dinâmica, baixa latência e resolução temporal de microssegundos, permitindo uma estimativa de estado descentralizada e robusta sem depender de comunicações de rádio.

2. Metodologia

O trabalho apresenta um framework que utiliza o fluxo de eventos gerado pelas hélices do drone alvo para estimar seu estado relativo (posição, velocidade e orientação). O pipeline é dividido nos seguintes componentes:

A. Detecção e Rastreamento de Hélices

• Processamento de Eventos: O fluxo de eventos é processado em "fatias temporais" (chunks) de 10 ms.
• Filtragem: Ruído de fundo é filtrado usando contraste espaço-temporal.
• Detecção de Região de Interesse (ROI): Duas abordagens são testadas para identificar as hélices:
  1. Componentes Conectados (CC): Acumula eventos em um mapa de densidade binária e aplica erosão morfológica. É computacionalmente eficiente.
  2. HDBSCAN: Um algoritmo de agrupamento baseado em densidade que não assume geometria circular, adaptando-se melhor a ângulos oblíquos, mas é mais custoso computacionalmente.
• Rastreamento: As regiões detectadas são rastreadas ao longo do tempo usando o framework Norfair, mantendo IDs estáveis mesmo durante oclusões temporárias.

B. Estimativa de Frequência (RPM)

• Dentro das regiões das hélices, os eventos são agrupados temporalmente.
• Aplica-se a Transformada Rápida de Fourier (FFT) ao sinal de contagem de eventos para detectar o pico de frequência dominante correspondente à taxa de passagem das pás.
• Um Filtro de Kalman (KF) suaviza as estimativas brutas, rejeitando outliers e garantindo consistência temporal.

C. Estimativa de Estado Relativo (Pipeline Acoplado)

O sistema utiliza dois Filtros de Kalman acoplados que operam em medições complementares:

1. Estimativa de Orientação (Roll e Pitch):

   • Dinâmica: A diferença nas frequências das hélices (esquerda vs. direita) é usada para inferir a velocidade angular de roll (rotação lateral).
   • Geometria: A forma elíptica da hélice projetada no plano da imagem é analisada usando a formulação Perspective-1-Ellipse (P1E). Ao ajustar uma elipse e fazer a retroprojeção, estima-se o vetor normal da hélice, que corresponde ao eixo z do corpo do drone no referencial do mundo.
   • Nota: O yaw (guinada) não é observável apenas pela geometria da elipse de hélice giratória e, portanto, não é estimado.

2. Estimativa de Posição e Velocidade:

   • Entrada de Empuxo: A frequência das hélices é convertida em empuxo total ($T \propto \sum \Omega^2$). Combinado com a estimativa de orientação, isso fornece a aceleração no referencial do mundo.
   • Medição de Posição: A posição 3D é derivada da câmera monocular usando a disparidade estereoscópica implícita (conhecendo o tamanho físico real entre as hélices e medindo a distância em pixels) para estimar a profundidade.
   • Fusão: O KF de posição usa a aceleração derivada do empuxo (corrigida pelo ângulo de inclinação) para prever o movimento e atualiza com a medição de posição da câmera.

3. Contribuições Principais

• Sensoriamento Baseado em Eventos para Enxames: Propõe o uso pioneiro de câmeras de eventos para estimativa de estado relativo de drones, superando as limitações de latência e dinâmica das câmeras tradicionais.
• Estimativa de RPM em Tempo Real: Desenvolve um método robusto para extrair frequências de hélices de fluxos de eventos em tempo real, com erro inferior a 3% em dados do mundo real.
• Fusão Dinâmica e Geométrica: Integra medições de frequência (dinâmica de empuxo) com geometria de elipse (orientação) e visão monocular (posição) em um sistema de filtragem acoplado.
• Validação em Cenários Reais: Diferente de trabalhos anteriores que usam apenas simulações, este método foi validado em cinco sequências de voo real ao ar livre com drones quadricópteros.

4. Resultados Experimentais

Os experimentos foram realizados com dois drones (um líder e um seguidor com câmera de eventos) em um ambiente externo.

• Precisão de RPM: Ambos os métodos de detecção (CC e HDBSCAN) alcançaram desempenho quase idêntico.
  • Erro Médio Absoluto Porcentual (MAPE): ~2.73% - 2.75%.
  • O método de Componentes Conectados (CC) foi escolhido para o pipeline final devido à sua maior velocidade de processamento.
• Estimativa de Estado:
  • Posição: O erro de posição no eixo Z foi o mais alto (média de 0.90 m) devido à incerteza inerente da estimativa de profundidade monocular. Os eixos laterais (X, Y) tiveram erros menores (0.30 m e ~0.12 m).
  • Velocidade: RMSE médio abaixo de 0.5 m/s em todos os eixos.
  • Orientação: O Roll foi estimado com maior precisão (RMSE 5.7°) do que o Pitch (9.2°), devido à maior observabilidade da diferença de RPM entre os motores laterais no conjunto de dados de teste.
• Robustez: O sistema manteve a estimativa contínua mesmo durante manobras laterais agressivas, embora oclusões parciais e ângulos de visão extremos tenham aumentado o erro em casos específicos.

5. Significado e Conclusão

Este trabalho demonstra que o sensoriamento baseado em eventos é viável e superior para a navegação de enxames em condições desafiadoras. Ao vincular diretamente a frequência das hélices a um modelo dinâmico físico, o sistema consegue inferir acelerações e orientações sem depender de comunicação de rádio ou de características visuais estáticas do ambiente.

A abordagem permite localização relativa descentralizada, essencial para enxames que operam em ambientes onde a comunicação é limitada ou inexistente (ex: resgate em desastres, exploração de cavernas). O método oferece uma alternativa robusta e de baixa latência aos sistemas de visão tradicionais, abrindo caminho para enxames de drones mais autônomos e resilientes.