HelixTrack: Event-Based Tracking and RPM Estimation of Propeller-like Objects

O artigo apresenta o HelixTrack, um método totalmente baseado em eventos que rastreia objetos semelhantes a hélices e estima sua rotação por minuto (RPM) com latência de microssegundos, superando as limitações de rastreadores convencionais e introduzindo o novo conjunto de dados TQE para validação.

O essencial

Imagine que você está tentando assistir a um show de luzes muito rápido, mas seus olhos funcionam de um jeito estranho: em vez de ver uma imagem completa a cada segundo (como uma câmera normal), eles só registram mudanças de luz, como se fossem pequenos "cliques" ou "piscadas" que acontecem a cada microssegundo.

Esse é o mundo dos câmeras de eventos (event cameras). Elas são incríveis para ver coisas rápidas, mas têm um problema: quando algo gira muito rápido, como a hélice de um drone, a imagem fica tão bagunçada que os computadores ficam confusos. É como tentar seguir uma única gota de chuva em um temporal; você perde o rastro.

Aqui entra o HelixTrack, a solução apresentada neste artigo. Vamos explicar como ele funciona usando analogias do dia a dia:

1. O Problema: A Hélice "Fantasma"

Quando um drone gira suas hélices, elas se movem tão rápido que, para uma câmera comum, elas parecem um borrão. Para a câmera de eventos, elas geram uma chuva de "cliques" (eventos) que se misturam com o fundo.

• O que os outros faziam: Tentavam seguir a hélice como se ela fosse um carro andando devagar. Como a hélice gira em círculos perfeitos e muito rápidos, os programas antigos ficavam tontos, perdiam o objeto e diziam que a hélice estava parada ou voando para o lado errado.
• A analogia: É como tentar seguir um pião girando em cima de uma mesa enquanto você corre em volta dela. Se você tentar seguir o pião como se fosse uma pessoa andando, vai falhar.

2. A Solução: O "Mapa Giratório" (O Helicóptero)

O HelixTrack tem uma ideia genial: em vez de olhar para a hélice na tela da câmera (que está tremendo e girando), ele projetou mentalmente os "cliques" de luz para um plano imaginário que gira junto com a hélice.

• A Analogia da Pizza: Imagine que você está comendo uma pizza que gira em um prato giratório. Se você tentar desenhar a borda da pizza enquanto ela gira, seu desenho fica torto. Mas, se você colocar um pedaço de papel transparente em cima da pizza e girar o papel junto com ela, a borda da pizza parece parada para você.
• O que o HelixTrack faz: Ele pega cada "clique" de luz que a câmera vê e o "desloca" para esse papel transparente imaginário que gira junto com a hélice. De repente, o caos de luzes se transforma em uma linha reta e organizada.

3. O Detetue Matemático (O Filtro de Kalman)

Uma vez que os "cliques" estão organizados nesse plano giratório, o HelixTrack usa um "detetue matemático" (chamado Filtro de Kalman) para adivinhar o que está acontecendo.

• Ele não apenas vê onde a hélice está, mas calcula exatamente em que ponto da rotação ela está (o "ângulo" ou fase).
• Ele sabe se a hélice está acelerando ou freando, como um motorista experiente que sente o carro mudar de velocidade sem precisar olhar para o velocímetro.

4. O Resultado: Velocidade Instantânea

O grande feito do HelixTrack é que ele consegue dizer a velocidade de rotação (RPM) da hélice com precisão de microssegundos.

• Por que isso é útil? Imagine que você é um drone que precisa pousar em outro drone. Se você souber exatamente a velocidade das hélices do outro, pode sincronizar seu voo para não bater nelas. Ou, se as hélices estiverem girando de um jeito estranho, você sabe que o motor do outro drone está com defeito antes mesmo de ele cair.

5. O "Campo de Treino" (O Dataset TQE)

Como não existia um "campo de treino" para testar isso, os criadores do HelixTrack construíram um novo.

• Eles criaram o Dataset TQE: gravaram 13 vídeos de um drone voando (ou sendo movido) em diferentes velocidades e distâncias.
• Eles usaram um sensor especial de infravermelho para medir a velocidade real das hélices com precisão absoluta, criando a "resposta correta" para ver se o HelixTrack acertava.

Resumo da Ópera

O HelixTrack é como um óculos mágico para computadores. Ele transforma o caos de luzes de uma hélice girando rápido em um padrão organizado, permitindo que o computador:

1. Veja a hélice mesmo em meio a turbulências e movimentos rápidos.
2. Meça a velocidade dela instantaneamente.
3. Faça isso milhares de vezes mais rápido do que o tempo real (como se o computador tivesse superpoderes de processamento).

Isso abre portas para drones que conversam entre si sem precisar de rádio, sistemas de segurança que detectam drones invasores instantaneamente e máquinas que se auto-diagnosticam apenas olhando para suas próprias hélices girando. É a inteligência artificial aprendendo a "dançar" no ritmo das hélices, em vez de tentar correr atrás delas.

Resumo técnico

Resumo Técnico: HelixTrack

1. Problema e Motivação

O rastreamento de hélices de veículos aéreos não tripulados (VANTs/drones) e a estimativa instantânea de sua rotação por minuto (RPM) são cruciais para aplicações de segurança, como evitar colisões, identificar intenções de voo (aceleração/desaceleração) e comunicação em ambientes sem rádio.

No entanto, os rastreadores convencionais (baseados em quadros de imagem e até mesmo os baseados em eventos) falham ao lidar com hélices devido a:

• Movimento Periódico Rápido: As hélices geram padrões de eventos densos e estritamente periódicos que violam as suposições de "movimento translacional suave" de muitos algoritmos.
• Distratores Fortes: Em drones com múltiplas hélices, os padrões repetitivos causam confusão e deriva (drift) nos rastreadores.
• Latência e Precisão: Métodos existentes muitas vezes não conseguem estimar a velocidade angular com precisão de microssegundos ou perdem o rastro sob forte movimento da câmera (egomotion).

O objetivo deste trabalho é preencher essa lacuna com uma solução nativa para eventos que rastreie objetos propulsores e estime sua RPM simultaneamente.

2. Metodologia (HelixTrack)

O HelixTrack é um framework totalmente orientado a eventos, de baixa latência e em tempo real. Sua inovação central reside na transformação do padrão de movimento periódico da hélice em uma assinatura helicoidal modelável no espaço espaço-temporal.

Principais Componentes:

• Mapeamento para o Plano do Rotor (Homografia):

  • Os eventos entrantes são "retro-projetados" (back-warped) do plano da imagem para o plano do rotor (plano da hélice) usando uma homografia estimada em tempo real.
  • As coordenadas no plano do rotor são filtradas para uma faixa anelar (entre $r_{in}$ e $r_{out}$), focando nas pontas das pás.

• Modelo de Fase Helicoidal:

  • A hélice é modelada em um sistema de coordenadas invariantes à rotação.
  • Define-se uma fase efetiva ($\phi_{eff}$) que absorve a rotação do plano da imagem, permitindo rastrear a fase da hélice independentemente da orientação da câmera.
  • O resíduo de fase é calculado entre a fase estimada e a posição angular do evento no rotor.

• Filtragem e Otimização Híbrida:

  • Filtro de Kalman Estendido (EKF) por Evento: Atualiza o estado latente (fase $\phi$, velocidade angular $\omega$, aceleração $\alpha$) a cada evento individualmente. Isso garante latência na escala de microssegundos. O modelo dinâmico assume "jerk branco" (ruído gaussiano na derivada da aceleração) para lidar com flutuações de torque.
  • Refinamento de Pose em Lotes (Gauss-Newton): Periodicamente, o sistema agrupa eventos em lotes para refinar os parâmetros da homografia (escala, rotação, translação, perspectiva).
  • Função de Custo: Minimiza resíduos de fase, resíduos radiais (mantendo os eventos no anel da ponta da hélice), alinhamento de polaridade e um regularizador de "Ocupação Balanceada da Ponta" (BTO) para evitar que o modelo se degrade para soluções degeneradas (ex: apenas dentro ou apenas fora do anel).

• Estimativa de RPM:

  • A velocidade angular instantânea é derivada diretamente da taxa de variação da fase estimada pelo EKF, convertida para RPM.

3. Contribuições Principais

1. Formulação do Problema: Define formalmente a tarefa de rastreamento de eventos com estimativa conjunta de RPM para objetos com movimento periódico de alta velocidade, diferenciando-se de rastreadores genéricos e estimadores de taxa sem foco no objeto.
2. Modelo HelixTrack: Propõe um rastreador híbrido (EKF por evento + Gauss-Newton em lotes) que utiliza uma representação helicoidal estruturada, combinando a baixa latência dos eventos com a precisão geométrica de otimização.
3. Dataset TQE (Timestamped Quadcopter with Egomotion):
   • Introduz o primeiro conjunto de dados público focado neste problema.
   • Contém 13 sequências de alta resolução capturadas com uma câmera de eventos (Metavision EVK4HD).
   • Inclui 52 objetos rotativos (hélices) em diferentes distâncias (2m e 4m) e 7 níveis de intensidade de movimento da câmera (egomotion).
   • Fornece ground truth de RPM sincronizado com precisão de microssegundos via sensor infravermelho.
4. Benchmark e Análise:
   • Adapta rastreadores existentes (AEB-Tracker e DeepEv) para estimar RPM e demonstra que o HelixTrack supera significativamente essas abordagens, especialmente em cenários de alto movimento e ruído.
   • Realiza análises de ablação e de tempo de execução, mostrando que o sistema processa eventos a aproximadamente 11,8 vezes a velocidade do tempo real.

4. Resultados Experimentais

• Desempenho em Precisão: No dataset TQE, o HelixTrack alcançou consistentemente os menores erros (MAE, MArE e RMSE) em comparação com os baselines.
  • Enquanto os rastreadores baseados em aprendizado (DeepEv) e em blobs (AEB) sofreram falhas catastróficas ou erros de ordem de magnitude sob forte egomotion, o HelixTrack manteve a estabilidade.
  • O erro médio absoluto (MAE) do HelixTrack foi drasticamente menor (ex: ~5.200 RPM de mediana vs ~29.800 RPM para o AEB-Tracker em certas condições).
• Robustez: O sistema demonstrou tolerância a erros de inicialização (posição, escala e RPM inicial) até certo ponto, embora perturbações grandes (>30%) possam causar falhas.
• Eficiência Computacional:
  • Processamento em tempo real com latência de microssegundos.
  • A taxa de processamento é de ~11,8x o tempo real em hardware padrão (AMD EPYC), permitindo o uso em sistemas embarcados.
  • O uso de subamostragem de eventos (processar apenas cada $k$-ésimo evento) permite trade-offs entre precisão e taxa de quadros, mantendo a viabilidade em hardware limitado.

5. Significado e Impacto

O trabalho do HelixTrack é significativo porque transforma um padrão de movimento "adversário" (a rotação rápida e periódica que confunde algoritmos tradicionais) em uma característica modelável e explorável.

• Aplicabilidade Prática: Oferece uma solução viável para sistemas de segurança em VANTs, permitindo a detecção de colisão e a identificação de drones em ambientes onde sensores de rádio não podem ser usados.
• Avanço na Visão Computacional Baseada em Eventos: Demonstra que a incorporação de priors físicos e geométricos (como a simetria radial e a cinemática de rotação) em pipelines de eventos nativos supera abordagens puramente baseadas em aprendizado de dados ou heurísticas simples.
• Padrão de Avaliação: O dataset TQE estabelece um novo padrão para a avaliação de rastreadores de objetos rotativos rápidos, preenchendo uma lacuna crítica na comunidade de visão computacional.

Em resumo, o HelixTrack representa um avanço state-of-the-art na percepção de alta velocidade para robótica, combinando precisão de microssegundos com robustez geométrica para tarefas críticas de rastreamento e medição de rotação.