Resumo Técnico: FalconTrack

Declaração do Problema

O rastreamento aéreo baseado em visão é essencial para aplicações como transporte, monitoramento ambiental e busca e salvamento, particularmente em ambientes sem GPS. No entanto, o desenvolvimento de sistemas de rastreamento confiáveis exige conjuntos de dados de grande escala e rotulados com precisão. As abordagens existentes enfrentam dois gargalos principais:

1. Custos de Anotação Manual: Conjuntos de dados do mundo real (ex: ImageNet, BDD100K) dependem de anotação humana custosa, demorada e propensa a erros, o que não escala bem para objetos irregulares e não paramétricos.
2. Lacunas Sim-to-Real: Simuladores como CARLA e Gazebo oferecem rotulagem automatizada, mas seus resultados muitas vezes carecem de fotorrealismo, levando a um desempenho insatisfatório quando os modelos são implantados no mundo real. Por outro lado, modelos generativos fotorrealistas (ex: baseados em difusão) frequentemente falham em fornecer rótulos precisos de pose 6-DoF ou em garantir a fidelidade da aparência do alvo.
3. Generalização Limitada: Os métodos atuais de rastreamento aéreo frequentemente sofrem de overfitting a geometrias de trajetória específicas ou tipos únicos de objetos (ex: portões estáticos) e falham em generalizar para alvos irregulares e dinamicamente móveis ou fundos não vistos.

Metodologia

Os autores propõem o FalconTrack, um framework unificado que integra geração de dados automatizada com um controlador de rastreamento consciente da física para permitir a transferência zero-shot sim-to-real.

1. Pipeline de Rotulagem Automatizada

Para abordar a escassez de dados e a lacuna de fotorrealismo, os autores desenvolveram um pipeline automatizado usando 3D Gaussian Splatting (GSplat) dentro do simulador FalconGym .0:

• Coleta de Dados: Um vídeo curto (aprox. 2 minutos) capturado à mão de um objeto alvo é coletado.
• Reconstrução e Isolamento: O vídeo é usado para reconstruir um modelo de 3D Gaussian Splatting do alvo. Usando SAGA e a API de Edição do FalconGym 2.0, os splats do alvo são isolados do fundo.
• Composição e Renderização: Os GSplats isolados do alvo são fundidos com diversos GSplats de fundo sob randomização de domínio (variando pose, escala e iluminação).
• Geração de Rótulos: Usando parâmetros intrínsecos/extrínsecos conhecidos da câmera e transformações de renderização, o sistema gera automaticamente máscaras de segmentação com precisão de pixel e rótulos de pose 6-DoF para cada quadro renderizado.
• Eficiência: Este processo gera aproximadamente 10.000 imagens rotuladas (RGB, máscara, classe, pose) em menos de 20 minutos sem anotação manual.

2. Módulo de Percepção Unificado

O módulo de percepção é uma rede neural multi-cabeça projetada para implantação embarcada:

• Arquitetura: Utiliza um codificador ResNet-18 compartilhado alimentando três cabeças: classificação, segmentação (máscara) e regressão de pose 6-DoF.
• Atenção de Porta (Gated Attention): A cabeça de pose utiliza atenção de porta condicionada à máscara prevista para suprimir o ruído do fundo enquanto preserva as pistas de aparência necessárias para a estimativa de orientação.
• Treinamento em Estágios: Para garantir a estabilidade, a rede é treinada em três estágios:
  1. Treinar a cabeça de classificação (congelar as outras).
  2. Treinar as cabeças de classificação e segmentação (congelar a de pose).
  3. Treinar todas as cabeças conjuntamente.
• Consistência de Reprojeção: Uma inovação fundamental é a inclusão de uma perda de reprojeção. A pose prevista é usada para re-renderizar o alvo no FalconGym 2.0, e o resultado é comparado com a imagem de entrada usando SSIM. Isso impõe consistência geométrica e corrige erros de pose, particularmente em yaw (guinada).

3. Controlador de Rastreamento Consciente da Física

O controlador de rastreamento funde as saídas de percepção com a dinâmica do alvo para manter um rastreamento robusto:

• Estimativa de Estado: Um Filtro de Kalman Estendido (EKF) funde estimativas de pose brutas do módulo de percepção com priors de dinâmica específicos da classe (ex: modelo de carro Dubins para F1-tenth, dinâmica de corpo rígido para quadrotors, integrador duplo para portões). Isso suaviza o ruído e permite que o sistema se recupere de eventos breves fora de visão.
• Servovisualismo: Um controlador de Servovisualismo Baseado em Pose (PBVS) utiliza o estado estimado pelo EKF e um deslocamento relativo desejado (específico para a classe do alvo) para gerar comandos de velocidade no frame do corpo e taxa de yaw.

Principais Contribuições

1. Pipeline de Rotulagem Automatizada: Um método para gerar conjuntos de dados fotorrealistas e auto-rotulados para diversos objetos irregulares sem anotação manual, reduzindo significamente a lacuna sim-to-real.
2. Percepção Multi-Cabeça Unificada: Uma arquitetura de percepção que emprega aprendizado em estágios e consistência de reprojeção, alcançando transferência zero-shot entre três objetos geometricamente diversos (veículo F1-tenth, quadrotor, portão) e fundos não vistos.
3. Rastreamento Consciente da Física: Um sistema de rastreamento em malha fechada que integra priors de dinâmica condicionados à classe em um EKF, permitindo o rastreamento robusto em hardware real através de múltiplos tipos de alvos e trajetórias.

Resultados Experimentais

O framework foi avaliado no simulador FalconGym 2.0 e em um quadrotor real (NVIDIA Jetson Orin) em dois ambientes.

• Desempenho de Percepção:
  • O modelo completo FalconTrack alcançou 96–100% de precisão de classe na transferência zero-shot sim-to-real.
  • Superou os baselines (PnP e Estimadores de Pose Neurais) em Erro de Translação Médio (MTE) e Erro Angular Médio (MAE).
  • Estudos de ablação confirmaram que tanto o treinamento em estágios quanto a perda de reprojeção melhoraram significativamente a precisão da pose.
• Desempenho de Rastreamento:
  • Taxa de Sucesso: O FalconTrack alcançou 100% de sucesso no rastreamento em malha fechada para alvos F1-tenth e portões, tanto em simulação quanto em testes de hardware no mundo real.
  • Robustez: No rastreamento de F1-tenth no mundo real, o FalconTrack manteve 100% de sucesso, enquanto um baseline de visão centrado na máscara caiu para 60% de sucesso durante cenários rápidos de saída de visão.
  • Operação em Tempo Real: O sistema embarcado opera a aproximadamente 25 Hz, o que é suficiente para controle em tempo real.
• Domínio de Design Operacional (ODD): O sistema demonstra desempenho confiável para distâncias de alvo entre 2 e 6 comprimentos de corpo.

Significância e Alegações

O artigo afirma que o FalconTrack consegue preencher a lacuna entre síntese de imagem fotorrealista e rotulagem automatizada para objetos irregulares. Ao combinar um pipeline de rotulagem automatizada com um controlador de rastreamento consciente da física, o sistema alcança uma transferência zero-shot sim-to-real robusta sem exigir anotação manual ou retreinamento específico para o alvo. Os autores enfatem que sua abordagem se generaliza através de diferentes geometrias de objetos e ambientes, superando as limitações de métodos anteriores que eram restritos a portões estáticos, exigiam anotação manual ou falhavam em generalizar para alvos não vistos.

Os autores notam modestamente as limitações atuais: o sistema assume um único alvo por execução, requer um vídeo curto para a reconstrução inicial de GSplat (limitando o deployment em mundo aberto para objetos desconhecidos) e ainda não foi validado em alvos muito rápidos (> 2 m/s) ou em cenários de quadrotor-contra-quadrotor devido a restrições de segurança.