BEV-ODOM2: Enhanced BEV-based Monocular Visual Odometry with PV-BEV Fusion and Dense Flow Supervision for Ground Robots

Resumo Técnico: BEV-ODOM2

Definição do Problema
A Odometria Visual Monocular (MVO) é essencial para robôs terrestres autônomos, mas sofre com o desvio de escala cumulativo, degradando a localização ao longo de trajetórias longas. Embora as representações em Visão de Ponto de Vista de Pássaro (Bird's-Eye-View - BEV) tenham surgido como um paradigma para mitigar isso, simplificando o movimento de 6-DoF para um modelo robusto de 3-DoF em uma grade de escala métrica, os métodos baseados em BEV existentes enfrentam duas limitações críticas:

1. Supervisão Esparsa: O treinamento depende exclusivamente de vetores de pose, fornecendo orientação insuficiente para aprender correspondências de características detalhadas, ao nível de pixel, entre quadros consecutivos.
2. Perda de Informação: As projeções padrão de perspectiva para BEV (ex: Lift-Splat-Shoot) inerentemente descartam pistas geométricas relacionadas aos graus de liberdade não primários (pitch, roll e translação no eixo z), levando à ambiguidade em cenários de condução complexos.

Metodologia: BEV-ODOM2
Os autores propõem o BEV-ODOM2, um framework aprimorado que aborda essas limitações sem exigir anotações adicionais ou modalidades de sensores extras. A arquitetura emprega uma abordagem de estratégia dupla:

1. Supervisão de Fluxo Óptico BEV Denso:
   Aproveitando a escala métrica unificada da grade BEV, o método constrói a verdade fundamental (ground truth) de fluxo óptico denso diretamente a partir da verdade fundamental de pose 3-DoF. Ao aplicar transformações rígidas às coordenadas da grade BEV, um campo de deslocamento por pixel é gerado. Isso fornece sinais de supervisão densos, ao nível de pixel, que guiam a rede para aprender correspondências inter-quadros detalhadas, superando a esparsidade do treinamento baseado apenas em pose.

2. Fusão de Duas Ramificações PV-BEV:
   Para recuperar a informação perdida durante a projeção, o framework introduz uma ramificação paralela de Visão de Perspectiva (Perspective View - PV).

   • Correlação Pré-Projeção: Em vez de projetar as características primeiro, a ramificação PV calcula um volume de custo baseado em correlação a partir das características de perspectiva antes da transformação Lift-Splat-Shoot (LSS). Isso preserva assinaturas de movimento de 6-DoF ricas (incluindo pistas de pitch e roll) ao nível de característica.
   • Fusão: Este volume de correlação PV é então projetado no espaço BEV usando o mesmo pipeline LSS e fundido com as características de correlação nativas do BEV. Isso permite que o modelo aproveite a riqueza geométrica da visão de perspectiva enquanto mantém a consistência de escala da representação BEV.

3. Amostragem de Rotação Aprimorada:
   Para lidar com vieses de dataset voltados para condução em linha reta, uma estratégia de aumento de dados consciente de rotação é implementada. Ela amostra probabilisticamente pares de quadros com diferenças rotacionais elevadas (15°–45°) para garantir que o modelo seja robusto a diversos padrões de movimento, incluindo curvas acentuadas.

4. Supervisão de Múltiplos Níveis:
   O objetivo de treinamento combina três termos de perda derivados exclusivamente da verdade fundamental de pose:

   • Perda de Pose 3-DoF: Para a saída BEV final.
   • Perda de Pose 5-DoF: Para a ramificação PV (excluindo a escala para manter a consistência monocular).
   • Perda de Fluxo Denso: Regressão L1 sobre o fluxo óptico BEV construído.

Principais Contribuições

• Framework BEV-ODOM2: Um novo framework de MVO que alcança desempenho de estado da arte e consistência de escala sem supervisão auxiliar (ex: profundidade ou sensores de fluxo).
• Inovações Técnicas:
  • Um módulo de Supervisão de Fluxo Óptico BEV Denso que constrói orientação ao nível de pixel a partir da verdade fundamental de pose.
  • Uma estratégia de Fusão PV-BEV que projeta volumes de correlação de nível de característica para preservar pistas de movimento de 6-DoF antes da projeção BEV.
• Dataset ZJH-VO: Um novo dataset de odometria de robô terrestre multi-cena e multi-escala, cobrindo ambientes internos e externos, lançado para apoiar pesquisas futuras.
• Validação de Implantação em Borda (Edge): Demonstração de inferência em tempo real (>20 FPS) em um NVIDIA Jetson AGX Orin, confirmando a viabilidade para plataformas com recursos limitados.

Resultos Experimentais
O método foi avaliado em quatro datasets: KITTI, Oxford, NCLT e o novo ZJH-VO.

• Precisão: O BEV-ODOM2 alcança uma melhoria de 40% no Erro de Translação Relativa (RTE) sobre métodos anteriores baseados em BEV (BEV-ODOM e BEV-DWPVO). Por exemplo, no dataset NCLT, reduziu o RTE de 8,67% (BEV-DWPVO) para 5,01%.
• Consistência de Escala: O método mantém excelente consistência de escala, com curvas de fator de escala permanecendo próximas de zero ao longo de trajetórias longas, superando métodos tradicionais como ORB-SLAM3 e métodos de PV baseados em aprendizado que frequentemente sofrem de desvio (drift).
• Eficiência: O modelo roda a 56–69 FPS em uma RTX 4090 e 14–22 FPS em um NVIDIA Jetson AGX Orin, satisfazendo requisitos de tempo real para robôs terrestres.
• Estudos de Ablação: Experimentos confirmam que cada componente (Supervisão de Fluxo Denso, Fusão PV-BEV e Amostragem de Rotação Aprimorada) contribui significativamente para o desempenho, sendo que a Supervisão de Fluxo Denso proporciona os maiores ganhos na redução do RTE.

Significância e Alegações
O artigo afirma que o BEV-ODOM2 oferece uma solução prática para robôs terrestres que requer apenas uma câmera comum e logs de posição existentes para treinamento, eliminando a necessidade de sensores caros (LiDAR, câmeras de profundidade) ou rotulagem de dados trabalhosa. Sua principal significância reside em:

1. Robustez: Fornecer um sistema de localização de backup capaz de manter a precisão do caminho por aproximadamente 10 segundos durante interrupções de GPS (ex: em túneis ou garagens).
2. Acessibilidade: Ser implantável em pequenos computadores embarcados com memória modesta, tornando-o adequado para plataformas de serviço indoor, inspeção e plataformas externas sem novos hardwares.
3. Contribuição Científica: Demonstrar que a supervisão densa e a preservação de movimento de 6-DoF podem ser alcançadas dentro de um framework BEV usando apenas a verdade fundamental de pose, preenchendo a lacuna entre interpretabilidade geométrica e desempenho de aprendizado profundo.

Os autores observam uma limitação: o método assume uma superfície majoritariamente plana, pois inclinações íngremes ou solavancos fortes podem reduzir a precisão devido à suposição de movimento planar.