FVO: Fast Visual Odometry with Transformers

Resumo Técnico: Odometria Visual Rápida com Transformers (FVO)

Declaração do Problema
A odometria visual (VO) visa estimar a trajetória de uma câmera a partir de sequências de vídeo. Embora pipelines híbridos que combinam aprendizado profundo com otimização clássica (por exemplo, ajuste de feixe) tenham alcançado alta precisão, eles sofrem de limitações significativas. Esses métodos frequentemente dependem de backbones 3D pré-treinados massivos que são congelados e ambíguos em escala, herdando a incapacidade de estimar escala absoluta. Além disso, a dependência de etapas de pós-processamento, como ajuste de feixe e correspondência de características, cria gargalos na velocidade de inferência e requer parâmetros de calibração de câmera conhecidos, que muitas vezes não estão disponíveis em implantações do mundo real. Abordagens puramente end-to-end, embora mais rápidas, historicamente ficaram atrás em precisão e robustez. O desafio reside em desenvolver um sistema de VO monococular que seja rápido, escalável, não requira intrínsecas de câmera ou otimização no momento do teste, e possa estimar com precisão a escala métrica sem pós-processamento pesado.

Metodologia
Os autores propõem a Odometria Visual Rápida (FVO), uma estrutura de regressão direta de pose relativa que substitui o pós-processamento tradicional por uma arquitetura baseada em transformers.

• Arquitetura: O núcleo da FVO é um modelo transformer projetado para previsão estruturada end-to-end. Ele utiliza um codificador de imagem pré-treinado e congelado (baseado na arquitetura CroCo dentro do framework DUSt3R) para extrair características visuais de quadros de entrada. Essas características são processadas por um decodificador espaço-temporal consistindo em $L$ blocos repetitivos.
  • Atenção Espaço-Temporal: O decodificador emprega um mecanismo de atenção fatorizado. Primeiro, a atenção temporal agrega informações entre quadros para a mesma localização espacial. Subsequentemente, a atenção espacial permite comunicação entre diferentes localizações espaciais dentro de um quadro.
  • Embeddings de Câmera: Embeddings de câmera aprendíveis são introduzidos para agregar informações especificamente para estimativa de pose. Crucialmente, esses embeddings são integrados apenas dentro das camadas de atenção espacial, pois a injeção deles na atenção temporal foi encontrada como degradando o desempenho.
• Regressão de Pose Relativa: O modelo prevê diretamente transformações de câmera relativas ($SE(3)$) entre quadros consecutivos. A saída inclui uma matriz de rotação, um vetor de translação e escalares de confiança para ambos.
  • Tratamento de Rotação: Para garantir rotações válidas, a matriz de rotação prevista bruta é projetada na variedade $SO(3)$ usando o problema de Procrustes ortogonal especial.
  • Aprendizado Consciente de Incerteza: Em vez de usar rótulos de confiança por pixel, a FVO emprega uma formulação de incerteza heterocedástica. A rede aprende a prever pontuações de confiança ($c_R, c_t$) para rotação e translação de maneira auto-supervisionada. A função de perda penaliza previsões de baixa precisão superconfiantes e reduz o peso de resíduos incertos, permitindo que o modelo aprenda confiança sem rótulos explícitos.
• Módulo de Inferência: Para abordar o problema do acúmulo de erro na VO monococular, a FVO utiliza um esquema de janela sobreposta. O vídeo de entrada é decomposto em janelas sobrepostas, e o modelo prevê poses relativas para cada uma. Um módulo de inferência consciente de confiança agrega essas previsões sobrepostas. As previsões são ponderadas por suas pontuações de confiança aprendidas (convertidas em pesos via normalização softmax) e médias. As rotações são médias usando a média de Fréchet ponderada em $SO(3)$, enquanto as translações são médias linearmente. Esse processo mitiga o impacto de outliers e produz uma trajetória suave e globalmente consistente sem otimização global.

Principais Contribuições

1. Pipeline FVO: Um pipeline eficiente e end-to-end para odometria visual monococular que alcança desempenho competitivo em múltiplos benchmarks enquanto opera quase $2\times$ mais rápido que as bases mais rápidas.
2. Regressão Direta Baseada em Transformer: Uma arquitetura de rede inovadora que prevê diretamente poses de câmera relativas e estimativas de confiança a partir de sequências de imagens. A confiança é aprendida de forma auto-supervisionada, exigindo apenas anotações de pose.
3. Inferência Consciente de Confiança: Um módulo robusto de recuperação de trajetória que agrega previsões de pose sobrepostas usando pesos de confiança aprendidos, mitigando efetivamente previsões espúrias sem exigir ajuste de feixe ou calibração de câmera.

Resultados Experimentais
O método foi avaliado em diversos conjuntos de dados internos e externos, incluindo ARKitScenes, ScanNet, KITTI e TUM_RGBD (zero-shot).

• Precisão: A FVO alcança desempenho de última geração ou competitivo no Erro de Translação Absoluta (ATE), tanto alinhado quanto não alinhado. Notavelmente, supera modelos 3D de grande escala (como VGGT e CUT3R) e métodos baseados em otimização (como DPVO) em métricas não alinhadas, demonstrando capacidades superiores de estimativa de escala.
• Velocidade: Em hardware comercial (NVIDIA RTX 3090), a FVO alcança um tempo de execução quase $2\times$ mais rápido que as bases existentes. Essa eficiência é atribuída à ausência de etapas de pós-processamento caras e à arquitetura transformer simplificada.
• Escalabilidade: Estudos de ablação confirmam que o modelo escala robustamente tanto com o aumento de dados de treinamento (por exemplo, adicionar ARKitScenes ao ScanNet) quanto com o aumento da capacidade do modelo (mais camadas de decodificador).
• Escolhas de Design: Experimentos validam que o mecanismo específico de atenção espaço-temporal com tokens de câmera nas camadas espaciais, a projeção $SO(3)$ para rotações e a perda de incerteza heterocedástica são críticos para o desempenho.

Significado e Alegações
O artigo afirma que a FVO representa um passo significativo para frente ao demonstrar que arquiteturas simplificadas e end-to-end, quando emparelhadas com dados suficientes, podem substituir pipelines híbridos complexos. Ao eliminar a necessidade de otimização no momento do teste, intrínsecas de câmera e componentes artesanais, a FVO permite a implantação em tempo real e em grande escala em cenários onde métodos tradicionais falham ou são muito lentos. Os autores enfatizam que sua abordagem aproveita com sucesso dados diversos para resolver a ambiguidade de escala monococular diretamente a partir de pistas visuais, oferecendo um caminho robusto para odometria visual em tempo real em aplicações práticas como direção autônoma e robótica. No entanto, eles modestamente observam que o modelo é treinado principalmente em ambientes estáticos e pode enfrentar limitações em ambientes altamente dinâmicos, sugerindo trabalho futuro em curadoria de dados e escalabilidade do modelo.