Extending Deep Event Visual Odometry with Sparse Point-Cloud Export

Resumo Técnico: Extensão da Odometria Visual de Eventos Profunda com Exportação de Nuvem de Pontos Esparsa

Declaração do Problema
A Odometria Visual de Eventos Profunda (DEVO) estabeleceu que a odometria monocular baseada apenas em eventos pode alcançar desempenho robusto sob movimento de alta velocidade e iluminação desafiadora, combinando rastreamento de patches esparsos, seleção aprendida de patches, refinamento recorrente de correspondências e ajuste de feixe diferenciável. No entanto, a DEVO é projetada principalmente como um sistema de estimativa de trajetória. Embora mantenha internamente uma estrutura geométrica esparsa (localizações de patches rastreados e profundidades estimadas) para otimizar poses da câmera, essa informação 3D permanece latente dentro do loop de otimização e não é exposta como uma saída explícita. Para muitas tarefas de robótica, depuração e visualização, a estimativa de trajetória por si só é insuficiente; é necessária uma nuvem de pontos 3D exportável para inspeção da cena e processamento a jusante. Métodos existentes de reconstrução 3D baseados em eventos (por exemplo, EMVS) tratam a reconstrução como um problema separado, frequentemente exigindo pipelines dedicados ou modalidades de sensor adicionais.

Metodologia
O trabalho proposto estende a DEVO adicionando um pipeline de exportação de nuvem de pontos esparsa sem alterar a formulação central da odometria visual. A abordagem opera na observação de que a DEVO já estima os ingredientes necessários para a reconstrução 3D: poses da câmera e variáveis de profundidade esparsa associadas a patches rastreados.

1. Exposição Interna: A modificação central envolve expor os observáveis internos do pipeline de inferência da DEVO. O sistema foi estendido com uma flag de opção (return_observables=True) em funções auxiliares (run_rgb, run_voxel_norm_seq, run_voxel). Quando ativada, essas funções retornam não apenas poses da câmera e carimbos de tempo, mas também a nuvem de pontos esparsa atual e estimativas de profundidade.
2. Geração 3D: O processo de exportação utiliza retroprojeção padrão. Para cada patch rastreado válido com coordenadas de imagem $(u, v)$ e profundidade estimada $z$, o ponto 3D nas coordenadas da câmera é calculado usando a matriz intrínseca $K$ ($p_c = zK^{-1}[u, v, 1]^T$). Esses pontos são então transformados para um quadro de coordenadas do mundo comum usando as poses da câmera otimizadas.
3. Pipeline e Pós-Processamento: Um fluxo de trabalho prático foi implementado para lidar com extração de dados, conversão de formato (para .ply, .npy) e limpeza. O pipeline inclui etapas opcionais de pós-processamento, como remoção estatística e por raio de outliers, para melhorar a usabilidade da saída esparsa e ruidosa sem modificar as estimativas de odometria subjacentes.
4. Implementação: A extensão preserva a estrutura original da base de código da DEVO, adicionando um script de exportação dedicado (scripts/export_pointcloud.py) e um script de orquestração (scripts/start_pipline.py). Um contêiner Docker foi fornecido para garantir reprodutibilidade em diferentes ambientes.

Principais Contribuições

• Exposição de Representação Esparsa: O projeto estende a DEVO para expor sua representação 3D esparsa interna como dados de nuvem de pontos exportáveis, transformando um sistema apenas de trajetória em um que fornece saída geométrica da cena.
• Pipeline de Exportação Prático: Implementação de um fluxo de trabalho completo para geração de nuvem de pontos, conversão de formato e limpeza, incluindo suporte a vários tipos de conjuntos de dados (FPV, RPG, VECtor).
• Análise de Limitações: Uma análise empírica da utilidade e das limitações da extração de nuvens de pontos esparsas de um framework de odometria visual baseado em eventos, especificamente em relação à densidade, completude e sensibilidade ao ruído de odometria acumulado.

Resultados Experimentais
O sistema foi avaliado na sequência de câmera de eventos BOARD SLOW, que apresenta uma placa de calibração plana com padrões geométricos de alto contraste. A nuvem de pontos SLAM exportada da DEVO foi comparada com reconstruções EMVS geradas usando tanto poses da DEVO quanto poses de verdade absoluta.

• Isolamento de Escala: Experimentos confirmaram que a diferença na qualidade da reconstrução entre EMVS com pose de verdade absoluta e EMVS com pose da DEVO não é causada por uma incompatibilidade de escala global (a trajetória da DEVO foi ~1,42× maior). Escalonar a trajetória e a faixa de profundidade consistentemente não melhorou a qualidade da reconstrução com pose da DEVO.
• Densidade de Poses: O fator primário que influencia a qualidade da reconstrução foi a densidade de poses. A trajetória de verdade absoluta forneceu 4.171 poses em comparação com as 985 poses da DEVO (uma diferença de ~4,2×). Essa amostragem mais densa forneceu à EMVS mais pontos de vista independentes, resultando em reconstruções mais nítidas.
• Consistência Geométrica: A nuvem SLAM exportada da DEVO mostrou alta consistência local com as reconstruções EMVS. Em um limiar de 5 cm, o escore F foi de 0,491 (após alinhamento ICP), com uma precisão de 98,4%. Isso indica que quase todos os pontos EMVS estão próximos à nuvem DEVO exportada. No entanto, o recall foi menor (31,7%) devido a diferenças nas propriedades de cobertura; a DEVO acumula pontos esparsos ao longo de toda a trajetória, enquanto a EMVS reconstrói estruturas semi-densas localizadas.
• Planaridade e Ruído: Embora ambos os métodos recuperaram a geometria dominante da placa plana, a nuvem SLAM da DEVO exibiu resíduos de ajuste de plano mais altos (93,2 mm vs. 13,5 mm para EMVS) e continha mais outliers isolados. Isso é atribuído à acumulação do estado de odometria esparsa e deriva de pose ao longo de toda a sequência.
• Validação Visual: Pontos 3D projetados alinharam-se com os limites visíveis das formas impressas (losangos, quadrados, círculos) na placa, confirmando que os pontos exportados correspondem à geometria real da cena acionada por mudanças de brilho.

Significado e Alegações
O artigo afirma que a extensão proposta conecta com sucesso a lacuna entre a odometria visual pura e a reconstrução 3D completa, expondo informações geométricas latentes dentro de um framework de odometria existente e de alto desempenho. O sistema preserva as forças originais da DEVO (robustez em condições de alta velocidade e baixa luz) enquanto adiciona utilidade para inspeção de cena e processamento a jusante.

Os autores caracterizam modestamente a saída não como uma reconstrução de superfície densa comparável a métodos dedicados de estéreo multivista como o EMVS, mas como uma representação estrutural esparsa. O significado reside em demonstrar que pipelines de odometria visual baseados em eventos podem ser estendidos para fornecer geometria de cena 3D utilizável sem substituir a lógica de otimização central. O trabalho destaca que, embora a nuvem de pontos resultante seja inerentemente esparsa e sensível ao ruído de odometria, ela é geometricamente válida localmente e serve como um passo intermediário valioso para fluxos de trabalho robóticos que exigem representações geométricas leves. Sugere-se que trabalhos futuros se concentrem em fusão temporal mais densa e integração mais estreita com métodos dedicados de reconstrução para melhorar a completude.