Cross-Session 3D LiDAR and Camera Fusion for Robust Localization of Unmanned Aerial Vehicles in GPS-Denied Environments

Resumo Técnico: Fusão de LiDAR 3D e Câmera entre Sessões para Localização Robusta de UAVs

Definição do Problema
A localização precisa é crítica para Veículos Aéreos Não Tripulados (UAVs) que realizam inspeções de infraestrutura, como o monitoramento de partes inferiores de pontes, túneis e cânions urbanos. Nesses ambientes onde o GPS é negado, as navegações padrão via satélite estão indisponíveis ou são pouco confiáveis. Embora soluções existentes existam, elas enfrentam limitações significativas:

• Sistemas apenas visuais degradam-se em ambientes com baixa luminosidade ou escassos em características e sofrem com o drift (desvio) sem o fechamento de loop (loop closure).
• Sistemas apenas de LiDAR têm dificuldade em cenas geometricamente degeneradas (ex: superfícies planas ou túneis longos) e acumulam drift ao longo do tempo devido à falta de restrições globais.
• Sistemas de VIL (Visual-Inertial-LiDAR) fortemente acoplados (ex: FAST-LIVO, LVI-SAM) oferecem alta precisão, mas frequentemente exigem configurações de sensores complexas (câmeras estéreo, IMUs) e sofrem quando as taxas de quadros caem ou a sobreposição visual é limitada.
• Métodos baseados em aprendizado geralmente exigem extensos dados de treinamento e podem falhar sob mudanças de domínio (iluminação, mudanças de perspectiva).

Além disso, dados de uma única sessão costumam ser insuficientes para uma localização consistente em estruturas complexas onde a iluminação varia e as características são distribuídas de forma irregular.

Metodologia: Cross-Fusion
Os autores propõem o Cross-Fusion, um framework de localização híbrido que integra LiDAR 3D e uma câmera monocular. O sistema opera em duas fases distintas:

1. Fase Offline (Construção de Banco de Dados):

   • Um banco de dados visual-geométrico de referência é construído usando dados de sessões de inspeção anteriores (ex: robôs terrestres ou voos manuais de drones).
   • Extração de Características: Pontos-chave locais e descritores são extraídos usando métodos baseados em CNN (SuperPoint ou DISK).
   • Recuperação Global: Descritores globais (EigenPlaces) são computados para cada imagem para permitir a recuperação rápida de imagens candidatas de grandes bancos de dados.
   • Geração de Mapa: Pares de imagens sobrepostas são combinados (SuperGlue) e processados através de um pipeline de Structure-from-Motion (SfM) (COLOLP) para gerar uma nuvem de pontos 3D esparsa ($X_i$) com poses de câmera conhecidas.

2. Fase Online (Localização em Tempo Real):

   • Odometria de LiDAR: O UAV estima sua pose bruta ($P_t$) alinhando varreduras consecutivas de LiDAR usando o algoritmo Iterative Closest Point (ICP) ou métodos similares. Isso fornece rastreamento de movimento contínuo, mas é propenso a drift.
   • Correção Visual:
     • Recuperação Coarse (Grosseira): A imagem atual da câmera é comparada com o banco de dados offline usando descritores globais para identificar as $k$ imagens mais similares.
     • Correspondência Fina: Características locais são combinadas entre a imagem atual e as imagens candidatas do banco de dados usando SuperGlue.
     • Transferência 2D-3D entre Sessões: Esta é a inovação central. Pontos-chave 2D correspondentes são projetados na nuvem de pontos LiDAR online ($L_i$) e no mapa 3D offline ($X_i$). Isso cria correspondências 3D-3D entre a varredura de LiDAR atual e o mapa pré-construído.
     • Refinamento de Pose: Um problema de registro de nuvem de pontos truncado é resolvido para minimizar o erro de distância entre os pontos do LiDAR e os pontos do mapa, gerando uma pose de 6-DoF corrigida em relação ao mapa global.

Principais Contribuições
O artigo identifica quatro contribuições primárias:

1. Estratégia de Fusão entre Sessões: Um novo pipeline que associa observações de UAV online com um banco de dados visual-geométrico pré-construído. Isso fornece restrições de pose global para corrigir o drift em ambientes com poucas características, sem a necessidade de GPS.
2. Transferência de Correspondência 2D-3D Guiada por LiDAR: Um mecanismo que eleva correspondências de imagem 2D-2D para correspondências de nuvem de pontos 3D-3D ao projetar pontos-chave combinados através do fluxo de LiDAR online. Isso permite a correção de pose de 6-DoF sem depender de um IMU ou câmera estéreo.
3. Configuração de Sensores Robusta e Leve: O sistema alcança uma precisão competitiva usando apenas um LiDAR 3D e uma câmera monocular, evitando a complexidade de sistemas visual-inerciais fortemente acoplados. Demonstra maior robustez sob baixas taxas de quadros ou condições visuais degradadas.
4. Implementação de Código Aberto: Os autores fornecem o código para suportar a reprodutibilidade.

Resultos Experimentais
Os experimentos foram conduzidos em uma área de edifício de 150m x 150m usando um quadricóptero equipado com um LiDAR Quanergy M8 e uma câmera Intel RealSense D435. Dados de GPS foram usados exclusivamente como referência de verdade fundamental (ground truth).

• Redução de Drift: O método proposto reduziu significamente o erro de localização em comparação com a odometria apenas de LiDAR. Enquanto as trajetórias apenas de LiDAR acumularam drift ao longo do tempo, o método Cross-Fusion manteve o alinhamento com a referência GPS ao aproveitar as correções visuais do banco de dados offline.
• Robustez vs. Estado da Arte: Comparado ao FAST-LIVO (um método de SLAM LIVO fortemente acoplado), o Cross-Fusion mostrou uma precisão ligeiramente inferior em condições normais. No entanto, demonstrou robustez superior em cenários extremos. Especificamente, quando a taxa de quadros da câmera foi reduzida para menos de 1 fps, o FAST-LIVO falhou em estimar a trajetória devido à sua dependência de acoplamento forte e sobreposição contínua, enquanto o Cross-Fusion manteve a localização estável.

Significância e Alegações
O artigo afirma que o Cross-Fusion oferece uma solução prática para a "economia de baixa altitude", especificamente para a inspeção rotineira de infraestrutura em ambientes onde o GPS é negado. Ao aproveitar levantamentos de base pré-existentes (comuns no monitoramento de integridade estrutural), o sistema preenche a lacuna entre a simplicidade da odometria de um único sensor e a complexidade dos sistemas multi-sensores fortemente acoplados.

Os autores reconhecem modestamente as limitações: o sistema atualmente depende de um banco de dados de imagens pré-coletadas, o que limita seu uso em cenários dinâmicos onde o mapeamento prévio é impraticável. Trabalhos futuros são propostos para integrar dados de múltiplas sessões online (ex: coordenando agentes terrestres e UAVs) para permitir a construção de mapas em tempo real sem depender apenas de dados estáticos prévios. O trabalho não pretende substituir todos os métodos de SLAM existentes, mas sim fornecer um equilíbrio entre precisão, robustez e simplicidade de hardware para casos de uso específicos de inspeção.