PiLoT v2: Pixel-to-Orthogonal Map Alignment for Free-view UAV Geo-localization

Resumo Técnico: PiLoT v2

Problema
A geolocalização em tempo real e livre de deriva para Veículos Aéreos Não Tripulados (VANTs) é crítica para missões autônomas em ambientes com ausência de GNSS. Embora o sistema pioneiro, PiLoT, tenha alcançado alta precisão ao alinhar fluxos de vídeo de VANTs com vistas renderizadas de malhas 3D pesadas (Registro Neural de Pixel-para-3D), essa abordagem sofre de gargalos significativos de implementação. A dependência de armazenamento massivo de malhas 3D (frequentemente >10 GB), aquisição de mapas complexos via fotogrametria oblíqua e renderização online computacionalmente cara prejudica severamente a execução em plataformas embarcadas de recursos limitados. Além disso, alternativas leves existentes que utilizam mapas 2.5D (Mapas de Ortofotos Digitais Verdadeiros - TDOMs e Modelos Digitais de Superfície - DSMs) lutam contra a severa discrepância geométrica entre as vistas de mapas ortogonais e as imagens oblíquas de VANTs, falhando frequentemente em suportar a localização sequencial em tempo real.

Metodologia
O PiLoT v2 propõe uma mudança de paradigma do registro "Pixel-para-3D" para o alinhamento "Pixel-para-Mapa Ortogonal". O framework opera em um pipeline de localização de thread dupla, mas substitui o módulo de renderização intensivo de GPU por uma operação de recorte de mapa altamente eficiente e amigável à CPU.

1. Representação de Mapa Leve: Em vez de malhas 3D, o sistema utiliza TDOMs (fornecendo aparência georreferenciada) e DSMs (fornecendo altura métrica). Para uma imagem de consulta específica, uma vista de referência local é recortada diretamente desses mapas com base em um prior de pose (por exemplo, a estimativa do quadro anterior ou uma correção grosseira de GNSS).
2. Registro de Características Cross-View: Para preencher a lacuna geométrica entre os recortes ortogonais 2.5D e as imagens oblíquas do VANT, os autores treinam uma rede de registro de características usando um novo conjunto de dados sintéticos de larga escala. Este conjunto de dados, gerado via AirSim–Cesium–Unreal Engine, fornece anotações geométricas precisas para pares oblíquos-ortogonais. A rede emprega uma arquitetura encoder-decoder leve para extrair pirâmides de características multiescala e mapas de incerteza, permitindo o correspondência de características robusta apesar das diferenças drásticas de viewpoint.
3. Fusão de Multi-Sensores: Para mitigar a degradação visual e a ambiguidade inerente às referências 2.5D (que carecem de textura de visão lateral), o sistema integra priors de sensores embarcados diretamente no manifold de otimização da pose:
   • Gravidade do IMU: Restringe a atitude do VANT (roll e pitch).
   • Laser de Distância de Ponto Único: Fornece uma medição direta de distância até a superfície, ancorando a pose ao DSM e reduzindo a ambiguidade de profundidade.
4. Otimização: O sistema emprega um otimizador Levenberg-Marquardt (LM) de múltiplas hipóteses. Ele amostra múltiplas hipóteses de pose no espaço local $(x, y, \psi)$ para lidar com erros de inicialização. Um processo de refinamento de grosso-para-fino minimiza uma função objetivo conjunta composta por resíduos fotográficos (da correspondência de características cross-view), resíduos de IMU e resíduos de alcance laser.

Principais Contribuições

• Pipeline PiLoT v2: Um pipeline de geolocalização em tempo real que substitui a renderização custosa em 3D pelo recorte de mapa TDOM+DSM leve, reduzindo drasticamente o overhead de armazenamento e computação, mantendo uma estrutura de thread dupla.
• Rede Cross-View Robusta: Uma rede de registro de características treinada em dados sintéticos de larga escala e geometricamente anotados, estabelecendo efetivamente a ponte para a lacuna de modalidade entre recortes de mapas ortogonais e imagens oblíquas de VANT com forte generalização zero-shot.
• Integração de Sensor-Prior: A incorporação direta de priors de direção de gravidade e de alcance laser de ponto único no manifold de refinamento de pose baseado em LM para garantir robustez contra a degradação visual cross-view.
• Construção de Benchmark: Um benchmark abrangente de TDOM+DSM alinhado com conjuntos de dados de malha oblíqua 3D existentes (SynthCity-6, UAVScenes, UAVD4L-2yr), facilitando a avaliação justa de métodos baseados em mapas leves.

Resultados Experimentais
Experimentos conduzidos em conjuntos de dados sintéticos e do mundo real demonstram que o PiLoT v2 atinge desempenho comparável a, e em alguns casos superior a, métodos baseados em malha 3D de última geração (incluindo o PiLoT original e o Render2Loc).

• Precisão: No benchmark UAVD4L-2yr, o PiLoT v2 alcançou um erro de translação mediana de 1,577 m e erro de rotação de 1,488°, superando o PiLoT original (1,600 m / 1,582°) apesar de utilizar um prior de mapa significativamente mais leve.
• Eficiência: O método opera a 17 FPS em uma GPU RTX 5090, comparado aos 28 FPS do PiLoT original (que utiliza renderização mais pesada), mas oferece requisitos de armazenamento drasticamente menores (472 MB vs. 19,5 GB para dados de mapa) e elimina a necessidade de renderização GPU online.
• Robustez: O sistema alcançou zero Contagens de Recuperação de Falha (FRC) em todos os benchmarks testados, indicando estabilidade de nível de sequência superior em comparação com as linhas de base que sofreram com deriva ou falhas de inicialização.
• Ablação: Estudos confirmaram que tanto os dados de treinamento cross-view quanto a fusão de priors de sensores (gravidade e alcance laser) são críticos para alcançar alta precisão e estabilidade.

Significância
O artigo afirma que o PiLoT v2 avança a localização de VANTs baseada em visão em ambientes com GNSS ausente ou degradado, demonstrando que mapas 2.5D leves podem servir como uma alternativa eficaz a referências de malha 3D pesadas. Ao mudar o paradigma para o registro direto de pixel-para-mapa ortogonal e aproveitar os priors de sensores embarcados, este trabalho fornece uma solução prática para geolocalização em tempo real, implantável em borda (edge). Esta abordagem equilibra precisão, robustez e eficiência, oferecendo um caminho viável para operações autônomas de VANTs onde os recursos de armazenamento e computação são limitados.