SemCityLoc: Aerial 6DoF Localization Using Semantic 3D City Models

Resumo Técnico: SemCityLoc

Problema
A localização aérea de 6DoF (seis graus de liberdade) para Veículos Aéreos Não Tripulados (VANTs) é crítica para a navegação urbana, inspeção e gêmeos digitais, particularmente em ambientes com negação de GNSS. As abordagens convencionais dependem tipicamente de sinais RTK-GNSS precisos ou de reconstruções 3D radiometricamente ricas (ex: malhas texturizadas densas). No entanto, esses métodos enfrentam problemas significativos de escalabilidade, altos custos de memória e computação, além de preocupações com privacidade em ambientes urbanos. Além disso, as alternativas baseadas em mapas existentes dependem frequentemente de ortofotos 2D ou baseiam-se no alinhamento esparso de contornos com modelos de edifícios abstratos, que carecem de robustez em cânions urbanos de curto alcance caracterizados por fachadas repetitivas, oclusões e fortes distorções de perspectiva. A falta de benchmarks padronizados que combinem poses com precisão de centímetros, imagens de baixa altitude e modelos de cidade semânticos com Nível de Detalhe (LoD) padronizados também dificulta a avaliação sistemática.

Metodologia: SemCityLoc
Os autores propõem o SemCityLoc, um sistema de alinhamento semântico-geométrico que reformula a estimativa de pose aérea como um registro de superfície estruturado. Em vez de combinar arestas esparsas ou texturas densas, o método alinha priors visuais derivados de modelos de fundação (segmentação semântica e profundidade monocular) com modelos de cidade 3D leves e conformes ao padrão LoD.

O sistema opera através de uma estratégia de coerção de grosso a fino (coarse-to-fine):

1. Priors Perceptuais: Uma imagem de consulta do VANT é processada usando um backbone DINOv3 congelado com um decodificador DPT leve para gerar máscaras de segmentação semântica, e MoGe-2 para estimar um mapa de profundidade monocular. Esses modelos servem como priors perceptuais fixos.
2. Seleção de Pose Grossa (Volume de Custo 4D): Dada uma prior de pose inicial, o sistema amostra um espaço de busca 4D (translação $x, y, z$ e yaw $\psi$, com roll e pitch fixos). Para cada pose candidata, renderiza-se máscaras semânticas do modelo de cidade LoD. Um volume de custo 4D é construído calculando a Interseção sobre União (IoU) entre as máscaras renderizadas e a máscara semântica da imagem de consulta. A pose que produz o máximo de custo semântico é selecionada como a estimativa grossa ($\xi_c$).
3. Refinamento de Pose (Filtro de Partículas): Um esquema de otimização por filtro de partículas refina a estimativa grossa. Ele gera hipóteses de pose perturbadas ao redor de $\xi_c$. Cada hipótese é pontuada usando uma função de custo conjunta que combina:
   • Custo Semântico: IoU entre máscaras semânticas renderizadas de alta resolução e a máscara da consulta.
   • Custo de Profundidade: Uma perda $L_1$ robusta entre o mapa de profundidade da consulta e o mapa de profundidade renderizado, alinhado via parâmetros de escala global e deslocamento (shift).
     As partículas são atualizadas iterativamente para convergir na pose 6DoF final ($\xi^*$).

Principais Contribuições

1. Localização Semântico-Geométrica: O artigo introduz um método que reformula a localização aérea como um registro de superfície estruturada. Ao aproveitar classes de superfícies semânticas (ex: telhados, paredes) juntamente com a estrutura geométrica, a abordagem aumenta a discriminabilidade da pose em ambientes urbanos repetitivos e ocluídos, evitando a necessidade de reconstruções radiométricas densas.
2. Benchmark SemCityLockeD: Os autores apresentam o SemCityLockeD, o primeiro benchmark do mundo real projetado para avaliação rigorosa neste cenário. Ele combina poses de VANT com precisão de centímetros (derivadas de RTK-GNSS, IMU e GCPs) com modelos de cidade semânticos LoD1–LoD3 padronizados e imagens desafiadoras de baixa altitude (aprox. 75m) em cânions urbanos densos. O conjunto de dados inclui 962 imagens e suporta avaliação sistemática através de diferentes níveis de abstração geométrica.
3. Avaliação Abrangente: O método é avaliado no SemCityLockeD e em benchmarks existentes (UAVD4L-LoD, Swiss-EPFL), demonstrando melhorias consistentes em relação às abordagens baseadas em mapas de estado da arte.

Resultos
Experimentos no benchmark SemCityLockeD demonstram ganhos substanciais de desempenho:

• Recall: No limiar estrito de 2m–2°, o SemCityLoc atinge um recall de 69,15%, quase dobrando os 35,11% alcançados pela linha de base LoD-Loc. O recall melhora para 84,04% (3m–3°) e 89,36% (5m–5°).
• Redução de Erro: O erro de posição médio é reduzido de 9,89 m (LoD-Loc) para 2,62 m, e o erro médio de yaw diminui de 1,78° para 0,42°.
• Ablação: Tanto a seleção semântica grossa quanto as etapas de refinamento semântico-profundidade mostram-se complementares e críticas para uma estimativa estável.
• Generalização: O método mantém um desempenho competitivo ou superior em outros benchmarks (UAVD4L-LoD, Swiss-EPFL), inclusive em cenários "fora da trajetória" (out-of-trajectory) e "fora do lugar" (out-of-place), indicando robustez a mudanças de trajetória e variações de densidade estrutural.
• Eficiência: O sistema converge mais rápido do que as linhas de base de treinamento do zero (LoD-Loc) devido ao uso de modelos de fundação pré-treinados e um objetivo baseado em IoU, alcançando um tempo de execução sub-segundo (0,878s por imagem) adequado para implantação online.

Significância
O artigo afirma que modelos de cidade 3D semanticamente estruturados fornecem restrições suficientes e escaláveis para localização aérea de alta precisão sem exigir reconstruções de cena radiométricas. Ao mudar do emparelhamento de arestas para o registro de superfície estruturada, a abordagem aborda as limitações dos sistemas atuais baseados em mapas em cânions urbanos desafiadores. A introdução do SemCityLockeD preenche uma lacuna crítica na literatura ao fornecer um benchmark do mundo real padronizado com alta precisão de ground truth e definições de LoD padronizadas, permitendo uma avaliação mais confiável de futuros sistemas de localização aérea. O trabalho sugere que a combinação de modernos priors de visão com dados geoespaciais padronizados é uma direção promissora para sistemas de localização de VANT de próxima geração, preservando a privacidade e sendo escaláveis.