DisCo-FLoc: Using Dual-Level Visual-Geometric Contrasts to Disambiguate Depth-Aware Visual Floorplan Localization

1. Problema e Motivação

A Localização Visual em Plantas Baixas (Visual Floorplan Localization - FLoc) é uma tarefa fundamental para robótica e realidade aumentada em ambientes internos, onde o GPS não está disponível. O objetivo é estimar a pose (posição e orientação) de uma câmera a partir de uma imagem monocromática (RGB) e uma planta baixa 2D do ambiente.

Desafios Principais:

• Estruturas Repetitivas: Plantas baixas minimalistas frequentemente contêm salas e cantos geometricamente idênticos. Isso gera ambiguidades na localização, onde múltiplas poses podem parecer igualmente prováveis baseadas apenas na correspondência geométrica simples.
• Diferenças de Modalidade: Imagens visuais contêm decoração de fundo, oclusões por objetos 3D e variações de iluminação que não são refletidas nas plantas baixas (que são representações geométricas puras).
• Limitações dos Métodos Atuais:
  • Métodos baseados apenas em alinhamento geométrico sofrem com ambiguidades devido às estruturas repetitivas.
  • Métodos que utilizam anotações semânticas (ex: portas, janelas, tipo de sala) para resolver ambiguidades são limitados, pois essas anotações são raras, custosas de obter manualmente e nem sempre disponíveis nas plantas baixas.

2. Metodologia Proposta: DisCo-FLoc

O artigo propõe o DisCo-FLoc, um framework hierárquico que resolve a ambiguidade da localização sem depender de rótulos semânticos adicionais. A abordagem divide-se em duas etapas principais:

A. Preditor de Regressão de Raios (RRP) Consciente de Profundidade

• Objetivo: Gerar candidatos iniciais de localização.
• Funcionamento: O método adapta a tarefa de FLoc para ser uma forma especializada de estimativa de profundidade. Utiliza um codificador pré-treinado em estimativa de profundidade monocular densa (baseado no Depth Anything V2 e DINO V2) para extrair características visuais.
• Mecanismo: Em vez de prever a pose diretamente, o modelo prevê a distância do raio de visão da câmera até a parede mais próxima ao longo de várias orientações (ray-casting).
• Saída: Gera um Mapa Probabilístico de FLoc Consciente de Profundidade (DAFPM), que lista uma série de candidatos de pose com suas probabilidades. Embora preciso, este mapa ainda pode conter picos de probabilidade ambíguos devido a estruturas repetitivas.

B. Aprendizado Contrastivo Visual-Geométrico (Visual-Geometric CL)

• Objetivo: Desambiguar os candidatos gerados pelo RRP selecionando a pose correta.
• Mecanismo: Utiliza uma técnica de aprendizado contrastivo com restrições de dois níveis para alinhar rigorosamente as características visuais com as estruturas geométricas locais da planta baixa.
  • Amostras Positivas: Pares de (imagem RGB, estrutura geométrica da planta baixa) correspondentes à mesma pose única.
  • Amostras Negativas de Nível de Posição: Criadas alterando a posição de observação dentro da mesma planta ou em plantas diferentes. Isso força o modelo a distinguir a geometria correta de estruturas similares em locais diferentes.
  • Amostras Negativas de Nível de Orientação: Criadas rotacionando a orientação de observação na mesma posição. Isso aumenta a sensibilidade do modelo à orientação, distinguindo a direção correta de direções incorretas.
• Processo de Desambiguação:
  1. Seleciona os Top-X candidatos do DAFPM.
  2. Extrai as estruturas geométricas correspondentes da planta baixa para cada candidato.
  3. Calcula a similaridade entre as características visuais da imagem e as características geométricas da planta usando o aprendizado contrastivo.
  4. Gera um Mapa de Probabilidade de Desambiguação (DPM).
  5. Funde o DPM com o DAFPM original para selecionar a pose ótima final.

3. Contribuições Principais

1. Framework Hierárquico: Propõe um pipeline que começa com um RRP consciente de profundidade para gerar candidatos e, em seguida, aplica uma desambiguação robusta sem semântica.
2. Técnica de Aprendizado Contrastivo Dual-Level: Introduz restrições de nível de posição e orientação para eliminar correlações espúrias entre características visuais e estruturas de planta baixa incorretas, dispensando anotações semânticas.
3. Desempenho Superior: Demonstra que o método supera os State-of-the-Art (SOTA), incluindo métodos que utilizam anotações semânticas ricas, alcançando ganhos significativos em robustez e precisão.

4. Resultados Experimentais

Os testes foram realizados em dois benchmarks padrão: Gibson (Gibson(g) e Gibson(f)) e Structured3D(full) (um conjunto de dados desafiador com ambientes realistas e móveis).

• Comparação com SOTA:
  • No conjunto de dados Structured3D(full), o DisCo-FLoc superou o melhor método base (3DP & RSK) em 10,1% na precisão de 1m e 40,8% na precisão de 1m com erro de orientação < 30°.
  • O método superou significativamente o SemRayLoc (que utiliza anotações semânticas como portas e janelas), mesmo sem usar nenhuma semântica.
• Robustez: O método reduziu significativamente a lacuna de desempenho entre a localização puramente posicional e a localização posicional + direcional, indicando alta precisão na estimativa de orientação.
• Ablação: Estudos mostraram que as amostras negativas de nível de orientação contribuem mais para a desambiguação do que as de nível de posição, e que a fusão ponderada entre o mapa de candidatos e o mapa de desambiguação é crucial.

5. Significado e Conclusão

O DisCo-FLoc representa um avanço significativo na localização visual interna ao demonstrar que é possível resolver ambiguidades complexas causadas por estruturas repetitivas sem depender de anotações semânticas caras ou raras.

• Inovação Técnica: A integração de expertise em estimativa de profundidade com aprendizado contrastivo geométrico cria um sistema que é tanto preciso quanto generalizável.
• Aplicabilidade: Ao eliminar a necessidade de anotações manuais de plantas baixas, o método torna a localização visual escalável para novos ambientes onde apenas a planta geométrica básica está disponível.
• Limitação Futura: O método atual é de duas etapas (geração de candidatos + desambiguação), o que pode introduzir redundância computacional. O trabalho futuro visa unificar essas etapas em um fluxo de trabalho único.

Em resumo, o DisCo-FLoc redefine o estado da arte na localização visual em plantas baixas, provando que a combinação inteligente de profundidade e contraste geométrico pode superar métodos que dependem de dados semânticos supervisionados.