Look Up and Look Back: Hidden Attention and Latent Orientation in a Frozen Foundation Model for Panoramic SLAM

Resumo Técnico: HALO-SLAM

Enunciado do Problema
O SLAM (Localização e Mapeamento Simultâneo) panorâmico monocular oferece vantagens significativas através da substancial sobreposição visual sob grandes rotações de câmera, auxiliando no reconhecimento de lugares e no fechamento de loops (loop closure). No entanto, os sistemas existentes enfrentam três desafios primários:

1. Distorção Geométrica: A projeção equirretangular (ERP) introduz distorção espacialmente variável. A inclinação da câmera (roll e pitch) move o conteúdo da cena através de regiões com diferentes padrões de amostragem, desestabilizando a predição da geometria local.
2. Deriva e Consistência: Sequências monoculares longas são vulneráveis à deriva de pose e escala. Métodos existentes frequentemente dependem de descritores manuais ou aprendidos que lutam para manter a consistência global ao longo de longas durações.
3. Limitações de Fechamento de Loop: A recuperação baseada em aparência frequentemente gera candidatos redundantes ou com aliasing perceptual. Verificar cada candidato com geometria densa é computacionalmente caro, enquanto modelos de reconstrução de alimentação direta (como o PanoVGGT) tipicamente carecem de estado persistente de longo prazo ou mecanismos de decisão de fechamento de loop.

Embora modelos de fundação geométrica recentes (ex: PanoVGGT) possam prever poses de câmera e geometria de cena a partir de imagens sem pose definida, adaptar-nos a um SLAM de sequência longa requer resolver a canonicalização de orientação, a verificação de loop conservadora e o alinhamento global de submapas reconstruídos independentemente.

Metodologia: HALO-SLAM
Os autores propõem o HALO-SLAM ("Look Up and Look Back" — Olhar para Cima e Olhar para Trás), um sistema de SLAM panorâmico offline que reaproveita um backbone congelado do PanoVGGT. Em vez de realizar o ajuste fino (fine-tuning) do modelo de fundação, o sistema extrai pistas internas úteis além das saídas geométricas explícitas. O pipeline consiste em quatro estágios principais:

1. Canonicalização Vertical Guiada pela Gravidade ("Look Up"):

   • Conceito: Os autores hipotetizam que os tokens intermediários do PanoVGGT codificam pistas de gravidade (horizontes, planos de solo, estruturas verticais) necessárias para a inferência de geometria panorâmica.
   • Implementação: Uma "cabeça de gravidade" (gravity head) leve e treinável é anexada ao backbone congelado. Ela processa os tokens de patch da camada 34 para prever uma direção de gravidade descendente normalizada no referencial da câmera.
   • Efeito: Isso permite a canonicalização vertical esférica livre de IMU. Ao alinhar o referencial da câmera a um eixo descendente canônico (limiarizado por desvio angular), o sistema normaliza as entradas ERP, estabilizando a entrada para o modelo de fundação e reduzindo a sensibilidade ao roll e pitch.

2. Validação de Loop em Cascata ("Look Back"):
   Para equilibrar o custo computacional e a robustez, o sistema emprega um cascateamento de três estágios para o fechamento de loop:

   • Estágio 1: Recuperação de Nível de Evento: Utiliza DBoW2 para recuperar pares de keyframes temporalmente distantes, seguido por RANSAC de rotação apenas em bearings esféricos ERP para agrupar pares em "eventos de loop".
   • Estágio 2: Filtragem Baseada em Atenção: Os pares retidos são processados conjuntamente até a camada 34 do decodificador (sem a predição completa da geometria). Uma pontuação de compatibilidade de atenção entre visões é computada usando tokens intermediários. Candidatos com altas pontuações de atenção mútua ($\alpha_{match} \ge 0.95$) são retidos. Isso atua como um filtro conservador para remover aliases perceptuais antes da verificação geométrica dispendiosa.
   • Estágio 3: Validação Geométrica Densa: Os pares sobreviventes passam por aumento de submapa simétrico. Cada keyframe é inserido no submapa oposto e reconstruído em ambos os gauges locais. Isso gera correspondências 3D–3D densas e alinhadas por pixel. Uma métrica robusta, ponderada pelo ângulo sólido (para considerar a distorção de amostragem ERP), valida a razão de inliers.

3. Registro Global Sim(3) e Otimização:

   • As revisitas aceitas são convertidas em restrições robustas de Sim(3) relativa.
   • O sistema constrói um grafo de pose global onde os nós representam submapas em um gauge Sim(3) global.
   • As restrições sequenciais e de loop são otimizadas conjuntamente usando GTSAM com funções de perda robustas para recuperar uma trajetória globalmente consistente e submapas locais alinhados.

Principais Contribuições

1. Primeiro Framework de Longa Sequência em Modelos de Fundação: O HALO-SLAM é o primeiro framework de SLAM panorâmico robusto construído sobre um modelo de fundação de geometria panorâmica de alimentação direta (PanoVGGT) para consistência global de longa sequência.
2. Decodificação de Gravidade Livre de IMU: O sistema introduz um mecanismo para decodificar a gravidade do referencial da câmera a partir de representações geométricas panorâmicas congeladas, permitendo a normalização de ERP sem adaptação de backbone ou sensores IMU.
3. Pipeline de Loop Consciente de Custo: Os autores apresentam um novo pipeline de fechamento de loop combinando recuperação de nível de evento, filtragem de atenção de token intermediário, validação de geometria densa simétrica e registro Sim(3) consistente com ângulo sólido.

Resultados Experimentais
O método foi avaliado em 125 sequências monoculares ERP do mundo real através de cinco benchmarks (Holo360D, PanoVILD, PAIR360, 360-VIO, 360Loc).

• Taxa de Sucesso: O HALO-SLAM alcançou 100% de sucesso nas sequências (125/125) sob o critério estabelecido, superando todos os baselines.
• Precisão: Alcançou o menor Erro de Trajetória Absoluta (ATE) em todos os cinco benchmarks.
  • Comparado ao melhor baseline nativo de ERP (360DVO), o HALO-SLAM reduziu o ATE em 30–88%.
  • Comparado ao PanoVGGT-SLAM (uma adaptação mínima do modelo de fundação), o HALO-SLAM reduziu o ATE de 14,25m para 0,73m no subconjunto onde o PanoVGGT-SLAM teve sucesso, e obteve sucesso em todas as sequências onde o PanoVGGT-SLAM falhou.
• Estimativa de Gravidade: A leitura de gravidade alcançou um erro angular médio de 2,55°, superando baselines dedicados de estimativa de gravidade (ex: VectorUp, DPF-angle) e recuperando 86–90% do desempenho de um oracle usando a gravidade real (ground-truth).
• Estudos de Ablação:
  • Remover a canonicalização de gravidade aumentou o ATE em 24,6% no total e 57,2% em sequências de alta inclinação.
  • Remover o filtro de atenção aumentou o ATE em 90% (1,35m para 2,57m) e reduziu a precisão do loop de 98,6% para 94,6%.
  • O aumento simétrico melhorou o ATE em 15,1% em relação ao aumento unilateral.
  • A ponderação consistente com o ângulo sólido no RANSAC e no ajuste de Umeyama foi crítica para a precisão ideal.

Significância e Alegações
O artigo afirma que o HALO-SLAM demonstra que modelos de fundação congelados contêm pistas latentes (orientação de gravidade e atenção entre visões) que são suficientes para construir um sistema de SLAM de longa sequência robusto sem realizar o ajuste fino do backbone. O sistema aborda os modos de falha específicos do SLAM panorâmico:

• Instabilidade Local: Resolvida pela canonicalização de gravidade livre de IMU.
• Deriva Global: Resolvida por um pipeline de fechamento de loop conservador e consciente de custo que filtra falsos positivos precocemente e valida a consistência geométrica densamente.
• Ambiguidade de Escala e Orientação: Resolvida pela otimização Sim(3) com restrições consistentes com o ângulo sólido.

Os autores posicionam o HALO-SLAM como um passo em direção ao aproveitamento dos priors geométricos de modelos de fundação para uma percepção robótica robusta e globalmente consistente, destacando especificamente que "olhar para cima" (decodificar gravidade) e "olhar para trás" (filtragem baseada em atenção) são mecanismos críticos para adaptar modelos de alimentação direta para tarefas sequenciais.