Resumo Técnico: ProteusVPR para Reconhecimento de Lugares Visuais entre Cenários em Percepção Marítima

1. Definição do Problema

A inspeção robótica autônoma em ambientes marítimos enfrenta desafios únicos para o Reconhecimento de Lugares Visuais (VPR) devido a mudanças perceptivas extremas entre cenários. Robôs que navegam em ambientes de embarcações devem transitar entre dois domínios visualmente distintos:

• Conveses Abertos (Open Decks): Caracterizados por texturas esparsas, fundos repetitivos de céu-mar e mudanças severas de iluminação causadas pelo clima e reflexos.
• Cabines Fechadas (Enclosed Cabins): Definidas por estruturas altamente repetitivas, corredores estreitos e layouts de múltiplos andares com forte semelhança de aparência.

Os métodos de VPR existentes, projetados principalmente para cenas urbanas ou internas (ex: NetVLAD, CosPlace, MixVPR), falham em generalizar de forma confiável através desses cenários tão distintos. Eles frequentemente otimizam para a recuperação de nível de imagem em vez de localização precisa, lutando contra a ambiguidade de estruturas internas repetitivas e a falta de textura nos conveses abertos. Além disso, simplesmente ajustar (fine-tuning) modelos existentes em conjuntos de dados marítimos é frequentemente insuficiente porque suas representações de características subjacentes são projetadas para recuperação genérica de larga escala, e não para localização interna repetitiva.

2. Metodologia: ProteusVPR

Os autores propõem o ProteusVPR, uma estrutura de dois estágios de recuperação-refinamento projetada para adaptar sistemas de VPR existentes a ambientes de cabine marítima sem redesenhar o backbone de recuperação.

Estágio 1: Recuperação Inicial de Imagem

O primeiro estágio emprega um modelo VPR padrão pré-treinado (ex: MutualVPR, CosPlace, SALAD) para recuperar a imagem de referência ($I_{r1}$) visualmente mais semelhante de um banco de dados georreferenciado. Este estágio fornece a localização geográfica ($\mathbf{p}_{r1}$) e o azimute central do campo de visão ($y_{r1}$) da imagem recuperada.

Estágio 2: Rede de Estimativa Geo-Visual

O segundo estágio refina a recuperação inicial usando uma rede de estimativa de deslocamento relativo. Ela recebe a imagem recuperada ($I_{r1}$) e os dois quadros temporalmente precedentes da sequência de vídeo de consulta ($I_{r2}, I_{r3}$) como entrada. A rede funde múltiplas modalidades para estimar a localização precisa:

1. Extração de Características Visuais: Um codificador DINOv2 ViT-B/14 congelado processa a consulta e as três imagens de referência. As características são aprimoradas via concatenação de tokens CLS e tokens de patch médios, seguidas por mecanismos de atenção inter-referência e consulta-referência.
2. Codificação de Descritor Geométrico: A rede computa as relações geométricas (deslocamentos, distâncias e ângulos) entre os três pontos de referência. Elas são codificadas em um descritor geométrico global ($\mathbf{f}_{geo}$).
3. Sistema de Coordenadas Afim Local: Para alcançar invariância de rotação e translação, um sistema de coordenadas afim 2D local é construído usando os três pontos de referência. A localização da consulta é estimada como um deslocamento ($\boldsymbol{\delta}_{local}$) relativo ao centroide deste sistema local, em vez de em coordenadas globais.
4. Codificação de Azimute: Os azimutes do centro do campo de visão (ângulos de yaw) da consulta e das referências são codificados e fundidos para fornecer contexto direcional.
5. Regressão e Transformação: Um MLP regride o vetor de deslocamento local. Este é transformado de volta para coordenadas globais usando a base afim construída.

Função de Perda (Loss Function): A rede é treinada de ponta a ponta usando uma combinação de:

• Perda de Posição Absoluta ($\mathcal{L}_{abs}$): Distância euclidiana entre a posição prevista e a posição real (ground-truth).
• Perda de Consistência Geométrica ($\mathcal{L}_{geo\_cons}$): Garante que a posição prevista permaneça geometricamente plausível em relação aos pontos de referência (restrições baricêntricas), penalizando previsões que se desviam significativamente do agrupamento de referência.

3. O Conjunto de Dados XHZ

Para apoiar uma avaliação rigorosa, os autores introduzem o Conjunto de Dados XHZ (Xinhongzhuan Visual), coletado de um navio operacional.

• Escopo: Abrange cabines internas (estruturas de múltiplos andares), zonas de transição de convés e áreas de convés externo.
• Características: Apresenta layouts espaciais altamente repetitivos, forte semelhança visual e trajetórias de movimento restritas.
• Anotação: Contém 2.996 imagens panorâmicas (Versão 1) com separação estrita entre consulta e banco de dados. O conjunto de dados utiliza uma estratégia específica de deslocamento de coordenadas para distinguir diferentes conveses (L0–L3) em projeções 2D, evitando associações falsas entre andares.
• Protocolo de Avaliação: As consultas são selecionadas de ângulos de yaw específicos (0°), enquanto o banco de dados inclui outros ângulos e quadros temporais para simular cenários de observação discreta e mapeamento denso.

4. Resultados Experimentais

Experimentos extensivos foram conduzidos no conjunto de dados XHZ usando múltiplos backbones de VPR (BoQ, CosPlace, EigenPlaces, MixVPR, SALAD, MutualVPR) com pesos pré-treinados e ajustados (fine-tuned).

• Desempenho de Recuperação: O ajuste fino melhorou significativamente o desempenho base. O MutualVPR (ajustado) alcançou o maior recall (R@1 até 97,3% na Camada 3) e o menor erro de localização no quantil de 90% em todas as camadas.
• Desempenho de Refinamento: A etapa de refinamento do ProteusVPR melhorou consistentemente a precisão da localização.
  • Em média, a estrutura reduziu o erro médio de localização em mais de 60% em múltiplos backbones.
  • Para o MutualVPR (ajustado) na Camada 3, o erro médio caiu de 1,519 m (Estágio 1) para 0,242 m (Estágio 2), uma redução de 84,1%.
  • Para o CosPlace (ajustado) na Camada 3, o erro médio caiu de 4,416 m para 0,275 m (redução de 93,8%).
• Robustez: A etapa de refinamento foi particularmente eficaz em corrigir "erros de cauda longa" (falhas catastróficas) onde a recuperação inicial foi imprecisa, muitas vezes corrigindo erros de recuperação entre andares ao alavancar a continuidade temporal dos quadros precedentes.

Estudo de Ablação

• Descritores Geométricos: A remoção da codificação do descritor geomético causou uma queda massiva no desempenho (ex: o erro do quantil de 90% na Camada 3 aumentou de 0,432 m para 2,974 m), confirmando seu papel crítico.
• Sistema de Coordenadas Afim Local: A remoção deste sistema (realizando a regressão em coordenadas globais) degradou significativamente o desempenho, validando a necessidade de invariância.
• Codificação de Azimute: A remoção da codificação explícita de azimute resultou em perda de desempenho apenas marginal, sugerindo que as características visuais nos interiores de navios codificam implicitamente informações direcionais.

5. Significância e Alegações

O artigo afirma que o ProteusVPR oferece uma solução eficaz e robusta para localização visual precisa em ambientes marítimos desafiadores e entre cenários. Sua principal significância reside em:

1. Adaptabilidade Geral: Serve como uma estrutura de refinamento de segundo estágio que pode ser aplicada a sistemas de VPR existentes, aumentando seu desempenho em ambientes marítimos sem exigir uma reformulação completa da arquitetura.
2. Preenchimento de Lacuna: Consegue unir o hiato entre cenários de águas abertas (ex: atracação autônoma) e ambientes fechados (ex: inspeção de cabine baseada em RA), abordando a ambiguidade perceptual encontrada em interiores de navios repetitivos.
3. Benchmarking: A introdução do conjunto de dados XHZ fornece um benchmark rigoroso e detalhado para VPR marítimo, abordando a falta de conjuntos de dados adequados para avaliar a navegação entre cenários em embarcações.

Os autores reconhecem limitações, observando que a estrutura depende da qualidade da recuperação inicial (falhas graves de recuperação não podem ser totalmente corrigidas) e que o conjunto de dados é atualmente limitado a um único navio. Sugere-se como trabalho futuro explorar a recuperação consciente de incerteza e conjuntos de dados marítimos maiores e mais diversos.