CrossMaps: Confidence-Aware Open-Vocabulary Semantic Mapping for Rover Navigation

Resumo Técnico: CrossMaps – Mapeamento Semântico de Vocabulário Aberto com Consciência de Confiança para Navegação de Rovers

Declaração do Problema
Rovers autônomos operando em ambientes não estruturados enfrentam desafios significativos para manter representações espaciais que sejam simultaneamente geometricamente precisas e semanticamente significativas. Os sistemas de navegação tradicionais dependem de mapas geométricos baseados em SLAM, que capturam a estrutura espacial, mas carecem da compreensão semântica necessária para a interação de vocabulário aberto. Embora modelos de visão-linguagem (VLMs) recentes tenham possibilitado o mapeamento semântico de vocabulário aberto (ex: VLMaps), a implantação desses sistemas em rovers móveis permanece difícil. As questões principais incluem observações ruidosas e dependentes do ponto de vista, embeddings variáveis devido à iluminação e perspectiva, e a necessidade de equilibrar a estabilidade do mapa em horizontes longos com a adaptabilidade necessária para incorporar novas evidências. Métodos existentes frequentemente fundem todas as evidências em uma única representação com tratamento limitado de incerteza, tornando-os suscetíveis ao ruído sensorial e a mudanças ambientais dinâmicas.

Metodologia: O Pipeline CrossMaps
O CrossMaps aborda esses desafios através de um pipeline de mapeamento semântico de vocabulário aberto em tempo real e com consciência de confiança, projetado para rovers móveis. O sistema integra embeddings CLIP multiescala com uma arquitetura de memória dupla e mecanismos de fusão de dados conscientes de confiança.

1. Extração de Embedding Multiescala:
   O pipeline processa dados RGB-D recebidos dividindo os quadros RGB em tiles multiescala. Cada tile é codificado usando um transformador visual CLIP pré-treinado (ViT-L/14) para gerar embeddings semânticos alinhados com linguagem natural. Esta abordagem por tile evita o custo computacional de embeddings densos por pixel, mantendo a robustez contra o movimento da câmera.

2. Projeção Espacial e Fusão:
   Usando imagens de profundidade ($D_t$) e pontos de vista do rover ($T_t$) estimados por SLAM, o sistema projeta de volta os pixels de profundidade para o espaço 3D. Esses pontos 3D são associados aos embeddings semânticos de seus respectivos tiles de imagem. As observações são acumuladas em um mapa de grade espacial (top-down).

3. Memória de Curto Prazo (STM) Consciente de Confiança:
   A STM atua como um mapa de grade dinâmico que agrega observações recentes. Ela modela explicitamente a incerteza de percepção atribuindo valores de confiança às observações baseados em três pistas:

• Confiança Geométrica: Considera a distância do sensor e a visibilidade, aplicando decaimento baseado na distância para observações distantes.
• Confiança Semântica: Mede o acordo entre novos embeddings e a evidência atual da célula via similaridade de cosseno no espaço CLIP. Observações inconsistentes são penalizadas.
• Confiança Temporal: Aplica decaimento baseado no tempo de confiança em regiões raramente observadas, permitindo que o mapa se adapte a mudanças.

A fusão dentro da STM é realizada via agregação ponderada pela confiança. Cada célula mantém um acumulador semântico ($S_C$) e um acumulador de confiança ($W_C$). Novas observações são suavemente filtradas com base na consistência semântica antes de serem adicionadas ao embedding da célula.

4. Arquitetura de Memória Dupla (Promoção da STM para LTM):
   Para garantir a estabilidade, o CrossMaps utiliza uma Memória de Longo Prazo (LTM) que armazena marcos semânticos persistentes. As células na STM são promovidas para a LTM apenas se satisfizerem três critérios rigorosos:

• Alta Confiança: A confiança acumulada ($W_C$) deve exceder um limiar ($\tau_c$).
• Coerência Semântica: A norma da média dos embeddings fundidos dentro de uma célula deve exceder um limiar ($\tau_h$), garantindo que observações conflitantes não corrompam o mapa de longo prazo.
• Diversidade de Ponto de Vista: A célula deve ser observada de múltiplos pontos de vista distintos (rastreados via bitmask), confirmando a confiabilidade além de uma única perspectiva.

5. Consulta de Linguagem Natural:
   O mapa resultante suporta consultas de vocabulário aberto. Uma consulta de linguagem natural é codificada em um embedding de texto CLIP e comparada com os embeddings das células usando similaridade de cosseno. O resultado é um mapa de calor espacial onde a pontuação de correspondência é ponderada pela coerência da célula. Isso permite que células de alta confiança atuem como marcos confiáveis, enquanto ainda destacam regiões potencialmente úteis de baixa confiança.

Principais Contribuições
O artigo apresenta quatro contribuições primárias:

1. Um framework de mapeamento semântico de vocabulário aberto consciente de confiança que atribui confiança ao nível de ponto e de célula para observações baseadas em CLIP usando pistas geométricas, semânticas e temporais durante a fusão do mapa.
2. Uma representação de mapa semântico de memória dupla que agrega observações em um mapa de grade de curto prazo (STM) e promove apenas células suficientemente confiáveis, coerentes e suportadas por múltiplos pontos de vista para um mapa de marcos persistente de longo prazo (LTM).
3. Um pipeline de mapeamento semântico em tempo real que funde embeddings CLIP multiescala e por tile com alinhamento espacial baseado em SLAM para construir mapas 3D consultáveis por linguagem sob o movimento do rover.
4. Um mecanismo de promoção e consulta baseado em confiança e coerência que utiliza o acordo intra-célula para moldar mapas de calor e seleção de células, enquanto utiliza a confiança por célula para controlar a promoção de longo prazo e alvos de navegação.

Resultados e Demonstração
Os autores implementaram o CrossMaps como um nó modular ROS 2 em um UGV Waveshare equipado com uma GPU NVIDIA Jetson Orin e uma câmera RGB-D. O sistema opera junto com o RTAB-Map para localização.

• Operação em Tempo Real: O pipeline processa fluxos RGB-D com sucesso para construir mapas semânticos em tempo real.
• Desempenho de Consulta: O sistema gera mapas de calor espaciais para consultas de linguagem natural (ex: "planta", "martelo").
• Mitigação de Ruído: As visualizações demonstram que, embora a STM contenha observações ruidosas, a LTM filtra essas informações efetivamente, resultando em sugestões esparsas e confiáveis. Por exemplo, consultas para "martelo" mostram mapas de calor da STM ruidosos, mas mapas de calor da LTM mais limpos e confiáveis, validando a eficácia dos mecanismos de filtragem de confiança e coerência.

Significância e Alegações
O artigo afirma que o CrossMaps demonstra a viabilidade de combinar percepção de vocabulário aberto com fusão consciente de confiança e uma representação de memória dupla para permitir que rovers construam mapas semânticos consultáveis por linguagem enquanto mitigam o ruído perceptual. Ao separar observações incertas (STM) de estruturas estáveis (LTM), o sistema alcança um equilíbrio entre plasticidade e robustez. Os autores posicionam este trabalho como um passo em direção à navegação de rovers mais segura em observabilidade parcial, com trabalhos futuros planejados para integrar extração de características baseada em segmentação e estender o framework para compartilhamento de conhecimento multi-agente e raciocínio neuro-simbólico para cenários de segurança crítica.