Mapping the Unseen: Unified Promptable Panoptic Mapping with Dynamic Labeling using Foundation Models

Resumo Técnico: Mapeamento Panóptico Unificado e Promptável com Rotulagem Dinâmica Usando Modelos de Fundação

Definição do Problema
O mapeamento panóptico é essencial para permitir que robôs raciorem sobre geometria e semântica em ambientes estruturados. No entanto, os sistemas existentes enfrentam um compromisso crítico: os métodos tradicionais que dependem de conjuntos de categorias predefinidos (vocabulário fechado) carecem de expressividade semântica, enquanto abordagens recentes de vocabulário aberto frequentemente produzem rótulos inconsistentes. Modelos de vocabulário aberto frequentemente geram rótulos intimamente relacionados ou sinônimos (por exemplo, "mesa de jantar", "mesa de madeira", "escrivaninha de cozinha") para o mesmo objeto. Quando esses rótulos inconsistentes são fundidos em um mapa 3D, eles fragmentam entidades panópticas, degradam a consistência volumétrica e falham em resolver como reconciliar as previsões de vocabulário aberto com priors volumétricos ou escala de objetos. As soluções atuais exigem treinamento offline por cena, dependem de raciocínio baseado em grafos ou falham em unificar sinônimos em uma estrutura categórica consistente enquanto mantêm a precisão geométrica.

Metodologia
O framework proposto de Mapeamento Panóptico Unificado e Promptável (UPPM) aborda esses desafios introduzindo um mecanismo de Descritor Dinâmico que faz a ponte entre a percepção de vocabulário aberto e o mapeamento panóptico 3D consistente. O pipeline opera sem treinamento por cena ou campos de radiação neural, utilizando modelos de fundação prontos para uso em um processo de múltiplos estágios:

1. Extração de Características Visual-Linguísticas++ (VLFE++): O sistema processa entradas RGB usando Tag2Text para gerar legendas de imagem e tags de nível de objeto. Estas são analisadas via rotulagem de Classe Gramatical (POS) e lematização para normalizar variantes morfológicas (por exemplo, "cadeiras" para "cadeira"), criando um conjunto de rótulos candidatos de vocabulário aberto.
2. Recuperação Semântica (SR): Para resolver a fragmentação de rótulos, a SR mapeia os rótulos de vocabulário aberto para um conjunto fixo de categorias semânticas unificadas (baseadas nas classes COCO-Stuff) usando similaridade de cosseno com embeddings MPNet. Crucialmente, cada categoria unificada carrega um prior de tamanho volumétrico herdado (Pequeno, Médio ou Grande). Esta etapa produz Descritores Elementares ($e_i = \langle o_i, \hat{c}_i, \hat{\nu}_i \rangle$), que contêm o rótulo original de vocabulário aberto, a categoria unificada e o prior de tamanho.
3. Segmentação Panóptica de Vocabulário Aberto: O Grounding-DINO detecta objetos usando os rótulos de vocabulário aberto, e o Segment Anything Model (SAM) gera máscaras de segmentação. Uma estratégia de Supressão de Não-Máximo (NMS) Customizada é empregada para lidar com duplicatas decorrentes de prompts semanticamente similares. Diferente da NMS tradicional baseada em IoU, este método utiliza um critério de proximidade baseado em coordenadas para suprimir caixas delimitadoras quase idênticas e supressão baseada em contenção para caixas aninhadas, reduzendo significativamente associações redundantes.
4. Fusão Panóptica Unificada (UPF): O sistema funde geometria e semântica em um mapa multi-resolução multi-TSDF. Durante a fusão, descritores elementares associados ao mesmo submapa 3D (objeto) são agregados em um único Descritor Dinâmico. Este descritor acumula todos os rótulos de vocabulário aberto observados ao longo do tempo, mantendo uma única categoria unificada estável e um prior de tamanho. A associação é determinada pela Interseção sobre União (IoU) entre as máscaras previstas e renderizadas, com um limiar mínimo para evitar links espúrios.

Principais Contribuições

1. Mecanismo de Descritor Dinâmico Panóptico: O UPPM introduz uma estrutura de dados inovadora que agrega rótulos de vocabulário aberto ao nível do objeto durante a fusão, em vez de no momento da detecção. Isso permite que o sistema preserve a rica expressividade de vocabulário aberto (permitindo consultas como "mesa marrom clara" ou "mesa de comer") enquanto impõe consistência categórica (unificando-os sob "mesa") e priors de tamanho geométrico.
2. Pipeline Livre de Treinamento: O sistema constrói mapas panópticos 3D que são geometricamente precisos e semanticamente consistentes sem exigir treinamento por cena, raciocínio baseado em grafos ou campos de radiação neural, tornando-o adequado para aplicações robóticas em tempo real.
3. Avaliação Abrangente e Ablação: Os autores avaliam o UPPM em três regimes (Segmentação-para-Mapa, Mapa-para-Mapa e Segmentação-para-Segmentação) no ScanNet v2, RIO e Flat. Estudos de ablação confirmam que a semântica unificada, a NMS customizada e os componentes de filtragem de frames borrados são críticos para o desempenho do sistema.

Resultados
Resultados experimentais demonstram que o UPPM alcança um desempenho geral superior em comparação com as linhas de base de conjunto fechado e de vocabulário aberto de última geração:

• Reconstrução Geométrica: No dataset Flat, o UPPM alcançou uma precisão de 0,61 cm e completude de 1,10 cm, superando competidores como Kimera e PanMap. No dataset RIO, ruidoso e do mundo real, o UPPM mostrou robustez ao desfoque de movimento, alcançando uma distância de Chamfer de 5,65 cm e uma distância de Hausdorff de 10,05 cm, significativamente melhor que outros métodos de vocabulário aberto.
• Qualidade de Segmentação Panóptica: O UPPM obteve a maior Qualidade Panóptica (PQ: 0,414) e Qualidade de Reconhecimento (RQ: 0,475) no dataset Flat.
• Insights de Ablação: A remoção das semânticas unificadas (PPM) levou a rotulagem ambígua e menor precisão de reconstrução. A NMS customizada melhorou a razão de completude em 8,27% e reduziu falsos negativos em 16,9% em configurações de vocabulário aberto. A filtragem de frames borrados melhorou notavelmente o desempenho no dataset ruidoso RIO.
• Eficiência: Embora o UPPM opere a 2,28 FPS (mais lento que as linhas de base de conjunto fechado devido ao processamento visão-linguagem), ele troca a taxa de quadros por capacidade de vocabulário aberto e melhor qualidade panóptica sem retreinamento.

Significância
O artigo afirma que o UPPM representa uma mudança de paradigma da rotulagem no momento da detecção para a agregação semântica no momento da fusão. Ao reconciliar a semântica de cauda longa dos modelos de fundação com os requisitos de consistência do mapeamento panóptico, o UPPM permite que robôs mantenham mapas 3D persistentes e consultáveis. O sistema preserva a interpretabilidade dos prompts de vocabulário aberto — permitindo a recuperação de objetos condicionada à linguagem usando sinônimos e paráfrases — ao mesmo tempo em que entrega forte precisão geométrica e evita a fragmentação de instâncias que assola as abordagens de mapeamento de vocabulário aberto existentes. Os autores posicionam isso como um passo em direção ao entendimento de cena robusto e em tempo real que não depende de otimização pesada por cena.