ClickSeg3D: Few-Click Interactive Segmentation via Semantic Embeddings

Resumo Técnico: ClickSeg3D

Declaração do Problema
A segmentação 3D interativa visa gerar rótulos eficientes ao aproveitar cliques fornecidos pelo usuário para refinar progressivamente as previsões, uma capacidade crítica para cenários onde rótulos totalmente supervisionados são custosos ou é necessária generalização para classes não vistas. Métodos interativos 3D existentes enfrentam limitações significativas: a maioria opera sequencialmente, prevendo apenas um objeto por iteração com máscaras binárias, o que resulta em inferência lenta para cenas com múltiplos objetos. Além disso, abordagens recentes frequentemente dependem de modelos fundamentais 2D (por exemplo, SAM) e exigem alinhamento preciso da câmera para superar a lacuna 2D-3D. Esses métodos são sensíveis a pontos de vista esparsos, oclusão e inconsistências entre máscaras 2D e rótulos 3D. Adicionalmente, pipelines iterativos que exigem atualizações repetidas do modelo após cada clique corretivo são computacionalmente caros e limitam a escalabilidade, particularmente para conjuntos de dados não vistos.

Metodologia
Os autores propõem o ClickSeg3D, um novo framework de segmentação interativa que opera diretamente sobre pontos 3D esparsos e aleatoriamente subamostrados, processando múltiplos cliques de objetos em uma única passagem direta. A arquitetura consiste em três componentes principais:

1. Codificador Baseado em Point Transformer: O modelo utiliza um codificador compartilhado Point Transformer v3 (PTv3) para extrair recursos ricos tanto dos pontos da cena quanto dos pontos de clique fornecidos pelo usuário. Este codificador gera recursos de cena em múltiplas escalas e inicializa recursos de consulta baseados no voxel mais próximo da localização do clique.
2. Decodificador de Máscara Hierárquico com Adaptador de Consulta Condicional: Diferentemente de pipelines iterativos anteriores, o decodificador processa todas as consultas de clique simultaneamente. Ele emprega uma arquitetura multiestágio onde um bloco de transformador refina recursos através de atenção cruzada (clique-para-cena) e atenção própria (clique-para-clique). Crucialmente, o framework introduz um Adaptador de Consulta Condicional que refina recursos de clique esparsos usando embeddings semânticos e espaciais aprendíveis.
   • Embeddings de Protótipos Semânticos: Inspirado em segmentação de vocabulário aberto, o modelo usa protótipos semânticos aprendíveis para condicionar recursos de consulta, aprimorando a atenção e a robustez a categorias não vistas.
   • Corte e Mesclagem em Múltiplos Níveis: O decodificador refina progressivamente máscaras de instância de granularidade grosseira para fina. Ele utiliza uma cabeça de máscara para previsão espacial e uma cabeça de classe para classificação semântica, fundindo embeddings espaciais (derivados do agrupamento de máscaras) e embeddings semânticos (selecionados de protótipos) para atualizar recursos de consulta via uma MLP leve.
3. Estratégia de Treinamento: Os autores introduzem uma Estratégia de Treinamento Orientada por Interação Esparsa. Em vez de depender de feedback humano iterativo durante o treinamento, eles simulam interações realistas de usuário usando Amostragem do Ponto Mais Longe (FPS) para gerar pontos de clique simulados em cenas subamostradas. Isso permite que o modelo aprenda um problema de previsão de múltiplos objetos de "um clique por instância" em uma única passagem direta, onde o clique positivo de uma instância serve implicitamente como supervisão negativa para outras.

Principais Contribuições

• Arquitetura de Passagem Única Desacoplada: O framework desconecta explicitamente a extração de recursos de pontos do refinamento de máscara em múltiplos estágios, permitindo segmentação eficiente e de granularidade fina de múltiplos objetos em uma única passagem direta sem re-inferência iterativa.
• Treinamento Orientado por Interação Esparsa: Um paradigma de treinamento baseado em pontos esparsos e aleatoriamente subamostrados simula interações de usuário, aprimorando a robustez a números variados de cliques e distribuições espaciais, mantendo a eficiência do treinamento.
• Decodificador de Corte e Mesclagem em Múltiplos Estágios: Um decodificador progressivo que aproveita embeddings de protótipos semânticos aprendíveis para condicionar e atualizar recursos de consulta. Isso aprimora a precisão da máscara e a generalização para conjuntos de dados não vistos sem aumentar o custo computacional.

Resultados Experimentais
Extensos experimentos foram conduzidos em conjuntos de dados internos (ScanNet40, S3DIS) e externos (KITTI360).

• Desempenho: O modelo melhora a Interseção sobre União Média (mIoU) em mais de 20% comparado a bases fortes (por exemplo, InterObject3D, Agile3D, SAM2Point) em uma configuração de um clique por instância. No ScanNet40, alcança 71,6% de mIoU com um único clique, comparado a 65,2% para SAM2Point e 63,3% para Agile3D.
• Generalização: Sob avaliação cruzada de conjuntos de dados (por exemplo, treinamento no ScanNet40 e teste no S3DIS ou KITTI360), o método alcança ganhos de 8–10% sobre as bases, demonstrando robustez superior a deslocamentos de domínio.
• Eficiência: O design de passagem única reduz significativamente a sobrecarga computacional. O modelo alcança latência de inferência competitiva (0,06s) e uma pegada de memória razoável (128,5 MB), tornando-o adequado para aplicações em tempo real.
• Estudos de Ablação: A remoção de componentes como embeddings semânticos, embeddings espaciais ou o adaptador de consulta leva a quedas significativas de desempenho, validando a necessidade da arquitetura proposta.

Significado e Alegações
O artigo afirma que o ClickSeg3D fornece uma solução generalizável e eficiente para segmentação de instâncias 3D interativa. Ao eliminar a necessidade de refinamento iterativo e alinhamento explícito da câmera, o método aborda os gargalos de escalabilidade e eficiência das abordagens atuais. Os autores afirmam que sua abordagem é particularmente adequada para aplicações em tempo real, como manipulação robótica, navegação e anotação semântica 3D rápida. O trabalho demonstra que modelar relações inter-instâncias e refinar previsões espaciais/semânticas através de embeddings em uma única passagem pode superar métodos que dependem de modelos fundamentais 2D ou inferência sequencial.

Limitações
Os autores reconhecem que o framework atual está limitado a consultas de clique baseadas em nuvem de pontos e ainda não explora dicas cruzadas de modalidade mais ricas, como prompts de texto ou orientação de máscara 2D de modelos fundamentais. Além disso, a interação do usuário ainda é necessária para iniciar a segmentação, e o modelo não raciocina explicitamente sobre hierarquias de partes de granularidade fina. Propõe-se trabalho futuro para estender o framework para segmentação interativa multimodal.