NegROI: Click-Centric Uncertainty-Guided Refinement with Scene-Conditioned Negative Prompts for Robust Interactive 3D Segmentation

Resumo Técnico: NegROI

Enunciado do Problema
A segmentação 3D interativa visa extrair máscaras de objetos de nuvens de pontos utilizando o mínimo de cliques do usuário. Apesar dos avanços recentes, os métodos existentes enfrentam dois desafios primários:

1. Subsegmentação de Fronteira: Representações de voxels de resolução única frequentemente embaçam fronteiras finas de objetos, particularmente quando o orçamento de cliques do usuário é pequeno.
2. Falsos Positivos (FPs) Difíceis: Estruturas de fundo confusas frequentemente disparam falsos positivos de alta confiança, mesmo com o feedback do usuário.
   Esses problemas são exacerbados por mudanças de distribuição entre conjuntos de dados (ex: reconstruções RGB-D densas vs. varreduras LiDAR esparsas), onde heurísticas de refinamento fixas e decodificação puramente impulsionada por cliques falham em generalizar.

Metodologia
Os autores propõem o NegROI, um novo framework interativo baseado em transformer que integra o refinamento multiresolução centrado no clique com prompts negativos condicionados à cena. A arquitetura consiste em três componentes acoplados:

1. Backbone & Interação:

   • O sistema utiliza um backbone de voxel esparso e um decodificador transformer de duas vias (adaptado do Easy3D) para codificar a cena e integrar tokens de clique.
   • Os cliques são mapeados para coordenadas de voxel grosseiras, e tokens de interação (foreground, background e específicos de clique) são injetados no decodificador.

2. Prompts Negativos Condicionados à Cena:

   • Para modelar explicitamente estruturas de fundo confusas, o método introduz $K$ queries de prompt negativo aprendíveis.
   • Essas queries realizam cross-attention com tokens da cena para gerar protótipos negativos condicionados à cena, que são anexados aos tokens de interação antes da decodificação.
   • Supervisão:
     • Mineração de Negativos Difíceis Consciente de Fronteira ($L_{hn}$): Os pesos de atenção dos prompts negativos são supervisionados para focar em falsos positivos de alta confiança localizados próximos às fronteiras dos objetos.
     • Regularizador de Diversidade ($L_{div}$): Uma penalidade na similaridade de cosseno entre protótipos negativos evita o "colapso de prompt", garantindo uma modelagem de fundo diversa.

3. Refinamento de ROI Centrado no Clique:

   • Em vez de refinar toda a cena em alta resolução, o sistema identifica uma Região de Interesse (ROI) local ao redor do clique atual.
   • Raio Adaptativo: O tamanho da ROI é determinado por um raio adaptativo previsto a partir do contexto do clique e da densidade local de pontos.
   • Refinamento Seletivo: Um mecanismo impulsionado por incerteza prioriza regiões ambíguas dentro da ROI para processamento de grade fina.
   • Processo de Refinamento: A ROI é re-voxelizada em uma resolução mais fina ($v_f = v/\eta$), processada através de um encoder compartilhado e um decodificador de ROI dedicado, e os logits finos resultantes são agregados via max-aggregation e fundidos de volta aos logits grosseiros via atualização residual.

Principais Contribuições
O artigo descreve quatro contribuições primárias:

1. Refinamento Multiresolução Centrado no Clique: Um módulo que realiza o refinamento eficiente de grade fina dentro de uma ROI local e funde essas predições de volta aos logits grosseiros, abordando o embaçamento de fronteira sem a necessidade de decodificação global densa.
2. Refinamento Seletivo Impulsionado por Incerteza: Um mecanismo que concentra recursos computacionais em regiões ambíguas dentro da ROI, melhorando tanto a eficiência quanto a robustez.
3. Prompts Negativos Condicionados à Cena: Uma abordagem estruturada para modelagem explícita de fundo usando protótipos negativos aprendidos via cross-attention, aumentados por um regularizador de diversidade para evitar colapso.
4. Mineração de Negativos Difíceis Consciente de Fronteira: Uma estratégia de supervisão que direciona a atenção do prompt negativo especificamente para falsos positivos de alta confiança próximos à fronteira.

Resultados Experimentais
Os autores avaliaram o NegROI em três datasets de referência: ScanNet40, S3DIS e KITTI-360.

• Desempenho In-Domain: No ScanNet40, o NegROI superou consistentemente os baselines de estado da arte (incluindo InterObject3D, AGILE3D e Easy3D) em todos os orçamentos de cliques ($k \in \{1, 2, 3, 5, 10\}$), com os ganhos mais significativos observados sob interações esparsas (1–3 cliques).
• Generalização Out-of-Domain: Quando treinado no ScanNet40 e testado no S3DIS e KITTI-360 sem treinamento no domínio alvo, o NegROI demonstrou robustez superior entre datasets comparado aos baselines, mantendo um forte desempenho particularmente com baixas contagens de cliques.
• Avaliação de Clique Único: Em um cenário treinado apenas no ScanNet20 e testado no ScanNet20/40, o NegROI melhorou as métricas mAP e AP em comparação com baselines não interativos e de vocabulário aberto, sugerindo que os benefícios do prompting e refinamento propostos se estendem a cenários de clique único.
• Análise Qualitativa: Visualizações confirmaram que o NegROI suprime efetivamente distratores anexados ou visualmente similares e recupera fronteiras mais nítidas, resultando em menos falsos positivos próximos à fronteira em comparação com o baseline Easy3D.

Significância
O artigo afirma que o NegROI avança o estado da arte para a segmentação 3D interativa robusta. Ao acoplar o refinamento local centrado no clique com a modelagem explícita de fundo via prompts negativos, o método alcança maior eficiência de clique e redução de falsos positivos. Crucialmente, ele aborda o desafio de generalizar entre datasets com diferentes densidades e escalas, oferecendo uma solução menos dependente de heurísticas fixas e mais adaptável a mudanças de distribuição. Os autores posicionam este trabalho como um passo em direção a pipelines interativas mais confiáveis para aplicações 3D onde a rotulagem densa é dispendiosa.