CAD-Prompted SAM3: Geometry-Conditioned Instance Segmentation for Industrial Objects

1. Problema e Motivação

O trabalho aborda o desafio da segmentação de instâncias em ambientes industriais, como manufatura e prototipagem rápida, onde os objetos frequentemente carecem de descrições linguísticas precisas ou possuem variações significativas de aparência (cor, material, acabamento) que não alteram sua identidade geométrica.

• Limitações dos Métodos Atuais:
  • Prompts de Texto: Modelos baseados em linguagem (como SAM3 com prompts textuais) falham em componentes engenheirados que não têm nomes descritivos ou são distinguidos por diferenças geométricas sutis.
  • Exemplares de Imagem (Appearance-based): Métodos que usam imagens de referência dependem de similaridade de cor e textura. Em cenários industriais, onde a mesma peça pode ser fabricada em diferentes cores ou materiais, esses métodos degradam-se significativamente.
  • Abordagens de Duas Etapas: Métodos baseados em correspondência de propostas (proposal matching) com CADs geralmente operam em duas etapas (detecção seguida de classificação), o que é menos eficiente e não oferece uma interface de segmentação "promptável" unificada.

O objetivo é criar um sistema que utilize o modelo CAD (geometria canônica) como único prompt para segmentar objetos, independentemente da aparência superficial ou da descrição textual.

2. Metodologia

Os autores propõem o CAD-Prompted SAM3, uma extensão do modelo de fundação Segment Anything Model 3 (SAM3). A abordagem transforma a segmentação em um problema de condicionamento geométrico.

• Arquitetura e Pipeline:

  1. Renderização Multi-visão: O modelo CAD (malha 3D) é renderizado a partir de múltiplos pontos de vista canônicos para gerar imagens RGB e máscaras de fundo.
  2. Codificação de Geometria: Cada visão renderizada é processada pelo codificador de imagem do SAM3. Pontos amostrados dentro da máscara são usados para gerar embeddings de prompts geométricos através do GeometryEncoder.
  3. Fusão Cross-Image: Diferente dos exemplares tradicionais (que vêm da mesma imagem de consulta), os embeddings derivados do CAD são injetados no Fusion Transformer do SAM3 como tokens de prompt. Isso permite que o modelo alinhe a geometria canônica com as características da imagem de consulta (query image) em uma única passagem.
  4. Detecção e Segmentação em Etapa Única: O modelo gera tokens de instância e decodifica máscaras de segmentação diretamente, sem necessidade de etapas posteriores de correspondência.

• Treinamento com Dados Sintéticos:

  • Foi criada uma pipeline de treinamento usando dados sintéticos gerados no Isaac Sim com aproximadamente 9.000 modelos CAD (Dataset ABC).
  • Randomização de Domínio (ADR): As texturas, cores, materiais e condições de iluminação são aleatorizadas independentemente da geometria da malha. Isso força o modelo a aprender a segmentação baseada na forma (geometria) e não em pistas visuais superficiais.
  • Estratégia de Otimização em Duas Etapas:
    • Estágio 1: Supervisão ponderada por pontuação para estabilizar o treinamento inicial.
    • Estágio 2: Correspondência "um-para-muitos" (one-to-many) para permitir a detecção de múltiplas instâncias do mesmo objeto na mesma imagem, evitando o colapso de previsões em uma única instância.

3. Contribuições Principais

1. Novo Modal de Prompt: Introdução da segmentação promptada por CAD, utilizando renderizações multi-visão canônicas como um modal de prompt sensível à geometria, superando as limitações de prompts de texto e exemplares de imagem.
2. Pipeline de Treinamento Sintético: Desenvolvimento de um pipeline que desacopla geometria de aparência através de renderização de malhas com randomização extensiva, permitindo generalização para objetos não vistos.
3. Segmentação Robusta em Etapa Única: Demonstração de que é possível realizar previsão densa de máscaras para objetos industriais com base puramente na especificação geométrica, funcionando bem em cenários de prototipagem rápida onde a aparência varia.

4. Resultados Experimentais

O método foi avaliado em três cenários principais:

• Dataset Personalizado de Impressão 3D:

  • Cenário com 8 objetos impressos em cores diferentes e fundos variados.
  • Resultado: O CAD-Prompted SAM3 alcançou a melhor qualidade de segmentação com PQ (Panoptic Quality) de 0,7385 e F1 de 0,7636, superando significativamente o Matcher (PQ 0,6057) e o PerSAM (PQ 0,2846). Isso confirma a superioridade em cenários onde a identidade é definida pela forma, não pela cor.

• Benchmarks Industriais (T-LESS e ITODD):

  • T-LESS: Objetos rígidos sem textura, com oclusão severa. O método obteve o melhor desempenho (PQ 0,2799).
  • ITODD: Objetos metálicos em escala de cinza. O método alcançou PQ 0,4921 e F1 0,6090, superando todas as linhas de base (incluindo prompts de exemplares de imagem do SAM3).

Os resultados consistentes mostram que o condicionamento direto na geometria CAD melhora a robustez em ambientes industriais complexos.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na percepção robótica para manufatura. Ao alinhar a percepção com a forma como os componentes industriais são realmente especificados (através de modelos CAD precisos) em vez de depender de rótulos textuais ou similaridade visual, o método oferece uma solução prática para:

• Prototipagem Rápida: Onde novos objetos são introduzidos frequentemente sem grandes conjuntos de dados anotados.
• Manufatura de Pequenos Lotes: Onde variações de cor e material são comuns.
• Robustez: Capacidade de segmentar objetos mesmo quando a aparência superficial muda drasticamente, mantendo a identidade geométrica.

O artigo sugere que a geometria canônica é um modal de prompt robusto e expressivo para modelos de fundação, abrindo caminho para futuras pesquisas em condicionamento geométrico direto (usando malhas ou nuvens de pontos sem renderização intermediária).