CAD-Prompted SAM3: Geometry-Conditioned Instance Segmentation for Industrial Objects

1. Planteamiento del Problema

La segmentación de instancias en entornos industriales y de fabricación (como la impresión 3D y el prototipado rápido) enfrenta desafíos únicos que los métodos tradicionales de visión por computadora no resuelven eficazmente:

• Limitaciones del lenguaje: Los modelos basados en texto (como los prompts de lenguaje natural) fallan con componentes ingenieriles que carecen de nombres descriptivos o que se distinguen por sutiles diferencias geométricas difíciles de verbalizar.
• Inconsistencia de la apariencia: Los métodos basados en ejemplos visuales (imágenes de referencia) dependen de similitudes de color, textura o acabado. Sin embargo, en la industria, un mismo componente puede fabricarse con diferentes materiales, colores o acabados superficiales, lo que hace que la identidad basada en la apariencia sea poco fiable.
• Definición canónica: A diferencia de los objetos naturales, los componentes industriales están definidos canónicamente por sus modelos CAD (geometría precisa), independientemente de su apariencia superficial.

El objetivo es lograr una segmentación de instancias robusta que utilice la geometría del modelo CAD como única especificación, ignorando las variaciones de color y textura.

2. Metodología

Los autores proponen un marco de trabajo llamado CAD-Prompted SAM3, que extiende el modelo fundacional Segment Anything Model 3 (SAM3) para admitir prompts basados en geometría.

Arquitectura y Flujo de Trabajo

1. Entrada del Prompt (Renderizado Multi-vista):

   • En lugar de usar una imagen de referencia RGB o texto, el sistema toma el modelo 3D (malla) del objeto objetivo.
   • Se generan vistas canónicas multi-vista del modelo CAD utilizando Blender desde puntos de vista predefinidos en una esfera de visualización.
   • Estas vistas se codifican utilizando el codificador de imágenes de SAM3 y un codificador geométrico que inyecta puntos de referencia dentro de la máscara de primer plano, creando embeddings conscientes de la geometría.

2. Fusión de Prompts (Transformador de Fusión):

   • A diferencia de los prompts de ejemplo en la misma imagen, estos embeddings derivados del CAD provienen de un dominio de imagen diferente.
   • Para alinear la geometría con la imagen de consulta, los embeddings de las vistas CAD se tratan como "tokens de concepto" y se inyectan en el Transformador de Fusión de SAM3.
   • Este módulo utiliza mecanismos de atención cruzada para fusionar las características de la imagen de consulta con la información geométrica de las vistas CAD, permitiendo que el modelo "entienda" la forma del objeto independientemente de su textura.

3. Detección y Segmentación de Una Etapa:

   • La representación fusionada se procesa directamente por las cabezas de detección y máscara de SAM3.
   • El sistema predice las máscaras de instancias en un solo pase hacia adelante (single-stage), sin necesidad de etapas de post-procesamiento complejas para la alineación.

Entrenamiento con Datos Sintéticos

Dado que no existen grandes conjuntos de datos reales con anotaciones CAD-imagen, los autores desarrollaron un pipeline de entrenamiento sintético:

• Generación de Datos: Se utilizaron ~9,000 modelos CAD del conjunto de datos ABC.
• Aleatorización de Dominio (ADR): Se empleó Isaac Sim para crear escenas desordenadas con iluminación diversa, fondos variados y, crucialmente, aleatorización de apariencia. Los materiales, colores y texturas se asignan aleatoriamente a las mallas, independientemente de su identidad geométrica.
• Estrategia de Optimización: Se utiliza un entrenamiento en dos etapas:
  1. Supervisión ponderada por puntuación: Para estabilizar el entrenamiento inicial.
  2. Emparejamiento uno-a-muchos: Para permitir la detección de múltiples instancias del mismo objeto en una sola imagen, evitando que el modelo colapse todas las predicciones en una sola instancia.

3. Contribuciones Clave

1. Formulación de Segmentación con Prompt CAD: Introducen una nueva modalidad de prompt que utiliza renderizados multi-vista canónicos de modelos CAD, permitiendo la segmentación basada puramente en la geometría.
2. Pipeline de Entrenamiento Sintético: Desarrollan un método para disociar la geometría de la variación de apariencia mediante la aleatorización de materiales y texturas en datos sintéticos, enseñando al modelo a ignorar el color y enfocarse en la forma.
3. Predicción Densa Robusta: Demuestran que los prompts CAD permiten una predicción de máscaras densas y de una sola etapa para objetos industriales que son difíciles de describir por lenguaje o ejemplos visuales, especialmente en escenarios de prototipado rápido.

4. Resultados Experimentales

El modelo se evaluó en tres escenarios principales:

• Conjunto de Datos Personalizado de Impresión 3D:

  • Escenario: Objetos reales impresos en 3D con variaciones de color y fondos desordenados.
  • Resultados: CAD-Prompted SAM3 superó significativamente a los métodos basados en ejemplos (PerSAM, Matcher) y a SAM3 estándar.
    • Calidad Panóptica (PQ): 0.7385 (vs. 0.6057 de Matcher).
    • Puntuación F1: 0.7636 (vs. 0.6271 de Matcher).
  • Conclusión: La identidad basada en la forma supera a la basada en el color cuando los objetos cambian de apariencia.

• Benchmarks Industriales (T-LESS e ITODD):

  • Escenario: Objetos industriales sin textura, metálicos y altamente ocluidos.
  • Resultados: El método propuesto logró el mejor rendimiento en ambos conjuntos de datos.
    • En ITODD, alcanzó un PQ de 0.4921 y un F1 de 0.6090, superando notablemente a los baselines (SAM3 con ejemplos de imagen obtuvo un F1 de 0.5070).
  • Conclusión: La condición geométrica mejora la robustez en entornos industriales donde las cues visuales (color/textura) son débiles o inexistentes.

5. Significado e Impacto

Este trabajo representa un avance fundamental en la percepción robótica para la manufactura:

• Alineación con la Práctica Industrial: Alinea la percepción de la máquina con la forma en que se especifican realmente los componentes en la industria (modelos CAD precisos) en lugar de etiquetas semánticas o ejemplos visuales.
• Solución para Prototipado Rápido: Resuelve el problema de la "falta de datos" en la fabricación de lotes pequeños, donde no es viable recopilar y anotar cientos de imágenes para cada nuevo componente. El modelo puede segmentar un objeto nuevo simplemente recibiendo su archivo CAD.
• Independencia de la Apariencia: Establece un nuevo paradigma donde la identidad del objeto se define por su estructura geométrica, haciendo que los sistemas de visión sean invariantes a cambios de color, material o acabado superficial.

En resumen, CAD-Prompted SAM3 demuestra que los modelos fundacionales de segmentación pueden ser adaptados exitosamente al dominio industrial utilizando la geometría canónica como guía principal, superando las limitaciones inherentes de los enfoques basados en lenguaje o apariencia visual.