PartSAM: A Scalable Promptable Part Segmentation Model Trained on Native 3D Data

El artículo presenta PartSAM, el primer modelo de segmentación de partes 3D entrenado nativamente en grandes volúmenes de datos 3D mediante una arquitectura escalable y un pipeline de anotación masiva, lo que le permite superar a los métodos actuales en la identificación precisa de partes superficiales e internas de objetos sin depender de la transferencia de modelos 2D.

Lo esencial

Imagina que tienes un bloque de arcilla digital (un objeto 3D) y quieres separar sus partes: las ruedas de un coche, las patas de una silla o incluso el interior de una caja de herramientas. Hasta ahora, las computadoras tenían dos formas de hacer esto, y ambas tenían problemas graves.

El problema de los viejos métodos:

1. El método del "Libro de Reglas": Los modelos antiguos solo conocían las partes que los humanos les habían enseñado previamente (como "silla" o "coche"). Si les mostrabas un objeto nuevo o raro, se perdían. Era como intentar cocinar un plato nuevo siguiendo estrictamente una receta antigua; si no estaba en la receta, no sabían qué hacer.
2. El método del "Espejo 2D": Recientemente, los científicos intentaron usar modelos 2D (como el famoso "Segment Anything" o SAM, que funciona en fotos) para entender el mundo 3D. Imagina que intentas entender la estructura interna de una casa solo mirando fotos de su fachada desde diferentes ángulos. Puedes ver la puerta y las ventanas, pero no puedes ver el interior, los tubos ocultos o la estructura de soporte. Además, este proceso era lento y costoso, como tener que tomar una foto nueva cada vez que querías cambiar algo.

La solución: PartSAM (El "Cuchillo Mágico" 3D)

Los autores de este paper presentan PartSAM, un nuevo modelo que es como un cuchillo mágico inteligente diseñado específicamente para el mundo 3D. Aquí te explico cómo funciona con analogías sencillas:

1. Entrenado en el "Mundo Real" (No en espejos)

A diferencia de sus competidores que aprenden mirando fotos 2D, PartSAM ha sido entrenado directamente con millones de objetos 3D reales.

• La analogía: Imagina a un chef. Los otros modelos son aprendices que solo han visto fotos de comida en revistas (2D). PartSAM, en cambio, ha pasado años cocinando y tocando ingredientes reales (3D). Por eso, entiende la textura, el peso y la estructura interna de los objetos, no solo cómo se ven por fuera.

2. El "Puntero Mágico" (Interactividad)

PartSAM es "promptable", lo que significa que puedes guiarlo con un simple clic.

• La analogía: Es como tener un puntero láser mágico. Si tocas con el láser la pata de una mesa, el modelo sabe instantáneamente: "¡Ah! Quieres separar esa pata". No necesita que le digas "pata de mesa", solo un punto. Si tocas el interior de un robot, puede separar las piezas internas que están ocultas, algo que los modelos 2D no pueden hacer porque nunca "ven" el interior en una foto.

3. El "Arquitecto de Dos Cerebros" (La Arquitectura)

El modelo tiene una estructura especial con dos "ramas" o cerebros trabajando juntos:

• Cerebro 1 (El Experto 2D): Guarda todo lo que sabe sobre formas y contornos de las fotos (aprendido de modelos 2D).
• Cerebro 2 (El Experto 3D): Aprende específicamente la geometría profunda de los objetos 3D.
• La analogía: Es como un equipo de detectives. Uno es un experto en reconocer caras en fotos (2D) y el otro es un experto en arquitectura y planos (3D). Juntos, pueden entender un edificio no solo por su fachada, sino por cómo se construyó por dentro.

4. El "Entrenador de IA" (Datos a gran escala)

Para entrenar a este modelo, los autores crearon un sistema automatizado que revisó más de 5 millones de objetos.

• La analogía: Imagina un entrenador de fútbol que tiene un asistente robot. El robot mira miles de partidos, identifica jugadas, y si el entrenador (la IA) se equivoca, el robot corrige la jugada y lo anota para que el entrenador aprenda. Este proceso se repitió millones de veces, creando un "libro de entrenamiento" gigante y diverso que incluye desde muebles de artistas hasta formas generadas por otras IAs.

¿Por qué es un gran avance?

• Velocidad: Mientras que otros modelos tardan minutos o horas en analizar un objeto (como resolver un rompecabezas lento), PartSAM lo hace en segundos (como un rayo láser).
• Precisión: Puede separar partes internas (como el motor dentro de un coche) y partes ocultas, algo que antes era imposible sin destruir el objeto digitalmente.
• Versatilidad: Funciona con cualquier objeto, incluso si nunca ha visto uno igual antes.

En resumen:
PartSAM es el primer modelo que entiende el mundo 3D "desde adentro hacia afuera". Ya no necesita depender de fotos planas ni de reglas estrictas. Con un solo clic, puede desarmar cualquier objeto digital en sus piezas constituyentes, abriendo la puerta a nuevas formas de editar videojuegos, diseñar robots y crear realidad virtual con una facilidad sin precedentes. Es como pasar de intentar armar un Lego mirando la caja a poder desarmarlo pieza por pieza con la mano.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "PartSAM: A Scalable Promptable Part Segmentation Model Trained on Native 3D Data", presentado en ICLR 2026.

1. El Problema

La segmentación de objetos 3D en sus partes constituyentes es un desafío fundamental en visión por computadora y gráficos. Los enfoques existentes presentan limitaciones críticas:

• Restricciones Taxonómicas: Los métodos tradicionales se entrenan en conjuntos de datos pequeños y cerrados (como ShapeNet-Part o PartNet) con categorías de partes predefinidas, lo que impide su generalización a objetos no vistos o definiciones de granularidad alternativas.
• Dependencia de la Supervisión 2D: Las soluciones más recientes para la segmentación en "mundo abierto" transfieren conocimiento de modelos fundacionales 2D (como SAM - Segment Anything Model) elevando máscaras 2D a 3D. Sin embargo, este paradigma indirecto falla en capturar la geometría intrínseca 3D, limitándose a entender solo la superficie visible. Esto resulta en una comprensión incompleta de estructuras internas y una segmentación descontrolada o fragmentada.
• Falta de Control y Escalabilidad: Los métodos basados en agrupamiento (clustering) carecen de la capacidad de interacción controlada por el usuario que ofrece SAM, y los enfoques de elevación 2D-3D suelen requerir optimización por objeto, lo que limita su escalabilidad.

2. Metodología: PartSAM

El authors proponen PartSAM, el primer modelo de segmentación de partes 3D promptable (capaz de responder a instrucciones) entrenado nativamente en grandes cantidades de datos 3D. La arquitectura sigue la filosofía de diseño de SAM pero adaptada al dominio 3D:

A. Arquitectura del Modelo

• Codificador Dual de Ramas (Dual-Branch Encoder):
  • Utiliza un campo de características continuo basado en triplanos (triplane-based feature field).
  • Emplea dos ramas de transformadores:
    1. Rama Congelada: Inicializada con pesos preentrenados de PartField, preserva los fuertes priores 2D aprendidos de SAM mediante aprendizaje contrastivo.
    2. Rama Aprendizable: Se entrena con datos 3D nativos para aprender representaciones de partes 3D finas. Esta rama acepta atributos adicionales más allá de las coordenadas (normales y color RGB) mediante una capa de convolución cero (zero convolution).
  • Las salidas de ambas ramas se suman para crear un campo de características rico y escalable.
• Decodificador de Máscara Guiado por Prompts:
  • Similar a SAM, toma puntos de entrada (la nube de puntos) y puntos de prompt (interacción del usuario: positivos o negativos).
  • Utiliza tokens especiales: un token de salida (output token) para generar máscaras y un token de IoU (IoU token) para estimar la calidad de la predicción.
  • Permite tanto la interacción manual (seleccionar un punto) como la segmentación automática.

B. Estrategia de Entrenamiento y Curación de Datos

• Pipeline de Anotación "Model-in-the-Loop": Para superar la escasez de datos 3D etiquetados, los autores crearon un pipeline automatizado que curó más de 5 millones de pares forma-parte.
  • Fase 1: Extracción de etiquetas de activos 3D existentes (Objaverse, PartNet) usando grafos de escenas y componentes conectados, filtrando piezas demasiado pequeñas o fragmentadas.
  • Fase 2 (Model-in-the-Loop): Para activos altamente fragmentados donde la conectividad no define partes semánticas, se usa un modelo preentrenado (PartField) para generar candidatos de máscaras. Luego, PartSAM interactúa con estas máscaras simulando interacciones de usuario. Solo se conservan las anotaciones que cumplen criterios estrictos de IoU (Intersección sobre Unión) tras iteraciones, asegurando alta calidad y diversidad.
• Pérdida de Entrenamiento: Combina pérdidas de focal y dice para las máscaras, pérdida MSE para el token de IoU, y una pérdida de contraste triple para fortalecer la representación del codificador.

C. Modo "Segmentar Cada Parte" (Segment-Every-Part)

Además de la interacción con prompts, PartSAM puede operar en modo automático. Muestrea puntos en la forma, genera máscaras candidatas, filtra las de baja calidad y aplica supresión no máxima (NMS) basada en el IoU predicho para descomponer automáticamente la forma en partes semánticas, incluyendo estructuras internas.

3. Contribuciones Clave

1. Primer Modelo Nativo 3D: Introducen PartSAM, un modelo feed-forward escalable entrenado directamente con supervisión 3D nativa, eliminando la dependencia de la elevación de máscaras 2D.
2. Arquitectura Escalable: Diseño de un codificador dual que combina priores 2D robustos (de SAM) con aprendizaje de características 3D nativas, permitiendo el entrenamiento a gran escala.
3. Pipeline de Datos Masivo: Desarrollo de una estrategia de anotación "model-in-the-loop" que escala el conjunto de datos de entrenamiento a millones de pares forma-parte, cubriendo tanto mallas de artistas como formas generadas por IA.
4. Capacidades Emergentes: El modelo demuestra una capacidad emergente para la segmentación automática completa y una generalización superior en escenarios de mundo abierto.

4. Resultados Experimentales

Los experimentos demuestran que PartSAM supera significativamente a los métodos más avanzados (SOTA) en múltiples benchmarks:

• Segmentación Interactiva: En el conjunto de datos PartObjaverse-Tiny, PartSAM supera a Point-SAM en un 91% de mejora relativa en IoU con un solo punto de prompt (56.1% vs 29.4%).
• Segmentación Automática: En la tarea de "Segmentar Cada Parte", PartSAM logra un IoU de 69.5% en PartObjaverse-Tiny y 72.4% en PartNetE, superando al segundo mejor método en más de 20 puntos porcentuales.
• Generalización a Geometrías Nuevas: A diferencia de métodos basados en 2D (como SAMesh) que fallan en estructuras internas u ocultas, PartSAM logra segmentar correctamente partes internas (ej. asientos dentro de un coche, estructuras bajo ropa) gracias a su entrenamiento nativo 3D.
• Eficiencia: Gracias a su diseño feed-forward, PartSAM es mucho más rápido que los métodos de optimización por objeto, con un tiempo de inferencia de ~12 segundos para una forma completa en una GPU H20.

5. Significancia e Impacto

PartSAM representa un paso decisivo hacia los modelos fundacionales para la comprensión de partes 3D.

• Superación de la Barrera 2D-3D: Demuestra que entrenar nativamente en 3D es superior a transferir conocimiento desde 2D, permitiendo una comprensión geométrica profunda que incluye volúmenes internos y estructuras ocultas.
• Aplicabilidad: Facilita tareas críticas como la creación de activos 3D, edición de contenido para AR/VR y manipulación robótica, donde la capacidad de interactuar con partes específicas de un objeto es crucial.
• Escalabilidad: Establece que las leyes de escalado (scaling laws) aplican a la segmentación 3D, sugiriendo que el uso de grandes volúmenes de datos 3D nativos es la vía para lograr una generalización robusta en escenarios del mundo real.

En resumen, PartSAM no solo mejora el estado del arte en precisión y control, sino que redefine el paradigma de la segmentación 3D al pasar de la transferencia indirecta de 2D a un aprendizaje directo y escalable en 3D.