🤖 machine learning

CompoSE: Compositional Synthesis and Editing of 3D Shapes via Part-Aware Control

CompoSE es un método novedoso basado en transformadores de difusión que sintetiza y edita formas 3D de alta calidad al convertir disposiciones geométricas aproximadas de partes en objetos detallados y separados por partes con capacidades de edición granular, todo ello sin requerir indicaciones textuales a nivel de parte.

Autores originales: Habib Slim, Shariq Farooq Bhat, Mohamed Elhoseiny, Yifan Wang, Mike Roberts

Publicado 2026-05-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Habib Slim, Shariq Farooq Bhat, Mohamed Elhoseiny, Yifan Wang, Mike Roberts

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que quieres construir una silla 3D personalizada, pero en lugar de esculpirla a partir de un único bloque de arcilla, deseas diseñarla colocando "zonas" específicas para las patas, el asiento y el respaldo. Quieres decirle al ordenador: "Esta caja es para una pata, esta otra es para el asiento", y luego dejar que el ordenador rellene los detalles.

Eso es exactamente lo que hace CompoSE. Es una nueva herramienta que te permite crear y editar objetos 3D organizando formas simples (como cajas flotantes) y proporcionando una descripción de texto, en lugar de intentar describir todo el objeto complejo únicamente con palabras.

Así es como funciona, desglosado en conceptos simples:

1. El Problema: La "Caja Mágica" es Demasiado Impredecible

Por lo general, cuando le pides a una IA que "haga una silla", actúa como una caja mágica. Le das una frase y te devuelve una silla. Pero si quieres cambiar solo las patas para que sean más largas, o intercambiar el asiento por un cojín, a menudo tienes que empezar de cero. La IA no entiende que una silla está hecha de partes separadas; la ve como una sola masa gigante. Si cambias ligeramente el texto, toda la silla podría cambiar de forma, color o estilo de maneras inesperadas.

2. La Solución: El "Plano del Arquitecto"

CompoSE cambia las reglas del juego permitiéndote actuar como un arquitecto.

La Entrada: No solo escribes "silla". También dibujas unas cuantas cajas flotantes en el espacio 3D. Una caja para las patas, otra para el asiento, otra para el respaldo.
La Magia: La IA observa tus cajas y tu texto (por ejemplo, "una silla de comedor de madera") y rellena los detalles dentro de esas cajas específicas.
El Resultado: Obtienes una silla donde las patas están exactamente donde colocaste la caja de las patas, y el asiento está exactamente donde colocaste la caja del asiento.

3. El Secreto: El Cerebro "Local vs. Global"

¿Cómo sabe la IA que la caja de las patas debe parecerse a una pata y no a una pata de mesa? Utiliza una arquitectura cerebral especial (un Transformador de Difusión) que piensa de dos maneras a la vez:

Pensamiento Local: Observa una caja a la vez. "Bien, esta caja es pequeña y baja; necesita ser una pata". Se centra en la forma específica de esa parte.
Pensamiento Global: Observa el panorama completo. "Espera, si estas son patas y esto es un asiento, necesitan coincidir en estilo y tamaño para que parezca una silla real, no un montón de madera desajustada".

Al alternar entre observar los detalles y observar el panorama general, asegura que cada parte encaje perfectamente.

4. El Superpoder de Edición: "Cambiar y Mantener"

La parte más genial de CompoSE es lo fácil que es editar. Como la IA entiende el objeto como partes separadas, puedes hacer cosas como:

Redimensionar sin Arruinar: Puedes estirar la caja del respaldo de la silla para hacerla más alta. La IA estira el respaldo pero mantiene la veta de la madera, la textura y el estilo exactamente igual. No convierte la silla en un objeto diferente; simplemente hace que la parte sea más grande.
Cambiar Partes: Puedes borrar la caja del asiento y dibujar una nueva, luego decirle a la IA: "Haz que esto sea un cojín de cuero". Las patas y el respaldo permanecen exactamente como estaban; solo cambia el asiento.
Añadir Partes: Puedes añadir una nueva caja para un reposabrazos, y la IA hará crecer un reposabrazos que coincida con el resto de la silla.

5. Cómo la Entrenaron: La Fábrica de "Autoetiquetado"

Para enseñar esto a la IA, los investigadores necesitaban miles de ejemplos de objetos 3D divididos en partes. Como nadie tenía una base de datos de "sillas con patas y asientos etiquetados", construyeron una tubería automatizada.

Tomaron miles de modelos 3D crudos de una biblioteca masiva llamada Objaverse.
Utilizaron un algoritmo inteligente para cortar automáticamente los modelos en piezas lógicas (como separar la superficie de una mesa de sus patas).
Utilizaron una IA de visión y lenguaje para observar el objeto y escribir una descripción para él.
Esto creó un conjunto de entrenamiento masivo sin que ningún humano tuviera que etiquetar manualmente cada parte individual.

Resumen

Piensa en CompoSE como un set de Lego para el diseño 3D. En lugar de intentar moldear una estatua completa de arcilla (lo cual es difícil de arreglar si te equivocas), colocas tus "bloques de Lego" (las cajas) donde quieres que estén. La IA luego rellena la textura y la forma de cada bloque individualmente, asegurando que todos encajen para formar un objeto hermoso y coherente que puedes ajustar pieza por pieza.

Lo que NO hace (basado en el artículo):

No garantiza que el objeto sea físicamente estable (una silla podría verse bien pero caerse si le pones peso).
Actualmente no funciona con más de 8 partes a la vez.
No adivina automáticamente dónde colocar las cajas; aún tienes que colocarlas tú mismo (aunque el artículo sugiere que trabajos futuros podrían hacerlo).

Resumen Técnico: CompoSE

Enunciado del Problema

La creación y edición de contenido 3D de alta calidad sigue siendo un desafío central en la informática gráfica. Aunque los métodos recientes de IA generativa pueden sintetizar formas 3D a partir de entradas de alto nivel (texto, imágenes o cajas delimitadoras globales), carecen de capacidades de síntesis y edición composicional. Los enfoques existentes suelen modelar la intención del usuario a través de un único objeto monolítico o dependen de la condicionamiento mediante imágenes 2D, lo que entrelaza la geometría de las partes y evita una edición localizada y granular. Específicamente, los métodos actuales no pueden aceptar entradas separadas por partes (por ejemplo, cajas delimitadoras distintas para partes individuales de un objeto) para guiar la síntesis, ni tampoco admiten la edición de partes individuales (sustitución, redimensionamiento, eliminación) preservando la identidad y el estilo del resto del objeto. Además, ningún método existente permite inferir semánticas y simetrías de las partes directamente a partir de una guía de diseño general sin requerir indicaciones textuales a nivel de parte.

Metodología: CompoSE

Los autores introducen CompoSE (Síntesis y Edición Composicional de Formas 3D mediante Control Consciente de Partes), un método novedoso que sintetiza objetos 3D separados por partes a partir de un conjunto de primitivas geométricas generales (por ejemplo, cajas delimitadoras orientadas) y una indicación textual global.

Arquitectura Central

El método utiliza una arquitectura Transformador de Difusión (DiT) diseñada para alternar entre el procesamiento local y global:

Bloques Locales: Procesan información de diseño espacial para primitivas individuales de forma independiente. Esto proporciona un control de alta fidelidad sobre la geometría de cada parte sintetizada, condicionado a la caja de entrada específica y a la incrustación de texto compartida.
Bloques Globales: Agregan señales contextuales e información textual a través de todas las partes. Esto garantiza la coherencia estilística, la validez estructural y la armonización de las proporciones globales en todo el objeto.
Mecanismo de Condicionamiento: El modelo fusiona condiciones geométricas a nivel de parte con una indicación textual global. Aprende a inferir cómo se distribuyen las semánticas globales entre las partes y cómo interactúan las partes para formar un todo coherente, sin requerir indicaciones textuales para partes individuales.

Representaciones y Codificación

Representación de Forma 3D: El modelo opera en el espacio latente de un VAE preentrenado (TripoSG). Las partes 3D de la verdad fundamental se mapean a representaciones latentes de Función de Distancia Signada (SDF).
Codificación de Geometría de Entrada: En lugar de codificar los parámetros de la caja delimitadora (centro, extensión, orientación) mediante un MLP simple, CompoSE codifica cada caja de entrada utilizando el mismo codificador de forma basado en SDF que se usa para las partes 3D. Se muestrean puntos y normales de la superficie de la caja para generar una incrustación latente. Esto asegura una alineación en el espacio latente entre la señal de condicionamiento (cajas) y la geometría objetivo, mejorando significativamente la adherencia al diseño de entrada.

Capacidades de Edición

CompoSE habilita una edición granular localizada mediante dos técnicas principales:

Congelamiento de Latentes de Parte: Para editar un subconjunto de partes mientras se preservan otras, las variables latentes de las partes no editadas se congelan restaurándolas desde la forma de referencia en cada paso de tiempo de difusión. Esto fija las partes no editadas en su lugar, manteniendo su geometría y semántica.
Reinyección de KV (Redimensionamiento que Preserva la Identidad): Para ajustes geométricos (por ejemplo, redimensionamiento) donde el estilo debe preservarse, el método almacena en caché las claves y valores de atención desde la forma de referencia. Durante la edición, estos valores almacenados se mezclan con los valores recalculados a partir de los latentes modificados de una manera dependiente del paso de tiempo. Esto ancla la identidad visual, asegurando que los cambios geométricos no alteren el estilo o la textura de la parte.

Pipeline de Datos

Dado que ningún conjunto de datos existente contiene formas segmentadas por partes con pares correspondientes de texto-diseño, los autores desarrollaron un pipeline de procesamiento de datos totalmente automatizado:

Segmentación: Las mallas 3D crudas se descomponen en segmentos de bajo nivel, que se fusionan progresivamente basándose en heurísticas de volumen para crear partes semánticamente significativas.
Extracción de Diseño: Se calculan Cajas Delimitadoras Orientadas (OBB) para cada segmento de parte.
Generación de Subtítulos: Un modelo de visión-idioma (InternVL3-8B) genera indicaciones textuales globales a partir de imágenes renderizadas de múltiples vistas, centrándose en la geometría y las descripciones de partes mientras evita detalles irrelevantes de color/textura.

Contribuciones Clave

Primera Síntesis Separada por Partes: El primer método que sintetiza formas 3D separadas por partes a partir de diseños de partes generales, con una técnica de condicionamiento novedosa que asegura una fuerte adherencia a los diseños de entrada del usuario y un alto control sobre las partes individuales.
Edición Composional Versátil: Habilita un conjunto de capacidades de edición que incluyen sustitución, adición, eliminación y redimensionamiento que preserva el estilo de partes individuales de objetos.
Pipeline de Datos Automatizado: Un pipeline totalmente automatizado que permite el entrenamiento en conjuntos de datos de formas 3D a gran escala sin requerir segmentaciones manuales a nivel de parte ni anotaciones textuales a nivel de parte.

Resultados y Evaluación

Los autores evaluaron CompoSE en diseños de partes e indicaciones no vistos del conjunto de datos Objaverse, comparándolo con líneas base como Fantasia3D, Coin3D, Spice-E y SpaceControl.

Métricas Cuantitativas: CompoSE supera significativamente a los enfoques existentes en síntesis guiada. La variante Ours2048 logró el mejor Object-FID (12.77) y Part-FID (14.41), indicando una calidad visual superior. También logró el mayor Part-IoU (0.840), demostrando una fuerte alineación con los diseños de entrada, y la mejor Puntuación CLIP (31.07) entre los modelos más grandes.
Evaluación Basada en LLM: Utilizando GPT-4o como juez para la adherencia al diseño, la adherencia a la indicación, la calidad y la geometría, CompoSE logró el mejor rango medio (1.69) en todos los ejes, superando sustancialmente a todas las líneas base.
Rendimiento de Edición: En tareas de reescalado que preservan la identidad, CompoSE logró puntuaciones F significativamente más altas (0.70 en $\tau=0.05$ ) en comparación con el escalado anisotrópico (0.55) y la sustitución de partes (0.64), confirmando su capacidad para mantener la identidad geométrica durante las ediciones.
Tiempo de Inferencia: El método escala elegantemente con el número de partes ( $N_p$ ). A una resolución de 512, es más rápido que las líneas base basadas en optimización incluso con 8 partes.

Significancia y Limitaciones

El artículo afirma que CompoSE aborda una brecha crítica en la creación de contenido profesional al habilitar la síntesis y edición composicional, permitiendo a los usuarios manipular partes individuales mientras mantienen la coherencia global. Los autores sugieren que proporcionar a la IA generativa una guía estructurada rica (como diseños de partes) podría convertirse en un estándar en la caja de herramientas de informática gráfica, habilitando potencialmente la síntesis de activos listos para simulación a partir de mallas proxy generales.

Las limitaciones reconocidas por los autores incluyen:

Artefactos: Pueden ocurrir ligeros artefactos (por ejemplo, z-fighting) en los límites de las partes debido a la naturaleza fuera de distribución del VAE con respecto a los segmentos de partes.
Plausibilidad Física: El método no garantiza la estabilidad física (por ejemplo, contactos faltantes o asimetrías).
Escalabilidad: La arquitectura actual está limitada a ocho partes por forma debido al costo computacional de los bloques de atención global.
Entrada del Usuario: Los usuarios aún deben definir manualmente las cajas delimitadoras de entrada; los autores señalan que un modelo de texto-a-estructura podría automatizar esto en el futuro.