💻 computer science

MS-CustomNet: Controllable Multi-Subject Customization with Hierarchical Relational Semantics

El artículo presenta MS-CustomNet, un marco innovador que permite la personalización de imágenes con múltiples sujetos mediante la integración en cero disparos de objetos definidos por el usuario y el control explícito de sus relaciones jerárquicas y espaciales, logrando una alta fidelidad en la preservación de identidades y precisión en la composición.

Autores originales: Pengxiang Cai, Mengyang Li

Publicado 2026-03-24

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Pengxiang Cai, Mengyang Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes un superpoder mágico para crear imágenes con solo decir qué quieres. Pero, hasta ahora, ese poder tenía un gran problema: si le pedías a la IA que dibujara "un perro y un gato jugando en el parque", la IA a veces los mezclaba, hacía que el perro pareciera un gato, o los ponía en lugares donde no tenían sentido (como el gato flotando en el aire).

Este paper presenta a MS-CustomNet, que es como darle a ese mago un manual de instrucciones muy detallado y un director de orquesta.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: El "Caos en la Cocina"

Imagina que quieres cocinar una cena con varios ingredientes específicos que trajiste de tu propia huerta (tus fotos de objetos).

Los métodos antiguos: Le decías al chef (la IA): "Hazme una cena con mis ingredientes". El chef intentaba adivinar dónde poner cada cosa. A veces ponía el tomate encima del plato, pero el plato desaparecía, o mezclaba el tomate con la lechuga hasta que ya no se veía ninguno. ¡Un desastre!
El desafío: Queremos que la IA no solo use tus ingredientes, sino que respete exactamente dónde los quieres poner y cómo se relacionan entre sí (ej: "la taza está dentro de la bandeja", no al lado).

2. La Solución: MS-CustomNet (El Director de Orquesta)

MS-CustomNet es un nuevo sistema que actúa como un director de orquesta muy estricto pero creativo. Tiene tres herramientas mágicas:

El "Mapa del Tesoro" (Layout Map):
En lugar de solo decir "pon un perro", tú le das un mapa dibujado en una hoja de papel. En ese mapa, marcas con un círculo dónde va el perro y con otro dónde va el gato. Le dices: "El perro va aquí, el gato allá, y el perro debe tapar un poco al gato". La IA sigue este mapa a la perfección. Es como darle al chef un plano de la mesa antes de empezar a cocinar.
El "Pasaporte de Identidad" (Preservación de Identidad):
A veces, cuando la IA mezcla cosas, pierde los detalles. Si le das una foto de tu perro con una mancha roja en la oreja, el nuevo sistema se asegura de que esa mancha roja siga ahí. No deja que el perro se convierta en un perro genérico. Es como si cada objeto tuviera un pasaporte que la IA escanea para asegurarse de que es exactamente ese objeto y no otro.
La "Escuela de Aprendizaje" (Curriculum Learning):
Imagina que quieres aprender a tocar la guitarra. No empiezas tocando una sinfonía completa; empiezas con una sola nota, luego dos, luego una canción sencilla.
MS-CustomNet aprende igual. Primero le enseñan a poner dos objetos juntos. Cuando lo hace bien, le enseñan a poner tres, luego cuatro. Así, la IA no se abruma y aprende a manejar escenas complejas sin cometer errores tontos.

3. El Nuevo "Libro de Recetas" (El Dataset MSI)

Para entrenar a este director de orquesta, los autores crearon un nuevo libro de recetas llamado MSI.

Tomaron miles de fotos de un archivo público (COCO) que ya tenía etiquetas de objetos.
Filtraron las fotos para quedarse solo con las que tenían varios objetos importantes (no fotos de un solo objeto solitario).
Crearon un banco de imágenes de referencia para cada tipo de objeto (30 fotos de diferentes tazas, 30 de diferentes perros, etc.).
Esto es como tener una biblioteca gigante de ejemplos de "cómo se ven las cosas cuando interactúan entre sí", para que la IA aprenda a imitar esas relaciones.

4. ¿Qué logran con esto?

Gracias a este sistema, ahora puedes pedir cosas muy específicas que antes eran imposibles:

"Pon mi taza de café dentro de mi mochila".
"Haz que mi gato esté encima de la pila de libros, pero que el libro de abajo se vea un poco".
"Que el perro esté detrás del árbol, pero que se le vea la cola".

En resumen

MS-CustomNet es como pasar de pedirle a un artista que "haga algo bonito" a darle un plano arquitectónico, un mapa de ubicación y una lista de verificación de identidad.

Ya no es un juego de adivinanzas donde la IA hace lo que quiere. Ahora tú eres el director, y la IA es el ejecutor perfecto que pone cada objeto exactamente donde tú quieres, manteniendo su apariencia original y creando una escena que tiene sentido lógico y visual. ¡Es el fin del "efecto copia-pega" y el inicio de la creación de escenas controladas!

1. Planteamiento del Problema

La generación de imágenes basada en modelos de difusión ha avanzado significativamente, pero persisten desafíos críticos en la personalización de múltiples sujetos dentro de una misma escena.

Limitaciones actuales: Los métodos existentes a menudo fallan al intentar integrar varios objetos proporcionados por el usuario manteniendo su identidad individual y, crucialmente, al controlar explícitamente sus interacciones espaciales y la estructura composicional (ej. qué objeto está encima de otro, oclusiones, relaciones jerárquicas).
El vacío de control: Mientras que métodos como MS-Diffusion logran alta fidelidad guiada por la semántica implícita del texto, carecen de un control determinista y reproducible sobre la disposición espacial precisa. Los enfoques de un solo sujeto (como CustomNet) no escalan bien a múltiples sujetos, generando problemas de "sangrado de conceptos" (concept bleeding), pérdida de identidad o relaciones espaciales caóticas.
Falta de datos: Existe una escasez de conjuntos de datos públicos adecuados que capturen interacciones complejas entre múltiples sujetos con anotaciones espaciales detalladas para el entrenamiento.

2. Metodología Propuesta: MS-CustomNet

El artículo presenta MS-CustomNet, un marco de trabajo diseñado para la integración zero-shot de múltiples objetos con control explícito sobre su disposición.

A. Construcción del Dataset MSI (Multi-Subject Interaction)

Para abordar la falta de datos, los autores crearon el dataset MSI, derivado de COCO:

Filtrado: Se seleccionan imágenes con al menos dos sujetos prominentes (definidos por un umbral de área relativa $\beta=0.015$ y conteo mínimo $\alpha=2$ ).
Pool de Referencia: Se crea un banco de imágenes de referencia diverso para cada categoría de objeto.
Mapas de Diseño (Layout Maps): Se genera un mapa de diseño ( $M_L$ ) que codifica la posición, escala y, crucialmente, el orden de superposición (hierarchy/occlusion) de los sujetos. El orden de composición se determina automáticamente basándose en la profundidad de los objetos en las anotaciones originales de COCO.
Estructura: Cada tupla de entrenamiento contiene: imágenes de referencia de los sujetos, el prompt de texto, el mapa de diseño y la imagen de destino.

B. Arquitectura del Modelo

El modelo se basa en un Latent Diffusion Model (LDM) (implementado sobre CustomNet) con mejoras específicas:

Codificación de Sujeto: Utiliza un codificador de categorías y un codificador visual (CLIP) para extraer características. Estas se combinan y proyectan mediante una red neuronal para crear embeddings de sujetos específicos ( $F_s$ ) que se inyectan en el U-Net mediante mecanismos de cross-attention.
Condicionamiento Espacial: El mapa de diseño ( $M_L$ ) se codifica y se concatena al latente ruidoso en cada paso de denoising, guiando la posición y la jerarquía de los objetos.
Condicionamiento Textual: Se utiliza un codificador de texto CLIP para alinear la escena con el prompt.

C. Estrategias de Entrenamiento

Para estabilizar el aprendizaje de composiciones complejas, se emplean dos estrategias clave:

Entrenamiento en Dos Etapas (Dual Stage Training - DST):
- Etapa 1: Se enfoca en el aprendizaje de la ubicación y las interacciones básicas (tasa de aprendizaje más alta).
- Etapa 2: Se enfoca en el refinamiento de la identidad y los detalles finos (tasa de aprendizaje reducida).
Aprendizaje Curricular por Cantidad de Sujetos (Curriculum Learning on Subject Quantity - CLSQ):
- El modelo comienza entrenando con un número mínimo de sujetos ( $K_{min}=2$ ) y aumenta gradualmente la complejidad hasta un máximo ( $K_{max}=5$ ) a medida que avanza el entrenamiento. Esto permite al modelo aprender composiciones simples antes de abordar escenas complejas.

3. Contribuciones Clave

Marco MS-CustomNet: Extiende la personalización de un solo sujeto al dominio multi-sujeto, ofreciendo control explícito y definido por el usuario sobre la estructura composicional y las relaciones espaciales jerárquicas.
Estrategias de Entrenamiento Innovadoras: Introducción de Dual Stage Training y Curriculum Learning para mejorar la estabilidad y la preservación de la identidad en composiciones complejas.
Dataset MSI: La creación y liberación de un dataset especializado derivado de COCO, diseñado específicamente para entrenar y evaluar modelos en tareas de interacción multi-sujeto.
Control Determinista: Capacidad de generar escenas donde el usuario puede definir explícitamente relaciones como "el objeto A dentro del objeto B" o "el objeto A detrás del objeto B", superando la ambigüedad de los modelos basados puramente en texto.

4. Resultados y Evaluación

El modelo fue evaluado en un benchmark llamado MSI-Bench y comparado con métodos del estado del arte (SOTA) como IP-Adapter, CustomNet, $\lambda$ -ECLIPSE y SSR-Encoder.

Métricas de Preservación de Identidad:
- DINO-I: 0.61 (en tareas multi-sujeto), demostrando una fuerte preservación de la identidad visual de los sujetos.
- CLIP-I: 0.79, indicando buena similitud de características visuales.
Métricas de Control Espacial:
- YOLO-L: 0.94, una puntuación excepcional que demuestra una precisión superior en la ubicación de los objetos según el mapa de diseño proporcionado.
- YOLO-Subj: 0.68, asegurando que el número y la categoría de los objetos generados coincidan con la entrada.
Comparativa: MS-CustomNet supera a otros métodos en la adherencia a las estructuras composionales definidas por el usuario (ej. apilamiento de libros, contenedores) sin sacrificar la calidad fotorealista, algo en lo que métodos como SSR-Encoder o $\lambda$ -ECLIPSE tienen dificultades al no tener un mecanismo de condicionamiento espacial explícito de jerarquía.

5. Significado e Impacto

Este trabajo representa un avance significativo en la interacción humano-máquina para la generación de imágenes:

Control Granular: Cambia el paradigma de la generación "basada en texto" (donde la disposición es implícita y a veces aleatoria) a una generación "basada en diseño", donde el usuario tiene control determinista sobre la arquitectura de la escena.
Aplicabilidad: Es crucial para aplicaciones que requieren precisión, como la visualización de productos, diseño de interiores, publicidad y narrativas visuales donde la relación espacial entre objetos es fundamental para el significado.
Eficiencia: Logra este control explícito mediante un marco eficiente y ligero, evitando la necesidad de modelos masivos o datos propietarios, democratizando el acceso a la personalización multi-sujeto de alta fidelidad.

En resumen, MS-CustomNet resuelve el problema de la integración caótica de múltiples objetos en una escena, proporcionando una herramienta robusta para generar imágenes complejas donde la identidad de los sujetos y su disposición espacial jerárquica son estrictamente controladas por el usuario.