💻 computer science

OccluRank: Controllable Occlusion-Aware Layout-to-Image Generation by Adding Just an Ordinal Rank

OccluRank es un marco de trabajo simple y controlable para la generación de imágenes a partir de diseños que logra una síntesis precisa consciente de la oclusión mediante el aumento de las cajas delimitadoras con un único rango ordinal y el empleo de un módulo de Interacción de Instancias Sensible al Orden, eliminando la necesidad de condiciones geométricas complejas o procedimientos de inferencia especializados.

Autores originales: Wenyang Hong, Yuan Wang, Yanbin Hao, Lanqing Xue, Ke Wang, Xiang Wang, Kuien Liu, Richang Hong

Publicado 2026-08-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wenyang Hong, Yuan Wang, Yanbin Hao, Lanqing Xue, Ke Wang, Xiang Wang, Kuien Liu, Richang Hong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la visión artificial, los investigadores han enseñado durante mucho tiempo a las máquinas a generar imágenes a partir de descripciones de texto. Más recientemente, desarrollaron una forma de dar a estas máquinas instrucciones precisas sobre dónde deben aparecer los objetos en una imagen. Al dibujar un simple cuadro alrededor de un área específica y etiquetarla, un usuario puede decirle a la computadora que coloque un gato allí, un coche allá o un árbol allá. Este proceso, conocido como generación de imagen a partir de diseño (layout-to-image generation), se ha convertido en una herramienta poderosa para diseñadores y creadores que necesitan organizar escenas con un control exacto. Sin embargo, persiste un punto ciego significativo en esta tecnología. Si bien un cuadro puede decirle a la computadora dónde está un objeto, no puede decirle qué objeto está delante de otro. En el mundo real, los objetos suelen superponerse; una persona puede estar de pie frente a un banco, o una taza puede estar sobre una mesa, ocultando parte de la superficie debajo de ella. Los modelos informáticos actuales luchan con esta profundidad, a menudo mezclando los objetos superpuestos en un desorden confuso o colocándolos en el orden incorrecto, lo que hace que la escena parezca físicamente imposible.

Un equipo de investigadores ha introducido ahora un nuevo método llamado OccluRank para resolver este problema específico de la superposición visual. Su enfoque es sorprendentemente simple, añadiendo solo una pieza de información a las instrucciones estándar: un número de clasificación. En lugar de depender de complejos modelos 3D, mapas de profundidad o múltiples capas de datos geométricos, el sistema pide al usuario que asigne un número simple a cada objeto, indicando si debe aparecer en el primer plano o en el fondo. Un número más bajo significa que el objeto está más cerca del espectador, mientras que un número más alto significa que está más lejos. Los investigadores construyeron un marco de trabajo que utiliza esta única clasificación para guiar el proceso de toma de decisiones de la computadora. Antes de que la computadora combine las diferentes partes de la imagen, utiliza un módulo especial para permitir que los objetos "hablen" entre sí. Si una motocicleta y una estantería deben superponerse, el sistema verifica sus números asignados y asegura que las características de la motocicleta se procesen como si estuviera encima de la estantería, ocultando eficazmente la parte de la estantería que debería estar detrás.

Para probar si este método realmente funciona, el equipo creó un nuevo conjunto de datos llamado OccluLayout. Construyeron miles de escenas utilizando software de gráficos computarizados en 3D, organizando muebles, animales y vehículos en diversas configuraciones de superposición. Debido a que construyeron estas escenas desde cero, conocían el orden exacto en el que aparecía cada objeto. Luego utilizaron inteligencia artificial para editar los fondos y añadir descripciones detalladas a los objetos, creando una enorme biblioteca de datos de entrenamiento donde la respuesta correcta se conocía con certeza. Esto les permitió entrenar su modelo sin adivinar o depender de estimaciones imperfectas de profundidad. También desarrollaron un nuevo sistema de prueba, OccluLayout-Bench, que utiliza modelos de lenguaje avanzados para calificar los resultados. En lugar de mirar solo la calidad general de la imagen, estos evaluadores comprueban detalles específicos: ¿dibujó la computadora todos los objetos solicitados? ¿Se mantuvieron dentro de sus cuadros? ¿Mantuvieron sus colores y texturas? Lo más importante, ¿aparecieron los objetos superpuestos en el orden correcto de delante hacia atrás?

Los resultados muestran que este sistema de clasificación simple es altamente efectivo. En comparación con otros métodos que intentan resolver el mismo problema, el nuevo enfoque produjo consistentemente imágenes donde los objetos estaban más claramente definidos y las relaciones de superposición eran correctas. En pruebas que involucraban escenas complejas con múltiples elementos, el modelo preservó con éxito la visibilidad de los objetos que debían estar al frente mientras ocultaba correctamente las partes de los objetos que debían estar detrás. Logró hacer esto sin necesidad de entradas adicionales como coordenadas 3D o ángulos de cámara, basándose únicamente en la simple lista de números del usuario. Las imágenes generadas no solo fueron estructuralmente precisas respecto al orden de los objetos, sino que también mantuvieron una alta calidad visual, con los objetos luciendo naturales y sus atributos permaneciendo consistentes.

Los investigadores descubrieron que la clave de su éxito fue la forma en que el sistema manejó la interacción entre los objetos antes de combinarlos en una imagen final. Al permitir que los objetos intercambiaran información basada en sus clasificaciones asignadas, el modelo aprendió a resolver conflictos en las áreas de superposición. Si el sistema recibía la instrucción de que una cebra estaba delante de un refrigerador, ajustaba las características de la cebra para cubrir el refrigerador, en lugar de mezclar ambos. Esta capacidad se mantuvo incluso cuando los investigadores probaron el modelo con objetos que nunca había visto durante el entrenamiento, lo que sugiere que el método aprendió una regla general sobre cómo manejar la profundidad en lugar de solo memorizar imágenes específicas. El estudio demuestra que, al añadir una capa de instrucción intuitiva y única, las computadoras pueden ser guiadas para crear escenas complejas y estratificadas que respeten la realidad física de cómo los objetos ocupan el espacio.

Resumen Técnico: OccluRank

Planteamiento del Problema

La generación de imagen a partir de diseños (layout-to-image) permite un control espacial explícito sobre la colocación de objetos y la semántica a nivel de instancia mediante cuadros delimitadores (bounding boxes). Sin embargo, los cuadros delimitadores estándar especifican únicamente la extensión espacial de las instancias y no logran representar su orden de oclusión (es decir, qué objeto aparece delante de otro). Esta limitación conduce a relaciones de oclusión incorrectas, fusión de objetos o confusión de atributos en escenas concurridas, interacciones humano-objeto y composiciones por capas.

Los enfoques existentes para abordar esto enfrentan dos desafíos principales:

Interacción de instancias dependiente de la oclusión: Los métodos actuales suelen aislar la semántica de la instancia o utilizan agregación con compuertas (por ejemplo, IFAdapter) que reponderan características construidas de forma independiente sin modelar explícitamente las interacciones basadas en el orden de visibilidad. Esto puede resultar en una estratificación ambigua o mezcla de características.
Especificación de orden simple y controlable: Los métodos que sí incorporan el orden suelen depender de entradas geométricas complejas (por ejemplo, cajas delimitadoras 3D, parámetros de cámara) o procedimientos de inferencia especializados y computacionalmente costosos (por ejemplo, optimización latente iterativa, eliminación secuencial). Sigue existiendo la necesidad de un método que incorpore el orden de oclusión especificado por el usuario mediante una condición simple compatible con la generación de imagen a partir de diseños estándar.

Metodología: OccluRank

Los autores proponen OccluRank, un marco de trabajo de generación de imagen a partir de diseños, controlable y consciente de la oclusión, construido sobre un modelo Stable Diffusion XL (SDXL) preentrenado. La innovación central es aumentar cada cuadro delimitador con un único rango ordinal para especificar el orden de oclusión previsto de delante hacia atrás.

Componentes Clave

Condicionamiento por Rango Ordinal:
- A cada instancia $i$ se le asigna un rango $r_i \in \{1, \dots, O\}$ , donde un valor menor indica una posición más cercana al primer plano.
- Estos rangos se codifican como incrustaciones (embeddings) aprendibles y se inyectan en las representaciones de la instancia correspondiente. Esto permite un control de orden explícito sin requerir entradas geométricas adicionales como mapas de profundidad o parámetros 3D.
Módulo de Interacción de Instancias Consciente del Orden (OII):
- OccluRank adopta un flujo de trabajo de interacción antes de la agregación. En lugar de agregar directamente mapas de características de instancias construidos independientemente, el modelo los mantiene separados inicialmente.
- En cada ubicación latente cubierta por múltiples instancias, las características condicionadas por el rango se organizan en una secuencia a lo largo de la dimensión de la instancia.
- Un bloque Transformer procesa esta secuencia, permitiendo que las características de las instancias superpuestas interactúen y se actualicen conjuntamente basándose en su contenido semántico y roles ordinales.
- Este mecanismo permite que el orden especificado guíe el intercambio de información, permitiendo que una instancia adapte su representación basándose en qué objetos compiten con ella y cuáles deberían aparecer al frente.
Agregación e Inyección:
- Tras la interacción, las características actualizadas se agregan en un Mapa Semántico de Instancia (ISM).
- El ISM se inyecta en capas de atención cruzada seleccionadas del backbone de SDXL mediante una conexión residual con compuerta, asegurando que la imagen generada respete el diseño y el orden de oclusión especificados.
Objetivo de Entrenamiento:
- El modelo se entrena utilizando una pérdida de eliminación global ( $\mathcal{L}_{global}$ ) y una pérdida de eliminación local centrada en la región ( $\mathcal{L}_{local}$ ).
- La pérdida local se dirige específicamente a la unión de las regiones de las instancias, proporcionando una supervisión más fuerte para las estructuras de las instancias y los límites de oclusión donde se expresa el orden de visibilidad.

Conjuntos de Datos y Benchmarks

Para apoyar el entrenamiento y la evaluación, los autores introducen dos nuevos recursos:

OccluLayout: Un conjunto de datos de entrenamiento sintético construido a partir de escenas 3D controlables en Blender. A diferencia de los conjuntos de datos que infieren la oclusión de imágenes parcialmente ocluidas utilizando modelos auxiliares, OccluLayout deriva el orden de oclusión, los cuadros delimitadores amodales y las máscaras amodales directamente de la geometría conocida de la escena. Incluye 34,496 imágenes con descripciones detalladas de instancias y 71 categorías de objetos.
OccluLayout-Bench: Un benchmark de evaluación exhaustivo que comprende 1,000 imágenes no utilizadas en el entrenamiento. Evalúa cinco dimensiones:
1. Presencia de Instancia: Si las instancias solicitadas son reconocibles.
2. Diseño Espacial: Alineación con los cuadros de entrada (Box mIoU).
3. Consistencia de Atributos: Adherencia de color y textura.
4. Orden de Oclusión: Métricas de Par Estricto (Strict Pair) e Imagen Estricta (Strict Image) para relaciones de visibilidad correctas.
5. Calidad de Imagen: Distancia de Incepción de Fréchet (FID).
- La evaluación se realiza utilizando múltiples Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) para asegurar la robustez.

Resultados

Los experimentos en OccluLayout-Bench demuestran que OccluRank supera a los métodos actuales de vanguardia (incluyendo IFAdapter, CreatiLayout, LaRender, VODiff y OcclusionFormer) en la mayoría de las métricas:

Control de Oclusión: OccluRank logra las puntuaciones más altas en las métricas de Par Estricto e Imagen Estricta, superando significativamente a los baselines como IFAdapter (mejoras de 7.38%–10.61% en Par Estricto). Esto indica una capacidad superior para resolver condiciones competitivas en regiones superpuestas.
Preservación de Instancias: El modelo logra las mejores puntuaciones de Presencia, preservando de manera fiable las instancias objetivo incluso bajo una oclusión sustancial.
Consistencia de Atributos: Mantiene un rendimiento competitivo o superior en las métricas de Color y Textura, asegurando que los atributos especificados se preserven a pesar del complejo manejo de la oclusión.
Calidad de Imagen: OccluRank mantiene una puntuación FID competitiva (62.746), comparable a los baselines fuertes, demostrando que el control añadido no compromete la fidelidad general de la imagen.
Estudios de Ablación: Eliminar el módulo OII, las incrustaciones de rango o el objetivo de pérdida local provoca una degradación en el rendimiento de la ordenación de la oclusión y la coherencia de los bordes, validando la necesidad de cada componente.

Significado y Reivindicaciones

El artículo afirma que OccluRank ofrece una solución simple y controlable al problema de la generación de imágenes a partir de diseños consciente de la oclusión. Al añadir solo un rango ordinal por instancia, logra un control de visibilidad explícito sin la necesidad de entradas geométricas complejas o una optimización especializada en tiempo de inferencia.

Los autores enfatizan que su módulo de Interacción de Instancias Consciente del Orden (OII) modela eficazmente las interacciones dependientes de la oclusión antes de la agregación de características, permitiendo que el orden especificado guíe las actualizaciones de contenido de alta dimensión en lugar de simplemente reponderar características independientes. Además, la introducción de OccluLayout y OccluLayout-Bench aborda la falta de supervisión de oclusión fiable derivada de la geometría y de protocolos de evaluación exhaustivos en el campo, proporcionando una base para la investigación futura en la generación de imágenes controlable.