Resumen Técnico: Composición de Personas Conjunta

Enunciado del Problema

Los modelos actuales de difusión texto-a-imagen tienen dificultades para generar escenas semánticamente diversas y composicionalmente precisas que involucren interacciones entre múltiples personas. Aunque los modelos recientes (por ejemplo, FLUX, SDXL) han mejorado en la captura de la apariencia individual, a menudo fallan en realizar correctamente roles específicos, relaciones espaciales y affordances mutuas entre personas. Los modos de fallo comunes incluyen la omisión de entidades, la desalineación de acciones (por ejemplo, un sacerdote lavándose las manos sin un asistente vertiendo agua), el colapso en poses repetitivas y el fracaso en fundamentar semánticas de interacción de granularidad fina. Los enfoques existentes que dependen de diseños espaciales gruesos (cajas delimitadoras) o señales estructurales externas carecen de la granularidad necesaria para modelar el vasto espacio combinatorio de poses humanas, expresiones y contextos sociales.

Metodología

Los autores proponen un marco que cierra esta brecha introduciendo priors estructurales centrados en la persona directamente en transformadores de difusión preentrenados. El núcleo del método consta de tres componentes integrados:

1. Representación Dual de Pose e Imagen

En lugar de tratar la pose humana como una condición externa, el modelo predice conjuntamente una imagen de visualización de pose 2D y su imagen RGB correspondiente.

• Arquitectura: Basada en el Transformador de Difusión FLUX (DiT), el método introduce un flujo de pose paralelo inicializado desde los parámetros de la rama de imagen.
• Estrategia de Entrenamiento: Los flujos de texto e imagen preentrenados se congelan para preservar la calidad visual. Solo el flujo de pose (usando LoRA) y capas de proyección específicas son entrenables.
• Razonamiento Conjunto: El modelo aprende a razonar explícitamente sobre la estructura relevante para la interacción durante la generación, en lugar de depender de señales implícitas de apariencia. La pose se representa como una imagen 2D renderizada (formato OpenPose) para maximizar la compatibilidad con el VAE preentrenado.

2. Alineación Multimodal mediante RoPE Consciente del Rol

Para garantizar una fundamentación consistente a través de las modalidades de texto, pose e imagen, los autores modifican la Codificación Posicional Rotatoria 3D (RoPE) utilizada en el transformador.

• Mecanismo: La coordenada temporal $\tau$ en la codificación estándar $(\tau, x, y)$ se reutiliza para establecer una identidad de rol unificada.
• Implementación: Todos los tokens asociados con una persona específica (descripciones de texto, tokens de pose y tokens de imagen dentro de una caja delimitadora) se asignan un índice $\tau$ compartido (por ejemplo, $\tau = i$ para la $i$-ésima persona). Los tokens fuera de las cajas delimitadoras usan $\tau = 0$. Esto vincula las descripciones textuales por persona con sus regiones visuales y estructurales correspondientes sin alterar la arquitectura base.

3. Construcción Iterativa de Escenas

Aprovechando la naturaleza descomponible de las representaciones de pose, los autores emplean un esquema de generación iterativa para construir escenas complejas.

• Proceso: La escena se construye incrementalmente, añadiendo una persona a la vez. En la etapa $i$, el modelo se condiciona en el estado de pose previamente generado $P_{i-1}$ (que representa a las personas $1$a$i-1$), la descripción de interacción global y la descripción específica para la $i$-ésima persona.
• Ventaja: Esto transforma el complejo problema de razonamiento multi-persona en una secuencia de subtareas más simples, descomponiendo efectivamente la complejidad de la generación y reduciendo el entrelazamiento semántico.
• Entrenamiento: Las imágenes de verdad fundamental se descomponen en estados de pose intermedios ($P_1, \dots, P_N$). El modelo es supervisado sobre la pose en cada etapa, pero solo sobre la imagen RGB final en la última etapa.

Contribuciones Clave

1. Representación Dual de Pose e Imagen: Una arquitectura novedosa que inyecta priors estructurales centrados en la persona en transformadores de difusión, permitiendo la generación iterativa de múltiples personas mediante la predicción conjunta de pose y apariencia.
2. Benchmark DrawWaldoWorlds: Un nuevo benchmark de evaluación derivado del conjunto de datos Who's Waldo, que presenta tres niveles de especificidad de prompts (A, B, C) para evaluar la alineación y la diversidad en la síntesis multi-humana centrada en la interacción.
3. Mejoras de Rendimiento: Demostró ganancias significativas tanto en alineación semántica (fidelidad al prompt) como en diversidad de escenas en comparación con líneas base de texto-a-imagen, edición y control de diseño de última generación.

Resultados

El método fue evaluado en DrawWaldoWorlds y en el MultiHuman-Testbench.

• Alineación Semántica: El método propuesto obtuvo las puntuaciones más altas de Precisión VQA y Similitud VQA en todos los niveles de prompts. Mantuvo una alta alineación incluso a medida que aumentaba la complejidad del prompt (Nivel C), mientras que las líneas base a menudo fallaban en capturar todas las entidades o sus interacciones.
• Diversidad: El método superó a la mayoría de las líneas base en métricas de diversidad (DINO Diff, LPIPS, GRADE), produciendo realizaciones variadas pero semánticamente coherentes del mismo prompt.
• Estudio de Usuarios: En una comparación ciega contra FLUX [dev] y FLUX Kontext [dev], los jueces humanos prefirieron los resultados del método propuesto en el 63.3% y el 79.0% de los casos, respectivamente, citando una mejor adherencia al texto.
• Estudios de Ablación: Eliminar cualquiera de los tres componentes centrales (supervisión de pose, composición iterativa o RoPE consciente del rol) resultó en caídas medibles del rendimiento, confirmando que todos los elementos son necesarios para una fuerte alineación semántica.

Significado

El artículo argumenta que las abstracciones estructurales explícitas y centradas en la persona sirven como un puente poderoso entre la intención semántica de alto nivel y la generación visual de bajo nivel. Al desentrelazar la estructura de interacción de la apariencia y aprovechar la composición iterativa, el enfoque ofrece una solución escalable a la complejidad combinatoria inherente a las escenas multi-entidad. Los autores sugieren que integrar tales representaciones estructuradas y descomponibles como modalidades de primera clase dentro de los modelos generativos abre nuevas oportunidades para una síntesis más fiel, interpretable y controlable, no solo para interacciones humanas, sino potencialmente para escenas complejas que involucran dinámicas más ricas y diversas entidades interactuantes.