Ar2Can: An Architect and an Artist Leveraging a Canvas for Multi-Human Generation

1. El Problema

A pesar de los avances recientes en la generación de imágenes personalizadas, los modelos existentes (basados en difusión texto-a-imagen) fallan sistemáticamente al generar escenas con múltiples humanos distintos. Los problemas principales incluyen:

• Fusión de identidades: Las caras de diferentes personas se mezclan o se convierten en una sola identidad.
• Duplicación: Se generan múltiples copias de la misma persona en lugar de individuos distintos.
• Conteo incorrecto: El modelo no respeta el número de personas solicitado en el prompt (ej. "cinco amigos").
• Limitaciones actuales: Los métodos de condicionamiento regional requieren anotaciones espaciales manuales (poco prácticos), mientras que los enfoques de preservación de identidad suelen funcionar bien solo con un sujeto y fallan en composiciones complejas. La causa raíz es que los modelos actuales intentan resolver simultáneamente la planificación espacial ("dónde están") y el renderizado de identidad ("cómo se ven"), lo que lleva a conflictos y errores sistemáticos.

2. Metodología: El Marco Ar2Can

Los autores proponen Ar2Can, un marco innovador de dos etapas que desacopla la planificación espacial del renderizado de identidad. El nombre proviene de sus tres componentes: Architect (Arquitecto), Artist (Artista) y Canvas (Lienzo).

A. Módulo Architect (Planificación Espacial)

Este módulo genera un plan espacial estructurado (cajas delimitadoras y, opcionalmente, poses) basado en el prompt de texto y las imágenes de referencia. Se presentan dos variantes:

1. Architect-A: Basado en un modelo de lenguaje (Qwen-2.5) con ajuste fino supervisado. Regresa coordenadas de cajas delimitadoras de forma autoregresiva. Es excelente para el conteo preciso debido a su fuerte comprensión del lenguaje.
2. Architect-B: Basado en un modelo de difusión (Flux-Schnell) ajustado con Reinforcement Learning (RL). Genera bocetos espaciales y poses. Aprovecha los priores espaciales 2D del modelo de difusión para crear disposiciones más naturales y diversas.

B. Módulo Artist (Renderizado de Identidad)

Este es un modelo de difusión único (Flux-Kontext) que genera la imagen final fotorealista. Se entrena utilizando Optimización de Política Relativa por Grupos (GRPO) con un conjunto de recompensas compuestas:

• Recompensa de Emparejamiento Facial Espacialmente Fundamentada: Esta es la contribución clave. En lugar de extraer caras en coordenadas exactas (lo que causa artefactos de "copiar y pegar"), utiliza el algoritmo Húngaro para emparejar los centroides de las cajas predichas por el Architect con las caras detectadas en la imagen generada. Luego, calcula la similitud de identidad (usando ArcFace) entre la imagen de referencia y la cara emparejada. Esto permite variaciones naturales en tamaño y posición mientras mantiene la identidad correcta.
• Recompensas Adicionales: Precisión en el conteo, alineación con el prompt (HPSv3), y corrección de poses (asegurando que las caras miren a la cámara).

C. Estrategias de Entrenamiento y Eficiencia

• Curriculum Learning: El entrenamiento comienza con escenas simples (2-3 personas) y progresa gradualmente a grupos más grandes (hasta 7 personas) para estabilizar el aprendizaje y evitar el olvido catastrófico.
• Token Sharing y Dropping: Para reducir la latencia computacional, el modelo extrae solo los tokens dentro de las regiones de interés (las caras) y reduce el número de tokens en un 50%. Cuando las regiones se superponen, asigna codificaciones posicionales idénticas (RoPE), lo que obliga al modelo a aprender a resolver conflictos de oclusión y profundidad de manera natural en lugar de simplemente superponer identidades.
• Datos Sintéticos: El método se entrena principalmente con datos sintéticos generados por el modelo DisCo, combinados con caras de referencia reales, eliminando la necesidad de grandes conjuntos de datos reales de grupos humanos.

3. Contribuciones Clave

1. Desacoplamiento Estructural: La separación de la planificación espacial (Architect) y el renderizado de identidad (Artist) resuelve el problema fundamental de la fusión de identidades.
2. Recompensa de Emparejamiento Húngaro: Una nueva función de recompensa que combina alineación espacial (centroide) y similitud de identidad, evitando artefactos de "copiar y pegar".
3. Entrenamiento con RL y Datos Sintéticos: Logra un rendimiento de vanguardia sin depender de costosos datos reales de múltiples personas, utilizando RL y datos híbridos.
4. Eficiencia Computacional: La estrategia de compartir y eliminar tokens reduce el tiempo de inferencia en un 2x sin sacrificar la calidad.
5. Arquitectura Modular: Permite intercambiar el Architect según las necesidades (velocidad vs. precisión) sin reentrenar el Artist.

4. Resultados

El método fue evaluado en el MultiHuman-Testbench (MHTB) y Multi-ID-Test, superando significativamente a los métodos de vanguardia (tanto propietarios como de código abierto como OmniGen, WithAnyone, XVerse, etc.):

• Precisión de Conteo: Ar2Can (con Architect-A) alcanza un 90.2% de precisión, superando a todos los baselines.
• Preservación de Identidad: Logra la puntuación Multi-ID más alta (68.2), superando al mejor método de código abierto en más de 13 puntos.
• Calidad Perceptiva: Mantiene una alta calidad de imagen (HPS ~30.8) y alineación con el prompt.
• Equilibrio: A diferencia de otros métodos que sacrifican la identidad por la acción o viceversa, Ar2Can logra ambos objetivos simultáneamente.
• Latencia: Gracias a la compartición de tokens, ofrece una excelente relación calidad-velocidad, siendo significativamente más rápido que métodos de difusión pura de múltiples pasos.

5. Significado e Impacto

Ar2Can representa un avance fundamental en la generación de imágenes de grupos humanos. Al abordar la raíz del problema (la confusión entre espacio e identidad) mediante una arquitectura modular y recompensas de RL inteligentes, demuestra que es posible generar escenas complejas con múltiples identidades distintas de manera fiable.

• Viabilidad Industrial: Su capacidad para funcionar con datos sintéticos y su eficiencia computacional lo hacen viable para aplicaciones comerciales.
• Generalización: El modelo demuestra una capacidad emergente para manejar no solo humanos, sino también objetos y escenas mixtas, sugiriendo una comprensión composicional generalizable.
• Nueva Dirección: Establece un nuevo paradigma para la generación personalizada multi-sujeto, alejándose de los enfoques de "todo en uno" hacia sistemas especializados y colaborativos.