Resolving the Identity Crisis in Text-to-Image Generation

Resumen Técnico: DISCO (Reinforcement with Diversity Constraints)

1. El Problema: La "Crisis de Identidad"

Los modelos de texto-a-imagen más avanzados (SOTA), basados en difusión y flujo (flow-matching), sufren de un fallo persistente conocido como "crisis de identidad" al generar escenas con múltiples personas.

• Síntomas: Los modelos tienden a generar rostros duplicados (idénticos) dentro de una misma imagen, fusionar identidades o contar incorrectamente el número de personas solicitadas.
• Impacto: Esto limita severamente la utilidad práctica en aplicaciones como la generación de datos sintéticos para entrenamiento, narrativas visuales, personalización de fotos grupales y simulaciones sociales.
• Limitación actual: Aunque la calidad visual general es alta, la diferenciación de identidades (intra-imagen y entre imágenes) falla, incluso cuando se solicitan grupos grandes.

2. Metodología: El Marco DISCO

Los autores proponen DISCO (Reinforcement with Diversity Constraints), un marco de Aprendizaje por Refuerzo (RL) diseñado para optimizar directamente la diversidad de identidades.

• Algoritmo Base: Utiliza Flow-GRPO (Group-Relative Policy Optimization), una variante de RL adaptada a modelos de flujo (flow-matching). Esto permite optimizar objetivos no diferenciables sin necesidad de grandes conjuntos de datos anotados.

• Función de Recompensa Compuesta: El núcleo de DISCO es una función de recompensa que evalúa cuatro dimensiones simultáneamente:

  1. Diversidad Intra-Imagen ($r^d_{img}$): Penaliza la similitud facial dentro de una misma imagen. Si se detectan dos caras con alta similitud coseno, la recompensa disminuye.
  2. Diversidad Inter-Muestra (Grupo) ($r^d_{grp}$): Una contribución novedosa. Penaliza la repetición de identidades a través de un grupo de imágenes generadas para el mismo prompt. Utiliza una estadística "contrafactual" (eliminar una imagen del grupo y medir el cambio en la similitud global) para asignar recompensas que fomenten la variedad global.
  3. Precisión del Conteo ($r^c_{img}$): Una recompensa binaria que asegura que el número de caras detectadas coincida exactamente con el número solicitado en el prompt.
  4. Calidad y Alineación ($r^q_{img}$): Utiliza la puntuación HPSv3 (Human Preference Score) para mantener la fidelidad visual, la alineación con el texto y evitar artefactos (como rostros en cuadrícula o distorsiones).

• Curriculum de Aprendizaje de Una Etapa: Para manejar la complejidad creciente, el entrenamiento comienza con prompts simples (2-4 personas) y transita gradualmente hacia un muestreo uniforme en el rango completo (hasta 7+ personas). Esto estabiliza el entrenamiento, especialmente en modelos especializados.

3. Contribuciones Clave

1. Optimización de Diversidad con RL: DISCO es uno de los primeros métodos en usar RL para optimizar explícitamente la diversidad de identidades, tanto dentro de una imagen como entre un conjunto de muestras.
2. Recompensa de Diversidad por Grupo: Descubren que optimizar solo la diversidad intra-imagen causa un colapso de la diversidad global (las identidades duplicadas simplemente se desplazan a otras imágenes). Su recompensa de grupo corrige esto.
3. Caracterización y Mitigación del "Reward Hacking": Identifican que la optimización de diversidad puede llevar al modelo a generar menos personas o rostros en cuadrículas artificiales para engañar a la recompensa. Integran controles de conteo y calidad (HPS) para regularizar estos fallos.
4. Solución sin Anotaciones: El método no requiere datos reales etiquetados ni anotaciones espaciales adicionales; se basa en detección de rostros y embeddings de identidad.

4. Resultados Experimentales

El modelo fue evaluado en el conjunto de datos DiverseHumans (1,200 prompts) y MultiHuman-TestBench, comparándose con modelos propietarios (GPT-Image-1, Gemini) y de código abierto (SD3.5, FLUX, OmniGen2).

• Precisión de Rostros Únicos (UFA): DISCO logra un 98.6% en el modelo FLUX, superando drásticamente a GPT-Image-1 (85.1%) y a la línea base FLUX (48.2%).
• Distribución Global de Identidad (GIS): Logra un 98.3% de diversidad global, indicando que rara vez repite identidades entre diferentes imágenes generadas con el mismo prompt.
• Precisión de Conteo: Mejora significativamente la capacidad de generar el número exacto de personas solicitado (92.4% vs 70.8% en la línea base).
• Calidad Perceptual: Mantiene puntuaciones HPS competitivas, demostrando que la mejora en diversidad no sacrifica la calidad visual ni la adherencia al prompt.
• Generalización: El modelo fine-tuneado también mejora la diversidad en atributos no faciales (ropa, tipo de cuerpo) como efecto secundario, y mantiene o mejora las capacidades generales de generación de texto-a-imagen en benchmarks como GenEval2.

5. Significado e Impacto

• Resolución de un Cuello de Botella: DISCO aborda una limitación fundamental de los modelos generativos actuales, permitiendo la creación de escenas grupales realistas y diversas.
• Escalabilidad: La solución es escalable y funciona tanto en modelos generalistas como especializados, sin requerir costosas anotaciones manuales.
• Futuro: Establece un nuevo estándar para la síntesis de imágenes multi-persona y abre la puerta a aplicaciones en personalización de personajes, narrativas interactivas y entornos de simulación social más realistas. Además, demuestra que el RL puede corregir sesgos de identidad arraigados en los datos de entrenamiento sin degradar otras capacidades del modelo.

En conclusión, DISCO transforma a los modelos de generación de imágenes de "copiadores de rostros" a generadores de individuos distintos y diversos a escala, resolviendo la crisis de identidad mediante una estrategia de recompensas compuestas y aprendizaje por refuerzo estructurado.