Resumen Técnico: DivRL – Recompensas de Auto-Similitud Desentrelazadas para la Generación Diversa Basada en Sujetos

1. Planteamiento del Problema: La Paradoja Identidad-Diversidad

La generación de imágenes basada en sujetos busca sintetizar imágenes novedosas de un sujeto específico preservando su identidad visual a través de diversos contextos, poses y estilos. A pesar de la fidelidad de los modelos recientes basados en difusión, existe una tensión fundamental conocida como la "Paradoja Identidad-Diversidad".

• El Conflicto: Los modelos que imponen fuertemente la preservación de la identidad suelen colapsar en la generación de imágenes casi duplicadas de la referencia, exhibiendo poses, puntos de vista y expresiones rígidas. Por el contrario, los métodos que fomentan la diversidad estructural suelen sufrir de "deriva de identidad", donde el sujeto generado pierde sus características definitorias.
• Causa Raíz: Esta paradoja surge porque los atributos visuales que definen la identidad están entrelazados con la estructura espacial en la imagen de referencia. Cuando los modelos intentan preservar la identidad, preservan inadvertidamente la información estructural entrelazada, reduciendo la diversidad. Cuando intentan alterar la estructura, corren el riesgo de modificar los atributos que definen la identidad.
• Limitaciones de las Recompensas Actuales: Las recompensas basadas en la identidad existentes a menudo fomentan el mimetismo estructural, ya que los modelos pueden maximizar las puntuaciones de identidad reproduciendo la configuración espacial exacta de la referencia en lugar de explorar variaciones novedosas y consistentes con la identidad.

2. Metodología: Marco de Trabajo DivRL

Los autores proponen DivRL, un marco de post-entrenamiento basado en Aprendizaje por Refuerzo (específicamente Flow-GRPO) que optimiza conjuntamente la consistencia de la identidad y la diversidad estructural. La innovación central radica en desentrelazar estos objetivos mediante diseños de recompensa específicos y una estrategia de optimización de "Exploración y Supresión".

2.1 Diseño de la Recompensa

El marco utiliza dos señales de recompensa distintas derivadas de características visuales desentrelazadas (específicamente utilizando las características visuales MTG de un modelo de similitud robusto):

1. Emparejamiento Semántico Visual (VSM) para la Consistencia de la Identidad:

   • El VSM evalúa la preservación de la identidad computando matrices de similitud semántica y visual entre las imágenes de referencia y las generadas.
   • Identifica regiones semánticamente consistentes (donde la similitud semántica supera un umbral $\tau_s$) y evalúa la consistencia visual dentro de esas regiones.
   • Una puntuación VSM más alta indica una mejor preservación de la identidad del sujeto bajo diversas condiciones.

2. Medida de Auto-Similitud Negativa (nSSM) para la Diversidad Estructural:

   • A diferencia de las métricas de diferencia de características globales, la nSSM cuantifica la diversidad analizando las relaciones internas de las características visuales.
   • Computa Matrices de Auto-Similitud (SSM) para las rejillas de características visuales tanto de la imagen de referencia como de la generada. Estas matrices capturan la organización espacial intrínseca de las partes del objeto.
   • La nSSM se define como $1 - \rho$, donde $\rho$ es el coeficiente de correlación de Pearson entre las SSM de la referencia y la imagen generada.
   • Lógica: Una alta correlación implica disposiciones estructurales similares (baja diversidad), mientras que una menor correlación corresponde a contextos estructuralmente diversos (por ejemplo, diferentes poses o puntos de vista). Maximizar la nSSM fomenta que el modelo explore configuraciones estructuralmente diferentes.
   • Estabilización: Para evitar artefactos de textura de alta frecuencia (una forma de manipulación de la recompensa o reward hacking donde el modelo imita correlaciones locales sin cambiar la estructura global), las características visuales se submuestrean mediante un pooling promedio de $2\times2$ antes de computar la SSM.

2.2 Estrategia de Optimización: "Explorar y Suprimir"

Optimizar directamente ambos objetivos simultáneamente mediante ponderación lineal conduce a un entrenamiento inestable y a la manipulación de la recompensa. En su lugar, DivRL emplea una estrategia de optimización de puerta de dos etapas:

• Etapa 1 (Explorar): El modelo se entrena utilizando la nSSM como única recompensa. Esto anima al modelo a explorar libremente el espacio latente y generar configuraciones estructuralmente diversas, rompiendo la rigidez del modelo pre-entrenado.
• Etapa 2 (Suprimir): El modelo se entrena utilizando una formulación de recompensa con puerta (gated).
  • El VSM actúa como una restricción (puerta).
  • Si la puntuación VSM de una muestra es superior a un umbral $s$, recibe la recompensa nSSM.
  • Si la puntuación VSM es inferior a $s$, se aplica una penalización de pérdida de bisagra cuadrática: $R = \text{nSSM} - \lambda(s - \text{VSM})^2$.
  • Efecto: Esto convierte la preservación de la identidad de un objetivo competidor en una restricción de factibilidad. El modelo es libre de explorar estructuras diversas siempre que permanezcan dentro de la región de consistencia de identidad. Esto desacopla la optimización, permitiendo que tanto la nSSM como el VSM mejoren conjuntamente sin que los gradientes de uno destruyan al otro.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Métrica nSSM: La introducción de la Medida de Auto-Similitud Negativa, una métrica de espacio de características que cuantifica la diversidad estructural analizando las correlaciones de auto-similitud de las características visuales desentrelazadas, en lugar de las diferencias de características globales.
2. Estrategia de Explorar y Suprimir: Un enfoque de optimización novedoso que desacopla la exploración de la diversidad de la preservación de la identidad mediante una formulación de recompensa con puerta, transformando efectivamente la preservación de la identidad en una restricción en lugar de un objetivo conflictivo.
3. Validación Empírica: Demostración en el benchmark DreamBench++ utilizando el backbone Flux-Kontext, mostrando que el método mejora la diversidad estructural manteniendo una consistencia de identidad competitiva. Los autores señalan que la formulación nSSM y la optimización de dos etapas son independientes del backbone.

4. Resultados Experimentales

El método fue evaluado en el benchmark DreamBench++ (150 identidades, 9 prompts cada una) contra bases sólidas que incluyen Flux-IP-Adapter, OmniGen, OmniGen2, UNO y PaCo-RL.

• Rendimiento Cuantitativo:

  • Equilibrio: DivRL logra un equilibrio superior entre la consistencia de la identidad y la diversidad estructural en comparación con las bases. Mientras que optimizar solo para VSM mejora la consistencia pero perjudica la diversidad, y la nSSM sola mejora la diversidad pero perjudica la consistencia, el enfoque combinado mantiene una alta consistencia (comparable a Flux-Kontext) mientras aumenta significativamente las métricas de diversidad (MTG-nSSM, DINO-nSSM).
  • Seguimiento de Prompts: Curiosamente, el método mejora el alineamiento con el prompt. Los autores atribuyen esto a la relajación de la "rigidez geométrica" inducida por el pre-entrenamiento; al fomentar la diversidad estructural, el modelo adapta el sujeto de manera más efectiva a las instrucciones contextuales del prompt.
  • Intercambio de Consistencia vs. Diversidad: Los gráficos de Ratio de Consistencia vs. Diversidad-sobre-Consistencia muestran que DivRL ocupa la región de alta utilidad donde ambos objetivos coexisten, superando las combinaciones lineales de recompensas que no logran mejorar ambos simultáneamente.

• Observaciones Cualitativas:

  • Las bases como Flux-Kontext y PaCo-RL a menudo producen salidas rígidas o fallan en el seguimiento de interacciones con el prompt (por ejemplo, fallar al colocar un sujeto en una escena específica).
  • Otros modelos (por ejemplo, OmniGen) producen salidas diversas pero sufren de deriva de identidad.
  • DivRL genera con éxito imágenes con variadas poses, puntos de vista y expresiones, preservando al mismo tiempo los detalles visuales finos del sujeto de referencia.

5. Significación y Limitaciones

Significación:
El artículo identifica el mimetismo estructural como un modo de fallo crítico en los métodos existentes de generación basada en sujetos. Al separar explícitamente la diversidad estructural de la preservación de la identidad, DivRL resuelve la Paradoja Identidad-Diversidad. La estrategia de "Explorar y Suprimir" demuestra que tratar la identidad como una restricción de factibilidad en lugar de un objetivo competidor permite a los modelos explorar espacios latentes de alta calidad donde la identidad y la novedad coexisten.

Limitaciones:
Los autores reconocen modestamente algunas limitaciones:

• Alcance de la Métrica: La métrica de diversidad (nSSM) se centra en variaciones estructurales (pose, punto de vista) y puede no capturar completamente la diversidad semántica de alto nivel o los cambios compositivos complejos.
• Costo Computacional: La dependencia del Aprendizaje por Refuerzo para el post-entrenamiento introduce una carga computacional adicional en comparación con los métodos puramente de alimentación hacia adelante (feed-forward).
• Restricciones de Entrada: El modelo base (Flux-Kontext) acepta una única imagen de referencia, lo que puede limitar la efectividad cuando la referencia contiene pistas de identidad ambiguas o oclusiones complejas.

El artículo concluye que trabajos futuros podrían abordar estas limitaciones mediante métricas de diversidad más ricas, estrategias de optimización más eficientes y condicionamiento de múltiples referencias.