Resumen Técnico: DyCoRM: Modelado de Recompensa Dinámico Consciente de Criterios para la Generación de Texto a Imagen

1. Enunciado del Problema

Aunque los modelos de generación de texto a imagen (T2I) han avanzado significativamente en la producción de imágenes de alta calidad, las demandas de los usuarios están cambiando hacia resultados que satisfagan requisitos específicos y relevantes para la tarea. Los modelos de recompensa y los marcos de evaluación existentes dependen en gran medida de dimensiones estáticas y predefinidas o de señales de preferencia agregadas. Estos enfoques no logran adaptarse a la naturaleza dinámica del juicio del usuario, donde los criterios de evaluación varían significativamente según el prompt, el par de imágenes y el caso de uso previsto (por ejemplo, priorizar la legibilidad del texto para tareas de diseño frente al tono emocional para la narración de historias).

El desafío central identificado es que los modelos actuales no pueden descomponer la evaluación en dos pasos distintos: (1) inferir los criterios relevantes para la tarea a partir del contexto prompt-imagen, y (2) modelar las preferencias de imagen condicionadas a esos criterios específicos. En consecuencia, los modelos existentes luchan por priorizar los aspectos correctos de una imagen cuando diferentes tareas requieren diferentes estándares de evaluación.

2. Metodología

2.1 Construcción de Datos: DyCoDataset-20K y DyCoBench-1K

Para habilitar un modelado dinámico y consciente de criterios, los autores construyeron un nuevo conjunto de datos y una nueva prueba de referencia:

• DyCoDataset-20K: Un conjunto de datos que comprende 4.876 prompts, 23.378 pares de imágenes y 94.572 criterios de granularidad fina. El proceso de construcción implica:
  • Generación de Prompts: Uso de GPT-4o para generar prompts diversos controlados por seis componentes (sujeto, apariencia, escena, movimiento, formato, renderizado) para variar la complejidad.
  • Adquisición de Imágenes: Generación de 5 a 6 imágenes por prompt a partir de un grupo de 14 modelos (incluyendo propietarios y de código abierto) para asegurar comparaciones diversas.
  • Anotación Humana: Un protocolo de dos etapas donde los anotadores primero formulan criterios de granularidad fina relevantes para el par específico prompt-imagen, y luego realizan comparaciones por pares bajo cada criterio finalizado. Las etiquetas se retienen solo si más del 70% de los anotadores están de acuerdo.
• DyCoBench-1K: Una prueba de referencia curada derivada del conjunto de datos, que contiene 192 prompts y 822 pares de imágenes. Está diseñada para probar capacidades de evaluación dinámica, incluidos casos de reversión de preferencia donde el ganador cambia según el criterio seleccionado.

2.2 Arquitectura del Modelo: DyCoRM

DyCoRM es un marco de modelado de recompensa de dos etapas:

• Etapa 1: Fundamentación de Criterios: El modelo toma un prompt y un par de imágenes como entrada y genera un conjunto de criterios de granularidad fina relevantes para la tarea ($C = \{c_1, c_2, ..., c_M\}$). Esto se entrena como una tarea de generación de secuencias autoregresiva utilizando pérdida de entropía cruzada contra criterios anotados por humanos.
• Etapa 2: Aprendizaje de Recompensa Condicionada a Criterios: Dado el prompt, el par de imágenes y un criterio específico (o conjunto de criterios), el modelo predice la preferencia entre las imágenes. Los autores investigaron tanto funciones de pérdida puntuales como por pares, encontrando que la pérdida por pares produce consistentemente un mejor rendimiento. El modelo aprende a emitir una probabilidad que indica qué imagen es preferida bajo la condición especificada.

2.3 Aplicación: DyCoPick

DyCoPick extiende el marco de modelado de recompensa a la fase de selección de generación. Opera en tres etapas:

1. Generación de Candidatos: Múltiples modelos T2I generan candidatos para un prompt dado.
2. Resolución de Criterios: Si el usuario proporciona criterios, se utilizan; de lo contrario, el sistema deriva automáticamente criterios relevantes para la tarea a partir del prompt y los candidatos.
3. Selección por Criterio: DyCoRM realiza comparaciones por pares entre candidatos bajo cada criterio para seleccionar la mejor salida para la alineación de preferencias personalizadas.

3. Contribuciones Clave

1. Marco DyCoRM: El primer marco de modelado de recompensa que descompone explícitamente la evaluación en fundamentación de criterios y aprendizaje de preferencia condicionado a criterios, permitiendo que los modelos adapten sus juicios a diversos requisitos de tareas.
2. DyCoDataset-20K y DyCoBench-1K: La construcción de un conjunto de datos a gran escala con criterios dinámicos de granularidad fina y una prueba de referencia diseñada específicamente para evaluar modelos de recompensa bajo juicios dinámicos y específicos de criterios, superando las etiquetas de preferencia general estáticas.
3. DyCoPick: Una aplicación práctica que demuestra cómo el modelado de recompensa dinámico y consciente de criterios puede integrarse en pipelines de generación T2I para la selección de salidas personalizadas.

4. Resultados Experimentales

Los autores evaluaron DyCoRM en DyCoBench-1K y cuatro pruebas de referencia de dominio cruzado (ImageReward, Pick-a-Pic, HPDv2, HPDv3).

• Rendimiento en DyCoBench-1K: DyCoRM superó significativamente tanto a modelos de recompensa T2I especializados (por ejemplo, HPSv3, ImageReward) como a Modelos Multimodales Grandes (LMM) generales en configuraciones de preferencia de criterio único, múltiples criterios y general. Por ejemplo, en la configuración de preferencia general, DyCoRM alcanzó una precisión de 0.791 (Kappa de Cohen 0.772), en comparación con 0.732 para la siguiente mejor línea base (HPSv3).
• Generalización: En las pruebas de referencia de dominio cruzado, DyCoRM mantuvo un rendimiento competitivo, demostrando que su entrenamiento en criterios dinámicos se generaliza a tareas estándar de evaluación de preferencia general.
• Capacidad Dinámica: El análisis mostró que el rendimiento de DyCoRM se mantiene robusto a través de diversas dificultades de tarea y conteos de criterios, indicando que se adapta a condiciones de evaluación cambiantes en lugar de depender de heurísticas fijas.
• Estudio Humano (DyCoPick): En un estudio humano que comparó DyCoPick contra otros modelos de recompensa como selectores, DyCoPick fue preferido en todas las configuraciones (general, criterio único y múltiples criterios), con ventajas particularmente fuertes en evaluaciones específicas de criterios.

5. Significado y Afirmaciones

El artículo afirma establecer el primer marco de modelado de recompensa para evaluación dinámica y de granularidad fina en la generación T2I. Al cambiar el paradigma de la predicción de preferencias estáticas a la evaluación dinámica y consciente de criterios, el trabajo aborda la limitación de los modelos actuales que no pueden adaptarse a requisitos específicos del usuario. Los autores postulan que este enfoque permite una alineación más precisa entre las salidas generadas y la intención del usuario, cerrando la brecha entre la evaluación fuera de línea y la selección práctica en tiempo de generación. El estudio enfatiza que, aunque la recolección dinámica de criterios es más costosa que el etiquetado de preferencias estáticas, el conjunto de datos y el marco resultantes proporcionan una base necesaria para la próxima generación de sistemas T2I personalizados.