Resumen Técnico: TASTE – Un Conjunto de Datos de Preferencias Multidimensionales Anotado por Diseñadores para el Diseño Gráfico Generado por IA

Declaración del Problema

Los modelos actuales de texto a imagen (T2I) se implementan cada vez más para el diseño gráfico a escala de producción, sin embargo, su optimización y evaluación dependen en gran medida de conjuntos de datos de preferencias derivados de la generación de imágenes fotorrealistas (por ejemplo, HPSv2, Pick-a-Pic, ImageReward). Estos conjuntos de datos suelen emplear una única etiqueta de "cuál es mejor" por comparación, lo que colapsa ejes de diseño distintos como la tipografía, la jerarquía visual, la armonía del color y la fidelidad de la composición. Esto crea una desalineación donde los modelos son recompensados por la plausibilidad fotorrealista en lugar de por restricciones de diseño específicas. Además, los recursos existentes específicos de diseño (por ejemplo, LICA, Graphic-Design-Bench) se centran en metadatos estructurales o en la finalización de tareas, pero carecen de señales de preferencia humana. Existe una brecha crítica en los datos de preferencias multidimensionales anotados por diseñadores que capturen los procesos cognitivos distintos involucrados en la evaluación del diseño gráfico.

Metodología

El Conjunto de Datos TASTE

Los autores presentan TASTE (Tipografía, Estética, Espacial, Tono, etc.), un conjunto de datos diseñado para capturar preferencias subdimensionales.

• Generadores: Cuatro modelos T2I actuales (FLUX.2 max, GPT Image 1.5, Nano Banana 2, Seedream 5.0 Lite) evaluados bajo códigos secretos.
• Anotadores: Dos cohortes disjuntas de 5 diseñadores profesionales cada una (10 en total), reclutadas a través de Contra.
• Estructura:
  • Dos Cohortes: Una cohorte de Estética (centrada en el estado de ánimo, el tono, la jerarquía, el color y la artesanía tipográfica) y una cohorte de Descripciones (centrada en la fidelidad del prompt: precisión del color, precisión espacial, renderizado de texto).
  • Criterios: 9 subdimensiones distintas.
  • Escala: 80 prompts por criterio $\times$ 5 evaluadores $\times$ 4 modelos = 1.600 calificaciones por criterio.
  • Formato: Los evaluadores realizan 6 comparaciones por pares por prompt, agregadas en clasificaciones estrictas de cuatro vías. Además, las cohortes de preferencia general incluyen marcadores de alucinación (No, Menor, Mayor).

Marco de Validación de Señales

Antes de tratar los datos como material de entrenamiento, los autores proponen un marco diagnóstico agnóstico al criterio para verificar la presencia de una señal de preferencia aprendible, distinguiéndola del ruido aleatorio o del desacuerdo faccional. El marco se prueba contra distribuciones nulas iid-uniformes exactas en $(p=4, R=5)$ utilizando tres estadísticas:

1. $\tau$ de Kendall: Mide la correlación de rangos entre pares de calificadores.
2. Probabilidad de Mayoría ($p_{max}$): Mide la frecuencia de ganadores decisivos en comparaciones por pares.
3. Indicador de Ciclo de Condorcet: Detecta la intransitividad triádica ($A \succ B, B \succ C, C \succ A$) para distinguir entre ruido de orden compartido y desacuerdo faccional.

Evaluación y Modelado

• Referencia de Evaluación: Los autores evaluaron 9 sistemas preentrenados (6 Modelos de Visión-Lenguaje de pesos abiertos y 3 calificadores T2I dedicados como HPSv2.1) contra la mayoría de los 5 diseñadores.
• Entrenamiento de Modelo Personalizado: Se entrenó una pequeña cabeza modular de preferencias sobre TASTE. Los autores exploraron opciones arquitectónicas, comparando específicamente una cabeza de puntuación escalar estándar (que puntúa imágenes independientemente) frente a una cabeza de diferencia por pares que calcula explícitamente las características de la diferencia entre dos imágenes ($g(t, i_a, i_b)$).

Resultados Clave

1. Calidad de la Señal y Posicionamiento de Dominio

• Presencia de Señal: Cada criterio de TASTE rechaza la hipótesis nula de calificador aleatorio en al menos dos de las tres estadísticas de señal ($p < 10^{-10}$).
• Comparación Interdominio: El acuerdo de los diseñadores sobre diseño gráfico cae entre los dominios de gusto subjetivo (Sushi, MovieLens) y la calidad de imagen de estilo fotográfico (HPSv2).
  • La mediana de $\tau$ de Kendall para TASTE oscila entre +0,067 (Armonía del Color) y +0,200 (Precisión Espacial).
  • Esto es menor que el top-4 de HPSv2-test (0,267) pero mayor que la nulidad iid-uniforme (0).
• Estructura de Acuerdo: Las tasas de ciclos están en o por debajo de la nulidad iid-uniforme, descartando el "desacuerdo faccional" (donde los calificadores forman grupos incompatibles). Los datos apoyan un modelo de un orden de preferencia compartido débil con ruido específico del calificador.
• Heterogeneidad de la Señal: La fuerza de la señal varía significativamente. Los criterios de fidelidad de descripción (Tipografía, Precisión Espacial) muestran aproximadamente el doble de señal que los criterios estéticos (Armonía del Color).

2. Rendimiento de Producto Listo para Usar

• Bajo Acuerdo: Ningún sistema preentrenado (VLM o calificadores dedicados) supera el 0,55 de acuerdo macro con la mayoría de los 5 diseñadores.
• Límites de Escala: Dentro de la familia VLM, escalar los parámetros (por ejemplo, Qwen3-VL de 4B a 32B) no mejora la precisión. En su lugar, desplaza el punto de operación a lo largo de una frontera de sesgo versus percepción: los modelos más grandes exhiben menos sesgo de posición pero también menor sensibilidad al contenido cuando cometen errores, lo que resulta en una precisión neta plana.
• Especialización: Los calificadores estéticos dedicados (por ejemplo, LAION-Aesthetic-V2) fallan significativamente en tareas de fidelidad de texto (caiendo a 0,411 en tipografía), mientras que HPSv2.1 permanece como la referencia más fuerte con 0,543.

3. Resultados del Entrenamiento del Modelo

• Análisis del Techo: El límite superior teórico para un modelo que imita al panel es la precisión Leave-One-Out (LOO) de un solo calificador contra la mayoría de los otros cuatro, calculada en 0,741.
• Rendimiento: Una cabeza de diferencia por pares personalizada entrenada sobre TASTE logró una precisión general de 0,611.
  • Esto cierra aproximadamente la mitad de la brecha entre la referencia aleatoria (0,5) y el techo de un solo calificador (0,741).
  • La mejora es impulsada casi en su totalidad por un mejor rendimiento en divisiones 3-2 ambiguas (0,558 $\to$ 0,602), donde el modelo aprende a tomar decisiones confiables en casos donde los calificadores humanos discrepan.
• Arquitectura: La arquitectura de diferencia por pares (modelando explícitamente $i_a - i_b$) superó a las cabezas escalares estándar, lo que sugiere que la atención conjunta a las diferencias de imagen es necesaria para esta tarea.

Significado y Afirmaciones

El artículo posiciona a TASTE no meramente como una referencia de evaluación, sino como una capa de decisión para la pila de generación de diseño gráfico. Su significado radica en tres áreas:

1. Completar la Pila: TASTE llena la capa faltante de "preferencia humana" entre los datos estructurales (LICA) y las referencias de tareas (Graphic-Design-Bench), permitiendo la evaluación de lo que los diseñadores prefieren en lugar de solo de lo que los modelos pueden hacer.
2. Estándar Metodológico: Los autores argumentan que la verificación de señal de tres estadísticas propuesta ($\tau$ de Kendall, $p_{max}$, ciclos de Condorcet) debería convertirse en una práctica estándar para cualquier nuevo conjunto de datos de preferencias. Responde a la pregunta previa de si existe una señal aprendible antes de invertir en el entrenamiento del modelo.
3. Habilitar el Alineamiento Controlable: La estructura multidimensional permite clasificación específica por criterio y alineamiento controlable. Los profesionales ahora pueden entrenar modelos de recompensa u objetivos de alineación que optimicen dimensiones específicas (por ejemplo, priorizando la fidelidad tipográfica sobre la armonía del color) en lugar de depender de una puntuación agregada única.

Los autores concluyen que, aunque los sistemas actuales de producto listo para usar no logran capturar la preferencia del diseñador, el conjunto de datos proporciona una fuente verificada de señal para entrenar modelos de preferencia especializados y alineados con diseñadores, con un margen considerable restante para alcanzar el techo de imitación humana.