CROC: Evaluating and Training T2I Metrics with Pseudo- and Human-Labeled Contrastive Robustness Checks

Resumen Técnico: CROC

1. El Problema

La evaluación de los modelos de generación de imágenes a partir de texto (T2I) es un desafío crítico. Aunque existen múltiples métricas automáticas para calificar la calidad de las imágenes generadas, la meta-evaluación (evaluar la fiabilidad de estas métricas mismas) es insuficiente.

• Limitaciones actuales: La meta-evaluación basada en humanos es costosa, lenta y tiene una cobertura limitada de propiedades de imagen. Los métodos automatizados existentes a menudo dependen de correlaciones con etiquetas humanas en conjuntos de datos antiguos (riesgo de filtración de datos) o utilizan medidas de correlación que pueden favorecer injustamente ciertas métricas.
• Necesidad: Se requiere un marco escalable para probar sistemáticamente la robustez de las métricas T2I, identificando en qué propiedades (colores, relaciones espaciales, partes del cuerpo, negaciones) fallan y en cuáles tienen éxito, minimizando la supervisión humana.

2. Metodología: El Marco CROC

Los autores proponen CROC (Contrastive Robustness Checks), un marco automatizado que evalúa la robustez de las métricas mediante la síntesis de casos de prueba contrastivos.

Principio Fundamental:
En lugar de evaluar si una imagen es "buena" en abstracto, CROC plantea un problema de clasificación binaria: dada una métrica $M$, ¿puede asignar una puntuación más alta a un par texto-imagen coincidente (matching) que a un par contrastivo (donde una propiedad específica ha sido alterada)?

• Condición de prueba: $M(\text{par coincidente}) > M(\text{par contrastivo})$.

Generación de Datos:
El marco genera dos conjuntos de datos complementarios:

1. CROCsyn (Datos Pseudo-etiquetados):

   • Escala: Más de 1 millón de pares prompt-imagen.
   • Proceso: Utiliza un esquema de tres pasos:
     1. Construcción de Taxonomía: Jerarquía de 64 propiedades (atributos, relaciones), 51 temas y 158 entidades.
     2. Generación de Texto: Un LLM genera un texto original ($T_O$) y un texto contrastivo ($T_C$) que difiere en una sola propiedad (ej. "oveja blanca" vs. "oveja azul").
     3. Generación de Imagen: Modelos de difusión generan imágenes correspondientes ($I_O$ y $I_C$).
   • Estrategia de Robustez: Para mitigar errores de generación, se generan múltiples imágenes ($n=5$) por prompt. La métrica debe identificar correctamente la mejor coincidencia entre las opciones generadas.
   • Direcciones de Evaluación:
     • Basada en Imagen: ¿Cuál imagen corresponde mejor al mismo texto?
     • Basada en Texto: ¿Cuál texto describe mejor la misma imagen?
     • Forward vs. Inverse: Pruebas donde el par coincidente es el original o el contrastivo.

2. CROChum (Datos Supervisados por Humanos):

   • Objetivo: Enfocado en categorías desafiantes donde los modelos T2I suelen fallar (ej. partes del cuerpo, negaciones, relaciones espaciales complejas).
   • Proceso: Generación de prompts específicos, creación de imágenes y filtrado manual exhaustivo para asegurar que las imágenes generadas cumplan estrictamente con el prompt.
   • Tamaño: ~23,800 pares texto-imagen validados por humanos.

Entrenamiento de CROCScore:
Utilizando CROCsyn, los autores entrenan una nueva métrica llamada CROCScore.

• Arquitectura: Basada en un Modelo de Lenguaje Multimodal (mLLM) que responde a la pregunta: "¿Esta imagen muestra el siguiente contenido: '{prompt}'? Responde Sí o No".
• Método: Se ajusta el modelo para generar "Sí" en pares coincidentes y "No" en pares contrastivos, calculando la puntuación como $P(\text{Sí}) - P(\text{No})$.

3. Contribuciones Clave

1. Marco CROC: El primer marco de meta-evaluación que combina perturbaciones generadas por LLMs por propiedad y verificaciones contrastivas par a par para reducir la dependencia de etiquetas humanas y permitir un análisis de robustez fino.
2. Datasets CROCsyn y CROChum:
   • CROCsyn: Un conjunto de datos masivo (>1M pares) pseudo-etiquetado para comparar y entrenar métricas.
   • CROChum: Un conjunto de datos de alta calidad, supervisado por humanos, centrado en casos límite y difíciles.
3. CROCScore: Una nueva métrica de código abierto que, al entrenarse con datos contrastivos sintéticos, logra un rendimiento de vanguardia (SOTA) entre métodos de código abierto.
4. Análisis de Robustez: Identificación sistemática de puntos ciegos en las métricas actuales (ej. fallos en negaciones y confusión en partes del cuerpo).

4. Resultados y Análisis

Los autores evaluaron 6 métricas existentes (CLIPScore, AlignScore, BLIP2-ITM, PickScore, BVQA, VQAScore) y su nueva métrica CROCScore.

• Rendimiento General:

  • VQAScore (con backend GPT-4o) obtuvo el mejor rendimiento global, pero es costoso y lento.
  • CROCScore (código abierto) superó a todas las demás métricas de código abierto en CROChum, GenAI-Bench, Winoground y TIFA.
  • Las métricas basadas en embeddings (como AlignScore) a veces superan a las basadas en VQA en ciertos contextos, pero generalmente tienen dificultades en evaluaciones basadas en imágenes complejas.

• Hallazgos de Robustez (Puntos Ciegos):

  • Negación: Muchas métricas fallan al detectar la ausencia de un objeto (ej. "una casa y sin coche").
  • Partes del Cuerpo: Todas las métricas de código abierto fallan en aproximadamente el 24-25% de los casos relacionados con la identificación correcta de partes del cuerpo (ej. dedos, ojos).
  • Relaciones Espaciales: Dificultad significativa en relaciones como "izquierda de" o "encima de".
  • Asimetría Direccional: Las métricas suelen ser más robustas al juzgar pares texto-imagen inesperados cuando se comparan imágenes entre sí, en lugar de comparar textos.

• Validación Humana:

  • La evaluación humana en CROCsyn mostró que las métricas automáticas aún están lejos de la precisión humana (los anotadores humanos superaron consistentemente a las métricas).
  • CROChum demostró ser un banco de pruebas riguroso donde las métricas existentes fallaron frecuentemente, validando la utilidad del conjunto de datos.

5. Significado e Impacto

• Nueva Paradigma de Evaluación: CROC demuestra que es posible realizar una meta-evaluación rigurosa y escalable de métricas T2I sin depender exclusivamente de costosos conjuntos de datos etiquetados por humanos, utilizando en su lugar datos sintéticos contrastivos de alta calidad.
• Mejora de Métricas: El éxito de CROCScore demuestra que entrenar métricas en datos contrastivos generados sintéticamente es una vía viable para superar las limitaciones de las métricas pre-entrenadas o ajustadas con humanos.
• Herramienta para la Industria: Proporciona una taxonomía detallada de fallos, permitiendo a los desarrolladores de modelos T2I y a los investigadores identificar áreas específicas de mejora (como la renderización de manos o la lógica de negación) que las métricas actuales no capturan.
• Eficiencia: Ofrece una alternativa rentable a las soluciones propietarias costosas (como GPT-4o) sin sacrificar significativamente la precisión en la evaluación de la alineación texto-imagen.

En conclusión, el trabajo establece un nuevo estándar para la evaluación de métricas T2I, revelando deficiencias críticas en el estado del arte actual y ofreciendo una solución práctica y escalable para mejorar la fiabilidad de estos sistemas.