How LLMs See Creativity: Zero-Shot Scoring of Visual Creativity with Interpretable Reasoning

Resumen Técnico: Cómo ven la creatividad los LLM: Calificación Zero-Shot de la Creatividad Visual con Razonamiento Interpretable

Planteamiento del Problema
Evaluar la originalidad de las imágenes visuales sigue siendo un cuello de botella significativo en la investigación de la creatividad. Aunque la calificación automatizada utilizando Modelos de Lenguaje Extensos (LLM) ha demostrado eficacia en dominios verbales (por ejemplo, la Tarea de Usos Alternativos), su aplicación a la creatividad visual está menos establecida. Los enfoques existentes en el dominio figurativo suelen depender de un entrenamiento específico para la tarea o del ajuste fino (fine-tuning) basado en grandes conjuntos de datos de ejemplos calificados por humanos, lo que limita su generalizabilidad. Además, existe una falta de comprensión sobre los procesos latentes mediante los cuales los modelos de IA llegan a sus calificaciones. La pregunta central abordada es si los LLM multimodales de propósito general pueden servir como jueces "zero-shot" de la creatividad visual —sin ajuste fino, ejemplares ni entrenamiento adicional— y si sus cadenas de razonamiento explícitas ofrecen una ventana interpretable a su lógica de evaluación.

Metodología
La investigación empleó un diseño de dos estudios para evaluar seis LLM multimodales (Gemini 3 Flash, Gemma 4 31B IT, GPT-5.4 Mini, GLM-5v Turbo, Kimi K2.5 y Qwen 3.6 Plus) a través de dos conjuntos de datos de creatividad visual distintos:

1. Imágenes Generadas por IA: 992 imágenes creadas por DALL-E 3 a partir de prompts de palabras escritos por humanos, calificadas por expertos humanos en una escala de 1 a 5.
2. Bocetos Dibujados a Mano: 1,500 bocetos de la plataforma AuDrA, donde los participantes extendieron formas iniciales incompletas. Estos fueron calificados utilizando un modelo de Teoría de la Respuesta del Juez (JRT) para derivar puntuaciones de creatividad continuas.

Estudio 1: Alineación Zero-Shot
Los seis modelos fueron probados en un entorno zero-shot, recibiendo solo una imagen y un prompt de texto que les instruía calificar la creatividad en una escala de 1 a 5. El estudio midió:

• Alineación: Correlaciones de Pearson entre las calificaciones de los modelos y las puntuaciones de los criterios humanos.
• Control de Complejidad: Correlaciones parciales controlando la "densidad de bordes" (un proxy de la complejidad visual) para asegurar que los modelos no estuvieran simplemente premiando la elaboración.
• Análisis de Sesgo: Examen de las distribuciones de calificación para identificar sesgos de lenidad o severidad en relación con los calificadores humanos.

Estudio 2: Análisis de la Cadena de Razonamiento
Tres modelos capaces de razonar (GLM-5v Turbo, Kimi K2.5 y Qwen 3.6 Plus) fueron reevaluados con el razonamiento habilitado. El estudio analizó las "cadenas de pensamiento" explícitas producidas antes de la calificación final:

• Validación de la Cadena: Un LLM de texto independiente intentó predecir la calificación final basándose únicamente en la cadena de razonamiento (con los dígitos numéricos eliminados) para verificar si la cadena contenía la señal evaluativa.
• Codificación de Procesos: Las cadenas de razonamiento se descompusieron en oraciones y se clasificaron en cuatro dimensiones evaluativas: Percepción (describir el contenido), Originalidad (juzgar la novedad), Calidad (juzgar la estética/composición) y Justificación (anclar la calificación).
• Precisión Perceptual: La capacidad de los modelos para identificar el objeto representado en los bocetos se comparó con las etiquetas de consenso humano para determinar si los errores de reconocimiento de objetos impactaban la alineación de la creatividad.

Resultados Clave

• Viabilidad Zero-Shot: Todos los seis modelos mostraron una alineación sustancial con las calificaciones humanas en ambos conjuntos de datos sin necesidad de ajuste fino. Las correlaciones oscilaron entre $r = .57$ y $.68$ para imágenes generadas por IA y entre $r = .29$ y $.68$ para bocetos dibujados a mano. Gemini 3 Flash demostró la alineación más fuerte en ambos conjuntos de datos ($r = .68$).
• Más allá de la Complejidad Visual: Las correlaciones parciales controlando la densidad de bordes se mantuvieron robustas, indicando que los modelos detectan características creativas de nivel superior en lugar de simplemente premiar la elaboración visual.
• Sesgos Sistemáticos: Los modelos exhibieron un "sesgo de lenidad" hacia las imágenes pulidas generadas por IA (calificándolas más alto que los humanos) y un "sesgo de severidad" hacia los bocetos esparcidos (calificándolos más bajo), lo que sugiere una preferencia por resultados que se asemejan a su propia distribución de entrenamiento.
• Impacto del Razonamiento: El uso de cadenas de razonamiento no mejoró la alineación con las calificaciones humanas en comparación con la línea base sin razonamiento; en algunos casos (por ejemplo, Qwen 3.6 Plus), el razonamiento redujo ligeramente la alineación.
• Interpretabilidad: Las cadenas de razonamiento fueron altamente interpretables y contenían la señal evaluativa que impulsaba las calificaciones (un modelo de solo texto pudo predecir la calificación a partir de la cadena con $r = .82$). Las cadenas siguieron una estructura consistente: Percepción $\rightarrow$ Evaluación de Originalidad/Calidad $\rightarrow$ Justificación.
• Impulsores de Divergencia: La proporción de oraciones de "Originalidad" en una cadena se correlacionó con calificaciones de los modelos más bajas en relación con los humanos, mientras que las oraciones de "Calidad" se correlacionaron con calificaciones más altas.
• Independencia Perceptual: El reconocimiento correcto del objeto no fue un requisito previo para una alta alineación. Los dibujos mal identificados aún mostraron una fuerte correlación modelo-humano ($r = .43$ frente a $r = .49$ para coincidencias correctas). Notablemente, la mayor alineación ocurrió para los "Dibujos Sin Consenso" (imágenes que los humanos no pudieron categorizar), lo que sugiere que modelos y humanos convergen en características estructurales y compositivas cuando la identidad del objeto es ambigua.

Significado y Reivindicaciones
El artículo afirma proporcionar la primera evidencia de que los LLM multimodales de propósito general pueden igualar los juicios humanos de la creatividad visual en un entorno zero-shot, extendiendo la evaluación automatizada más allá de las tareas verbales al dominio figurativo sin entrenamiento específico de la tarea.

Las contribuciones clave incluyen:

1. Validación de la Calificación Zero-Shot: Demostrar que la evaluación basada en prompts es suficiente para la evaluación de la creatividad visual a través de diversos tipos de estímulos.
2. Interpretabilidad de la Evaluación: Revelar que los LLM evalúan la creatividad a través de un proceso de razonamiento de cuatro etapas consistente (percepción, originalidad, calidad, justificación), ofreciendo una visión transparente de los mecanismos de evaluación de la IA.
3. Desacoplamiento del Reconocimiento y la Evaluación: Establecer que la calificación de la creatividad por parte de los LLM no es reducible al reconocimiento de objetos; los modelos pueden evaluar el valor creativo incluso cuando fallan en identificar el sujeto específico de un dibujo.
4. Detección de Sesgos: Destacar sesgos específicos (lenidad hacia el contenido generado por IA, severidad hacia los bocetos) que deben abordarse en futuros procesos de calificación automatizada.

Los autores concluyen que, si bien los LLM multimodales ofrecen una herramienta prometedora para la evaluación escalable de la creatividad visual, sus trazas de razonamiento son más valiosas para auditar cómo evalúan, en lugar de para mejorar la precisión bruta de las calificaciones en sí mismas. Los autores advierten contra la aplicación de estos métodos zero-shot a tareas no validadas y enfatizan la necesidad de una calibración cuidadosa para mitigar los sesgos inherentes. Se proporciona una aplicación web de código abierto que implementa este flujo de trabajo para facilitar la investigación futura.