Resumen Técnico: CreativityPrism

Planteamiento del Problema

A pesar del rápido avance de los Modelos de Lenguaje de Gran Escala (LLM) en la generación de texto creativo, actualmente no existe un marco unificado, transdominio y escalable para evaluar la creatividad de los LLM. Los métodos de evaluación existentes sufren de dos limitaciones primarias:

1. Fragmentación: La investigación actual está dispersa en dominios específicos (por ejemplo, pensamiento divergente, escritura creativa, programación, matemáticas) con definiciones estrechas de la creatividad. Los benchmarks suelen centrarse en dimensiones únicas (por ejemplo, diversidad léxica o ideas poco convencionales) y varían en los modelos que prueban, lo que dificulta la comparación cruzada.
2. Escalabilidad: La creatividad es inherentemente subjetiva, lo que lleva a muchos de los benchmarks existentes a depender fuertemente de la evaluación humana. Este enfoque es prohibitivamente costoso, lento y difícil de replicar a escala, creando un cuello de botella para la iteración rápida requerida por la investigación moderna en IA.

Metodología

Los autores proponen CreativityPrism, un marco de evaluación transdominio diseñado para consolidar la evaluación de la creatividad en un pipeline automático y escalable.

Diseño del Marco

• Selección de Tareas: El marco integra ocho tareas a través de tres dominios distintos:
  • Pensamiento Divergente: Prueba de Usos Alternativos (AUT), Tarea de Asociación Divergente (DAT) y Pruebas de Torrance de Pensamiento Creativo (TTCT).
  • Escritura Creativa: Prueba de Torrance de Escritura Creativa (TTCW), Relato Corto Creativo e Índice de Creatividad.
  • Razonamiento Lógico: Matemáticas Creativas y NeoCoder (programación bajo restricciones).
• Taxonomía de Dimensiones: Más allá de la simple agregación de tareas, los autores categorizan todas las métricas de evaluación en tres dimensiones teóricas de la creatividad, fundamentadas en las Pruebas de Torrance de Pensamiento Creativo (TTCT):
  1. Calidad (Quality): La capacidad de producir respuestas coherentes, bien formadas y funcionales (por ejemplo, corrección de código, fluidez narrativa).
  2. Novedad (Novelty): La capacidad de producir salidas que se desvíen de soluciones comunes o existentes (por ejemplo, singularidad en comparación con los corpora de entrenamiento o soluciones de referencia).
  3. Diversidad (Diversity): La amplitud de la distribución de la salida, midiendo qué tan ampliamente varía un modelo sus respuestas a través de las generaciones (por ejemplo, distancia semántica entre sustantivos generados).
• Evaluación Escalable (LLM-as-a-Judge): Para asegurar la escalabilidad, el marco utiliza una evaluación automática. Para las métricas que requieren juicio subjetivo, los autores emplean un paradigma de LLM-como-Juez (LLM-as-a-Judge). Crucialmente, validan estos jueces utilizando la Prueba del Anotador Alternativo (Calderon et al., 2025), asegurando que los LLM elegidos como jueces se alineen estrechamente con las anotaciones humanas de alta calidad (Fleiss Kappa $\ge$ 0.4) antes de ser desplegados.

Configuración Experimental

• Modelos Evaluados: Se evaluaron 17 LLM de vanguardia (SoTA), incluyendo modelos de escala de frontera (GPT-4.1, Claude 3, Gemini 2.0, DeepSeek-V3/R1) y modelos abiertos localmente desplegables (familias Mistral, Qwen, Llama, OLMo).
• Inferencia: Se aplicaron configuraciones de inferencia estandarizadas (Temperatura 0.75, máximo de 4096 tokens), con ajustes específicos para tareas como Matemáticas Creativas (Temperatura 0.0) e Índice de Creatividad (Temperatura 1.0).
• Puntuación: Las métricas brutas fueron normalizadas mediante min-max y agregadas en las tres dimensiones (Calidad, Novedad, Diversidad) y una puntuación de creatividad general.

Resultados Clave

La evaluación de 17 LLM arrojó varios hallazgos significativos:

1. Brecha de Rendimiento: Los modelos de escala de frontera superan significativamente a los modelos abiertos desplegables localmente. Los mejores modelos de frontera lideran a los mejores modelos abiertos por aproximadamente 0.10 (15%) a través de las dimensiones de creatividad.

   • Esta brecha es más pronunciada en Razonamiento Lógico y Escritura Creativa.
   • La brecha es menor en Pensamiento Divergente, lo que sugiere que este dominio está menos priorizado en los regímenes actuales de post-entrenamiento en comparación con el razonamiento y la escritura.
   • La dimensión de Calidad muestra la mayor disparidad de rendimiento, probablemente debido al fuerte énfasis en las tareas de razonamiento en el entrenamiento de los modelos de frontera.

2. Falta de Generalización: Un alto rendimiento en una dimensión o dominio creativo no garantiza el éxito en otros.

   • Las métricas de Novedad muestran correlaciones débiles o incluso negativas con otras métricas. Por ejemplo, un modelo puede generar salidas altamente diversas (alta diversidad) que son individualmente poco originales, o producir una única salida novedosa sin variación (alta novedad, baja diversidad).
   • Esta fragmentación confirma que la creatividad no es una capacidad monolítica; la "creatividad" de un modelo es altamente dependiente de la tarea y la dimensión.

3. Rankings de Modelos: Entre los modelos abiertos, Qwen2.5-72B emergió como el mejor performer. Entre los modelos de frontera, DeepSeek-V3 y GPT-4.1 demostraron las mayores capacidades creativas generales.

Significancia y Contribuciones

El artículo reclama las siguientes contribuciones:

1. Marco Unificado: Introduce CreativityPrism, el primer marco que combina sistemáticamente ocho tareas de tres dominios en un único pipeline de evaluación escalable.
2. Taxonomía Dimensional: Propone una taxonomía de "Calidad, Novedad y Diversidad", argumentando que separar la "originalidad" en "novedad" (profundidad/desviación) y "diversidad" (amplitud/varianza) es esencial para una evaluación matizada de los LLM.
3. Automatización Confiable: Valida el uso de LLM-como-Juez para la evaluación de la creatividad mediante rigurosas pruebas de alineación humana (Prueba del Anotador Alternativo), ofreciendo una alternativa escalable a la calificación manual.
4. Perspectivas Empíricas: El benchmark revela que los LLM actuales exhiben habilidades creativas fragmentadas, con los modelos de frontera destacando en la creatividad impulsada por el razonamiento pero sin mostrar una ventaja significativa en el pensamiento divergente. Esto resalta la necesidad de marcos transdominios para evitar conclusiones erróneas sobre las capacidades de los modelos.

Limitaciones

Los autores reconocen varias limitaciones:

• Modalidad: El marco está actualmente limitado al texto; la creatividad multimodal no está cubierta debido a la inmadurez de los métodos de evaluación automática en ese espacio.
• Cobertura de Dominio: Dominios altamente creativos como el descubrimiento científico y el diseño inventivo están excluidos debido a la falta de métricas de evaluación automática fiables.
• Validación Humana: Aunque los jueces de LLM fueron validados, los anotadores humanos fueron principalmente investigadores de Ciencias de la Computación en lugar de expertos en el dominio de la creatividad, y los tamaños de muestra estuvieron limitados por los recursos.
• Contaminación de Datos: Los modelos con fechas de lanzamiento posteriores pueden tener una ventaja en las métricas de novedad si sus datos de entrenamiento se solapan con los corpora de referencia del benchmark.

En conclusión, el artículo sostiene que un marco transdominio y multidimensional como CreativityPrism es esencial para cualquier evaluación significativa de la creatividad de los LLM, ya que las evaluaciones de un solo dominio o de una sola métrica no logran capturar la complejidad de la creatividad de las máquinas.