Resumen Técnico: Más allá de la creatividad divergente: Una evaluación basada en humanos de la creatividad en los modelos de lenguaje de gran tamaño

1. Planteamiento del problema

Los modelos de lenguaje de gran tamaño (LLM) se despliegan cada vez más en tareas que requieren creatividad verbal, como la narración de historias y la generación de ideas. Sin embargo, los marcos de evaluación actuales para la creatividad de los LLM carecen de un fundamento sólido en la teoría de la creatividad humana, la cual define la creatividad como la combinación de novedad y adecuación.

La métrica estándar para evaluar el pensamiento divergente, la Tarea de Asociación Divergente (DAT), mide la creatividad basándose únicamente en la distancia semántica entre las palabras generadas (novedad). Los autores argumentan que este enfoque de solo novedad es defectuoso para los LLM porque:

• Ignora la adecuación, un componente central de la creatividad humana.
• Permite que salidas estocásticas o aleatorias alcancen puntuaciones altas, confundiendo la aleatoriedad con la creatividad.
• Estudios previos mostraron que las bases no creativas (por ejemplo, el muestreo aleatorio) pueden superar a los LLM de vanguardia en la DAT, invalidando la métrica para la evaluación de modelos.

En consecuencia, existe la necesidad de un marco de evaluación que mida objetivamente la creatividad mientras se adhiere a los criterios duales de novedad y adecuación contextual.

2. Metodología

Crítica de la Tarea de Asociación Divergente (DAT)

Los autores reevaluaron primero la DAT estándar utilizando una gama de LLM de vanguardia (SotA).

• Tarea: Se pidió a los modelos que generaran 10 sustantivos lo más diferentes posible entre sí.
• Puntuación: La novedad se calculó como la distancia semántica media por pares entre los primeros siete términos válidos.
• Desplazamiento de Embeddings: Mientras que la DAT estándar utiliza embeddings de GloVe, los autores utilizaron Sentence BERT (SBERT) para mitigar los artefactos de frecuencia que inflan las puntuaciones de novedad para palabras raras.
• Líneas de base (Baselines): Se introdujeron dos líneas de base no creativas:
  1. Agnóstica a la tarea: Muestreo aleatorio de 10 sustantivos de WordNet.
  2. Consciente de la tarea: Pedir a los modelos que maximicen explícitamente la puntuación DAT (optimizando directamente el objetivo de la prueba).

Introducción de la Tarea de Asociación Divergente Condicional (CDAT)

Para abordar las limitaciones de la DAT, los autores proponen la CDAT, fundamentada en la definición psicológica de que la creatividad requiere tanto novedad como adecuación (Heinen y Johnson, 2018).

• Especificación de la tarea: Dada una palabra clave (cue) específica, el modelo debe generar 10 sustantivos mutuamente disímiles que estén asociados semánticamente con la palabra clave.
• Protocolo de evaluación:
  • Novedad: Medida como la distancia semántica media por pares entre las palabras generadas (idéntica a la puntuación de la DAT).
  • Adecuación: Medida como la similitud semántica media entre las palabras generadas y la palabra clave.
  • Puerta de adecuación (Appropriateness Gate): Un mecanismo de filtrado donde las palabras generadas por un modelo deben exceder estadísticamente la adecuación de una línea de base aleatoria (agnóstica a la tarea) para ser consideradas válidas. La novedad solo se puntúa si el modelo pasa esta puerta.
  • Puntuación final: La métrica principal es la media de la puntuación de novedad, condicionada a pasar la puerta de adecuación.
• Visualización: Los autores analizan la compensación (trade-off) entre novedad y adecuación utilizando un paisaje 2D y un frente de Pareto para identificar modelos no dominados que ofrecen equilibrios óptimos.

Configuración experimental

• Modelos: Un conjunto diverso de LLM de vanguardia, tanto propietarios como de código abierto, de diversos tamaños y familias.
• Condiciones: Las evaluaciones se realizaron en tres configuraciones de temperatura (0.5, 1.0, 1.5) y en una configuración determinista (0.0).
• Claves (Cues): 539 sustantivos únicos derivados del corpus Brown.
• Líneas de base: Incluyeron Aleatorio (agnóstico a la tarea) y Común (consciente de la tarea, solicitando la máxima asociación) para el análisis diagnóstico 2D.

3. Resultados clave

Fallo de validez de la DAT

Bajo la evaluación basada en SBERT, ninguna familia de LLM superó la línea de base agnóstica a la tarea (aleatoria) en las puntuaciones de la DAT en ninguna temperatura. Además, la línea de base consciente de la tarea (que "hace trampa" al optimizar para la puntuación) superó consistentemente a las generaciones estándar de los modelos. Esto confirma que la DAT es sensible al muestreo aleatorio y a la familiaridad de los prompts, en lugar de aislar la capacidad creativa genuina.

Hallazgos de la CDAT

Al ser evaluada bajo la CDAT, surgieron patrones distintos respecto a las familias de modelos y la compensación entre novedad y adecuación:

1. Paso de la puerta: Todos los modelos pasaron la puerta de adecuación, validando que la novedad puede medirse condicionalmente a la alineación contextual.
2. Divergencia de familias de modelos:
   • Familias más pequeñas/básicas: Generalmente lograron puntuaciones CDAT más altas, ocupando regiones de mayor novedad pero menor adecuación.
   • Familias más avanzadas/grandes: Tendieron a favorecer una mayor adecuación a costa de una menor novedad, resultando en puntuaciones CDAT más conservadoras.
3. Frente de Pareto: Ambas estrategias (alta novedad/baja adecuación frente a equilibrada) aparecieron en el frente de Pareto no dominado, lo que indica que ninguna familia de modelos maximiza simultáneamente ambas dimensiones.
4. Efectos de la temperatura: Los efectos de la temperatura fueron mixtos y específicos de cada familia, sin una tendencia consistente en todos los modelos.

4. Contribuciones clave

• Evaluación crítica de la DAT: El artículo demuestra que la DAT estándar es inválida para la evaluación de la creatividad de los LLM porque las líneas de base no creativas superan a los modelos de vanguardia, y la métrica no logra distinguir entre aleatoriedad y creatividad.
• Propuesta de la CDAT: Introducción de la Tarea de Asociación Divergente Condicional, que operacionaliza la creatividad como novedad condicionada a la adecuación contextual, separando el ruido de la producción creativa.
• Perfilado matizado: La CDAT revela diferencias sistemáticas en los perfiles de creatividad a través de las familias de modelos, mostrando que los modelos más pequeños suelen exhibir una mayor novedad bruta, mientras que los modelos más grandes y alineados priorizan la adecuación, probablemente debido a los cambios en el entrenamiento y la alineación de seguridad.

5. Significación y afirmaciones

Los autores afirman que la CDAT proporciona una métrica simple, objetiva e interpretable por humanos que se alinea con las teorías psicológicas establecidas de la creatividad. Al fundamentar la evaluación tanto en la novedad como en la adecuación, la CDAT evita los problemas de las métricas de solo novedad.

El artículo postula que la compensación observada —donde los modelos avanzados sacrifican la novedad por la adecuación— es probablemente el resultado de los procesos de entrenamiento y alineación que desplazan a los modelos hacia salidas más conservadoras y predecibles. Sin embargo, los autores mantienen una postura modesta, señalando que esta es una interpretación correlacional que requiere estudios de ablación causal adicionales (por ejemplo, sobre objetivos de alineación y políticas de decodificación) para confirmarla.

El trabajo se presenta como una operacionalización pragmática para cuantificar un componente mínimo de la creatividad verbal divergente, dirigida específicamente a tareas de conocimiento cristalizado basadas en texto, donde los LLM se despliegan con mayor frecuencia. No se pretende que sea un predictor universal de todas las formas de la creatividad humana, sino que sirve como un paso necesario hacia evaluaciones más rigurosas y fundamentadas en la teoría de la creatividad de las máquinas.