🤖 AI

Assessing the Creativity of Large Language Models: Testing, Limits, and New Frontiers

Este artículo evalúa sistemáticamente las pruebas existentes de creatividad humana para predecir el rendimiento de los Modelos de Lenguaje Grande (LLM) en la escritura, el pensamiento divergente y la ideación científica, revelando su validez limitada e introduciendo la Prueba de Asociación Remota Divergente (DRAT) como el primer instrumento robusto capaz de predecir la ideación científica al evaluar simultáneamente tanto el pensamiento convergente como el divergente.

Autores originales: Samuel Schapiro, Alexi Gladstone, Jonah Black, Heng Ji

Publicado 2026-05-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Samuel Schapiro, Alexi Gladstone, Jonah Black, Heng Ji

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca gigante de robots muy inteligentes (Modelos de Lenguaje Grande, o LLM). Quieres saber cuáles son realmente "creativos". Pero, ¿cómo mides la creatividad en una máquina?

Durante mucho tiempo, los científicos han intentado usar las mismas pruebas que aplican a los humanos para calificar a estos robots. Es como intentar medir la capacidad de un pez para trepar un árbol porque quieres saber qué tan bueno es escalando. Este artículo argumenta que, aunque algunas de estas pruebas antiguas funcionan aceptablemente, a menudo no logran contar toda la historia, especialmente cuando se trata de ideas científicas.

Aquí tienes una explicación sencilla de lo que descubrieron los investigadores y de lo que construyeron para solucionarlo.

1. El Problema: Usar las Reglas Incorrectas

Los investigadores examinaron dos tipos principales de "pruebas de creatividad" que realizan los humanos:

Pensamiento Divergente: Pedirle a alguien que genere muchas respuestas diferentes y extrañas a una pregunta (como "lista 10 cosas que sean totalmente diferentes entre sí").
Pensamiento Convergente: Pedirle a alguien que encuentre la única respuesta correcta que conecta tres cosas no relacionadas (como "cabaña", "suizo" y "pastel" $\rightarrow$ "queso").

El equipo probó docenas de modelos de IA con estas pruebas humanas. Descubrieron algunas cosas sorprendentes:

La Trampa de la "Inteligencia": Muchas pruebas que parecían medir la creatividad en realidad solo medían qué tan "inteligente" o conocedor era el robot. Si un robot es bueno en matemáticas y lectura, naturalmente obtiene puntuaciones altas en estas pruebas, incluso si no está siendo realmente creativo. Es como calificar a un estudiante en un examen de matemáticas y llamarlo "prueba de creatividad" solo porque obtuvo una puntuación alta.
El Punto Ciego "Científico": El hallazgo más impactante fue que ninguna de las pruebas humanas existentes podía predecir de manera fiable si una IA podía generar buenas ideas científicas. Podrías tener un robot excelente escribiendo historias o listando palabras al azar, pero terrible inventando una nueva teoría científica. Las reglas antiguas simplemente no funcionaban para este trabajo.
La Paradoja de los Modelos Más Nuevos: A medida que los modelos de IA se volvieron más nuevos y potentes, en realidad se volvieron peores en el pensamiento divergente (generar ideas únicas y extrañas). Se volvieron más rígidos y estándar, como una fábrica produciendo la misma galleta una y otra vez, en lugar de un chef inventando una nueva receta.

2. La Solución: Una Nueva Prueba Híbrida (DRAT)

Dado que las pruebas antiguas fallaron al predecir la creatividad científica, los autores inventaron una nueva prueba llamada la Prueba de Asociación Remota Divergente (DRAT).

Piensa en las pruebas antiguas como dos herramientas separadas:

Herramienta A (Divergente): Un mazo que rompe las cosas para ver cuántas piezas diferentes obtienes.
Herramienta B (Convergente): Un destornillador que aprieta las cosas para encontrar el ajuste perfecto.

El problema con la creatividad científica es que necesitas ambas al mismo tiempo. Necesitas romper las ideas para encontrar algo nuevo, pero luego necesitas unirlos para asegurarte de que realmente tengan sentido y se ajusten al problema.

Cómo funciona DRAT:
Imagina que le das a la IA tres palabras "ancla" muy diferentes (como "latido", "tubería" y "topología").

El Reto: La IA debe generar 10 palabras que sean todas diferentes entre sí (Divergente).
La Trampa: Pero, cada una de esas 10 palabras también debe poder conectarse metafóricamente con las tres palabras ancla (Convergente).

Es como pedirle a un poeta que escriba 10 poemas completamente diferentes, pero cada poema debe tratar secretamente sobre una máquina específica y compleja. Si la IA puede hacer esto, demuestra que puede pensar de forma salvaje y lógica al mismo tiempo.

3. Los Resultados

Cuando probaron esta nueva herramienta DRAT:

¡Funcionó! Fue la primera prueba que pudo predecir con éxito qué modelos de IA eran buenos generando ideas científicas.
No fue solo una suma de partes: Los investigadores intentaron combinar la antigua prueba de "romper" y la antigua prueba de "atornillar" para ver si eso funcionaría. No funcionó. La nueva herramienta DRAT hizo algo especial que las dos herramientas antiguas no podían hacer por sí solas. Demostró que para medir la creatividad científica, debes probar la capacidad de ser salvaje y lógico simultáneamente.

La Gran Conclusión

El artículo concluye que no podemos simplemente usar las antiguas pruebas humanas para calificar la creatividad de la IA.

Si quieres saber si una IA es buena escribiendo historias, usa la "Tarea de Asociación Divergente" (la lista de palabras extrañas).
Si quieres saber si una IA es buena en pensamiento divergente (listar muchas opciones), usa la "Tarea de Asociación Divergente Condicional".
Pero si quieres saber si una IA puede inventar nueva ciencia, necesitas la nueva prueba DRAT, porque verifica si la máquina puede ser simultáneamente salvajemente imaginativa y lógicamente conectada.

En resumen: Para medir el genio científico de un robot, necesitas una prueba que lo obligue a malabarizar con fuego (divergencia) mientras camina sobre una cuerda floja (convergencia). Las pruebas antiguas solo le pedían hacer una cosa u otra.

Resumen Técnico: Evaluación de la Creatividad de los Modelos de Lenguaje Grande

Planteamiento del Problema
El artículo aborda la falta de validez establecida en el uso de pruebas de creatividad humana para evaluar los Modelos de Lenguaje Grande (LLM). Si bien es una práctica común administrar pruebas que miden el pensamiento convergente (encontrar una única respuesta correcta) y el pensamiento divergente (generar respuestas únicas) a los LLM, su capacidad para predecir el logro creativo real en máquinas sigue sin demostrarse. Además, las pruebas existentes a menudo no logran distinguir entre la capacidad general del modelo y la habilidad creativa específica, y muestran un rendimiento inconsistente en diferentes dominios creativos. Cabe destacar que, mientras que las puntuaciones de escritura creativa e ideación científica en los LLM han aumentado con el tiempo, las puntuaciones de pensamiento divergente han disminuido, lo que sugiere que las métricas de evaluación actuales podrían no capturar el espectro completo de la creatividad de las máquinas o podrían estar confundidas con la capacidad general.

Metodología
Los autores realizaron un estudio sistemático a gran escala que involucró a 54 LLM ajustados por instrucciones de 10 proveedores. Evaluaron las pruebas de creatividad automatizadas existentes contra seis puntos de referencia que abarcan tres constructos objetivo:

Escritura Creativa: Chatbot Arena Creative Writing, EQ-Bench Creative Writing y Mazur Creative Writing.
Pensamiento Divergente: Hivemind y NoveltyBench.
Ideación Científica: LiveIdeaBench.

Para evaluar rigurosamente la eficacia de las pruebas, los autores introdujeron dos métricas de evaluación:

Validez: La correlación de Pearson cruda ( $r$ ) entre una puntuación de prueba y una puntuación de referencia.
Especificidad: La correlación semiparcial ( $r|g$ ) entre una puntuación de prueba y una referencia, después de residualizar la puntuación de referencia sobre un proxy de capacidad general ( $g$ ), definido como una combinación del Elo General de Arena y la precisión de MMLU-Pro. Esta métrica aísla la varianza en el logro creativo que no está ya explicada por las capacidades generales del modelo.

El estudio también demostró un límite superior teórico (la "frontera de validez-especificidad") para la especificidad máxima alcanzable que una prueba puede lograr, dada su validez y la correlación de la referencia con las capacidades generales.

Contribuciones Clave

Evaluación Sistemática: El primer estudio a gran escala que evalúa el poder predictivo de las pruebas de creatividad humana para el logro creativo de los LLM en tres constructos distintos.
Marco de Evaluación: La introducción de la "especificidad" como una métrica crítica para asegurar que las pruebas de creatividad midan la habilidad creativa independientemente de la inteligencia/capacidad general.
Límites Teóricos: Una demostración que establece el límite teórico (frontera) para la validez y especificidad conjuntas de cualquier prueba de creatividad.
Hallazgos Empíricos sobre Pruebas Existentes:
- La Tarea de Asociación Divergente (DAT) es el mejor predictor de escritura creativa.
- La DAT Condicional (CDAT) es el mejor predictor de pensamiento divergente.
- Ninguna prueba existente predice de manera fiable la ideación científica.
- Pruebas como PACE (Evaluación de la Cadena de Asociación Paralela) muestran alta validez pero baja especificidad, lo que indica que sirven en gran medida como proxies de la capacidad general en lugar de medir la creatividad de forma independiente.
Propuesta de Nueva Prueba (DRAT): La introducción de la Prueba de Asociación Remota Divergente (DRAT), un instrumento novedoso que evalúa simultáneamente el pensamiento convergente y divergente.

Resultados

Especificidad del Constructo: El estudio encontró que ninguna prueba única predice bien los tres constructos. La eficacia de una prueba depende en gran medida del constructo específico que se esté midiendo.
Brecha en la Ideación Científica: Las pruebas existentes, incluidas aquellas que miden tanto la novedad como la adecuación (como la CDAT), no lograron alcanzar una validez o especificidad significativa para la ideación científica.
Rendimiento de la DRAT: La DRAT, que requiere generar palabras que sean máximamente diferentes entre sí (divergentes) mientras son aplicables metafóricamente a múltiples palabras ancla (convergentes), alcanzó una validez significativa ( $r = +0.57$ ) y una especificidad significativa ( $r|g = +0.50$ ) al predecir la ideación científica.
Necesidad No Lineal: El análisis de regresión mostró que el poder predictivo de la DRAT no puede recuperarse mediante una combinación lineal de puntuaciones separadas de DAT y la Prueba de Asociados Remotos (RAT). Esto indica que evaluar el pensamiento convergente y divergente dentro de un único instrumento es esencial para predecir la creatividad científica.
Robustez: El rendimiento de la DRAT fue robusto a través de diferentes modelos de incrustación y tamaños de conjuntos de anclaje, con términos científicos como anclajes que produjeron mejores resultados que sustantivos aleatorios de ConceptNet.

Significado y Afirmaciones
El artículo afirma proporcionar la primera evidencia rigurosa de que las pruebas de creatividad humana no se traducen uniformemente a la evaluación de la creatividad de las máquinas. Argumenta que:

Las pruebas actuales a menudo confunden la capacidad general con la creatividad, lo que hace necesario el uso de métricas de especificidad.
Existe un "margen de maniobra" significativo para diseñar mejores pruebas, ya que las pruebas existentes se sitúan muy por debajo de la frontera teórica de validez-especificidad.
La creatividad científica en los LLM requiere un tipo específico de evaluación cognitiva que integre tanto el pensamiento convergente como el divergente, una brecha que llena la DRAT.
La DRAT es la primera prueba que predice significativamente la capacidad de ideación científica en los LLM, ofreciendo una nueva herramienta para que los investigadores evalúen y potencialmente mejoren la creatividad científica en los sistemas de IA.

Los autores concluyen que sus hallazgos ofrecen orientación práctica sobre la selección de pruebas apropiadas para constructos creativos específicos y proponen una nueva metodología para avanzar en la medición de la creatividad científica en la IA.

1. El Problema: Usar las Reglas Incorrectas

2. La Solución: Una Nueva Prueba Híbrida (DRAT)

3. Los Resultados

La Gran Conclusión

Resumen Técnico: Evaluación de la Creatividad de los Modelos de Lenguaje Grande

Más como este