Resumen Técnico: AGC-Bench: Midiendo la Creatividad General Artificial

Planteamiento del Problema

La investigación sobre la creatividad ha debatido durante mucho tiempo si la capacidad creativa es una capacidad general (análoga al factor g de Spearman en la inteligencia) o una colección de habilidades específicas de cada dominio. Aunque los Modelos de Lenguaje Extensos (LLM) se ven cada vez más encargados de la producción creativa, el campo carece de una infraestructura unificada para evaluar si la creatividad de un modelo se generaliza a través de los dominios o permanece aislada. Las evaluaciones existentes están fragmentadas en cientos de benchmarks heterogéneos con protocolos de puntuación incompatibles, lo que hace que sea empíricamente intratable determinar si un modelo que destaca en la escritura creativa también posee capacidades sólidas en la ideación científica, el humor o la resolución de problemas. Además, la dependencia de "LLM-como-juez" introduce sesgos sistemáticos de lenidad y severidad que oscurecen las verdaderas diferencias de rendimiento.

Metodología

1. Construcción de AGC-Bench

Los autores presentan AGC-Bench, un meta-benchmark construido mediante una revisión sistemática de la literatura de creatividad en IA que cumple con las normas PRISMA.

• Revisión de la Literatura: De 3,101 artículos candidatos (2018–2025), el equipo identificó 497 benchmarks únicos.
• Pipeline de Incorporación: Un flujo de trabajo agéntico convirtió 78 de estos benchmarks en escenarios estandarizados y ejecutables al estilo HELM. Esto incluyó 67 conjuntos de datos solo de texto y 11 escenarios multimodales.
• Taxonomía: Los conjuntos de datos de solo texto se organizaron en seis dominios fundamentados en la investigación de la creatividad humana: Lluvia de ideas (Brainstorming), Resolución de problemas, STEM, Historia/Narrativa, Lenguaje Figurado y Humor.
• Escala de Evaluación: Se evaluaron 83 LLM de frontera (propietarios y de pesos abiertos) a través de estos conjuntos de datos. Cada par (modelo, conjunto de datos) fue puntuado en $n=50$ ítems, con estabilidad de rango confirmada mediante bootstrap.

2. Puntuación y Calibración (Teoría de Respuesta del Juez)

Para abordar el sesgo en la puntuación automatizada, los autores aplicaron la Teoría de Respuesta del Juez (JRT):

• Panel de Tres Jueces: Se utilizó un diseño de "2 de 3" con datos faltantes planificados, donde cada ítem fue calificado por dos de tres jueces LLM de frontera (Gemini-3-Flash, Grok-4.1-Fast, GPT-4.1-mini).
• Calibración Bayesiana: Se ajustó un Modelo de Respuesta Graduada (GRM) Bayesiano para recuperar los parámetros de severidad y discriminación por juez, corrigiendo la lenidad o dureza sistemática.
• AGC-Judge: Un modelo Qwen3-30B-A3B-Instruct fue ajustado (fine-tuned) con 48,299 calificaciones corregidas por JRT para crear AGC-Judge, un modelo de puntuación de pesos abiertos que replica el ensamble de tres jueces con alta precisión ($\rho \ge 0.97$) mientras predice las calificaciones en benchmarks no vistos con alta fidelidad ($\rho = 0.83$).

3. Análisis Psicométrico

El estudio empleó análisis factorial sobre la matriz de 83 modelos $\times$ 6 dominios para probar la existencia de un factor de creatividad general.

• Validez Externa: La validez de constructo del benchmark se ancló contra una sonda de razonamiento fluido puro ($G_f$) (analogías de cadenas de letras contrafácticas de Lewis-Mitchell), una batería de creatividad calificada por humanos (MuCE), y mediante intervenciones dentro del modelo (instruir a los modelos para "ser creativos" frente a "ser efectivos", y alternar modos de razonamiento).
• Comparación Humana: Un subconjunto de cinco tareas (AGC-Human) permitió la comparación directa entre 224 participantes humanos y 125 evaluaciones de LLM.

Resultados Clave

1. Existencia de un Factor de Creatividad General (c)

El análisis factorial a través de los 83 modelos reveló un único factor de creatividad dominante, denotado como $c$, que explica el 81.5% de la varianza en los seis dominios (Alfa de Cronbach $\alpha = 0.96$).

• Separabilidad: Aunque $c$ se correlaciona con el razonamiento fluido ($\rho = 0.55$) y el conocimiento general ($\rho = 0.62$), permanece estadísticamente separable de ambos. También es separable del tamaño del modelo, aunque el recuento total de parámetros se correlaciona moderadamente ($\rho = 0.69$).
• Robustez: El factor persiste tras controlar el razonamiento fluido, a través de diferentes familias de puntuación (basadas en fórmulas frente a LLM-juez) y bajo el submuestreo de modelos.

2. Variaciones de Rendimiento por Dominio

Aunque existe un factor general, el rendimiento no es uniforme.

• Leaderboard: Los modelos de frontera propietarios (ej. Claude Opus 4.7, GPT-5.4/5.5) lideran el compuesto general, con los modelos de pesos abiertos (ej. GLM-5.1) muy cerca.
• Disociaciones: Los modelos específicos muestran fortalezas distintas. Por ejemplo, kimi-k2.5 encabeza la Resolución de Problemas pero no aparece en el top 5 de otros dominios, mientras que claude-opus-4.6-fast lidera significativamente en Lenguaje Figurado.

3. Sensibilidad a Prompts Específicos de Creatividad

Los experimentos de intervención demostraron que el benchmark rastrea la creatividad específicamente en lugar del razonamiento general:

• Instruir a los modelos para "ser creativos" resultó en un gran aumento de rendimiento ($d_z = +1.40$), mientras que habilitar capacidades de razonamiento produjo un cambio mucho menor ($d_z = +0.34$).

4. Creatividad Humana vs. LLM

En el subconjunto pareado humano:

• Generalidad de Dominio: La creatividad es significativamente más general de dominio en los LLM ($\alpha = 0.64$) que en los humanos ($\alpha = 0.42$).
• Techo de Rendimiento: El mejor performer humano todavía lidera al mejor LLM por 0.12 desviaciones estándar, aunque los modelos de frontera se están acercando al nivel humano en tareas de ideación y escritura creativa.

Contribuciones Clave

1. AGC-Bench: Un meta-benchmark a gran escala que comprende 78 conjuntos de datos (67 de solo texto, 11 multimodales) unificados bajo un único entorno de evaluación, representando un aumento de un orden de magnitud en alcance respecto al trabajo previo.
2. AGC-Judge: Un modelo de puntuación de pesos abiertos y ajustado que reproduce el consenso de un panel de tres jueces de frontera a una fracción del costo, permitiendo una evaluación de la creatividad escalable y reproducible.
3. Infraestructura Psicométrica: Un pipeline reproducible que combina la revisión sistemática PRISMA con la incorporación agéntica y la calibración JRT, estableciendo una prueba formal para la hipótesis de la "Creatividad General Artificial".
4. Evidencia Empírica: La primera demostración a gran escala de que la creatividad de los LLM es mayoritariamente unidimensional (un factor de creatividad general $c$) y, sin embargo, distinta de la inteligencia y el razonamiento general.

Significado

El artículo proporciona la primera prueba empírica de si la capacidad creativa en los LLM es una capacidad general o un conjunto de habilidades específicas de dominio. Al recuperar un fuerte factor de creatividad general ($c$), los autores sugieren que la creatividad en la IA, al igual que la inteligencia, puede ser una capacidad transferible que escala con el tamaño y el entrenamiento del modelo, en lugar de ser una propiedad puramente emergente de tareas específicas. El lanzamiento de AGC-Bench, el entorno de incorporación y AGC-Judge ofrece a la comunidad una infraestructura estandarizada para ir más allá de las evaluaciones fragmentadas de un solo dominio hacia una comprensión holística de la creatividad de la IA. Los autores señalan que, si bien los modelos actuales se acercan al rendimiento humano, el mejor humano todavía lidera, y el benchmark carece actualmente de un techo teórico, sirviendo como una medida relativa frente a la frontera actual.