Resumen Técnico: Por qué los Modelos de Lenguaje de Gran Escala y los Humanos Convergen y Divergen en la Evaluación de la Creatividad

Planteamiento del Problema

Aunque los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) se despliegan cada vez más para evaluar ideas creativas tanto en contextos individuales como organizacionales, la evidencia empírica sobre su alineación con los juicios humanos sigue siendo mixta. La literatura existente ofrece hallazgos contradictorios: algunos estudios sugieren que los LLM pueden aproximarse a los juicios de creatividad humanos, mientras que otros indican una alineación débil o variaciones significativas específicas del modelo. El problema central abordado por esta investigación es la falta de comprensión teórica y empírica sobre qué estándares aplican los LLM al evaluar la creatividad, dónde estos estándares convergen con o divergen de los estándares humanos, y cómo estas diferencias se manifijan en los resultados de la evaluación posterior. Los autores postulan que la concordancia no es una capacidad binaria, sino que depende de la evidencia específica que exige un juicio y de los estándares que cada modelo prioriza.

Metodología

La investigación emplea un diseño de tres estudios para mapear los estándares de evaluación de los LLM y examinar sus consecuencias posteriores.

Estudio 1: Mapeo de Estándares de Evaluación

• Objetivo: Identificar los estándares de evaluación de la creatividad utilizados por seis LLM de vanguardia (GPT-4.1 mini, Grok 4 Fast, DeepSeek V3, ERNIE 3.5-8K, Claude Haiku 4.5 y Gemini 2.5 Flash-Lite) y compararlos con los estándares humanos establecidos.
• Procedimiento: Utilizando una medida establecida de la evaluación de la creatividad humana (que identifica 26 estándares distintos a través de siete dimensiones), los autores instaron a cada LLM a calificar la importancia de cada estándar.
• Análisis: Los estándares se consideraron "importantes" si sus intervalos de confianza del 95% se situaban por encima del punto medio de la escala. Los autores analizaron los estándares agregados de los LLM y aplicaron la Teoría del Consenso Cultural para determinar si los modelos compartían un estándar universal o exhibían patrones específicos de cada modelo.

Estudio 2: Consecuencias Posteriores de la Convergencia

• Objetivo: Probar si la amplitud de los estándares de los LLM se correlaciona con la precisión de sus calificaciones de creatividad en relación con los humanos.
• Procedimiento: 293 participantes humanos generaron 1,103 ideas creativas a través de tres tareas (dos escenarios de negocios de tipo "in-basket" y una tarea ambiental). Tres evaluadores humanos entrenados y los seis LLM calificaron estas ideas de forma independiente.
• Análisis: Los autores calcularon las correlaciones de Pearson entre las calificaciones agregadas e individuales de los LLM y las calificaciones humanas (derivadas mediante la Técnica de Evaluación Consensuada). Probaron si los modelos con estándares más amplios (más alineados con los estándares humanos) mostraban una mayor correlación con los juicios humanos.

Estudio 3: Consecuencias Posteriores de la Divergencia

• Objetivo: Investigar cómo la divergencia en la dimensión "contextual" (donde los LLM y los humanos difieren más) afecta las calificaciones de creatividad.
• Procedimiento: Se utilizó un diseño experimental de 2 (Descripción del producto: solo producto vs. producto con contexto) × 2 (Fuente del evaluador: humano vs. LLM) con 15 productos de Kickstarter. Se añadió información contextual (por ejemplo, prestigio de la marca, posicionamiento de mercado) a las descripciones de los productos.
• Análisis: Los análisis de moderación multinivel probaron si la información contextual desplazaba las calificaciones de creatividad de manera diferente para humanos versus LLM.

Resultados Clave

1. Los LLM Dependen de un Subconjunto de Estándares Más Estrecho y Centrado en la Idea

• Solapamiento Parcial: Mientras que los humanos utilizan los 26 estándares de creatividad identificados, el estándar general de los LLM incorpora solo 17 (65.38% de solapamiento).
• Convergencia: Los LLM convergen más fuertemente con los humanos en la dimensión de Novedad (todos los estándares de novedad fueron incluidos) y en la dimensión Hedónica.
• Divergencia: La divergencia más clara ocurre en la dimensión Contextual. Los humanos ponderan fuertemente los factores sociales, de mercado y de reputación (por ejemplo, "marca reconocida", "mercado masivo", "moda"), mientras que los LLM generalmente los excluyen, tratándolos como evidencia débil de creatividad. Solo la "credibilidad" fue marginalmente incluida.
• Variabilidad del Modelo: Los LLM no comparten un único estándar universal. La Teoría del Consenso Cultural reveló seis grupos distintos (uno por modelo).
  • Estándares Amplios: GPT y Grok incorporaron 20 estándares cada uno.
  • Estándares Moderados: DeepSeek y ERNIE incorporaron 14 estándares.
  • Estándares Estrechos: Claude y Gemini incorporaron 12 y 11 estándares, respectivamente, manteniéndose estrechamente anclados a la novedad.

2. La Amplitud de los Estándares Predice la Alineación con los Juicios Humanos (Estudio 2)

• Alineación Agregada: Hubo una correlación moderada ($r = 0.50$) entre las calificaciones agregadas de los LLM y las calificaciones humanas.
• Jerarquía de Modelos: La fuerza de la alineación estaba directamente correlacionada con la amplitud de los estándares del modelo.
  • GPT y Grok (los más amplios) mostraron la alineación más fuerte ($r \approx 0.50$).
  • DeepSeek y ERNIE (moderados) mostraron una alineación intermedia ($r \approx 0.46$).
  • Claude y Gemini (los más estrechos) mostraron la alineación más débil ($r \approx 0.41$).
• Conclusión: Los modelos que preservan un rango más amplio de estándares humanos distinguen mejor entre las ideas que los humanos juzgan como más o menos creativas.

3. La Información Contextual Impulsa una Evaluación Asimétrica (Estudio 3)

• Sensibilidad Humana: Proporcionar información contextual (por ejemplo, prestigio de la marca) aumentó significamente las calificaciones de creatividad de los humanos ($b = 0.18, p < 0.001$).
• Insensibilidad de los LLM: La misma información contextual no tuvo un efecto significativo en las calificaciones de los LLM ($b = 0.01, p = 0.367$).
• Especificidad: Esta insensibilidad fue más pronunciada para las variantes de "marca reconocida", "mercado masivo" y "moda"—exactamente los estándares que los LLM infravaloraron en el Estudio 1.
• Conclusión: Los LLM son menos sensibles a la evidencia contextual que moldea sustancialmente los juicios de creatividad humanos, lo que conduce a desviaciones sistemáticas cuando dicha información está presente.

Significancia y Contribuciones

Contribuciones Teóricas

• Explicación de la Evidencia Mixta: El artículo resuelve las inconsistencias en la literatura previa al demostrar que la alineación LLM-humano no es una capacidad monolítica de "sí/no", sino que depende de los estándares de evaluación específicos requeridos. La alineación es alta cuando las tareas enfatizan cualidades intrínsecas (novedad), pero baja cuando requieren juicio contextual.
• Revisión de la Teoría de la Creatividad: Los hallazgos revelan una discrepancia entre las teorías formales de la creatividad (que enfatizan tanto la novedad como la utilidad) y los estándares de los LLM. Los LLM ponderan desproporcionadamente la novedad, probablemente porque es más explícita y consistentemente verbalizada en sus datos de entrenamiento, mientras que los estándares como la utilidad o la aprobación social son aplicados de forma más tácita por los humanos y, por lo tanto, son menos visibles en los corpus textuales.
• Heterogeneidad de los Modelos: La investigación desafía el tratamiento de los "LLM" como una categoría única, mostrando que diferentes modelos aplican estándares distintos y específicos del modelo que alteran significativamente qué ideas son reconocidas como creativas.

Implicaciones Prácticas

• Utilidad Dependiente del Contexto: Los LLM son evaluadores efectivos cuando el objetivo es evaluar la calidad intrínseca de la idea (por ejemplo, novedad, promesa conceptual) minimizando el sesgo de las señales sociales o de reputación (por ejemplo, el cribado de propuestas científicas en etapas tempranas).
• Limitaciones en Entornos Ricos en Contexto: En dominios donde el ajuste al mercado, las normas sociales o la credibilidad de los stakeholders son integrales para la creatividad (por ejemplo, el diseño de productos), las evaluaciones de los LLM pueden ser incompletas o engañosas a menos que se complementen con el juicio humano.
• Estrategia de Selección: Las organizaciones deben tratar la elección de un evaluador LLM como una decisión trascendental, seleccionando modelos cuyos estándares de amplitud específicos se alineen con los objetivos de la evaluación.

Limitaciones y Direcciones Futuras
Los autores reconocen que el Estudio 1 dependió de calificaciones de importancia autoinformadas, que pueden no reflejar perfectamente los estándares conductuales en todos los contextos. También señalan que el estudio se centró en seis modelos propietarios, lo que deja abiertas las preguntas sobre modelos de código abierto, especializados en un dominio o multimodales. Finalmente, el artículo plantea la posibilidad de un bucle de retroalimentación donde la interacción repetida con evaluadores LLM podría eventualmente cambiar los estándares de evaluación humana, un fenómeno que requiere investigación futura.