Resumen Técnico: Replanteando la Evaluación de la Creatividad

Declaración del Problema

Si bien los Modelos de Lenguaje Extensos (LLMs) han demostrado competencia en tareas estructuradas como el razonamiento lógico y la respuesta a preguntas, su capacidad para generar contenido creativo sigue siendo limitada y difícil de evaluar. La creatividad es inherentemente multidimensional y específica de cada dominio, pero existe una falta de métricas automatizadas fiables que puedan evaluar eficazmente el rendimiento de los LLM a través de diversos dominios creativos. Los métodos de evaluación existentes a menudo no logran alinearse con las percepciones humanas de la creatividad, lo que genera inconsistencias en la forma en que se identifican y miden los resultados "creativos". Este artículo aborda la pregunta crítica: ¿Cómo podemos seleccionar métricas de evaluación que reflejen con precisión la creatividad percibida por los humanos en diferentes dominios?

Metodología

Los autores realizaron un análisis exhaustivo de cuatro métricas de creatividad representativas a través de tres dominios creativos distintos:

1. Dominios:

   • Escritura Creativa: Generación de contenido artístico y estético (p. ej., tramas de películas, poemas).
   • Resolución de Problemas No Convencionales: Pensamiento funcional que implica romper sesgos cognitivos (p. ej., la tarea de MacGyver).
   • Ideación de Investigación: Síntesis lógica de hechos existentes para generar ideas científicas novedosas (p. ej., presentaciones de artículos de ICLR).

2. Conjuntos de Datos:
   Para cada dominio, los autores curaron conjuntos de datos que contienen ejemplos emparejados de resultados "creativos" y "no creativos", etiquetados según el juicio humano.

   • Escritura Creativa: 150 narrativas escritas por humanos frente a 150 generadas por LLM.
   • Resolución de Problemas: 573 soluciones no convencionales frente a soluciones convencionales generadas por LLM.
   • Ideación de Investigación: 513 artículos aceptados frente a 513 artículos rechazados de ICLR 2024, filtrados por puntuaciones de solidez y presentación para aislar la creatividad como el factor diferenciador.

3. Métricas Evaluadas:
   El estudio evaluó cuatro métricas que operan en diferentes niveles de granularidad:

   • Índice de Creatividad (CI): Mide la originalidad a nivel de frase mediante el cálculo de la superposición de n-gramas con corpus web a gran escala (usando el algoritmo DJ SEARCH/Infini-Gram).
   • Perplejidad (PPL): Mide la inesperadez estadística a nivel de token basada en las probabilidades de predicción del modelo de lenguaje.
   • Plantillas Sintácticas: Evalúa la diversidad estructural mediante la detección de la dependencia de patrones comunes de categorías gramaticales (POS) (p. ej., CR-POS, tasa de plantillas, plantillas por token).
   • LLM-como-Juez (LLM-as-a-Judge): Utiliza LLMs (específicamente Claude 3.7 Sonnet en la mejor configuración) con razonamiento de cadena de pensamiento (CoT) y prompts basados en rúbricas para proporcionar evaluaciones holísticas a nivel de concepto.

Resultados Clave

El análisis reveló inconsistencias significativas tanto entre dominios como entre métricas:

• Índice de Creatividad (CI):

  • Sensibilidad al Dominio: El CI distinguió eficazmente el texto creativo del no creativo en Escritura Creativa, pero falló en diferenciar en Resolución de Problemas e Ideación de Investigación.
  • Limitaciones: El CI mide principalmente la diversidad léxica en lugar de la novedad conceptual. Sus puntuaciones son altamente sensibles a las elecciones de implementación, específicamente al rango de longitudes de n-gramas ($L$) y a la selección del corpus de referencia. Pequeños cambios en $L$ (p. ej., 5–7 frente a 5–11) o en el corpus pueden alterar drásticamente las puntuaciones, volviendo a veces la distinción entre los resultados humanos y los de LLM insignificante.

• Perplejidad (PPL):

  • Inconsistencia: La PPL mostró distribuciones de puntuación superpuestas entre los conjuntos creativos y no creativos en todos los dominios. En algunos casos (p. ej., Escritura Creativa), el contenido generado por LLM tenía una perplejidad más alta, mientras que en otros (p. ej., Ideación de Investigación), los artículos rechazados tenían una perplejidad más baja.
  • Conclusión: La PPL refleja la fluidez y la confianza del modelo en lugar de la novedad o la creatividad.

• Plantillas Sintácticas:

  • Efectividad: Esta métrica tuvo dificultades en dominios donde las ideas novedosas se expresan mediante un lenguaje formulaico (p. ej., Ideación de Investigación y Resolución de Problemas).
  • Observación: En Escritura Creativa, se encontró que los LLM dependían fuertmente de estructuras sintácticas repetitivas (p. ej., giros de trama con patrones de 8-gramas específicos), mientras que la escritura humana exhibía una mayor variedad estructural. Sin embargo, la métrica no logró capturar la creatividad conceptual en otros dominios.

• LLM-como-Juez (LLM-as-a-Judge):

  • Desempeño: Aunque mostró un rendimiento moderado de forma aislada, los jueces de LLM exhibieron una inestabilidad y un sesgo significativos.
  • Sesgos: Los modelos mostraron una tendencia hacia predicciones unilaterales (p. ej., clasificar la mayoría de las soluciones como "convencionales" o las tramas como "no originales").
  • Inestabilidad: Las evaluaciones fueron altamente sensibles a variaciones menores en el prompt (p. ej., cambiar "convencional" por "no convencional" en el prompt invirtió las preferencias del modelo). Las evaluaciones repetidas de la misma instancia por parte del mismo juez mostraron solo un ~40% de consistencia.
  • Correlación: Hubo una correlación débil (Pearson $r \approx 0.16$) entre las puntuaciones de los LLM y las puntuaciones de expertos humanos en Ideación de Investigación.

• Puntuación de Novedad Semántica Exploratoria (SNS):

  • Un pipeline experimental que utiliza embeddings semánticos para medir la distancia a nivel de concepto no logró distinguir consistentemente entre resultados creativos y no creativos, resaltando la dificultad de capturar la novedad a nivel de idea de forma automática.

Contribuciones Clave

1. Análisis Crítico de las Métricas Existentes: El documento demuestra sistemáticamente que las métricas automatizadas actuales (CI, PPL, Plantillas Sintácticas, LLM-como-Juez) carecen de generalizabilidad y consistencia a través de los dominios creativos.
2. Identificación de Limitaciones Específicas:
   • CI mide la rareza léxica, no la novedad conceptual.
   • PPL mide la fluidez, no la creatividad.
   • Las plantillas sintácticas pasan por alto la innovación semántica en contextos formulaicos.
   • LLM-como-Juez es propenso al sesgo, la sensibilidad al prompt y la baja consistencia.
3. Marco de Diagnóstico: El estudio proporciona una base diagnóstica para el campo, aclarando dónde y cómo fallan las métricas actuales, específicamente su tendencia a enfatizar la novedad estilística mientras descuidan la novedad conceptual.
4. Liberación de Recursos: Los autores publicaron los conjuntos de datos curados y el código de evaluación para facilitar la investigación futura.

Significado y Reivindicaciones

El artículo concluye que el panorama actual de la evaluación de la creatividad es fragmentado y poco fiable. Los hallazgos subrayan la necesidad urgente de marcos de evaluación más robustos y generalizables que se alineen mejor con los juicios humanos de creatividad.

Los autores reivindican modestamente que su trabajo no propone una nueva métrica perfecta, sino que proporciona una base diagnóstica esencial. Al revelar las brechas específicas en los métodos existentes, el estudio pretende:

• Guiar a los profesionales para que interpreten las métricas existentes con la precaución adecuada.
• Informar a los investigadores sobre las brechas conceptuales específicas que deben abordarse en trabajos futuros.
• Destacar la necesidad de ir más allá de los patrones superficiales (léxicos o sintácticos) hacia métodos que puedan capturar la novedad a nivel de idea, aprovechando potencialmente avances futuros como los Modelos de Concepto Extensos (LCM) y las arquitecturas de cadena de pensamiento continua.

En última instancia, el artículo argumenta que avanzar en la evaluación de la creatividad es esencial para cerrar la brecha entre el rendimiento creativo humano y el de las máquinas.