Resumen Técnico: Evaluación Automatizada de la Creatividad de los Modelos de Lenguaje en Tareas de Respuesta Abierta

Planteamiento del Problema

Aunque los Modelos de Lenguaje de Gran Escala (LLM) han demostrado avances significativos en razonamiento y generación, su potencial creativo sigue siendo difícil de cuantificar sistemáticamente. Los marcos de evaluación de la creatividad existentes sufren tres limitaciones primarias:

1. Acoplamiento Específico de la Tarea: La mayoría de las métricas están estrechamente vinculadas a dominios específicos (p. ej., programación, matemáticas), lo que incorpora fuertes supuestos de dominio que limitan la generalizabilidad.
2. Problemas de Escalabilidad: La dependencia de conjuntos de respuestas curados, rúbricas diseñadas a mano y una extensa anotación humana hace que la evaluación sea subjetiva, intensiva en recursos y poco escalable.
3. Falta de Métricas Libres de Referencia: Los métodos automatizados actuales a menudo no logran distinguir entre la diversidad conceptual genuina y las variaciones superficiales de nivel de superficie (p. ej., el parafraseo).

Consecuentemente, el campo carece de un método estandarizado, automatizado y agnóstico al dominio para evaluar la creatividad de los LLM en diversas tareas de respuesta abierta.

Metodología

Los autores proponen un marco totalmente automatizado y de dominio general que desacopla el aparato de medición de la tarea creativa en sí misma. El marco operacionaliza la creatividad basándose en la distinción de la ciencia cognitiva entre el pensamiento divergente y el convergente (Guilford, 1950).

1. Creatividad Divergente: Entropía Semántica (SE)

Para medir la amplitud y la novedad de las ideas (pensamiento divergente), los autores adaptan la Entropía Semántica, propuesta originalmente para la detección de alucinaciones en el QA de respuesta única (Farquhar et al., 2024).

• Concepto: En tareas de respuesta abierta, la masa de probabilidad distribuida a través de ideas semánticamente distintas refleja la exploración de un modelo de caminos de solución alternativos en lugar de un error.
• Implementación:
  • Para una consulta dada, el modelo muestrea $n=10$ soluciones candidatas.
  • Estas generaciones se agrupan mediante la equivalencia semántica basada en la implicación bidireccional.
  • La SE se calcula como la entropía de la distribución de probabilidad sobre estas clases semánticas: $H(x) = -\sum P(C_i|x) \log P(C_i|x)$.
  • Esta métrica opera al nivel del significado, evitando la inflación por el parafraseo superficial que afecta a las métricas de diversidad a nivel de palabra (p. ej., Distinct-n, Self-BLEU).

2. Creatividad Convergente: Juez Multi-Agente Basado en Recuperación

Para medir el cumplimiento de la tarea, la viabilidad y la adecuación al contexto, los autores introducen un novedoso marco de juicio multi-agente basado en recuperación.

• Motivación: Los marcos de discusión multi-agente tradicionales (p. ej., ChatEval) adjuntan historiales de discusión completos en cada turno, lo que provoca que los costos de tokens crezcan de forma prohibitiva para la evaluación a gran escala.
• Mecanismo:
  • Agentes especializados (Problema, Solución, Criterio) analizan las tareas y registran los conocimientos como "fragmentos".
  • En lugar de reproducir el historial completo, los agentes incrustan los fragmentos en una base de datos vectorial.
  • En cada turno, los agentes recuperan solo los $k$ fragmentos previos más relevantes mediante la similitud de coseno.
  • Este diseño mantiene la deliberación multi-agente mientras reduce el uso de tokens en aproximadamente un 63% en comparación con ChatEval, permitiendo una evaluación escalable sin sacrificar la precisión.

3. Configuración Experimental

El marco fue validado a través de tres dominios cualitativamente distintos:

• MacGyver: Resolución de problemas físicos no convencionales (evaluando viabilidad, seguridad y efectividad).
• HypoGen: Ideación de investigación científica (evaluando viabilidad, precisión científica y relevancia).
• BookMIA: Escritura creativa (evaluando coherencia, realismo y completitud de la trama).

El protocolo de evaluación involucra un proceso de dos etapas: el muestreo de múltiples continuaciones del siguiente paso para calcular la SE (divergente), seguido de una decodificación codiciosa (greedy decoding) para construir una solución final para el juez multi-agente (convergente).

Resultados Clave

Hallazgos de Creatividad Divergente

• Validez: La Entropía Semántica muestra el mayor acuerdo con los juicios humanos de amplitud de ideas ($\kappa = 0.56$) en comparación con la similitud de coseno y las métricas Self-BLEU y Distinct-n.
• Correlaciones: La SE a nivel de paso se correlaciona positivamente con el número de clústeres semánticos únicos y negativamente con la similitud de coseno por pares, confirmando que captura la diversidad conceptual genuina.
• Comportamiento de Escala: Contrario a las métricas convergentes, la creatividad divergente no escala monótonamente con el tamaño o la recencia del modelo. Los modelos más grandes y recientes (p. ej., LLaMA 3.3, GPT-4o) a menudo exhiben una SE estable o incluso decreciente en comparación con sus contrapartes más pequeños. Los autores sugieren que los paradigmas de entrenamiento actuales pueden priorizar la corrección de la solución sobre la exploración creativa.

Hallazgos de Creatividad Convergente

• Desempeño: El marco de juicio multi-agente basado en recuperación logra una precisión comparable a la de los anotadores humanos (p. ej., 84.7% vs. 82.7% para GPT-4o vs. Humano en MacGyver) siendo significativamente más eficiente.
• Comportamiento de Escala: La creatividad convergente (cumplimiento de la tarea) sí escala con el tamaño del modelo, la recencia y la inclusión de capacidades de razonamiento. Modelos como GPT-4o y LLaMA 3.1 70B superan consistentemente a los modelos más pequeños o antiguos.

Relación Entre Dimensiones

• Separabilidad Empírica: Existe una correlación débil entre la Entropía Semántica (divergente) y las métricas de creatividad convergente. Una alta diversidad no conduce inherentemente a un mal cumplimiento de la tarea, ni un alto cumplimiento de la tarea garantiza una alta diversidad.
• Interpretación: Esto sugiere que la "amplitud creativa" y la "corrección de la tarea" son dimensiones distintas que pueden optimizarse de forma independiente.

Significancia y Reivindicaciones

El artículo afirma establecer un estándar reproducible y generalizable para la evaluación automatizada de la creatividad de los LLM. Sus principales contribuciones son:

1. Una Métrica Libre de Referencia: Introducir la Entropía Semántica como una medida robusta y agnóstica a la tarea de la creatividad divergente que se alinea con los juicios humanos de novedad y flexibilidad.
2. Evaluación Escalable: Desarrollar un marco multi-agente basado en la recuperación que reduce los costos computacionales en más del 60% manteniendo una alta fidelidad de evaluación, haciendo factible la evaluación a gran escala.
3. Perspectiva sobre el Comportamiento del Modelo: Proporcionar evidencia empírica de que los paradigmas de entrenamiento actuales de los LLM optimizan el razonamiento estructurado y la corrección (convergente) pero no necesariamente expanden la exploración creativa (divergente).

Los autores concluyen que, al desacoplar la medición de la tarea creativa, su marco proporciona una base para estudiar cómo las elecciones arquitectónicas y de entrenamiento dan forma al comportamiento creativo, allanando el camino para el benchmarking escalable y el desarrollo de una "IA creativa".

Limitaciones

Los autores reconocen que el marco depende de juicios basados en LLM, lo que inherentemente conlleva las interpretaciones subjetivas y el conocimiento previo codificado en los modelos. Esto puede llevar a que las soluciones no convencionales sean consideradas incorrectamente como inviables. Además, la carga computacional de generar y agrupar múltiples salidas por tarea sigue siendo una restricción para conjuntos de datos extremadamente grandes.