CreativeBench: Benchmarking and Enhancing Machine Creativity via Self-Evolving Challenges

Este trabajo presenta CreativeBench, un nuevo marco de evaluación cuantitativa para la creatividad en la generación de código que distingue objetivamente entre creatividad y alucinación, revela comportamientos específicos de los modelos a escala y propone EvoRePE, una estrategia de inferencia que mejora consistentemente la creatividad de las máquinas mediante patrones de búsqueda evolutiva.

Lo esencial

¡Hola! Imagina que las Inteligencias Artificiales (IA) son como cocineros geniales que han leído casi todos los libros de cocina del mundo. Hasta ahora, el problema era que ya habían comido (o "entrenado") con todos los ingredientes disponibles en internet. No había nada nuevo que aprender.

Para seguir mejorando, los científicos necesitan que estos cocineros no solo repitan recetas, sino que creen platos totalmente nuevos que nadie haya imaginado antes.

Aquí es donde entra este paper, que presenta CreativeBench. Vamos a desglosarlo con analogías sencillas:

1. El Problema: ¿Creatividad o "Alucinación"?

Antes, medíamos a las IAs por si sus respuestas eran correctas (como si un cocinero hiciera un pastel que sabe bien). Pero para medir la creatividad, es más difícil.

• Si un cocinero inventa un pastel de "sopa de chocolate", ¿es genial o está loco?
• Las IAs a veces inventan cosas que parecen reales pero no funcionan (alucinaciones).
• La solución: CreativeBench usa código de computadora. ¿Por qué? Porque el código es como un plato que puedes probar: o funciona (se ejecuta) o explota. Esto elimina la duda: si el código funciona y es nuevo, ¡es creatividad real!

2. Las Dos Tipos de Creatividad (El Menú del Benchmark)

Los autores dividen la creatividad en dos tipos, como si fueran dos desafíos culinarios distintos:

• A) Creatividad Combinatoria (Mezclar ingredientes):

  • La analogía: Imagina que tienes un libro de recetas de pizzas y otro de postres. El desafío es crear una receta que fusione ambos: una pizza con topping de helado y salsa de caramelo, que sea deliciosa y funcional.
  • En el papel: La IA debe tomar conceptos de dos mundos diferentes (ej. gráficos de redes y teoría musical) y unirlos en un solo programa que funcione.

• B) Creatividad Exploratoria (Caminar por un laberinto con reglas locas):

  • La analogía: Imagina que te piden cocinar un pastel, pero te prohíben usar horno, azúcar o huevos. Tienes que encontrar una forma totalmente nueva de hacerlo (quizás usando vapor o ingredientes raros).
  • En el papel: La IA debe resolver un problema, pero se le van añadiendo restricciones difíciles (ej. "no puedes usar bucles for", "no puedes usar esta función"). La IA debe "pensar fuera de la caja" para encontrar una solución que no sea la obvia.

3. ¿Qué descubrieron? (Las Sorpresas)

Al poner a prueba a las IAs más inteligentes del mundo, encontraron cosas curiosas:

• Más grande no siempre es más creativo: Hacer la IA más grande (más "cerebro") la hace mejor en mezclar cosas (Combinatoria), pero peor en explorar caminos locos (Exploratoria). Las IAs gigantes tienden a ser muy correctas, pero muy aburridas y predecibles. Se vuelven "convergentes" (todos piensan igual).
• El razonamiento ayuda a explorar: Cuando la IA tiene que seguir reglas estrictas (como el laberinto), si le decimos que "piense paso a paso" (modo de razonamiento), mejora mucho. Pero si solo tiene que mezclar cosas, pensar demasiado no le ayuda tanto.

4. La Magia: EvoRePE (El "Acelerador de Creatividad")

Los autores no solo midieron el problema, sino que crearon una solución llamada EvoRePE.

• La analogía: Imagina que la IA es un coche. Normalmente, el coche sigue el camino más rápido (el más común). EvoRePE es como un GPS especial que le dice al coche: "Oye, no tomes la autopista principal, toma este camino de tierra que es más largo pero tiene paisajes increíbles".
• Cómo funciona: Observan cómo la IA evoluciona cuando intenta ser creativa, extraen un "vector de creatividad" (una dirección oculta en su cerebro) y se lo inyectan mientras piensa.
• El resultado: ¡Funciona! La IA se vuelve más creativa sin necesidad de volver a entrenarla desde cero. Es como darle un "empujoncito" mágico para que deje de ser aburrida.

En Resumen

Este paper es como un gym para la creatividad de las máquinas.

1. Crearon un gimnasio (CreativeBench) con dos tipos de máquinas: una para mezclar ideas y otra para resolver laberintos.
2. Descubrieron que las IAs gigantes son buenas mezclando, pero malas explorando.
3. Inventaron un suplemento (EvoRePE) que hace que las IAs sean más creativas y menos predecibles, simplemente ajustando su "mentalidad" en el momento de pensar.

¡Es un paso gigante para que las máquinas no solo sean inteligentes, sino también imaginativas!

Resumen técnico

Resumen Técnico: CreativeBench

1. El Problema

El avance de los Modelos de Lenguaje Grandes (LLM) ha alcanzado un punto de saturación debido al agotamiento de datos de pre-entrenamiento de alta calidad en internet. Esto ha impulsado el interés en sistemas evolutivos capaces de generar continuamente artefactos novedosos y aprendibles (como AlphaEvolve). Sin embargo, el progreso de estos sistemas se ve frenado por la falta de una evaluación rigurosa y cuantitativa de la creatividad de la máquina.

Los desafíos actuales incluyen:

• Dificultad para distinguir creatividad de alucinación: Las evaluaciones existentes a menudo no pueden diferenciar objetivamente entre una solución creativa y un error alucinado.
• Falta de complejidad de tarea: Muchas pruebas permiten que los modelos recurran a la memorización en lugar de generar comportamientos creativos genuinos.
• Ausencia de métricas automatizadas: No existen métricas cuantitativas basadas en tierra (grounded) para evaluar la creatividad en sistemas evolutivos.

2. Metodología

Los autores proponen CreativeBench, un nuevo benchmark para la generación de código, fundamentado en el marco cognitivo de la creatividad de Margaret Boden (2004). Este marco clasifica la creatividad en dos tipos principales, que el benchmark evalúa mediante dos subconjuntos:

• CreativeBench-Combo (Creatividad Combinatoria): Evalúa la capacidad de combinar conceptos familiares de maneras inusuales.
  • Método de construcción: Utiliza una estrategia de reingeniería inversa. Se fusionan componentes de código de diferentes dominios (ej. procesamiento de datos + algoritmos de grafos) para crear una solución verificada. A partir de esta solución y sus casos de prueba, se sintetiza automáticamente el enunciado del problema.
• CreativeBench-Explore (Creatividad Exploratoria): Evalúa la capacidad de navegar un espacio conceptual estructurado para descubrir nuevas posibilidades bajo restricciones.
  • Método de construcción: Utiliza un proceso de auto-juego (self-play). Un "Generador de Restricciones" analiza la solución de un modelo y añade restricciones negativas progresivas (ej. "no usar bucles", "no usar búsqueda binaria") que invalidan las estrategias habituales. Un "Solucionador" debe refinar su código para cumplir con las nuevas restricciones, empujando al modelo hacia algoritmos estructuralmente distintos.

Métrica Unificada de Creatividad:
Para evitar la subjetividad, se define la creatividad como el producto de Calidad y Novedad:
$$\text{Creatividad} = \text{Calidad} \times \text{Novedad}$$

• Calidad: Medida mediante la ejecución en un entorno aislado (sandbox) y validación por un juez LLM (Pass@1).
• Novedad: Cuantificada como la distancia lógica entre la solución generada y una solución de referencia (baselines). Se utiliza una combinación de:
  1. Distancia de incrustación (embedding) de código (CodeXEmbed) para capturar la estructura semántica.
  2. Distancia de n-gramas a nivel de caracteres para penalizar copias superficiales con cambios menores.

Pipeline Automatizado:
El conjunto de datos se construye completamente de forma automatizada (sin intervención humana en la generación de datos) utilizando GPT-4.1, seguido de un filtrado estricto de dificultad, calidad y diversidad, y una validación manual final que confirma una validez del 89.1%.

3. Contribuciones Clave

1. Nuevo Benchmark (CreativeBench): El primer benchmark de creatividad de máquinas basado en el marco cognitivo de Boden, cubriendo tanto la creatividad combinatoria como la exploratoria en generación de código.
2. Métricas Cuantitativas Objetivas: Una métrica unificada que distingue la creatividad de la alucinación mediante la ejecución de código, resolviendo la ambigüedad de las evaluaciones subjetivas anteriores.
3. EvoRePE (Evolutionary Representation Engineering): Una estrategia de "steering" (dirección) en tiempo de inferencia, plug-and-play, que no requiere reentrenamiento.
   • Funcionamiento: Extrae un "vector de creatividad" latente de las trayectorias de búsqueda evolutiva (diferencia entre estados ocultos de soluciones estándar vs. evolucionadas) e inyecta este vector en las activaciones del modelo durante la inferencia para guiarlo hacia soluciones más creativas.

4. Resultados Principales

El análisis de modelos de vanguardia (como Gemini-3-Pro, GPT-5.2, Claude-3.5, Qwen2.5) revela tres hallazgos críticos:

• La Escala Favorece la Combinación sobre la Exploración: Aumentar el tamaño del modelo mejora significativamente la creatividad combinatoria (fusión de conocimientos), pero tiene rendimientos decrecientes o incluso negativos para la creatividad exploratoria.
• Convergencia por Escala (Convergence-by-Scaling): Los modelos más grandes son más correctos (mayor Pass@1) pero menos divergentes. Tienden a converger hacia patrones de alta probabilidad en sus distribuciones de entrenamiento, reduciendo la novedad estructural.
• El Razonamiento Ayuda a la Exploración, no a la Combinación: La activación de modos de razonamiento mejora significativamente el rendimiento en tareas exploratorias (búsqueda bajo restricciones), pero no aporta beneficios significativos en tareas combinatorias, que dependen más de la recuperación y composición de conocimientos.

Eficacia de EvoRePE:

• EvoRePE logra mejoras consistentes en la puntuación de creatividad tanto en modelos base como en sistemas evolutivos (como AlphaEvolve y GEPA).
• Demuestra que los beneficios de la búsqueda evolutiva pueden "internalizarse" en el espacio latente del modelo, permitiendo un aumento de la creatividad sin el costo computacional masivo de la búsqueda evolutiva en tiempo real.

5. Significado e Impacto

Este trabajo es fundamental porque:

• Establece un Estándar de Evaluación: Proporciona la primera métrica rigurosa y automatizable para medir la creatividad en sistemas de IA, superando las limitaciones de las evaluaciones humanas subjetivas.
• Revela Limitaciones de los Modelos Actuales: Expone que la simple escalabilidad de los modelos no garantiza una mayor creatividad exploratoria; de hecho, puede suprimir la divergencia necesaria para la innovación real.
• Propone una Nueva Dirección de Investigación: Introduce la idea de "evolución dirigida" (steered evolution), donde los patrones de búsqueda evolutiva se comprimen en vectores de representación que pueden guiar a los modelos hacia comportamientos creativos de manera eficiente y sin reentrenamiento.
• Aplicabilidad Futura: Sugiere que este marco puede extenderse más allá del código a otros dominios creativos (diseño, descubrimiento científico), siempre que se puedan definir representaciones estructuradas y criterios de calidad automatizables.

En conclusión, CreativeBench no solo mide la creatividad de la máquina, sino que ofrece una vía práctica (EvoRePE) para mejorarla, marcando un paso crucial hacia sistemas de IA capaces de una evolución abierta y continua.