Resumen Técnico: IDEAFix: Marco de Evaluación para la Estimulación de la Desfixación Creativa en LLMs

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) se están desplegando cada vez más para tareas creativas como la escritura de historias, el diseño de productos y el descubrimiento científico. Sin embargo, no existe un consenso respecto a sus capacidades creativas. Mientras que algunos estudios sugieren que los LLMs igualan o superan el rendimiento humano en la generación de ideas novedosas y útiles, otros resaltan limitaciones estructurales, específicamente la fixación (restringir la ideación a patrones familiares) y la homogeneización de la salida (respuestas convergentes entre diferentes modelos y contextos).

Los enfoques de evaluación existentes sufren dos limitaciones principales:

1. Tareas estrechas y descontextualizadas: Las pruebas psicológicas estándar como la Tarea de Usos Alternativos (AUT) o los Test de Torrance (TTCT) a menudo carecen de contextos de generación orientados a objetivos, capturando diversidad pero fallando al evaluar profundamente la utilidad contextual o la originalidad.
2. Entornos más amplios confundidos: Los entornos de evaluación más amplios suelen mezclar la formulación de la tarea, las estrategias de prompting y el diseño de la evaluación, lo que dificulta aislar los efectos específicos de la guía estructurada en la generación de ideas.

Además, el papel de las estrategias de prompting estructurado —inspiradas en métodos establecidos de creatividad y desfixación humana (por ejemplo, TRIZ, Design Thinking, teoría C-K)— en la configuración de la generación de ideas de los LLMs sigue siendo poco explorado. No está claro si estos métodos mitigan eficazmente la fixación en los LLMs o si los LLMs dependen meramente de la manipulación semántica y los patrones de datos en lugar de un razonamiento creativo genuino.

Metodología: El Marco IDEAFix

Los autores presentan IDEAFix, un marco de evaluación controlado y extensible diseñado para analizar el pensamiento divergente en tareas de generación de ideas abiertas. El marco sigue un proceso de cuatro pasos:

1. Construcción del Brief

Se construyó un corpus de 81 briefs de diseño, que cubren cuatro categorías: Productos (26), Servicios (15), Estrategias (27) y Procedimientos (14). Estos incluyen tareas de diseño estándar, escenarios complejos (por ejemplo, dilemas éticos) y tareas de creatividad fundamentales de la literatura de las ciencias sociales.

2. Expansión de Atributos

Para investigar el efecto de la variación semántica, cada brief fue expandido en 567 condiciones experimentales. Esto se logró manipulando la tipicidad de los atributos adjetivales asociados con el brief en tres niveles:

• Tradicional: Frecuentemente asociado con el dominio.
• Atípico: Raramente asociado con el dominio.
• Sorprendente: Asociaciones inesperadas.
  Los atributos fueron generados con valencia tanto positiva como negativa, guiados por el juicio de expertos para asegurar la consistencia sintáctica y la relevancia contextual.

3. Diseño de Prompts Estructurados

El marco utiliza 25 prompts estructurados divididos en:

• Prompts de Control (2): Variaciones semánticas simples que sirven como líneas base.
• Prompts Basados en Métodos (21): Fundamentados en seis métodos establecidos de creatividad/diseño: Brainstorming (3 variantes), Teoría C-K (4), TRIZ (4), Design Thinking (4), Escenarios Prospectivos (3) y SCAMPER (1).
• Estrategias Específicas de IA (4): Prompts novedosos diseñados específicamente para LLMs, enfocándose en la negación de categorías y obligando a los modelos a evitar sus caminos exploratorios más simples (por ejemplo, "pensar fuera de la caja", "salvaje", "poco convencional").

Todos los prompts comparten una plantilla estructural estandarizada para asegurar la comparabilidad, incluyendo descripciones del método, instrucciones de razonamiento paso a paso, el brief expandido y un formato de salida compartido.

4. Métricas para el Pensamiento Divergente

Las ideas generadas fueron evaluadas mediante seis métricas automatizadas basadas en distancias semánticas en el espacio de embeddings (similitud de coseno):

• Fluidez: Número de ideas generadas.
• Diversidad: Distancia promedio entre pares de ideas dentro de una sola salida.
• Novedad: Distancia de una idea respecto a un conjunto de ideas "comunes" (generadas por prompts de control).
• Rareza: Distancia de una idea respecto al conjunto de todas las ideas generadas por un modelo a través de todas las estrategias.
• Solapamiento: Extensión del solapamiento de palabras clave entre el brief y la salida.
• Perplejidad: Medida de la predictibilidad de la secuencia (coherencia).

Configuración Experimental

El estudio evaluó cinco LLMs: Meta-Llama-3.1-70B, Qwen3-30B, Gemini-2.5-Flash, GPT-4o y Grok-4.1-fast-reasoning. Los modelos fueron ejecutados con temperaturas optimizadas para salidas creativas (0.7–1.0) y generaron tres iteraciones independientes por prompt para dar cuenta de la variabilidad estocástica. El conjunto de datos comprende 14,350 prompts de entrada.

Resultados Clave

Variabilidad del Rendimiento de los Modelos

El rendimiento varió significativamente entre los modelos. Grok y Llama generalmente produjeron salidas con mayor novedad, rareza y diversidad en comparación con GPT-4o y Gemini. Sin embargo, todos los modelos exhibieron una tendencia hacia la homogeneización de la salida.

Impacto de los Briefs y Atributos

• Tipo de Brief: Los briefs de productos provocaron la mayor novedad y rareza, pero menor fluidez. Los briefs de procedimientos generaron salidas más amplias y variadas, mientras que los de servicios produjeron consistentemente las respuestas más convencionales.
• Atributos: Las palabras clave sorprendentes y negativas aumentaron consistentemente la novedad y la rareza, a menudo a expensas de la diversidad. Esto sugiere que los modelos pueden ser dirigidos hacia asociaciones menos típicas a través de un encuadre semántico específico.

Efectividad de las Estrategias de Prompting

• Mejora General: Todos los prompts inspirados en métodos superaron a los prompts de control en novedad y rareza, con diferencias estadísticamente significativas.
• Simplicidad vs. Complejidad: Contraintuitivamente, los prompts más simples (específicamente las estrategias específicas de IA y ciertas variantes de Brainstorming) que enfatizaban señales de divergencia explícitas (por ejemplo, "salvaje", "poco convencional") superaron a los prompts complejos y densos en métodos (como las implementaciones completas de C-K o SCAMPER) en la generación de ideas novedosas de alto nivel.
• Limitaciones de los Métodos: Métodos complejos como TRIZ y C-K no necesariamente maximizaron la novedad en comparación con las instrucciones de divergencia simples, lo que sugiere que los LLMs responden más fuertemente a las señales de divergencia explícitas que a la complejidad estructural de los marcos de creatividad humana.

Homogeneización y Fixación

A pesar de las mejoras en la novedad de las ideas individuales, el estudio observó una homogeneización de la salida persistente entre los modelos. Las soluciones permanecieron vinculadas a un espacio semántico compartido fuertemente orientado hacia la innovación digital y tecnológica. Esto confirma el efecto de "mente de colmena de los LLM", donde los modelos convergen en salidas similares incluso cuando son guiados por estrategias de desfixación.

Significancia y Contribuciones

El artículo reclama las siguientes contribuciones:

1. Marco IDEAFix: Un marco controlado y extensible para estudiar el pensamiento divergente en LLMs que aísla los efectos de la formulación de la tarea, la selección de atributos y las estrategias de prompting.
2. Conjunto de Datos Estructurado: Un conjunto de datos de 14,350 prompts que combinan diversos briefs, expansiones de atributos y protocolos de prompting estructurados inspirados en métodos de creatividad humana.
3. Análisis Sistemático: Evidencia de que, si bien estrategias de prompting específicas (particularmente las instrucciones de divergencia simples y explícitas) pueden potenciar la originalidad de las soluciones, no eliminan completamente los límites inherentes de fixación y homogeneización de los LLMs.

Los autores concluyen que IDEAFix proporciona una herramienta necesaria para comprender los mecanismos subyacentes a la creatividad de los LLM, destacando que, si bien los LLM pueden ser guiados para producir variaciones más novedosas del conocimiento existente, luchan por generar ideas verdaderamente transformadoras que rompan más allá de las restricciones aprendidas. El marco permite realizar experimentos controlados para estudiar estos límites sin la susceptibilidad a la contaminación de datos que presentan los benchmarks estáticos.