Death of the Novel(ty): Beyond n-Gram Novelty as a Metric for Textual Creativity

Este estudio demuestra que la novedad basada en n-gramas es una métrica insuficiente para evaluar la creatividad textual, ya que ignora la adecuación pragmática y revela que, aunque los modelos de lenguaje avanzados superan al azar en identificar expresiones creativas, aún luchan para detectar aquellas carentes de sentido, a diferencia de los escritores humanos.

Lo esencial

¡Claro que sí! Imagina que la creatividad es como cocinar un plato nuevo.

Hasta hace poco, los expertos en Inteligencia Artificial (IA) pensaban que la única forma de medir si un texto era "creativo" era preguntándose: "¿Nunca antes se ha escrito esta frase exacta?".

Para ellos, si la IA inventaba una frase que no existía en sus libros de entrenamiento, ¡era un genio! Pero este estudio, titulado "La muerte de la novedad (o por qué no basta con ser nuevo)", nos dice que esa forma de pensar es como juzgar un plato solo por si tiene un ingrediente que nadie ha usado antes, sin importar si el plato sabe bien o si es comestible.

Aquí te explico los puntos clave con analogías sencillas:

1. El problema de la "Novedad" (El ingrediente raro)

Los investigadores descubrieron que la IA a veces intenta ser tan "nueva" que termina diciendo cosas que no tienen sentido.

• La analogía: Imagina que un chef decide poner "salsa de nube" y "polvo de silencio" en una sopa. ¡Nadie había puesto eso antes! Es muy "novedoso". Pero si le das a probar a alguien, se dará cuenta de que es una sopa horrible y sin sentido.
• El hallazgo: El estudio encontró que el 91% de las frases más "novedosas" que generaba la IA eran, en realidad, malas. No eran creativas; eran simplemente raras y confusas.

2. La verdadera creatividad: Novedad + Sentido

La creatividad real tiene dos patas:

1. Novedad: Que sea original (que no sea una copia).
2. Apropiación (Sentido): Que tenga sentido, que sea útil y que encaje en la historia.

• La analogía: Un buen plato creativo no solo usa ingredientes nuevos, sino que sabe delicioso y alimenta al comensal. Un texto creativo puede usar palabras comunes (como "corazón" o "sangre"), pero si las une de una forma que te hace llorar o pensar profundamente, ¡eso es creatividad! No importa si esas palabras ya se usaron antes; importa cómo se usan.

3. La IA vs. Los Humanos

Los investigadores pidieron a escritores profesionales (como críticos literarios) que leyeran textos escritos por humanos y por IA.

• Lo que pasó: Los humanos escribieron frases que, aunque usaban palabras comunes, eran profundas y emocionales. La IA, por el contrario, cuando intentaba ser muy original, a menudo escribía cosas que sonaban como un robot tratando de hablar humano pero fallando estrepitosamente (ejemplo: "y dijo las bendiciones de la mañana en un susurro que avergonzaba a las sillas").
• Conclusión: La IA actual es menos creativa que los humanos porque se obsesiona con ser "nueva" y olvida ser "sensible".

4. ¿Puede la IA juzgar su propia creatividad?

Los autores probaron si las IAs más avanzadas (como GPT-5 o Claude) podían actuar como jueces y decir: "Oye, esta frase es genial" o "Esta frase es un desastre".

• El resultado: ¡Funcionan bastante bien! Pueden detectar frases nuevas y buenas. Pero tienen mucha dificultad para detectar las frases que son "raras y sin sentido" (las que no tienen sentido en el contexto). Es como si la IA pudiera reconocer un buen cuadro, pero a veces no se da cuenta de que el pintor se equivocó y puso una manzana en el cielo.

5. El mensaje final

No nos dejemos engañar por métricas simples. Decir que un texto es creativo solo porque tiene palabras que nunca antes se han usado es un error.

• La moraleja: La verdadera creatividad no es inventar un idioma nuevo; es tomar palabras viejas y contar una historia nueva y conmovedora. La IA necesita aprender a equilibrar la originalidad con el sentido común, o seguirá produciendo "basura creativa" (o AI slop, como lo llaman en el paper).

En resumen: Ser nuevo no es suficiente. Para ser creativo, tienes que ser nuevo y tener sentido. La IA está aprendiendo a ser nueva, pero todavía le cuesta mucho aprender a tener sentido.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "DEATH OF THE NOVEL(TY): BEYOND n-GRAM NOVELTY AS A METRIC FOR TEXTUAL CREATIVITY", presentado en ICLR 2026.

1. Problema y Motivación

El avance de los Grandes Modelos de Lenguaje (LLM) ha llevado a su uso masivo en la escritura, generando preocupaciones sobre la homogeneización del contenido, la proliferación de "AI slop" (contenido de baja calidad generado por IA) y la falta de creatividad genuina.

Actualmente, la métrica predominante para evaluar la creatividad textual es la novedad de n-gramas (la ausencia de fragmentos de texto en los corpus de entrenamiento, medida a menudo mediante perplexidad o herramientas como infini-gram). Sin embargo, los autores argumentan que esta métrica es insuficiente basándose en la definición psicológica estándar de creatividad, que requiere dos componentes:

1. Novedad: Qué tan original es el texto.
2. Adecuación (Appropriateness): Qué tan sensato y pragmático es el texto en su contexto.

El problema central es que la novedad de n-gramas no captura la adecuación. Un texto puede ser altamente novedoso (no visto antes) pero carecer de sentido o ser pragmáticamente incoherente, lo que impide que sea considerado creativo. El objetivo del estudio es cuantificar la relación entre la novedad de n-gramas y la creatividad humana real, y proponer alternativas de evaluación.

2. Metodología

A. Operacionalización de la Creatividad

Los autores definen la creatividad como la intersección de tres factores:

• Novedad percibida: Originalidad, sorpresa o rareza.
• Sensicalidad: Si la expresión tiene sentido por sí misma (semánticamente válida).
• Pragmaticidad: Si la expresión tiene sentido en el contexto del pasaje (fluidez, coherencia lógica).

B. Recolección de Datos (Anotación)

• Anotadores: 26 escritores profesionales (graduados de programas MFA y escritores publicados).
• Material: 50 pasajes de ficción de The New Yorker (datos humanos) y pasajes generados por modelos de código abierto (OLMo 7B y OLMo-2 32B) y, en un estudio exploratorio, modelos de vanguardia cerrados (GPT-5 y Claude 4.1).
• Proceso: Se utilizó una técnica de "lectura cercana" (close reading). Los textos se dividieron en unidades atómicas (expresiones).
  • Se pre-seleccionaron expresiones basadas en la novedad de n-gramas.
  • Los expertos calificaron cada expresión en sensicalidad, pragmaticidad y novedad percibida.
  • También se les pidió que destacaran expresiones creativas (que cumplan los tres criterios) y proporcionaran justificaciones.
• Escala: Se recolectaron 8,618 anotaciones de expresiones únicas.

C. Métricas y Modelado

• Novedad de n-gramas: Calculada utilizando el paquete infini-gram sobre los corpus de entrenamiento de los modelos (Dolma para OLMo). Se utilizó la probabilidad $\infty$ y la perplexidad como proxy.
• Análisis Estadístico: Se emplearon modelos de regresión logística de efectos mixtos (hierarchical/multilevel modeling) para controlar la variabilidad entre anotadores y los temas de los pasajes.
• Evaluación de Modelos (LLM-as-a-Judge): Se evaluó si los LLMs (GPT-5, Claude, Gemini, etc.) podían replicar los juicios humanos mediante tareas de "lectura cercana" (identificar expresiones novedosas o no pragmáticas) en configuraciones zero-shot, few-shot y fine-tuned.

3. Contribuciones Clave

1. Desmitificación de la Novedad de n-gramas: Demostración empírica de que la novedad de n-gramas es un predictor pobre de la creatividad humana.
2. Correlación Negativa en IA: Descubrimiento de que, a diferencia del texto humano, en los LLMs de código abierto, un mayor nivel de novedad de n-gramas se correlaciona negativamente con la pragmaticidad (el texto se vuelve más incoherente).
3. Nuevo Dataset y Métricas: Creación de un dataset de alta calidad con anotaciones de expertos sobre sensicalidad, pragmaticidad y creatividad, junto con justificaciones textuales.
4. Evaluación de LLMs como Jueces: Análisis de la capacidad de los LLMs modernos para identificar creatividad y errores pragmáticos, mostrando que, aunque superan a la línea base aleatoria, aún luchan para detectar expresiones no pragmáticas.

4. Resultados Principales

• La Novedad no es Suficiente: Aunque existe una asociación positiva entre la perplexidad (novedad) y la creatividad, aproximadamente el 91% de las expresiones con mayor novedad de n-gramas (cuartil superior) no fueron juzgadas como creativas por los expertos.
• Creatividad de Baja Perplexidad: Aproximadamente el 25% de las expresiones únicas calificadas como creativas por humanos tenían una perplexidad muy baja (eran comunes en el corpus), demostrando que la creatividad puede residir en el uso contextual de frases familiares.
• Impacto Negativo en Pragmaticidad:
  • En texto humano, la novedad de n-gramas no afecta significativamente la pragmaticidad.
  • En texto generado por OLMo y OLMo-2, a mayor novedad, menor es la probabilidad de que la expresión sea pragmática. Esto sugiere que los modelos intentan forzar la novedad a costa de la coherencia.
• Comparación Humano vs. IA: Los modelos de vanguardia (GPT-5, Claude 4.1) tienen una probabilidad significativamente menor de generar expresiones creativas en comparación con los humanos (Odds Ratio < 0.52).
• LLM-as-a-Judge:
  • Los modelos de razonamiento (como GPT-5) logran puntuaciones F1 superiores a 40 en la identificación de expresiones novedosas, superando ampliamente a la línea base aleatoria (~9.6).
  • Sin embargo, el rendimiento cae drásticamente en la identificación de expresiones no pragmáticas (F1 < 20), lo que indica que los LLMs tienen dificultades para detectar incoherencias contextuales sutiles.
• Alineación con Preferencias: Las puntuaciones de novedad generadas por un LLM (LLM-J) se alinean mejor con las preferencias de expertos y crowdsourcing que la métrica Creativity Index basada puramente en n-gramas.

5. Significado e Implicaciones

El estudio concluye que la novedad de n-gramas por sí sola es una métrica engañosa para evaluar la creatividad textual. Optimizar únicamente para la novedad (baja probabilidad en el corpus) puede llevar a la generación de texto incoherente y no pragmático, especialmente en modelos de código abierto.

Implicaciones futuras:

• Las métricas de creatividad deben incorporar necesariamente la dimensión de adecuación/pragmaticidad.
• Los sistemas de recompensa y evaluación para LLMs deben entrenarse para detectar no solo la originalidad, sino también la coherencia contextual.
• Los modelos de "Juez LLM" (LLM-as-a-Judge) muestran potencial para escalar la evaluación de creatividad, pero requieren mejoras significativas en la detección de errores pragmáticos antes de poder reemplazar completamente la evaluación humana.

En resumen, el artículo propone un cambio de paradigma: alejarse de la búsqueda ciega de la novedad estadística y adoptar una evaluación holística que valore tanto la originalidad como la sensatez del texto.