Death of the Novel(ty): Beyond n-Gram Novelty as a Metric for Textual Creativity

Este estudo demonstra que a novidade baseada em n-gramas é uma métrica insuficiente para avaliar a criatividade textual, pois ignora a adequação pragmática e falha em capturar a percepção de criatividade de escritores humanos, sugerindo que modelos de linguagem de ponta (LLMs) são mais eficazes ao julgar a criatividade quando atuam como avaliadores do que ao depender de métricas estatísticas tradicionais.

O essencial

🎭 O Fim da "Novidade" (Sozinha): Por que o Criativo Precisa de Mais do que Apenas Ser Estranho

Imagine que você está em uma festa de aniversário. O objetivo é se divertir e criar memórias. Agora, imagine que o anfitrião (neste caso, uma Inteligência Artificial) decide que a única regra para ser "criativo" é usar palavras que ninguém nunca ouviu antes.

O anfitrião começa a falar: "O céu é feito de queijo azul e o tempo é uma escada de gelatina."

Isso é novo? Sim. Ninguém nunca disse isso antes.
Isso é criativo? Não. É apenas confuso e não faz sentido.

Este é o ponto central do artigo "A Morte da Novidade (Sozinha)", publicado na conferência ICLR 2026. Os autores dizem que estamos medindo a criatividade das IAs de forma errada.

1. A Medida Errada: O Contador de Palavras Raras 📏

Até hoje, os pesquisadores usavam uma régua chamada "Novidade de N-Gram".
Pense nela como um contador de palavras raras. Se a IA escreve uma frase que nunca apareceu em seus livros de treinamento (seus dados), a régua diz: "Uau! Isso é super criativo!".

O problema? Essa régua ignora se a frase faz sentido.

• Analogia: É como julgar um prato de comida apenas pela cor. Se você misturar chocolate com pimenta e batata frita, a cor pode ser estranha e "nova", mas o gosto será terrível. A criatividade real precisa ser saborosa (fazer sentido) e nova (surpreendente).

2. O Que os Autores Descobriram (A Grande Revelação) 🔍

Os pesquisadores reuniram 26 escritores profissionais (como chefs de cozinha literária) para ler textos escritos por humanos e por IAs. Eles pediram para os escritores avaliarem três coisas em cada frase:

1. Faz sentido sozinha? (Sensicalidade)
2. Faz sentido no contexto da história? (Pragmaticidade)
3. É nova/criativa? (Novidade)

O que eles encontraram foi assustador para as IAs:

• 91% das frases "mais novas" das IAs não eram criativas. Elas eram apenas estranhas, sem sentido ou desconexas.
• Quanto mais a IA tentava ser "nova" (gerar palavras raras), mais ela perdia o sentido. Era como tentar correr em um sapato de salto alto: quanto mais rápido ela tentava ir, mais tropeçava.
• Humanos são melhores: Frases humanas podem usar palavras comuns (não serem "novas" no contador), mas serem incrivelmente criativas porque tocam o coração ou contam uma história perfeita.

A Lição: Ser criativo não é apenas inventar palavras novas. É fazer algo novo que funcione e faça sentido no mundo real.

3. As IAs Estão "Sofrendo" de Criatividade? 🤖 vs 🧑‍🎨

O estudo comparou IAs de ponta (como GPT-5 e Claude) com humanos.

• Resultado: As IAs têm muito menos chances de produzir algo que os humanos considerem verdadeiramente criativo.
• O Paradoxo: Quando as IAs são forçadas a ser criativas, elas tendem a gerar "alucinações" (frases que parecem poéticas, mas são sem sentido). É como um pintor que, ao tentar ser original, começa a pintar com cores que não existem, criando um quadro que ninguém entende.

4. Podemos Usar IAs para Julgar Criatividade? 🤔

Os autores tentaram usar IAs para julgar se um texto é criativo ou não (o famoso "LLM-as-a-Judge").

• O Veredito: As IAs são boas em encontrar frases "novas" (aquelas palavras raras), mas são péssimas em identificar frases que "não fazem sentido" (o lado negativo).
• Analogia: É como ter um juiz de futebol que sabe contar quantos gols foram feitos, mas não consegue ver se o jogador estava fora de jogo ou se a bola estava na trave. Elas veem a novidade, mas perdem a "pragmaticidade".

5. A Conclusão: O Que Fazer Agora? 🚀

O artigo nos dá um aviso importante para o futuro:

• Pare de confiar apenas na "Novidade": Se uma ferramenta de IA diz que seu texto é criativo porque tem palavras raras, desconfie.
• A Criatividade Real é um Equilíbrio: É a dança entre o novo (surpresa) e o adequado (fazer sentido).
• Humanos ainda reinam: Até agora, os humanos são melhores em criar textos que são ao mesmo tempo originais e sensatos.

Em resumo:
A criatividade não é sobre inventar um novo idioma. É sobre usar as palavras que já temos para dizer algo que nunca foi dito, mas que todos consigam entender e sentir. As IAs ainda estão aprendendo a dançar essa dança sem tropeçar.

---

Tradução e adaptação livre baseada no artigo "DEATH OF THE NOVEL(TY): BEYOND n-GRAM NOVELTY AS A METRIC FOR TEXTUAL CREATIVITY" (ICLR 2026).

Resumo técnico

Título: A Morte da Novidade (n-gram): Além da Novidade de n-gram como Métrica para Criatividade Textual

1. O Problema

O avanço dos Grandes Modelos de Linguagem (LLMs) trouxe preocupações sobre a homogeneização da escrita e a redução da criatividade humana coletiva. Para avaliar a criatividade textual gerada por IA, a comunidade tem adotado métricas baseadas em novidade de n-gram (a ausência de fragmentos de texto em grandes corpora de treinamento, como o Creativity Index).

No entanto, os autores argumentam que essa abordagem é teoricamente inadequada. A definição padrão de criatividade na psicologia (Runco & Jaeger, 2012) exige dois componentes:

1. Novidade: Quão original é o texto.
2. Apropriação (Appropriateness): Quão sensato e pragmático é o texto.

O problema central identificado é que a novidade de n-gram não captura a "apropriação". Um texto pode ser altamente novo (não visto no treinamento) mas sem sentido (não pragmático), ou pode ser comum (baixa novidade de n-gram) mas altamente criativo devido ao seu contexto emocional ou literário. O artigo investiga se a novidade de n-gram é um substituto viável para a avaliação humana de criatividade.

2. Metodologia

Operacionalização da Criatividade:
Os autores definem criatividade como a interseção de três critérios julgados por humanos:

• Novidade Percebida: Expressões surpreendentes, originais ou incomuns.
• Sensicalidade: A expressão faz sentido por si só (semântica).
• Pragmaticidade: A expressão faz sentido no contexto da passagem (coerência lógica e fluxo natural).

Coleta de Dados e Anotação:

• Corpus: 50 passagens de ficção publicadas no The New Yorker (dados humanos) e passagens geradas por modelos de código aberto (OLMo 7B e OLMo-2 32B) e modelos de fronteira fechados (GPT-5 e Claude 4.1).
• Anotadores: 26 escritores profissionais (MFA e publicados).
• Tarefa: "Leitura Atenta" (Close Reading). As passagens foram divididas em unidades atômicas. Os anotadores avaliaram a sensicalidade, pragmaticidade e novidade de expressões pré-destacadas (baseadas em uma amostragem de n-gramas novos) e puderam destacar novas expressões criativas.
• Escala: 8.618 anotações de expressões únicas.

Análise Estatística:

• Medição de Novidade: Uso do pacote infini-gram para calcular a perplexidade (probabilidade de n-gramas) em relação aos corpora de treinamento dos modelos OLMo.
• Modelagem: Regressão logística de efeitos mistos (hierarchical/multilevel modeling) para analisar a relação entre perplexidade (novidade), fonte de geração (humano vs. IA) e as avaliações humanas de criatividade e pragmaticidade, controlando variáveis como o anotador e o tema da passagem.

Avaliação de Modelos (LLM-as-a-Judge):

• Testou-se se LLMs (zero-shot, few-shot e fine-tuned) conseguem replicar os julgamentos humanos de identificar expressões "novas" (positivas) e "não pragmáticas" (negativas).
• Comparação de alinhamento entre as pontuações dos LLMs e preferências de especialistas e crowds (via Style Mimic e LMArena).

3. Resultados Principais

A. A Novidade de n-gram é um Métrica Falha para Criatividade

• Embora haja uma associação positiva entre alta perplexidade (novidade) e criatividade julgada por humanos, a métrica é extremamente ruidosa.
• 91% das expressões no quartil superior de novidade de n-gram não foram julgadas como criativas pelos especialistas.
• Muitas expressões criativas têm baixa perplexidade (são comuns no treinamento), mas são valorizadas pelo contexto (ex: metáforas emocionais).

B. O Trade-off Negativo em Modelos Open-Source

• Em textos humanos, a novidade de n-gram não tem correlação significativa com a pragmaticidade.
• Em modelos OLMo e OLMo-2, há uma correlação negativa forte: quanto maior a tentativa de gerar texto novo (alta perplexidade), menor a probabilidade de o texto ser pragmático (fazer sentido no contexto).
• Isso sugere que otimizar apenas para novidade em modelos abertos leva a "alucinações" ou incoerências contextuais.

C. Desempenho de Modelos de Fronteira

• Em um estudo exploratório, modelos de fronteira (GPT-5, Claude 4.1) têm uma probabilidade significativamente menor de produzir expressões criativas em comparação com humanos (Odds Ratio < 0.52).
• Eles também exibem a tendência negativa de reduzir a pragmaticidade ao aumentar a novidade, embora com menor poder estatístico devido ao tamanho da amostra.

D. Avaliação de Modelos como Juízes (LLM-as-a-Judge)

• Modelos de raciocínio (como GPT-5) superam significativamente a linha de base aleatória na identificação de expressões criativas e não pragmáticas.
• Dificuldade: A identificação de expressões "não pragmáticas" é muito mais difícil para os LLMs (F1 < 20) do que a identificação de expressões novas (F1 > 40).
• Alinhamento: As pontuações de novidade dos LLMs-alinhados (LLM-J) correlacionam-se melhor com as preferências de especialistas do que o Creativity Index baseado em n-gramas. No entanto, as pontuações de pragmaticidade dos LLMs alinham-se apenas com preferências de crowds, não com especialistas, indicando uma falha em detectar nuances de incoerência contextual.

4. Contribuições Chave

1. Dataset de Alta Qualidade: Criação de um conjunto de dados com anotações de nível de expressão de 26 escritores profissionais, cobrindo sensicalidade, pragmaticidade e novidade, com justificativas detalhadas.
2. Evidência Empírica contra a Métrica de N-gram: Demonstração de que a novidade de n-gram sozinha é um proxy pobre para criatividade, pois ignora a dimensão de "apropriação" e falha em capturar criatividade contextual.
3. Descoberta de Trade-off: Revelação de que, em modelos open-source, o aumento da novidade de n-gram sacrifica a coerência contextual (pragmaticidade).
4. Benchmark para Avaliação de IA: Estabelecimento de que modelos de raciocínio (LLM-as-a-Judge) podem ser usados para avaliar criatividade, superando métricas baseadas em corpus, mas ainda lutando para identificar falhas pragmáticas sutis.

5. Significado e Conclusão

O artigo conclui que a "morte da novidade" (como métrica única) é necessária para o avanço na avaliação de criatividade textual. A dependência exclusiva de métricas baseadas em n-gramas (como o Creativity Index) pode levar a otimizações que produzem texto estranho e não pragmático, em vez de verdadeiramente criativo.

A pesquisa sugere que:

• Métricas futuras devem incorporar a apropriação (sensicalidade e pragmaticidade) ao lado da novidade.
• A avaliação de criatividade deve ser feita em nível de expressão (close reading) e não apenas em nível de documento.
• Embora os LLMs estejam melhorando, eles ainda têm uma propensão menor a gerar criatividade genuína em comparação com humanos e tendem a degradar a qualidade contextual quando forçados a ser "novos".

Este trabalho fornece uma base crítica para o desenvolvimento de sistemas de recompensa (reward models) e métricas de avaliação que realmente capturem a nuance da criatividade humana, evitando a armadilha de confundir "inédito" com "criativo".