💬 NLP

CreativityPrism: A Cross-Domain Evaluation Framework for Large Language Model Creativity

Este artigo apresenta o CreativityPrism, uma estrutura de avaliação escalável e de domínio cruzado que avalia grandes modelos de linguagem em oito tarefas de pensamento divergente, escrita criativa e raciocínio lógico usando três dimensões (qualidade, novidade e diversidade), revelando que, embora os modelos de fronteira se destaquem em escrita e raciocínio, eles não apresentam vantagem significativa no pensamento divergente e que o desempenho raramente se generaliza entre diferentes dimensões criativas.

Autores originais: Zhaoyi Joey Hou, Bowei Alvin Zhang, Yining Lu, Bhiman Kumar Baghel, Anneliese Brei, Ximing Lu, Meng Jiang, Faeze Brahman, Snigdha Chaturvedi, Haw-Shiuan Chang, Daniel Khashabi, Xiang Lorraine Li

Publicado 2026-07-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhaoyi Joey Hou, Bowei Alvin Zhang, Yining Lu, Bhiman Kumar Baghel, Anneliese Brei, Ximing Lu, Meng Jiang, Faeze Brahman, Snigdha Chaturvedi, Haw-Shiuan Chang, Daniel Khashabi, Xiang Lorraine Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca mágica e gigante de geradores de texto (Grandes Modelos de Linguagem, ou LLMs). Todos estão perguntando: "Essas máquinas são realmente criativas?"

O problema é que "criatividade" é um conceito escorregadio. Às vezes significa escrever uma história engraçada, às vezes significa resolver um problema matemático de um jeito estranho e, às vezes, significa pensar em um novo uso para um clipe de papel. Antes deste artigo, pesquisadores tentavam medir a criatividade com réguas diferentes para cada trabalho, ou pediam que humanos avaliassem cada resposta individualmente, o que é lento e caro.

Entra o "CreativityPrism".

Pense no CreativityPrism como um novo prisma de alta tecnologia através do qual você projeta um feixe de luz (a saída da IA). Em vez de apenas ver um borrão branco, o prisma divide a luz em três cores distintas, revelando a verdadeira natureza da criatividade da máquina.

As Três Cores da Criatividade

Os autores argumentam que, para entender verdadeiramente se uma máquina é criativa, você deve medi-la de três maneiras específicas:

Qualidade (A cor do "Isso funciona?"): Esta é a base. Se uma máquina escreve uma história que não faz sentido ou resolve um problema matemático incorretamente, não importa o quão "nova" seja a ideia. É apenas ruído. A qualidade mede se a saída realmente cumpre a tarefa.
Novidade (A cor do "Quão estranho é isso?"): Isso mede o quanto a resposta se afasta do comum. A máquina criou uma solução que nenhum humano jamais viu antes? Ou ela apenas copiou o que está em seus dados de treinamento?
Diversidade (A cor do "Quantas opções existem?"): Isso mede a amplitude. Se você pedir à máquina 10 ideias, são 10 ideias totalmente diferentes ou são apenas 10 versões ligeiramente diferentes da mesma ideia?

A Analogia: Imagine um chef.

Qualidade: A comida tem um gosto bom e não está queimada.
Novidade: O chef inventa uma combinação de sabores que ninguém nunca tentou (ex: chocolate e picles).
Diversidade: O chef consegue fazer 10 tipos diferentes de sobremesas, não apenas 10 variações de bolo de chocolate.
CreativityPrism verifica as três coisas. Um chef que faz 100 versões diferentes de um bolo de chocolate queimado tem alta diversidade, mas baixa qualidade e baixa novidade.

O Grande Teste: 17 Chefs na Cozinha

Os autores pegaram 17 dos modelos de IA mais inteligentes disponíveis atualmente (de empresas como OpenAI, Google, Anthropic e DeepSeek) e os submeteram a 8 desafios diferentes em três áreas:

Pensamento Divergente: Como o "Teste de Usos Alternativos" (ex: "O que você pode fazer com um tijolo além de construir uma parede?").
Escrita Criativa: Escrever histórias ou poemas baseados em comandos.
Raciocínio Lógico: Resolver problemas matemáticos ou escrever código sob restrições estritas e estranhas.

O Que Eles Descobriram (A Reviravolta)

1. A Lacuna "Grande vs. Pequeno"
Os modelos de IA massivos e caros (os modelos "Frontier") são geralmente melhores em Escrita Criativa e Raciocínio Lógico. Eles são como mestres chefs que conseguem seguir receitas complexas e escrever menus belíssimos. No entanto, quando se trata de Pensamento Divergente (criar ideias selvagens e não relacionadas), a lacuna entre os modelos super caros e os modelos menores de código aberto quase desaparece. Os grandes modelos não são necessariamente melhores em "pensar fora da caixa" do que os menores.

2. O Problema do "Especialista"
Aqui está a descoberta mais surpreendente: Ser bom em um tipo de criatividade não significa que você é bom em outro.

Um modelo pode ser incrível em escrever um romance (Alta Qualidade), mas terrível em propor usos novos e estranhos para uma colher (Baixa Novidade).
Um modelo pode gerar 1.000 respostas diferentes (Alta Diversidade), mas nenhuma delas é realmente nova ou útil (Baixa Novidade).

Os autores descobriram que a "Novidade" é a dimensão mais caótica. Só porque um modelo é bom em ser "novo" em um problema matemático, não significa que ele será "novo" em uma história. São habilidades totalmente diferentes.

3. A Solução do "Juiz"
Como os humanos são lentos demais para avaliar todos esses testes, os autores usaram um truque inteligente: usaram outras IAs para avaliar as respostas. Mas eles não confiaram nelas cegamente. Eles fizeram com que especialistas humanos avaliassem uma pequena amostra primeiro para garantir que os "Juízes de IA" estavam realmente concordando com os humanos. É como ter um chef principal provar alguns pratos para garantir que os sub-chefs estão avaliando a comida corretamente antes de avaliarem toda a cozinha.

A Conclusão

CreativityPrism é uma nova ferramenta que nos impede de dizer "Esta IA é criativa" como uma afirmação única e vaga. Em vez disso, ele nos diz: "Esta IA é ótima em escrever boas histórias, razoável em resolver matemática de forma criativa, mas não é muito boa em propor ideias selvagens e não relacionadas".

Ele prova que a criatividade não é um único superpoder; é uma coleção de diferentes habilidades que nem sempre caminham juntas. Para construir máquinas verdadeiramente criativas, precisamos treiná-las especificamente para essas diferentes "cores" da criatividade, e não apenas esperar que elas acertem tudo por acidente.

Resumo Técnico: CreativityPrism

Declaração do Problema

Apesar do rápido avanço dos Grandes Modelos de Linguagem (LLMs) na geração de textos criativos, não existe atualmente um framework unificado, transversal a domínios e escalável para avaliar a criatividade de LLMs. Os métodos de avaliação existentes sofrem de duas limitações primárias:

Fragmentação: A pesquisa atual está dispersa em domínios específicos (ex: pensamento divergente, escrita criativa, codificação, matemática) com definições estreitas de criatividade. Os benchmarks frequentemente focam em dimensões únicas (ex: diversidade lexical ou ideias não convencionais) e variam nos modelos que testam, dificultando a comparação cruzada.
Escalabilidade: A criatividade é inerentemente subjetiva, levando muitos benchmarks existentes a depender fortemente da avaliação humana. Esta abordagem é proibitivamente cara, lenta e difícil de replicar em escala, criando um gargalo para a iteração rápida necessária na pesquisa moderna de IA.

Metodologia

Os autores propõem o CreativityPrism, um framework de avaliação transversal a domínios projetado para consolidar a avaliação da criatividade em um pipeline escalável e automático.

Design do Framework

Seleção de Tarefas: O framework integra oito tarefas através de três domínios distintos:
- Pensamento Divergente: Teste de Usos Alternativos (AUT), Tarefa de Associação Divergente (DAT) e Testes de Torrance de Pensamento Criativo (TTCT).
- Escrita Criativa: Teste de Torrance de Escrita Criativa (TTCW), Conto Criativo e Índice de Criatividade.
- Raciocínio Lógico: Matemática Criativa e NeoCoder (codificação sob restrições).
Taxonomia de Dimensões: Indo além da simples agregação de tarefas, os autores categorizam todas as métricas de avaliação em três dimensões teóricas da criatividade, fundamentadas nos Testes de Torrance de Pensamento Criativo (TTCT):
1. Qualidade: A capacidade de produzir respostas coerentes, bem formadas e funcionais (ex: correção de código, fluência narrativa).
2. Novidade: A capacidade de produzir outputs que se desviam de soluções comuns ou existentes (ex: singularidade em relação aos corpora de treinamento ou soluções de referência).
3. Diversidade: A amplitude da distribuição do output, medindo o quão amplamente um modelo varia suas respostas ao longo das gerações (ex: distância semântica entre substantivos gerados).
Avaliação Escalável (LLM-as-a-Judge): Para garantir a escalabilidade, o framework utiliza avaliação automática. Para métricas que exigem julgamento subjetivo, os autores empregam o paradigma LLM-as-a-Judge (LLM como Juiz). Crucialmente, eles validam esses juízes usando o Teste de Anotador Alternativo (Calderon et al., 2025), garantindo que os LLMs escolhidos como juízes se alinhem de perto com as anotações humanas de alta qualidade (Fleiss Kappa $\ge$ 0.4) antes de serem implantados.

Configuração Experimental

Modelos Avaliados: 17 LLMs de Estado da Arte (SoTA) foram testados, incluindo modelos de escala de fronteira (GPT-4.1, Claude 3, Gemini 2.0, DeepSeek-V3/R1) e modelos abertos passíveis de implantação local (famílias Mistral, Qwen, Llama, OLMo).
Inferência: Configurações de inferência padronizadas foram aplicadas (Temperatura 0.75, max tokens 4096), com ajustes específicos para tarefas como Matemática Criativa (Temperatura 0.0) e Índice de Criatividade (Temperatura 1.0).
Pontuação: As métricas brutas foram normalizadas via min-max e agregadas nas três dimensões (Qualidade, Novidade, Diversidade) e em uma pontuação de criatividade geral.

Principais Resultados

A avaliação de 17 LLMs rendeu várias descobertas significativas:

Lacuna de Desempenho: Modelos de escala de fronteira superam significativamente os modelos abertos passíveis de implantação local. Os melhores modelos de fronteira lideram os melhores modelos abertos em aproximadamente 0.10 (15%) nas dimensões de criatividade.
- Esta lacuna é mais pronunciada em Raciocínio Lógico e Escrita Criativa.
- A lacuna é menor em Pensamento Divergente, sugerindo que este domínio é menos priorizado nos regimes atuais de pós-treinamento em comparação com raciocínio e escrita.
- A dimensão de Qualidade mostra a maior disparidade de desempenho, provavelmente devido ao forte ênfase em tarefas de raciocínio no treinamento de modelos de fronteira.
Falta de Generalização: O alto desempenho em uma dimensão ou domínio criativo não garante o sucesso nos outros.
- Métricas de Novidade mostram correlações fracas ou até negativas com outras métricas. Por exemplo, um modelo pode gerar outputs altamente diversos (alta diversidade) que são individualmente não originais, ou produzir um único output novel com nenhuma variação (alta novidade, baixa diversidade).
- Esta fragmentação confirma que a criatividade não é uma capacidade monolítica; a "criatividade" de um modelo é altamente dependente da tarefa e da dimensão.
Rankings de Modelos: Entre os modelos abertos, o Qwen2.5-72B emergiu como o melhor performer. Entre os modelos de fronteira, o DeepSeek-V3 e o GPT-4.1 demonstraram as maiores capacidades criativas gerais.

Significância e Contribuições

O artigo reivindica as seguintes contribuições:

Framework Unificado: Introduz o CreativityPrism, o primeiro framework que combina sistematicamente oito tarefas de três domínios em um único pipeline de avaliação escalável.
Taxonomia Dimensional: Propõe uma taxonomia de "Qualidade, Novidade e Diversidade", argumentando que separar a "originalidade" em "novidade" (profundidade/desvio) e "diversidade" (amplitude/variância) é essencial para uma avaliação matizada de LLMs.
Automação Confiável: Valida o uso de LLM-as-a-Judge para a avaliação da criatividade através de rigorosos testes de alinhamento humano (Teste de Anotador Alternativo), ofereção uma alternativa escalável à graduação manual.
Insights Empíricos: O benchmark revela que os LLMs atuais exibem habilidades criativas fragmentadas, com modelos de fronteira excelendo em criatividade baseada em raciocínio, mas não mostrando vantagem significativa em pensamento divergente. Isso destaca a necessidade de frameworks transversais para evitar conclusões enganosas sobre as capacidades dos modelos.

Limitações

Os autores reconhecem diversas limitações:

Modalidade: O framework é atualmente limitado a texto; a criatividade multimodal não é coberta devido à imaturidade dos métodos de avaliação automática nesse espaço.
Cobertura de Domínios: Domínios altamente criativos como descoberta científica e design inventivo foram excluídos devido à falta de métricas de avaliação automática confiáveis.
Validação Humana: Embora os juízes LLM tenham sido validados, os anotadores humanos eram principalmente pesquisadores de CS (Ciência da Computação) em vez de especialistas no domínio da criatividade, e os tamanhos de amostra foram limitados pelos recursos.
Contaminação de Dados: Modelos com datas de lançamento posteriores podem ter uma vantagem nas métricas de novidade se seus dados de treinamento sobreporem os corpora de referência deste benchmark.

Em conclusão, o artigo argumenta que um framework transversal e multidimensional como o CreativityPrism é essencial para qualquer avaliação significativa da criatividade de LLMs, pois avaliações de domínio único ou métrica única falham em capturar a complexidade da criatividade de máquina.