🤖 AI

Assessing the Creativity of Large Language Models: Testing, Limits, and New Frontiers

Este artigo avalia sistematicamente os testes existentes de criatividade humana para prever o desempenho de Modelos de Linguagem de Grande Escala (LLMs) em escrita, pensamento divergente e ideação científica, revelando sua validade limitada e introduzindo o Teste de Associação Remota Divergente (DRAT) como o primeiro instrumento robusto capaz de prever a ideação científica ao avaliar simultaneamente tanto o pensamento convergente quanto o divergente.

Autores originais: Samuel Schapiro, Alexi Gladstone, Jonah Black, Heng Ji

Publicado 2026-05-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Samuel Schapiro, Alexi Gladstone, Jonah Black, Heng Ji

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca gigante de robôs muito inteligentes (Modelos de Linguagem de Grande Escala, ou LLMs). Você quer saber quais deles são verdadeiramente "criativos". Mas como medir a criatividade em uma máquina?

Há muito tempo, cientistas têm tentado usar os mesmos testes aplicados a humanos para avaliar esses robôs. É como tentar medir a capacidade de um peixe de subir em uma árvore porque você quer saber quão bom ele é em escalar. Este artigo argumenta que, embora alguns desses testes antigos funcionem razoavelmente, frequentemente falham em contar a história completa, especialmente quando se trata de ideias científicas.

Aqui está uma explicação simples do que os pesquisadores descobriram e do que construíram para corrigir isso.

1. O Problema: Usando as Réguas Erradas

Os pesquisadores analisaram dois tipos principais de "testes de criatividade" que humanos realizam:

Pensamento Divergente: Pedir a alguém que gere muitas respostas diferentes e estranhas para uma pergunta (como "liste 10 coisas que são totalmente diferentes entre si").
Pensamento Convergente: Pedir a alguém que encontre a única resposta correta que conecta três coisas não relacionadas (como "cabana", "suíço" e "bolo" $\rightarrow$ "queijo").

A equipe testou dezenas de modelos de IA usando esses testes humanos. Eles descobriram algumas coisas surpreendentes:

A Armadilha da "Inteligência": Muitos testes que pareciam medir criatividade estavam, na verdade, apenas medindo o quão "inteligente" ou conhecedor o robô era. Se um robô é bom em matemática e leitura, naturalmente obtém pontuação alta nesses testes, mesmo que não esteja realmente sendo criativo. É como avaliar um aluno em uma prova de matemática e chamar isso de "teste de criatividade" apenas porque ele tirou uma nota alta.
O Ponto Cego "Científico": A descoberta mais chocante foi que nenhum dos testes humanos existentes conseguia prever de forma confiável se uma IA poderia gerar boas ideias científicas. Você poderia ter um robô excelente em escrever histórias ou listar palavras aleatórias, mas terrível em inventar uma nova teoria científica. As antigas réguas simplesmente não funcionavam para essa tarefa.
O Paradoxo dos Modelos Mais Novos: À medida que os modelos de IA se tornaram mais novos e poderosos, eles na verdade ficaram piores em pensamento divergente (gerar ideias únicas e estranhas). Tornaram-se mais rígidos e padronizados, como uma fábrica produzindo o mesmo biscoito repetidamente, em vez de um chef inventando uma nova receita.

2. A Solução: Um Novo Teste Híbrido (DRAT)

Como os testes antigos falharam em prever a criatividade científica, os autores criaram um novo teste chamado Teste de Associação Remota Divergente (DRAT).

Pense nos testes antigos como duas ferramentas separadas:

Ferramenta A (Divergente): Um martelo que quebra coisas para ver quantas peças diferentes você obtém.
Ferramenta B (Convergente): Um chaves de fenda que aperta coisas juntas para encontrar o encaixe perfeito.

O problema com a criatividade científica é que você precisa de ambas ao mesmo tempo. Você precisa quebrar ideias para encontrar algo novo, mas depois precisa uni-las para garantir que elas façam sentido e se encaixem no problema.

Como o DRAT funciona:
Imagine que você dá à IA três palavras "âncora" muito diferentes (como "batimento cardíaco", "tubulação" e "topologia").

O Desafio: A IA deve gerar 10 palavras que sejam todas diferentes entre si (Divergente).
O Pulo do Gato: Mas, cada uma dessas 10 palavras também deve ser capaz de conectar-se metaforicamente a todas as três palavras âncora (Convergente).

É como pedir a um poeta que escreva 10 poemas completamente diferentes, mas cada poema deve secretamente ser sobre uma máquina específica e complexa. Se a IA conseguir fazer isso, prova que consegue pensar de forma selvagem e lógica ao mesmo tempo.

3. Os Resultados

Quando testaram essa nova ferramenta DRAT:

Funcionou! Foi o primeiro teste que conseguiu prever com sucesso quais modelos de IA eram bons em gerar ideias científicas.
Não foi apenas uma soma de partes: Os pesquisadores tentaram combinar o antigo teste de "quebra" e o antigo teste de "aperto" para ver se isso funcionaria. Não funcionou. A nova ferramenta DRAT fez algo especial que as duas ferramentas antigas não conseguiam fazer sozinhas. Provou que, para medir a criatividade científica, você precisa testar a capacidade de ser selvagem e lógico simultaneamente.

A Grande Conclusão

O artigo conclui que não podemos simplesmente usar antigos testes humanos para avaliar a criatividade da IA.

Se você quer saber se uma IA é boa em escrever histórias, use o "Teste de Associação Divergente" (a lista de palavras estranhas).
Se você quer saber se uma IA é boa em pensamento divergente (listar muitas opções), use o "Teste de Associação Divergente Condicional".
Mas se você quer saber se uma IA pode inventar nova ciência, você precisa do novo teste DRAT, porque ele verifica se a máquina consegue ser tanto imaginativamente selvagem quanto logicamente conectada ao mesmo tempo.

Em resumo: Para medir o gênio científico de um robô, você precisa de um teste que o force a equilibrar fogo (divergência) enquanto caminha em uma corda bamba (convergência). Os testes antigos pediam apenas que ele fizesse uma coisa ou a outra.

Resumo Técnico: Avaliando a Criatividade de Modelos de Linguagem de Grande Escala

Declaração do Problema
O artigo aborda a falta de validade estabelecida no uso de testes de criatividade humana para avaliar Modelos de Linguagem de Grande Escala (LLMs). Embora seja prática comum administrar testes que medem o pensamento convergente (encontrar uma única resposta correta) e o pensamento divergente (gerar respostas únicas) a LLMs, sua capacidade de prever a realização criativa real em máquinas permanece não comprovada. Além disso, os testes existentes frequentemente falham em distinguir entre capacidade geral do modelo e habilidade criativa específica, e apresentam desempenho inconsistente em diferentes domínios criativos. Notavelmente, enquanto as pontuações de escrita criativa e ideação científica em LLMs aumentaram ao longo do tempo, as pontuações de pensamento divergente diminuíram, sugerindo que as métricas de avaliação atuais podem não capturar o espectro completo da criatividade das máquinas ou podem estar confundidas com a capacidade geral.

Metodologia
Os autores conduziram um estudo sistemático em grande escala envolvendo 54 LLMs ajustados por instrução de 10 provedores. Eles avaliaram testes de criatividade automatizados existentes contra seis benchmarks que abrangem três construtos-alvo:

Escrita Criativa: Chatbot Arena Escrita Criativa, EQ-Bench Escrita Criativa e Mazur Escrita Criativa.
Pensamento Divergente: Hivemind e NoveltyBench.
Ideação Científica: LiveIdeaBench.

Para avaliar rigorosamente a eficácia dos testes, os autores introduziram duas métricas de avaliação:

Validade: A correlação de Pearson bruta ( $r$ ) entre uma pontuação de teste e uma pontuação de benchmark.
Especificidade: A correlação parcial ( $r|g$ ) entre uma pontuação de teste e um benchmark, após residualizar a pontuação do benchmark em um proxy de capacidade geral ( $g$ ), definido como uma combinação de Elo Geral da Arena e precisão do MMLU-Pro. Esta métrica isola a variância na realização criativa que já não é explicada pelas capacidades gerais do modelo.

O estudo também provou um limite superior teórico (a "fronteira validade-especificidade") para a especificidade máxima alcançável que um teste pode atingir, dada sua validade e a correlação do benchmark com capacidades gerais.

Principais Contribuições

Avaliação Sistemática: O primeiro estudo em grande escala que avalia o poder preditivo de testes de criatividade humana para a realização criativa de LLMs em três construtos distintos.
Estrutura de Avaliação: A introdução da "especificidade" como uma métrica crítica para garantir que os testes de criatividade meçam a habilidade criativa independentemente da inteligência/capacidade geral.
Limites Teóricos: Uma prova que estabelece o limite teórico (fronteira) para a validade e especificidade conjuntas de qualquer teste de criatividade.
Descobertas Empíricas sobre Testes Existentes:
- A Tarefa de Associação Divergente (DAT) é o melhor preditor de escrita criativa.
- A DAT Condicional (CDAT) é o melhor preditor de pensamento divergente.
- Nenhum teste existente prevê de forma confiável a ideação científica.
- Testes como PACE (Avaliação de Cadeia de Associação Paralela) mostram alta validade, mas baixa especificidade, indicando que servem principalmente como proxies para capacidade geral em vez de medir a criatividade independentemente.
Proposta de Novo Teste (DRAT): A introdução do Teste de Associação Remota Divergente (DRAT), um instrumento novo que avalia simultaneamente o pensamento convergente e divergente.

Resultados

Especificidade do Construto: O estudo descobriu que nenhum teste único prevê bem os três construtos. A eficácia de um teste é altamente dependente do construto específico sendo medido.
Lacuna na Ideação Científica: Testes existentes, incluindo aqueles que medem tanto novidade quanto adequação (como a CDAT), falharam em alcançar validade ou especificidade significativa para a ideação científica.
Desempenho do DRAT: O DRAT, que exige a geração de palavras que sejam maximamente diferentes entre si (divergentes) enquanto são metaforicamente aplicáveis a múltiplas palavras âncora (convergentes), alcançou validade significativa ( $r = +0,57$ ) e especificidade ( $r|g = +0,50$ ) na previsão da ideação científica.
Necessidade Não Linear: A análise de regressão mostrou que o poder preditivo do DRAT não pode ser recuperado por uma combinação linear de pontuações separadas de DAT e Teste de Associados Remotos (RAT). Isso indica que avaliar o pensamento convergente e divergente dentro de um único instrumento é essencial para prever a criatividade científica.
Robustez: O desempenho do DRAT foi robusto em diferentes modelos de incorporação e tamanhos de conjuntos de âncora, com termos científicos como âncoras produzindo melhores resultados do que substantivos aleatórios do ConceptNet.

Significado e Alegações
O artigo alega fornecer a primeira evidência rigorosa de que testes de criatividade humana não se traduzem uniformemente para a avaliação da criatividade das máquinas. Ele argumenta que:

Testes atuais frequentemente confundem capacidade geral com criatividade, tornando necessária a utilização de métricas de especificidade.
Há um significativo "espaço disponível" para o projeto de testes melhores, pois os testes existentes ficam muito abaixo da fronteira teórico-validade-especificidade.
A criatividade científica em LLMs requer um tipo específico de avaliação cognitiva que integra tanto o pensamento convergente quanto o divergente, uma lacuna preenchida pelo DRAT.
O DRAT é o primeiro teste a prever significativamente a habilidade de ideação científica em LLMs, oferecendo uma nova ferramenta para pesquisadores avaliarem e potencialmente melhorarem a criatividade científica em sistemas de IA.

Os autores concluem que suas descobertas oferecem orientação prática sobre a seleção de testes apropriados para construtos criativos específicos e propõem uma nova metodologia para avançar a medição da criatividade científica em IA.

1. O Problema: Usando as Réguas Erradas

2. A Solução: Um Novo Teste Híbrido (DRAT)

3. Os Resultados

A Grande Conclusão

Resumo Técnico: Avaliando a Criatividade de Modelos de Linguagem de Grande Escala

Mais como este