CREATE: Testing LLMs for Associative Creativity

O artigo apresenta o CREATE, um benchmark projetado para avaliar a capacidade de raciocínio associativo criativo de modelos de linguagem, focando na geração de caminhos diversos e específicos entre conceitos, e demonstra que, embora os modelos mais avançados tenham maior utilidade criativa, o benchmark permanece difícil de saturar e não garante que modelos com processos de "pensamento" sejam sempre mais eficazes.

O essencial

Imagine que a criatividade é como um jardineiro de ideias. A tarefa desse jardineiro não é apenas plantar sementes novas, mas principalmente encontrar conexões inesperadas entre plantas que parecem não ter nada a ver uma com a outra.

O artigo que você enviou apresenta o CREATE, que é basicamente um "parque de diversões" (ou um campo de treinamento) criado para testar se os Inteligentes Artificiais (IAs) conseguem fazer esse tipo de jardinagem criativa.

Aqui está a explicação, traduzida para o português do dia a dia, usando algumas analogias:

1. O Problema: A IA sabe "conectar os pontos"?

Muitas IAs são ótimas em responder perguntas diretas, como "Quem ganhou a Copa do Mundo de 1970?". Mas a verdadeira criatividade acontece quando você precisa responder algo como: "Como a Dakota Johnson se conecta com atores de filmes de ficção científica?"

Para um humano, isso é fácil: "Ela é a enteada de Antonio Banderas, que estrelou Shrek (que tem elementos de fantasia)".
Para uma IA, isso é um desafio. Ela precisa navegar por um oceano de informações e encontrar um caminho que não seja óbvio, mas que faça sentido.

2. A Solução: O Desafio CREATE

Os autores criaram o CREATE (o nome do projeto) para medir essa habilidade. Eles não querem apenas que a IA dê uma resposta; eles querem que ela dê várias respostas, e que essas respostas sejam:

• Fortes: Conexões que realmente existem e são específicas (não genéricas).
• Diversas: Caminhos diferentes, não apenas variações da mesma ideia.

A Analogia do Labirinto:
Imagine que a IA está em um labirinto gigante onde cada parede é uma pessoa, um filme ou um lugar. O objetivo é sair do ponto A (Dakota Johnson) e chegar ao ponto B (Atores de Sci-Fi).

• Caminhos fracos: "Ambos são humanos." (Isso é verdade, mas é chato e não ajuda).
• Caminhos fortes: "Ela atuou com Chris Evans, que é o Capitão América." (Ótimo!).
• Caminhos criativos: "Ela é enteada de Antonio Banderas, que dublou o ogro em Shrek." (Excelente! É uma conexão surpreendente).

O CREATE mede quantos desses "caminhos fortes e criativos" a IA consegue encontrar.

3. Como eles medem a criatividade?

Eles usam uma régua chamada "Utilidade Criativa". Pense nisso como uma pontuação de um jogo de cartas:

• Se a IA dá 10 respostas, mas todas são iguais (ex: "todos são americanos"), a pontuação é baixa.
• Se a IA dá 5 respostas, mas cada uma é um caminho totalmente diferente e interessante, a pontuação é alta.
• Eles também penalizam respostas que são "alucinações" (mentiras inventadas pela IA).

4. O Que Eles Descobriram? (Os Resultados)

Aqui estão as descobertas principais, com um toque de realidade:

• As IAs mais "pensantes" não são sempre as melhores: Modelos que gastam mais tempo "pensando" (gerando mais texto antes de responder) nem sempre encontram conexões mais criativas. Às vezes, eles ficam presos em loops ou repetem as mesmas ideias.
• Qualidade vs. Quantidade: As IAs de ponta (como o GPT-5 e o Gemini) conseguem encontrar caminhos bons, mas ainda têm dificuldade em encontrar caminhos verdadeiramente únicos que um humano não teria pensado. Elas tendem a seguir os caminhos mais óbvios.
• O Dilema da Verdade: Existe um equilíbrio delicado. Se você pedir para a IA ser muito criativa, ela começa a inventar fatos (alucinar). Se você pedir para ela ser muito precisa, ela fica sem criatividade. As melhores IAs conseguem manter esse equilíbrio, mas não é perfeito.
• Dicas de Prompt não são mágicas: Pedir para a IA "seja criativa" ajuda um pouco, mas não resolve o problema. É como pedir para um jogador de xadrez "jogue melhor"; o que importa é a estrutura do jogo e o treinamento, não apenas o pedido.

5. Por que isso importa?

Este trabalho é importante porque a criatividade associativa é a base de grandes descobertas científicas, de escrever livros e de resolver problemas complexos.

Se quisermos usar IAs para nos ajudar a inventar novos remédios ou a criar novas histórias, precisamos saber se elas conseguem fazer essas "ponte" entre ideias distantes. O CREATE é o teste de estresse para ver se estamos realmente evoluindo nessa área ou se as IAs ainda estão apenas repetindo o que já leram na internet.

Resumo da Ópera:
O CREATE é um teste de "jogo de ligações" para IAs. Ele mostra que, embora as IAs sejam inteligentes, elas ainda têm dificuldade em ser verdadeiramente surpreendentes e diversas ao conectar ideias, muitas vezes preferindo o caminho seguro e óbvio em vez do caminho criativo e arriscado. É um passo importante para entendermos como transformar essas máquinas em verdadeiros parceiros criativos.

Resumo técnico

Título: CREATE: Testando LLMs para Criatividade Associativa

1. O Problema

A criatividade, definida como a capacidade de formar novas conexões entre conceitos familiares, é um pilar fundamental para a descoberta científica, a escrita e a resolução de problemas. Embora existam muitos esforços para desenvolver agentes de IA para tarefas criativas (como geração de hipóteses ou ideias de pesquisa), a avaliação desses modelos enfrenta dois desafios principais:

1. Subjetividade: Tarefas do mundo real são difíceis de avaliar objetivamente.
2. Artificialidade: Benchmarks simbólicos ou abstratos muitas vezes não refletem como os modelos são usados na prática.

Além disso, modelos de linguagem (LLMs) tendem a produzir saídas homogêneas e muitas vezes falham em gerar conexões verdadeiramente "novas" ou "distintas" (fora do comum), mesmo quando possuem grandes orçamentos de tokens de raciocínio. É necessário um benchmark que equilibre aplicabilidade no mundo real com verificabilidade objetiva para medir a criatividade associativa.

2. Metodologia e o Benchmark CREATE

Os autores introduzem o CREATE, um benchmark projetado para avaliar a capacidade dos LLMs de gerar conjuntos de caminhos (paths) que conectam entidades do mundo real através de conhecimento paramétrico.

• Definição da Tarefa: Dado um par de entidades (ex: Dakota Johnson e alguém que estrelou filmes de ficção científica), o modelo deve gerar múltiplos caminhos de conexão baseados em fatos (triplos de conhecimento).

• Critérios de Avaliação:

  • Qualidade (Specificity): Os caminhos devem ser factualmente corretos e baseados em relações específicas (fortes), evitando conexões genéricas (ex: "cidadão do mesmo país" é fraco; "filho de" é forte). A qualidade é definida pela especificidade do triple mais fraco no caminho.
  • Diversidade: Os caminhos gerados devem ser distintos entre si, explorando diferentes domínios e tipos de relações.
  • Utilidade Criativa ($s(U)$): Uma métrica unificada que combina qualidade e diversidade. Ela penaliza a repetição e recompensa a descoberta de novos caminhos de alta qualidade, utilizando um fator de "paciência" ($\gamma$) para ponderar o tamanho do conjunto versus a qualidade incremental.
  • Distintividade ($\nu$): Mede o quão diferente uma resposta é em relação a um universo de respostas (população de outros modelos), capturando a novidade histórica ou global.

• Construção do Dataset:

  • Utiliza o Wikidata para gerar 931 consultas naturais.
  • As consultas cobrem domínios variados: pessoas em filmes, posições de poder, genes associados a doenças, etc.
  • O processo envolve selecionar pares de entidades que compartilham uma categoria, expandir um dos nós com uma relação adicional e formular uma pergunta sobre a conexão entre o início e o fim dessa cadeia expandida.

3. Contribuições Principais

1. Novo Benchmark (CREATE): Um conjunto de dados e métricas objetivas para avaliar a criatividade associativa em LLMs, focado em conhecimento factual do mundo real em vez de tarefas sintéticas.
2. Métricas de Avaliação Unificadas: Propõe uma métrica de "Utilidade Criativa" que integra qualidade (especificidade factual) e diversidade (distância semântica entre caminhos), superando avaliações puramente baseadas em julgamento humano ou métricas de similaridade simples.
3. Análise de Limitações Atuais: Demonstra que, embora modelos de ponta (Frontier Models) superem modelos open-source, eles ainda lutam para gerar soluções verdadeiramente distintas (alta distintividade) e que o aumento do esforço de raciocínio (mais tokens) nem sempre resulta em melhor desempenho criativo.

4. Resultados Experimentais

Os autores avaliaram uma variedade de modelos, incluindo modelos "pensantes" (com raciocínio explícito) e não pensantes (GPT-4.1, GPT-5, Claude, Qwen, Gemini, OLMo).

• Desempenho Geral: Modelos de ponta (especialmente GPT-5 e Gemini-3-Pro) alcançaram as maiores pontuações de utilidade criativa, gerando caminhos de alta qualidade e diversificados.
• Qualidade vs. Factualidade: Existe um trade-off claro. Modelos como o Gemini-3-Pro tendem a gerar mais caminhos e maior diversidade, mas com menor factualidade estrita. O GPT-5 tende a ser mais conservador, gerando caminhos mais factuais, mas às vezes com menor diversidade.
• Efeito do Raciocínio (Thinking Models): Modelos com capacidades de raciocínio explícito (como GPT-5 e OLMo-Think) não superaram consistentemente os modelos não pensantes quando comparados em termos de criatividade. Aumentar o orçamento de tokens de raciocínio não garantiu melhores pontuações de distintividade.
• Prompting Criativo: Técnicas de prompting como "seja criativo", amostragem verbalizada ou regeneração iterativa tiveram efeitos limitados ou inconsistentes. A regeneração iterativa (pedir ao modelo para dar uma resposta diferente) mostrou-se a mais eficaz para aumentar a distintividade, mas não necessariamente a qualidade geral.
• Análise de Traços de Raciocínio: A análise dos traços de pensamento revelou que os modelos muitas vezes repetem entidades e caminhos, indicando uma busca ineficiente no espaço conceitual, mesmo com grandes orçamentos de tokens.

5. Significado e Conclusão

O trabalho CREATE estabelece um padrão para medir a criatividade em LLMs de forma rigorosa e baseada em dados. Os resultados sugerem que:

• A criatividade associativa em LLMs ainda é um desafio significativo; os modelos tendem a ficar presos em padrões comuns e têm dificuldade em encontrar "pontos de conexão" obscuros, mas válidos.
• O aumento do poder computacional (mais tokens, modelos maiores) não é uma solução mágica para a criatividade; a arquitetura e a estratégia de busca no espaço de conhecimento são fatores críticos.
• O benchmark serve como um "sandbox" para desenvolver novos métodos que melhorem a capacidade dos modelos de realizar saltos associativos, essenciais para tarefas como a geração de hipóteses científicas e inovação.

Em suma, o paper argumenta que, embora os LLMs sejam ferramentas poderosas, sua capacidade de participar genuinamente de processos criativos complexos, exigindo a descoberta de conexões não óbvias entre conceitos reais, ainda precisa de avanços significativos além do simples aumento de escala.