CreativeBench: Benchmarking and Enhancing Machine Creativity via Self-Evolving Challenges

O artigo apresenta o CreativeBench, um benchmark quantitativo para avaliar a criatividade de máquinas em geração de código através de métricas de qualidade e novidade, revelando que o escalonamento melhora a criatividade combinatória mas reduz a divergência, e propondo a estratégia EvoRePE para aprimorar consistentemente a criatividade durante a inferência.

O essencial

Imagine que os modelos de inteligência artificial (como o ChatGPT) são como cozinheiros extremamente talentosos que aprenderam a cozinhar lendo milhões de receitas na internet. Eles são ótimos em seguir instruções e recriar pratos clássicos.

Mas, e se quiséssemos testar se eles conseguem inventar um prato novo, ou se conseguem cozinhar algo delicioso mesmo quando proibimos o uso do forno ou da faca?

É exatamente isso que o artigo "CreativeBench" propõe. Os autores criaram um "campo de provas" para medir a criatividade real das máquinas, não apenas se elas acertam a resposta, mas se elas conseguem pensar de formas diferentes.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: O "Esgotamento" das Receitas

Até hoje, os computadores ficaram mais inteligentes apenas lendo mais e mais dados da internet. Mas a internet está cheia de receitas repetidas. Os autores dizem: "Chega de apenas ler mais! Precisamos de máquinas que criem coisas novas."

O problema é: como você mede a criatividade de um robô?

• Se ele escreve um código que funciona, é criativo? Não necessariamente, pode ser apenas uma cópia.
• Se ele escreve algo totalmente novo, mas que não funciona (alucinação), é criativo? Não, é apenas um erro.

2. A Solução: O "CreativeBench" (O Campo de Provas)

Os autores criaram um teste chamado CreativeBench. Eles dividiram a criatividade em dois tipos, usando uma teoria de uma psicóloga chamada Margaret Boden:

• A) Criatividade Combinatória (A Mistura):

  • Analogia: É como pegar ingredientes de um prato italiano (massa) e de um prato japonês (sushi) e criar um novo prato (Sushi-Pasta).
  • No teste: O computador pega dois problemas de áreas diferentes (ex: matemática e música) e precisa fundi-los em uma solução única.
  • O Truque: Eles não pedem para o computador inventar do nada. Eles pegam uma solução que já funciona, escondem a receita e pedem para o computador adivinhar qual era o problema. Isso garante que a tarefa é possível, mas difícil.

• B) Criatividade Exploratória (O Labirinto):

  • Analogia: É como jogar um jogo de "Parece que você não pode usar o forno". Você precisa assar um bolo, mas o forno está quebrado. Você precisa encontrar uma maneira criativa de cozinhar (talvez usar o micro-ondas de um jeito estranho ou o sol).
  • No teste: O computador recebe um problema e, em seguida, recebe uma regra estrita: "Você não pode usar loops (repetições) no código" ou "Você não pode usar a fórmula padrão". O computador precisa encontrar um caminho alternativo que ainda funcione.

3. A Medida: Qualidade x Novidade

Para não confundir "criatividade" com "erro", eles criaram uma fórmula simples:

Criatividade = Qualidade (Funciona?) x Novidade (É diferente?)

• Se o código funciona mas é igual a tudo que já existe: Baixa criatividade.
• Se o código é super diferente mas dá erro: Baixa criatividade.
• Se o código funciona E é diferente: Alta criatividade!

4. O Que Eles Descobriram? (As Surpresas)

Ao testar os maiores modelos de IA do mundo, eles viram coisas interessantes:

1. Tamanho não é tudo (para explorar): Fazer o modelo ficar maior (mais "cérebro") ajuda muito a misturar conceitos (Combinatória), mas não ajuda tanto a encontrar caminhos novos em labirintos difíceis (Exploratória).
2. O Efeito "Padrão": Modelos gigantes tendem a ficar mais "certos", mas também mais "entediantes". Eles escolhem o caminho mais seguro e comum. Modelos menores às vezes erram mais, mas às vezes descobrem soluções mais estranhas e criativas.
3. Pensar ajuda a explorar: Quando o modelo é forçado a "pensar passo a passo" (raciocinar), ele fica muito melhor em resolver os labirintos com regras estritas, mas não ajuda tanto na mistura de conceitos.

5. A Inovação: O "EvoRePE" (O GPS da Criatividade)

A parte mais legal é que eles não apenas mediram, mas melhoraram a criatividade.

Eles criaram uma técnica chamada EvoRePE.

• Analogia: Imagine que a criatividade é como uma direção no GPS. Normalmente, o carro (a IA) segue a rota padrão. O EvoRePE é como um pequeno ajuste no GPS que diz: "Ei, tente desviar um pouco para a esquerda, lá tem uma paisagem bonita que você nunca viu".
• Eles pegaram padrões de como a IA evolui e criaram um "vetor de criatividade" (uma espécie de bússola interna). Ao injetar essa bússola no modelo durante o uso, o computador começou a gerar soluções mais criativas sem precisar ser re-treinado do zero.

Resumo Final

O CreativeBench é como um campeonato de "Hackeamento Criativo" para IAs. Ele nos ensina que:

1. Medir criatividade é difícil, mas possível se usarmos testes práticos (código que roda).
2. Modelos gigantes são ótimos em juntar coisas, mas precisam de ajuda para inventar coisas novas.
3. Podemos "ajustar" a IA para ser mais criativa usando uma bússola interna (EvoRePE), sem precisar gastar milhões de dólares para treiná-la novamente.

É um passo importante para que as máquinas deixem de ser apenas "copiadores de receitas" e se tornem verdadeiros "chefes inventores".

Resumo técnico

Resumo Técnico: CreativeBench

1. O Problema

O avanço dos Grandes Modelos de Linguagem (LLMs) atingiu um gargalo devido à saturação de dados de pré-treinamento de alta qualidade na internet. Para superar isso, a pesquisa tem se voltado para sistemas evolutivos (como o AlphaEvolve), que visam gerar continuamente artefatos novos e aprendíveis. No entanto, o progresso desses sistemas é impedido pela falta de uma avaliação rigorosa e quantitativa da criatividade.

As limitações dos métodos existentes incluem:

• Dificuldade em distinguir criatividade de alucinação: Métricas atuais focam apenas na correção funcional, ignorando a originalidade.
• Complexidade insuficiente: Tarefas simples levam à memorização (rote learning) em vez de comportamentos criativos genuínos.
• Falta de métricas objetivas: Não existem padrões automatizados para medir criatividade em sistemas de código, especialmente separando-a de erros.

2. Metodologia

Os autores propõem o CreativeBench, um benchmark baseado no quadro cognitivo de Margaret Boden (2004), que categoriza a criatividade em dois tipos principais:

1. Criatividade Combinatória: Combinar conceitos familiares de maneiras não familiares.
2. Criatividade Exploratória: Navegar em um espaço conceitual estruturado para descobrir novas possibilidades sob restrições.

A. Construção do Dataset (CreativeBench)
O benchmark é construído através de um pipeline automatizado de engenharia reversa e "self-play" (jogo contra si mesmo), garantindo alta dificuldade e evitando vazamento de dados:

• CreativeBench-Combo (Combinatória): Utiliza uma estratégia de engenharia reversa. O modelo funde componentes de código de diferentes domínios (ex: processamento de dados + algoritmos de grafos) para criar uma solução unificada. A partir dessa solução verificada, o sistema gera automaticamente a descrição do problema e os casos de teste. Isso garante que cada tarefa tenha uma solução de referência válida.
• CreativeBench-Explore (Exploratória): Utiliza um método de self-play baseado em restrições. Um "Gerador de Restrições" analisa a solução de um "Solver" e adiciona restrições negativas progressivas (ex: "não use loops", "não use a função X"). O Solver deve refinar sua solução para atender às novas restrições. O processo continua até que o Solver falhe, criando um gradiente de dificuldade que força a exploração de soluções não convencionais.

B. Métrica de Avaliação Unificada
A criatividade é definida como o produto de Qualidade e Novidade:
$$\text{Criatividade} = \text{Qualidade} \times \text{Novidade}$$

• Qualidade: Medida pela execução correta do código em um ambiente isolado (sandbox) e validada por um juiz LLM (Pass@1).
• Novidade: Medida pela distância lógica entre a solução gerada e uma solução de base (baseline). Utiliza-se uma combinação de:
  • Distância de embedding semântico (CodeXEmbed) para capturar estrutura e dependências.
  • Distância de n-gram de caracteres (4-gram) para penalizar cópias superficiais com apenas pequenas edições de texto.

C. Estratégia de Melhoria: EvoRePE
Para aprimorar a criatividade, os autores propõem o EvoRePE (Evolutionary Representation Engineering). É uma estratégia de "steering" (direcionamento) em tempo de inferência, sem necessidade de re-treinamento:

1. Coleta-se pares de prompts (padrão vs. otimizado por algoritmo evolutivo).
2. Extrai-se o vetor de ativação latente que representa a transição para a solução criativa (usando PCA).
3. Durante a inferência, esse vetor é injetado no residual stream do modelo, guiando-o para soluções mais criativas.

3. Principais Contribuições

1. Novo Benchmark (CreativeBench): O primeiro benchmark de geração de código focado especificamente em criatividade combinatória e exploratória, com 1.859 problemas cobrindo 14 domínios, construído totalmente de forma automatizada.
2. Métrica Quantitativa Robusta: Uma métrica unificada que distingue objetivamente criatividade de alucinação, validada por especialistas humanos (correlação de Spearman $\rho = 0.78$).
3. Insights sobre Escala e Raciocínio: Descobertas fundamentais sobre como o tamanho do modelo e capacidades de raciocínio afetam a criatividade.
4. Método de Melhoria (EvoRePE): Uma técnica plug-and-play que internaliza padrões de busca evolutiva para melhorar a criatividade do modelo em tempo de execução.

4. Resultados e Descobertas Chave

• Desempenho dos Modelos: Mesmo os modelos mais avançados (como Gemini-3-Pro) têm taxas de sucesso (Pass@1) abaixo de 60% no benchmark, indicando sua alta dificuldade.
• Escala Favorece Combinação, não Exploração:
  • O aumento da escala do modelo melhora significativamente a criatividade combinatória (recombinação de conceitos).
  • Para a criatividade exploratória, o ganho é marginal ou até decrescente. Modelos maiores tendem a convergir para soluções de alta probabilidade (mais corretas, mas menos divergentes).
• Convergência por Escala (Convergence-by-Scaling): Modelos maiores tornam-se mais corretos, mas menos divergentes. A qualidade funcional aumenta, mas a novidade diminui, pois o modelo se apega mais aos padrões de treinamento frequentes.
• Raciocínio Ajuda na Exploração: A ativação de modos de raciocínio (Chain-of-Thought) beneficia significativamente a criatividade exploratória (navegar em espaços de restrições), mas não traz benefícios para a criatividade combinatória.
• Eficácia do EvoRePE: A aplicação do EvoRePE resultou em ganhos consistentes de criatividade em modelos de diferentes tamanhos, inclusive em prompts padrão (sem busca evolutiva), demonstrando que a "direção criativa" pode ser aprendida e injetada no espaço latente.

5. Significado e Impacto

O trabalho do CreativeBench é fundamental para o futuro da Inteligência Artificial Generativa:

• Validação Científica: Fornece a primeira base rigorosa para medir a criatividade de máquinas além da mera correção funcional, alinhando-se com teorias cognitivas humanas.
• Direcionamento de Pesquisa: Revela que simplesmente escalar modelos não é suficiente para gerar inovação radical (exploratória); são necessárias novas arquiteturas ou mecanismos de busca.
• Aplicações Práticas: O método EvoRePE oferece uma maneira eficiente e barata de "desbloquear" a criatividade em modelos existentes, com potencial aplicação em descoberta científica, design de jogos e composição artística, onde a inovação é tão crucial quanto a precisão.

Em suma, o artigo estabelece que a criatividade da máquina é multidimensional e que, para avançar, precisamos de benchmarks que exijam não apenas que o código funcione, mas que ele seja novo e divergente de forma controlada.