Resumo Técnico: AGC-Bench: Medindo a Criatividade Artificial Geral

Declaração do Problema

A pesquisa sobre criatividade há muito debate se a habilidade criativa é uma capacidade geral (análoga ao fator g de Spearman na inteligência) ou um conjunto de habilidades específicas de domínio. Embora os Grandes Modelos de Linguagem (LLMs) sejam cada vez mais incumbidos de tarefas de saída criativa, o campo carece de uma infraestrutura unificada para avaliar se a criatividade de um modelo se generaliza entre domínos ou permanece isolada. As avaliações existentes são fragmentadas em centenas de benchmarks heterogêneos com protocolos de pontuação incompatíveis, tornando empiricamente intratável determinar se um modelo que se destaca na escrita criativa também possui fortes capacidades de ideação científica, humor ou resolução de problemas. Além disso, a dependência de "LLM-como-juiz" introduz vieses sistemáticos de leniência e severidade que obscurecem as verdadeiras diferenças de desempenho.

Metodologia

1. Construção do AGC-Bench

Os autores introduzem o AGC-Bench, um meta-benchmark construído através de uma revisão sistemática do benchmark de criatividade de IA em conformidade com o protocolo PRISMA.

• Revisão de Literatura: De 3.101 artigos candidatos (2018–2025), a equipe identificou 497 benchmarks únicos.
• Pipeline de Onboarding: Um fluxo de trabalho agêntico converteu 78 desses benchmarks em cenários padronizados e executáveis no estilo HELM. Isso incluiu 67 conjuntos de dados apenas de texto e 11 cenários multimodais.
• Taxonomia: Os conjuntos de dados apenas de texto foram organizados em seis domínios fundamentados na pesquisa de criatividade humana: Brainstorming, Resolução de Problemas, STEM, História/Narrativa, Linguagem Figurativa e Humor.
• Escala de Avaliação: 83 LLMs de fronteira (proprietários e de pesos abertos) foram avaliados nestes conjuntos de dados. Cada par (modelo, conjunto de dados) foi pontuado em $n=50$ itens, com estabilidade de ranking confirmada via bootstrap.

2. Pontuação e Calibração (Teoria da Resposta do Juiz)

Para abordar o viés na pontuação automatizada, os autores aplicaram a Teoria da Resposta do Juiz (JRT):

• Painel de Três Juízes: Foi utilizado um design de "2-de-3" com dados faltantes planejados, onde cada item foi avaliado por dois de três juízes de fronteira (Gemini-3-Flash, Grok-4.1-Fast, GPT-4.1-mini).
• Calibração Bayesiana: Um Modelo de Resposta Graduada Bayesiano (GRM) foi ajustado para recuperar os parâmetros de severidade e discriminação por juiz, corrigindo a leniência ou dureza sistemática.
• AGC-Judge: Um modelo Qwen3-30B-A3B-Instruct foi ajustado em 48.299 classificações corrigidas por JRT para criar o AGC-Judge, um modelo de pontuação de pesos abertos que replica o painel de três juízes com alta precisão ($\rho \ge 0.97$), enquanto prevê classificações em benchmarks não vistos com alta fidelidade ($\rho = 0.83$).

3. Análise Psicométrica

O estudo empregou análise fatorial na matriz de 83 modelos $\times$ 6 domínios para testar a existência de um fator de criatividade geral.

• Validade Externa: A validade de construto do benchmark foi ancorada contra uma sonda de raciocínio fluido puro ($G_f$) (analogias de strings de letras contrafatuais de Lewis-Mitchell), uma bateria de criatividade avaliada por humanos (MuCE) e intervenções dentro do modelo (instruir modelos para "ser criativo" vs. "ser eficaz", e alternar modos de raciocínio).
• Comparação Humana: Um subconjunto de cinco tarefas (AGC-Human) permitiu a comparação direta entre 224 participantes humanos e 125 avaliações de LLM.

Principais Resultados

1. Existência de um Fator de Criatividade Geral (c)

A análise fatorial através dos 83 modelos revelou um único fator de criatividade dominante, denominado $c$, que explica 81,5% da variância entre os seis domínios (Cronbach's $\alpha = 0.96$).

• Separabilidade: Embora $c$ correlacione-se com o raciocínio fluido ($\rho = 0.55$) e conhecimento geral ($\rho = 0.62$), ele permanece estatisticamente separável de ambos. Também é separável da escala do modelo, embora a contagem total de parâmetros correlacione-se moderadamente ($\rho = 0.69$).
• Robustez: O fator persiste após o controle do raciocínio fluido, através de diferentes famílias de pontuação (baseadas em fórmulas vs. juiz-LLM) e sob subsampling de modelos.

2. Variações de Desempenho por Domínio

Embora exista um fator geral, o desempenho não é uniforme.

• Leaderboard: Modelos proprietários de fronteira (ex: Claude Opus 4.7, GPT-5.4/5.5) lideram o composto geral, com modelos de pesos abertos (ex: GLM-5.1) logo atrás.
• Dissociações: Modelos específicos mostram forças distintas. Por exemplo, o kimi-k2.5 lidera em Resolução de Problemas, mas não aparece no top 5 de outros domínios, enquanto o claude-opus-4.6-fast lidera significativamente em Linguagem Figurativa.

3. Sensibilidade a Prompts Específicos de Criatividade

Experimentos de intervenção demonstraram que o benchmark rastreia especificamente a criatividade, e não o raciocínio geral:

• Instruir modelos a "ser criativos" resultou em um grande aumento de desempenho ($d_z = +1.40$), enquanto habilitar capacidades de raciocínio produziu um deslocamento muito menor ($d_z = +0.34$).

4. Criatividade Humana vs. LLM

No subconjunto pareado humano:

• Generalidade de Domínio: A criatividade é significativamente mais generalista em termos de domínio nos LLMs ($\alpha = 0.64$) do que nos humanos ($\alpha = 0.42$).
• Teto de Desempenho: O melhor performer humano ainda lidera o melhor LLM por 0,12 desvios padrão, embora os modelos de fronteira estejam se aproximando do nível humano em tarefas de ideação e escrita criativa.

Principais Contribuições

1. AGC-Bench: Um meta-benchmark de larga escala compreendendo 78 conjuntos de dados (67 apenas de texto, 11 multimodais) unificados sob um único harness de avaliação, representando um aumento de ordem de magnitude em escopo sobre trabalhos anteriores.
2. AGC-Judge: Um modelo de pontuação de pesos abertos e ajustado que reproduz o consenso de um painel de três juízes de fronteira a uma fração do custo, permitindo uma avaliação de criatividade escalável e reprodutível.
3. Infraestrutura Psicométrica: Um pipeline reprodutível combinando revisão sistemática PRISMA com onboarding agêntico e calibração JRT, estabelecendo um teste formal para a hipótese da "Criatividade Artificial Geral".
4. Evidência Empírica: A primeira demonstração em larga escala de que a criatividade dos LLMs é amplamente unidimensional (um fator geral $c$) e distinta da inteligência geral e do raciocínio.

Significância

O artigo fornece o primeiro teste empírico de se a habilidade criativa nos LLMs é uma capacidade geral ou um conjunto de habilidades específicas de domínio. Ao recuperar um forte fator de criatividade geral ($c$), os autores sugerem que a criatividade na IA, assim como a inteligência, pode ser uma capacidade transferível que escala com o tamanho do modelo e o treinamento, em vez de uma propriedade puramente emergente de tarefas específicas. O lançamento do AGC-Bench, do harness de onboarding e do AGC-Judge oferece à comunidade uma infraestrutura padronizada para ir além de avaliações fragmentadas de domínio único em direção a uma compreensão holística da criatividade da IA. Os autores observam que, embora os modelos atuais se aproximem do desempenho humano, o melhor humano ainda lidera, e o benchmark atualmente carece de um teto teórico, servindo como uma medida relativa contra a fronteira atual.