Resumo Técnico: Por que os Grandes Modelos de Linguagem e os Humanos Convergem e Divergem na Avaliação da Criatividade

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) estejam sendo cada vez mais implantados para avaliar ideias criativas em contextos tanto individuais quanto organizacionais, as evidências empíricas sobre seu alinhamento com os julgamentos humanos permanecem mistas. A literatura existente oferece resultados conflitantes: alguns estudos sugerem que os LLMs podem aproximar-se dos julgamentos de criatividade humana, enquanto outros indicam um alinhamento fraco ou variações significativas específicas do modelo. O problema central abordado por esta pesquisa é a falta de compreensão teórica e empírica sobre quais padrões os LLMs aplicam ao avaliar a criatividade, onde esses padrões convergem ou divergem dos padrões humanos e como essas diferenças se manifestam nos resultados das avaliações subsequentes. Os autores postulam que o acordo não é uma capacidade binária, mas depende da evidência específica que um julgamento exige e dos padrões que cada modelo prioriza.

Metodologia

A pesquisa emprega um design de três estudos para mapear os padrões de avaliação de LLMs e examinar suas consequências subsequentes.

Estudo 1: Mapeamento de Padrões de Avaliação

• Objetivo: Identificar os padrões de avaliação de criatividade utilizados por seis LLMs de última geração (GPT-4.1 mini, Grok 4 Fast, DeepSeek V3, ERNIE 3.5-8K, Claude Haiku 4.5 e Gemini 2.5 Flash-Lite) e compará-los com padrões humanos estabelecidos.
• Procedimento: Utilizando uma medida estabelecida de avaliação de criatividade humana (identificando 26 padrões distintos através de sete dimensões), os autores solicitaram a cada LLM que avaliasse a importância de cada padrão.
• Análise: Os padrões foram considerados "importantes" se seus intervalos de confiança de 95% estivessem acima do ponto médio da escala. Os autores analisaram os padrões agregados dos LLMs e aplicaram a Teoria do Consenso Cultural para determinar se os modelos compartilhavam um padrão universal ou exibiam padrões específicos de cada modelo.

Estudo 2: Consequências Subsequentes da Convergência

• Objetivo: Testar se a amplitude dos padrões dos LLMs correlaciona-se com a precisão de suas classificações de criatividade em relação aos humanos.
• Procedimento: 293 participantes humanos geraram 1.103 ideias criativas através de três tarefas (dois cenários de negócios do tipo "in-basket" e uma tarefa ambiental). Três avaliadores humanos treinados e os seis LLMs classificaram essas ideias de forma independente.
• Análise: Os autores calcularam as correlações de Pearson entre as classificações agregadas e individuais dos LLMs e as classificações humanas (derivadas da Técnica de Avaliação Consensual). Eles testaram se os modelos com padrões mais amplos (mais alinhados com os padrões humanos) apresentavam maior correlação com os julgamentos humanos.

Estudo 3: Consequências Subsequentes da Divergência

• Objetivo: Investigar como a divergência na dimensão "contextual" (onde LLMs e humanos mais divergem) afeta as classificações de criatividade.
• Procedimento: Foi utilizado um design experimental 2 (Descrição do Produto: apenas produto vs. produto com contexto) × 2 (Fonte do Avaliador: humano vs. LLM) com 15 produtos do Kickstarter. Informações contextuais (ex: prestígio da marca, posicionamento de mercado) foram adicionadas às descrições dos produtos.
• Análise: Análises de moderação multinível testaram se a informação contextual deslocava as classificações de criatividade de forma diferente para humanos versus LLMs.

Principais Resultados

1. Os LLMs Dependem de um Subconjunto de Padrões Mais Estreito e Centrado na Ideia

• Sobreposição Parcial: Embora os humanos utilizem todos os 26 padrões de criatividade identificados, o padrão geral dos LLMs incorpora apenas 17 (65,38% de sobreposição).
• Convergência: Os LLMs convergem mais fortemente com os humanos na dimensão Novidade (todos os padrões de novidade foram incluídos) e na dimensão Hedônica.
• Divergência: A divergência mais clara ocorre na dimensão Contextual. Os humanos pesam fortemente fatores sociais, de mercado e de reputação (ex: "marca famosa", "mercado de massa", "moda"), enquanto os LLMs geralmente excluem esses fatores, tratando-os como evidência fraca de criatividade. Apenas a "credibilidade" foi marginalmente incluída.
• Variabilidade do Modelo: Os LLMs não compartilham um único padrão universal. A Teoria do Consenso Cultural revelou seis clusters distintos (um por modelo).
  • Padrões Amplos: GPT e Grok incorporaram 20 padrões cada.
  • Padrões Moderados: DeepSeek e ERNIE incorporaram 14 padrões.
  • Padrões Estreitos: Claude e Gemini incorporaram 12 e 11 padrões, respectivamente, permanecendo fortemente ancorados na novidade.

2. A Amplitude dos Padrões Prediz o Alinhamento com os Julgamentos Humanos (Estudo 2)

• Alinhamento Agregado: Houve uma correlação moderada ($r = 0,50$) entre as classificações agregadas dos LLMs e as classificações humanas.
• Hierarquia de Modelos: A força do alinhamento estava diretamente correlacionada com a amplitude dos padrões do modelo.
  • GPT e Grok (mais amplos) mostraram o alinhamento mais forte ($r \approx 0,50$).
  • DeepSeek e ERNIE (moderados) mostraram alinhamento intermediário ($r \approx 0,46$).
  • Claude e Gemini (mais estreitos) mostraram o alinhamento mais fraco ($r \approx 0,41$).
• Conclusão: Modelos que preservam uma gama mais ampla de padrões humanos distinguem melhor as ideias que os humanos julgam como mais ou menos criativas.

3. Informação Contextual Impulsiona uma Avaliação Assimétrica (Estudo 3)

• Sensibilidade Humana: Fornecer informações contextuais (ex: prestígio da marca) aumentou significativamente as classificações de criatividade humana ($b = 0,18, p < 0,001$).
• Insensibilidade dos LLMs: A mesma informação contextual não teve efeito significativo nas classificações dos LLMs ($b = 0,01, p = 0,367$).
• Especificidade: Essa insensibilidade foi mais pronunciada para as variantes "marca famosa", "mercado de massa" e "moda" — exatamente os padrões que os LLMs desvalorizaram no Estudo 1.
• Conclusão: Os LLMs são menos sensíveis à evidência contextual que molda substancialmente os julgamentos de criatividade humanos, levando a desvios sistemáticos quando tal informação está presente.

Significância e Contribuições

Contribuições Teóricas

• Explicando Evidências Mistas: O artigo resolve inconsistências na literatura anterior ao demonstrar que o alinhamento LLM-humano não é uma capacidade monolítica de "sim/não", mas depende dos padrões de avaliação específicos exigidos. O alinhamento é alto quando as tarefas enfatizam qualidades intrínsecas (novidade), mas baixo quando exigem julgamento contextual.
• Revisitando a Teoria da Criatividade: Os achados revelam uma discrepância entre as teorias formais da criatividade (que enfatizam tanto a novidade quanto a utilidade) e os padrões dos LLMs. Os LLMs pesam desproporcionalmente a novidade, provavelmente porque ela é mais explicitamente e consistentemente verbalizada em seus dados de treinamento, enquanto padrões como utilidade ou aprovação social são aplicados de forma mais tácita pelos humanos e, portanto, são menos visíveis em corpora textuais.
• Heterogeneidade dos Modelos: A pesquisa desafia o tratamento dos "LLMs" como uma categoria única, mostrando que diferentes modelos aplicam padrões distintos e específicos do modelo que alteram significamente quais ideias são reconhecidas como criativas.

Implicações Práticas

• Utilidade Dependente de Contexto: Os LLMs são avaliadores eficazes quando o objetivo é avaliar a qualidade intrínseca da ideia (ex: novidade, promessa conceitual) enquanto se minimiza o viés de sinais sociais ou reputacionais (ex: triagem de propostas científicas em estágio inicial).
• Limitações em Ambientes Ricos em Contexto: Em domínios onde o ajuste ao mercado, normas sociais ou credibilidade dos stakeholders são integrantes da criatividade (ex: design de produtos), as avaliações de LLM podem ser incompletas ou enganosas, a menos que sejam suplementadas pelo julgamento humano.
• Estratégia de Seleção: As organizações devem tratar a escolha de um LLM avaliador como uma decisão consequencial, selecionando modelos cujos padrões de amplitude específicos alinhem-se com os objetivos de avaliação.

Limitações e Direções Futuras
Os autores reconhecem que o Estudo 1 dependeu de classificações de importância autorrelatadas, que podem não espelhar perfeitamente os padrões comportamentais em todos os contextos. Eles também observam que o estudo focou em seis modelos proprietários, deixando questões em aberto sobre modelos de código aberto, especializados em domínios ou multimodais. Finalmente, o artigo levanta a possibilidade de um ciclo de feedback onde a interação repetida com avaliadores de LLM poderia, eventualmente, deslocar os padrões de avaliação humana, um fenômeno que requer investigação futura.