Resumo Técnico: Além da Criatividade Divergente: Uma Avaliação Baseada em Humanos da Criatividade em Grandes Modelos de Linguagem

1. Definição do Problema

Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implementados em tarefas que exigem criatividade verbal, como a criação de histórias e a geração de ideias. No entanto, os benchmarks atuais para avaliar a criatividade de LLMs carecem de um embasamento sólido na teoria da criatividade humana, que define a criatividade como a combinação de novidade e adequação.

A métrica padrão para avaliar o pensamento divergente, a Tarefa de Associação Divergente (DAT), mede a criatividade baseando-se apenas na distância semântica entre as palavras geradas (novidade). Os autores argumentam que essa abordagem de apenas novidade é falha para LLMs porque:

• Ignora a adequação, um componente central da criatividade humana.
• Permite que saídas estocásticas ou aleatórias alcancem pontuações altas, confundindo aleatoriedade com criatividade.
• Estudos anteriores mostraram que baselines não criativos (ex: amostragem aleatória) podem superar LLMs de última geração (SotA) no DAT, invalidando a métrica para a avaliação de modelos.

Consequentemente, há a necessidade de um framework de avaliação que meça objetivamente a criatividade enquanto adere aos critérios duplos de novidade e adequação contextual.

2. Metodologia

Crítica à Tarefa de Associação Divergente (DAT)

Os autores primeiro reavaliaram a DAT padrão usando uma gama de LLMs de última geração (SotA).

• Tarefa: Os modelos foram instruídos a gerar 10 substantivos o mais diferentes possível entre si.
• Pontuação: A novidade foi calculada como a distância semântica média entre os sete primeiros substantivos válidos.
• Deslocamento de Embedding: Enquanto a DAT padrão utiliza embeddings GloVe, os autores utilizaram o Sentence BERT (SBERT) para mitigar artefatos de frequência que inflam as pontuações de novidade para palavras raras.
• Baselines: Duas baselines não criativas foram introduzidas:
  1. Agnóstica à tarefa: Amostragem aleatória de 10 substantivos do WordNet.
  2. Consciente da tarefa: Instruir os modelos a maximizar explicitamente a pontuação DAT (otimizando diretamente o objetivo do teste).

Introdução da Tarefa de Associação Divergente Condicional (CDAT)

Para abordar as limitações da DAT, os autores propõem a CDAT, fundamentada na definição psicológica de que a criatividade requer tanto novidade quanto adequação (Heinen e Johnson, 2018).

• Especificação da Tarefa: Dado um substantivo de indicação (cue) específico, o modelo deve gerar 10 substantivos mutuamente dissimilar que sejam semanticamente associados ao termo de indicação.
• Protocolo de Avaliação:
  • Novidade: Medida como a distância semântica média entre os substantivos gerados (idêntica à pontuação da DAT).
  • Adequação: Medida como a similaridade semântica média entre as palavras geradas e a palavra de indicação.
  • Portão de Adequação (Appropriateness Gate): Um mecanismo de filtragem onde as palavras geradas pelo modelo devem estatisticamente exceder a adequação de uma baseline aleatória (agnóstica à tarefa) para serem consideradas válidas. A novidade só é pontuada se o modelo passar por este portão.
  • Pontuação Final: A métrica principal é a média da pontuação de novidade, condicional à passagem pelo portão de adequação.
• Visualização: Os autores analisam o trade-off entre novidade e adequação usando um cenário 2D e uma fronteira de Pareto para identificar modelos não dominados que oferecem equilíbrios otimizados.

Configuração Experimental

• Modelos: Um conjunto diversificado de LLMs SotA proprietários e de código aberto de vários tamanhos e famílias.
• Condições: As avaliações foram conduzidas em três configurações de temperatura (0.5, 1.0, 1.5) e em uma configuração determinística (0.0).
• Indicações (Cues): 539 substantivos de indicação únicos derivados do corpus Brown.
• Baselines: Incluíram Random (agnóstica à tarefa) e Common (consciente da tarefa, buscando a máxima associação) para análise diagnóstica 2D.

3. Resultados Principais

Falha de Validade da DAT

Sob a avaliação baseada em SBERT, nenhuma família de LLM superou a baseline agnóstica à tarefa (aleatória) em pontuações DAT em qualquer temperatura. Além disso, a baseline consciente da tarefa (que "trapaceia" ao otimizar para a pontuação) superou consistentemente as gerações padrão dos modelos. Isso confirma que a DAT é sensível à amostragem aleatória e à familiaridade do prompt, em vez de isolar a verdadeira habilidade criativa.

Achados da CDAT

Ao serem avaliados sob a CDAT, padrões distintos emergiram em relação às famílias de modelos e ao trade-off novidade-adequação:

1. Passagem pelo Portão: Todos os modelos passaram pelo portão de adequação, validando que a novidade pode ser medida condicionalmente ao alinhamento contextual.
2. Divergência de Famílias de Modelos:
   • Famílias Menores/Básicas: Geralmente alcançaram pontuações CDAT mais altas, ocupando regiões de maior novidade, mas de menor adequação.
   • Famílias Avançadas/Maiores: Tenderam a favorecer uma maior adequação ao custo de uma menor novidade, resultando em pontuações CDAT mais conservadoras.
3. Fronteira de Pareto: Ambas as estratégias (alta novidade/baixa adequação vs. equilibrada) apareceram na fronteira de Pareto não dominada, indicando que nenhuma família de modelos maximiza simultaneamente ambas as dimensões.
4. Efeitos de Temperatura: Os efeitos de temperatura foram mistos e específicos de cada família, sem uma tendência consistente entre todos os modelos.

4. Principais Contribuições

• Avaliação Crítica da DAT: O artigo demonstra que a DAT padrão é inválida para a avaliação da criatividade de LLMs porque baselines não criativas superam modelos SotA, e a métrica falha em distinguir entre aleatoriedade e criatividade.
• Proposta da CDAT: Introdução da Tarefa de Associação Divergente Condicional, que operacionaliza a criatividade como novidade condicional à adequação contextual, separando o ruído da produção criativa.
• Perfilamento Matizado: A CDAT revela diferenças sistemáticas nos perfis de criatividade entre famílias de modelos, mostrando que modelos menores frequentemente exibem maior novidade bruta, enquanto modelos maiores e alinhados priorizam a adequação, provavelmente devido a mudanças no treinamento e no alinhamento de segurança.

5. Significância e Alegações

Os autores afirmam que a CDAT fornece uma métrica simples, objetiva e interpretável por humanos que se alinha com teorias psicológicas estabelecidas de criatividade. Ao fundamentar a avaliação tanto na novidade quanto na adequação, a CDAT evita as armadilhas de métricas de apenas novidade.

O artigo postula que o trade-off observado — onde modelos avançados sacrificam a novidade pela adequação — é provavelmente um resultado dos processos de treinamento e alinhamento que deslocam os modelos para saídas mais conservadoras e previsíveis. No entanto, os autores mantêm uma postura modesta, observando que esta é uma interpretação correlacional que requer estudos de ablação causal adicionais (ex: sobre objetivos de alinhamento e políticas de decodificação) para confirmação.

O trabalho é apresentado como uma operacionalização pragmática para quantificar um componente mínimo de criatividade verbal divergente, visando especificamente tarefas de conhecimento cristalizado e baseado em texto, onde os LLMs são mais frequentemente implantados. Não se alega que seja um preditor universal de todas as formas de criatividade humana, mas serve como um passo necessário em direção a benchmarks mais rigorosos e fundamentados em teoria para a criatividade de máquinas.