Resumo Técnico: Repensando a Avaliação da Criatividade

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado proficiência em tarefas estruturadas como raciocínio lógico e resposta a perguntas, sua capacidade de gerar conteúdo criativo permanece limitada e difícil de avaliar. A criatividade é inerentemente multidimensional e específica de cada domínio, contudo, há uma falta de métricas automatizadas confiáveis que possam bandear (benchmark) efetivamente o desempenho dos LLMs através de diversos domínios criativos. Os métodos de avaliação existentes frequentemente falham em alinhar-se com as percepções humanas de criatividade, levando a inconsistências na forma como os resultados "criativos" são identificados e medidos. Este artigo aborda a questão crítica: Como podemos selecionar métricas de avaliação que reflitam com precisão a criatividade percebida por humanos em diferentes domínios?

Metodologia

Os autores conduziram uma análise abrangente de quatro métricas de criatividade representativas em três domínios criativos distintos:

1. Domínios:

   • Escrita Criativa: Geração de conteúdo artístico e estético (ex: enredos de filmes, poemas).
   • Resolução de Problemas Não Convencionais: Pensamento funcional envolvendo a quebra de vieses cognitivos (ex: a tarefa MacGyver).
   • Ideação de Pesquisa: Síntese lógica de fatos existentes para gerar ideias científicas originais (ex: submissões de artigos do ICLR).

2. Datasets:
   Para cada domínio, os autores curaram datasets contendo exemplos pareados de resultados "criativos" e "não criativos", rotulados com base no julgamento humano.

   • Escrita Criativa: 150 narrativas escritas por humanos vs. 150 narrativas geradas por LLM.
   • Resolução de Problemas: 573 soluções não convencionais vs. soluções convencionais geradas por LLM.
   • Ideação de Pesquisa: 513 artigos aceitos vs. 513 artigos rejeitados do ICLR 2024, filtrados por pontuações de solidez e apresentação para isolar a criatividade como o fator diferenciador.

3. Métricas Avaliadas:
   O estudo avaliou quatro métricas operando em diferentes níveis de granularidade:

   • Índice de Criatividade (CI): Mede a originalidade ao nível de frase, computando a sobreposição de n-grams com corpora da web em larga escala (usando o algoritmo DJ SEARCH/Infini-Gram).
   • Perplexidade (PPL): Mede a inesperatidade estatística ao nível de token baseada em probabilidades de predição de modelos de linguagem.
   • Templates Sintáticos: Avalia a diversidade estrutural detectando a dependência de padrões comuns de classes gramaticais (POS) (ex: CR-POS, taxa de template, templates por token).
   • LLM-as-a-Judge (LLM como Juiz): Utiliza LLMs (especificamente o Claude 3.7 Sonnet na melhor configuração) com raciocínio de cadeia de pensamento (CoT) e prompting baseado em rubricas para fornecer avaliações holísticas de nível conceitual.

Principais Resultados

A análise revelou inconsistências significativas tanto entre domínios quanto entre métricas:

• Índice de Criatividade (CI):

  • Sensibilidade ao Domínio: O CI distinguiu efetivamente textos criativos de não criativos em Escrita Criativa, mas falhou em diferenciar em Resolução de Problemas e Ideação de Pesquisa.
  • Limitações: O CI mede primariamente a diversidade lexical em vez da novidade conceitual. Seus escores são altamente sensíveis às escolhas de implementação, especificamente o intervalo de comprimentos de n-gram ($L$) e a seleção do corpus de referência. Pequenas mudanças em $L$ (ex: 5–7 vs. 5–11) ou no corpus podem alterar drasticamente os escores, às vezes tornando a distinção entre saídas humanas e de LLM negligenciável.

• Perplexidade (PPL):

  • Inconsistência: A PPL mostrou distribuições de escore sobrepostas entre os conjuntos criativos e não criativos em todos os domínios. Em alguns casos (ex: Escrita Criativa), o conteúdo gerado por LLM apresentou maior perplexidade, enquanto em outros (ex: Ideação de Pesquisa), os artigos rejeitados apresentaram menor perplexidade.
  • Conclusão: A PPL reflete fluência e confiança do modelo, não novidade ou criatividade.

• Templates Sintáticos:

  • Efetividade: Esta métrica teve dificuldades em domínios onde ideias novas são expressas através de linguagem formulaica (ex: Ideação de Pesquisa e Resolução de Problemas).
  • Observação: Na Escrita Criativa, descobriu-se que os LLMs dependem fortemente de estruturas sintáticas repetitivas (ex: templates específicos de 8-grams para reviravoltas de enredo), enquanto a escrita humana exibe maior variedade estrutural. No entanto, a métrica falhou em capturar a criatividade conceitual em outros domínios.

• LLM-as-a-Judge:

  • Desempenho: Embora apresentasse um desempenho moderado isoladamente, os juízes de LLM exibiram instabilidade e viés significativos.
  • Vieses: Os modelos exibiram tendência para predições unilaterais (ex: classificando a maioria das soluções como "convencionais" ou enredos como "não originais").
  • Instabilidade: As avaliações foram altamente sensíveis a variações mínimas de prompt (ex: mudar "convencional" para "não convencional" no prompt inverteu as preferências do modelo). Avaliações repetidas da mesma instância pelo mesmo juiz mostraram apenas ~40% de consistência.
  • Correlação: Houve uma correlação fraca (Pearson $r \approx 0.16$) entre os escores do LLM e os escores de especialistas humanos em Ideação de Pesquisa.

• Pontuação de Novidade Semântica Exploratória (SNS):

  • Um pipeline experimental usando embeddings semânticos para medir a distância ao nível de conceito falhou em distinguir consistentemente entre saídas criativas e não criativas, destacando a dificuldade de capturar a novidade ao nível de ideia automaticamente.

Principais Contribuições

1. Análise Crítica de Métricas Existentes: O artigo demonstra sistematicamente que as métricas automatizadas atuais (CI, PPL, Templates Sintáticos, LLM-as-a-Judge) carecem de generalização e consistência entre domínios criativos.
2. Identificação de Limitações Específicas:
   • CI mede raridade lexical, não novidade conceitual.
   • PPL mede fluência, não criatividade.
   • Templates sintáticos perdem a inovação semântica em contextos formulaicos.
   • LLM-as-a-Judge é propenso a viés, sensibilidade ao prompt e baixa consistência.
3. Estrutura Diagnóstica: O estudo fornece uma base diagnóstica para o campo, esclarecendo onde e como as métricas atuais falham — especificamente sua tendência de enfatizar a novidade estilística enquanto negligenciam a novidade conceitual.
4. Liberação de Recursos: Os autores liberaram os datasets curados e o código de avaliação para facilitar pesquisas futuras.

Significância e Alegações

O artigo conclui que o cenário atual da avaliação da criatividade é fragmentado e pouco confiável. Os achados enfatizam a necessidade urgente de frameworks de avaliação mais robustos e generalizáveis que se alinhem melhor com os julgamentos humanos de criatividade.

Os autores alegam modestamente que seu trabalho não propõe uma nova métrica perfeita, mas sim fornece uma base diagnóstica essencial. Ao revelar as lacunas específicas nos métodos existentes, o estudo visa:

• Guiar praticantes para interpretar as métricas existentes com a cautela apropriada.
• Informar pesquisadores sobre as lacunas conceituais específicas que devem ser abordadas em trabalhos futuros.
• Destacar a necessidade de ir além de padrões superficiais (lexicais ou sintáticos) em direção a métodos que possam capturar a novidade ao nível de ideia, potencialmente aproveitando avanços futuros como Modelos de Conceito Grande (LCM) e arquiteturas de cadeia de pensamento contínua.

Em última análise, o artigo argumenta que avançar na avaliação da criatividade é essencial para fechar a lacuna entre o desempenho criativo humano e o de máquina.