Resumo Técnico: Avaliação Automatizada da Criatividade de Modelos de Linguagem em Tarefas de Código Aberto

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado um progresso significativo em raciocínio e geração, seu potencial criativo permanece difícil de quantificar sistematicamente. Os frameworks de avaliação de criatividade existentes sofrem de três limitações primárias:

1. Acoplamento Específico à Tarefa: A maioria das métricas está estritamente ligada a domínios específicos (ex: codificação, matemática), incorporando pressupostos de domínio fortes que limitam a generalização.
2. Problemas de Escalabilidade: A dependência de conjuntos de respostas curados, rubricas manuais e anotação humana extensiva torna a avaliação subjetiva, intensiva em recursos e pouco escalável.
3. Falta de Métricas Sem Referência: Os métodos automatizados atuais frequentemente falham em distinguir entre diversidade conceitual genuína e variações superficiais de superfície (ex: paráfrase).

Consequentemente, o campo carece de um método padronizado, automatizado e agnóstico ao domínio para avaliar a criatividade de LLMs em diversas tarefas de código aberto.

Metodologia

Os autores propõem um framework totalmente automatizado e de domínio geral que desacopla o aparato de medição da própria tarefa criativa. O framework operacionaliza a criatividade baseando-se na distinção da ciência cognitiva entre pensamento divergente e convergente (Guilford, 1950).

1. Criatividade Divergente: Entropia Semântica (SE)

Para medir a amplitude e a novidade das ideias (pensamento divergente), os autores adaptam a Entropia Semântica, originalmente proposta para detecção de alucinações em QA de resposta única (Farquhar et al., 2024).

• Conceito: Em tarefas de código aberto, a massa de probabilidade distribuída através de ideias semanticamente distintas reflete a exploração de um modelo de caminhos de solução alternativos, em vez de erro.
• Implementação:
  • Para uma determinada consulta, o modelo amostra $n=10$ soluções candidatas.
  • Essas gerações são agrupadas com base na equivalência semântica usando entailment bidirecional.
  • A SE é calculada como a entropia da distribuição de probabilidade sobre essas classes semânticas: $H(x) = -\sum P(C_i|x) \log P(C_i|x)$.
  • Esta métrica opera no nível do significado, evitando a inflação por paráfrases superficiais que afetam métricas de diversidade de nível de palavra (ex: Distinct-n, Self-BLEU).

2. Criatividade Convergente: Juiz Multi-Agente Baseado em Recuperação

Para medir o cumprimento da tarefa, viabilidade e adequação ao contexto (pensamento convergente), os autores introduzem um novo framework de julgamento multi-agente baseado em recuperação.

• Motivação: Frameworks tradicionais de discussão multi-agente (ex: ChatEval) anexam históricos de discussão completos em cada turno, fazendo com que os custos de tokens cresçam de forma proibitiva para benchmarking em larga escala.
• Mecanismo:
  • Agentes especializados (Problema, Solução, Critério) analisam tarefas e registram insights como "fragmentos".
  • Em vez de reproduzir o histórico completo, os agentes incorporam fragmentos em um banco de dados vetorial.
  • Em cada turno, os agentes recuperam apenas os $k$ fragmentos anteriores mais relevantes via similaridade de cosseno.
  • Este design mantém a deliberação multi-agente enquanto reduz o uso de tokens em aproximadamente 63% em comparação ao ChatEval, permitindo uma avaliação escalável sem sacrificar a precisão.

3. Configuração Experimental

O framework foi validado através de três domínios qualitativamente distintos:

• MacGyver: Resolução de problemas físicos não convencionais (avaliando viabilidade, segurança, eficácia).
• HypoGen: Ideação de pesquisa científica (avaliando viabilidade, precisão científica, relevância).
• BookMIA: Escrita criativa (avaliando coerência, realismo, conclusão de enredo).

O protocolo de avaliação envolve um processo de dois estágios: amostragem de múltiplas continuações de próximo passo para calcular a SE (divergente), seguido de decodificação greedy para construir uma solução final para o juiz multi-agente (convergente).

Principais Resultados

Descobertas de Criatividade Divergente

• Validade: A Entropia Semântica mostra o maior acordo com julgamentos humanos de amplitude de ideia ($\kappa = 0.56$) comparado a métricas de similaridade de cosseno, Self-BLEU e Distinct-n.
• Correlações: A SE de nível de passo correlaciona-se positivamente com o número de clusters semânticos únicos e negativamente com a similaridade de cosseno pareada, confirmando que ela captura diversidade conceitual genuína.
• Comportamento de Escala: Contrariamente às métricas convergentes, a criatividade divergente não escala monotonicamente com o tamanho ou recência do modelo. Modelos maiores e mais recentes (ex: LLaMA 3.3, GPT-4o) frequentemente exibem SE estável ou até diminuída em comparação com modelos menores. Os autores sugerem que os paradigmas de treinamento atuais podem priorizar a correção da solução em detrimento da exploração criativa.

Descobertas de Criatividade Convergente

• Desempenho: O framework multi-agente baseado em recuperação atinge precisão comparável a anotadores humanos (ex: 84,7% vs. 82,7% para GPT-4o vs. Humano em MacGyver) sendo significativamente mais eficiente.
• Comportamento de Escala: A criatividade convergente (cumprimento da tarefa) escala com o tamanho do modelo, recência e inclusão de capacidades de raciocínio. Modelos como GPT-4o e LLA MA 3.1 70B superam consistentemente modelos menores ou mais antigos.

Relação Entre Dimensões

• Separabilidade Empírica: Existe uma correlação fraca entre a Entropia Semântica (divergente) e as métricas de criatividade convergente. Alta diversidade não leva inerentemente a um mau cumprimento da tarefa, nem alto cumprimento da tarefa garante alta diversidade.
• Interpretação: Isso sugere que "amplitude criativa" e "correção da tarefa" são dimensões distintas que podem ser otimizadas independentemente.

Significância e Alegações

O artigo afirma estabelecer um padrão reprodutível e generalizável para a avaliação automatizada da criatividade de LLMs. Suas principais contribuições são:

1. Uma Métrica Sem Referência: Introduzir a Entropia Semântica como uma medida robusta e agnóstica à tarefa de criatividade divergente que se alinha com julgamentos humanos de novidade e flexibilidade.
2. Avaliação Escalável: Desenvolver um framework multi-agente baseado em recuperação que reduz os custos computacionais em mais de 60% enquanto mantém alta fidelidade de avaliação, tornando o benchmarking em larga escala viável.
3. Visão sobre o Comportamento do Modelo: Fornecer evidência empírica de que os atuais paradigmas de treinamento de LLM otimizam o raciocínio estruturado e a correção (convergente), mas não necessariamente expandem a exploração criativa (divergente).

Os autores concluem que, ao desacoplar a medição da tarefa criativa, seu framework fornece uma base para estudar como escolhas arquitetônicas e de treinamento moldam o comportamento criativo, pavimentando o caminho para o benchmarking escalável e o desenvolvimento de uma "IA criativa".

Limitações

Os autores reconhecem que o framework depende de julgamentos baseados em LLM, que inerentemente carregam as interpretações subjetivas e o conhecimento prévio codificado nos modelos. Isso pode levar a soluções não convencionais serem incorretamente consideradas inviáveis. Adicionalmente, o overhead computacional de gerar e agrupar múltiplas saídas por tarefa permanece uma restrição para conjuntos de dados extremamente grandes.