How LLMs See Creativity: Zero-Shot Scoring of Visual Creativity with Interpretable Reasoning

Resumo Técnico: Como os LLMs Veem a Criatividade: Pontuação Zero-Shot de Criatividade Visual com Raciocínio Interpretável

Declaração do Problema
Avaliar a originalidade de imagens visuais continua sendo um gargalo significativo na pesquisa de criatividade. Embora a pontuação automatizada usando Grandes Modelos de Linguagem (LLMs) tenha demonstrado eficácia em domínios verbais (ex: a Tarefa de Usos Alternativos), sua aplicação à criatividade visual é menos estabelecida. As abordagens existentes no domínio figural frequentemente dependem de treinamento específico para a tarefa ou ajuste fino (fine-tuning) em grandes conjuntos de dados de exemplos avaliados por humanos, o que limita sua generalização. Além disso, há uma falta de compreensão sobre os processos latentes pelos quais os modelos de IA chegam às suas classificações. A questão central abordada é se LLMs multimodais de uso geral podem servir como juízes "zero-shot" de criatividade visual — sem ajuste fino, exemplares ou treinamento adicional — e se suas cadeias de raciocínio explícitas oferecem uma janela interpretável para sua lógica de avaliação.

Metodologia
A pesquisa empregou um design de dois estudos para avaliar seis LLMs multimodais (Gemini 3 Flash, Gemma 4 31B IT, GPT-5.4 Mini, GLM-5v Turbo, Kimi K2.5 e Qwen 3.6 Plus) em dois conjuntos de dados de criatividade visual distintos:

1. Imagens Geradas por IA: 992 imagens criadas pelo DALL-E 3 a partir de comandos de palavras escritos por humanos, avaliadas por especialistas humanos em uma escala de 1 a 5.
2. Esboços Desenhados à Mão: 1.500 esboços da plataforma AuDrA, onde participantes estenderam formas iniciais incompletas. Estes foram avaliados usando um modelo de Teoria de Resposta ao Juiz (JRT) para derivar pontuações de criatividade contínuas.

Estudo 1: Alinhamento Zero-Shot
Todos os seis modelos foram testados em um cenário zero-shot, recebendo apenas uma imagem e um comando de texto instruindo-os a avaliar a criatividade em uma escala de 1 a 5. O estudo mediu:

• Alinhamento: Correlações de Pearson entre as classificações dos modelos e os escores de critério humanos.
• Controle de Complexidade: Correlações parciais controlando a "densidade de bordas" (um proxy para complexidade visual) para garantir que os modelos não estivessem meramente recompensando a elaboração.
• Análise de Viés: Exame das distribuições de classificação para identificar vieses de leniência ou severidade em relação aos avaliadores humanos.

Estudo 2: Análise da Cadeia de Raciocínio
Três modelos capazes de raciocínio (GLM-5v Turbo, Kimi K2.5 e Qwen 3.6 Plus) foram reavaliados com o raciocínio habilitado. O estudo analisou as "cadeias de pensamento" explícitas produzidas antes da classificação final:

• Validação da Cadeia: Um LLM separado, apenas de texto, tentou prever a classificação final baseando-se apenas na cadeia de raciocínio (com os dígitos numéricos removidos) para verificar se a cadeia continha o sinal de avaliação.
• Codificação de Processo: As cadeias de raciocínio foram decompostas em sentenças e classificadas em quatro dimensões de avaliação: Percepção (descrevendo o conteúdo), Originalidade (julgando a novidade), Qualidade (julgando estética/composição) e Justificativa (ancorando a classificação).
• Precisão Perceptual: A capacidade dos modelos de identificar o objeto representado nos esboços foi comparada com rótulos de consenso humano para determinar se erros de reconhecimento de objetos impactaram a criatividade.

Resultos Principais

• Viabilidade Zero-Shot: Todos os seis modelos mostraram alinhamento substancial com as classificações humanas em ambos os conjuntos de dados sem ajuste fino. As correlações variaram de $r = ,57$ a $,68$ para imagens geradas por IA e de $r = ,29$ a $,68$ para esboços desenhados à mão. O Gemini 3 Flash demonstrou o alinhamento mais forte em ambos os conjuntos de dados ($r = ,68$).
• Além da Complexidade Visual: Correlações parciais controlando a densidade de bordas permaneceram robustas, indicando que os modelos detectam características criativas de nível superior em vez de simplesmente recompensar a elaboração visual.
• Vieses Sistemáticos: Os modelos exibiram um "viés de leniência" para imagens geradas por IA polidas (classificando-as mais alto que os humanos) e um "viés de severidade" para esboços esparsos (classificando-os mais baixo), sugerindo uma preferência por resultados que se assemelham à sua própria distribuição de treinamento.
• Impacto do Raciocínio: O engajamento de cadeias de raciocínio não melhorou o alinhamento com as classificações humanas em comparação com a linha de base sem raciocínio; em alguns casos (ex: Qwen 3.6 Plus), o raciocínio reduziu ligeiramente o alinhamento.
• Interpretabilidade: As cadeias de raciocínio foram altamente interpretáveis e continham o sinal de avaliação que impulsionava as classificações (um modelo de texto puro pôde prever a classificação a partir da cadeia com $r = ,82$). As cadeias seguiram uma estrutura consistente: Percepção $\rightarrow$ Avaliação de Originalidade/Qualidade $\rightarrow$ Justificativa.
• Drivers de Divergência: A proporção de sentenças de "Originalidade" em uma cadeia correlacionou-se com classificações mais baixas do modelo em relação aos humanos, enquanto sentenças de "Qualidade" correlacionaram-se com classificações mais altas.
• Independência Perceptual: A identificação correta do objeto não foi um pré-requisito para um alto alinhamento. Desenhos identificados incorretamente ainda mostraram forte correlação modelo-humano ($r = ,43$ vs. $r = ,49$ para correspondências corretas). Notavelmente, o maior alinhamento ocorreu para "Desenhos Sem Consenso" (imagens que os humanos não conseguiram categorizar), sugerindo que modelos e humanos convergem em características estruturais e composicionais quando a identidade do objeto é ambígua.

Significância e Alegações
O artigo afirma fornecer a primeira evidência de que LLMs multimodais de uso geral podem igualar o julgamento humano de criatividade visual em um cenário zero-shot, estendendo a avaliação automatizada além de tarefas verbais para o domínio figural sem treinamento específico para a tarefa.

Principais contribuições incluem:

1. Validação da Pontuação Zero-Shot: Demonstrar que a avaliação baseada em prompts é suficiente para a avaliação da criatividade visual através de diversos tipos de estímulos.
2. Interpretabilidade da Avaliação: Revelar que os LLMs avaliam a criatividade através de um processo de raciocínio de quatro estágios consistente (percepção, originalidade, qualidade, justificativa), oferecendo uma visão transparente dos mecanismos de avaliação da IA.
3. Desacoplamento de Reconhecimento e Avaliação: Estabelecer que a pontuação de criatividade por LLMs não é redutível ao reconhecimento de objetos; os modelos podem avaliar o valor criativo mesmo quando falham em identificar o sujeito específico de um desenho.
4. Detecção de Viés: Destacar vieses específicos (leniência para conteúdo gerado por IA, severidade para esboços) que devem ser abordados em futuros fluxos de pontuação automatizada.

Os autores concluem que, embora os LLMs multimodais ofereçam uma ferramenta promissora para a avaliação escalável da criatividade visual, seus rastros de raciocínio são mais valiosos para auditar como eles avaliam, em vez de melhorar a precisão bruta das classificações em si. Os autores alertam contra a aplicação desses métodos zero-shot a tarefas não validadas e enfatizam a necessidade de calibração cuidadosa para mitigar os vieses inerentes. Um aplicativo web de código aberto implementando este pipeline é fornecido para facilitar pesquisas futuras.