Resumo Técnico: O Human Creativity Benchmark

Declaração do Problema

Os atuais frameworks de avaliação de IA em domínios criativos tratam o desacordo entre avaliadores como ruído a ser resolvido, frequentemente colapsando julgamentos profissionais diversos em uma única "verdade fundamental" ou pontuação de qualidade agregada. Os autores argumentam que essa abordagem é fundamentalmente falha para o trabalho criativo. Em contextos criativos profissionais, o desacordo muitas vezes reflete diferenças genuínas de gosto, direção estética e intenção criativa, em vez de erro de medição. Ao forçar a convergência, os benchmarks existentes obscurecem a distinção entre dimensões onde profissionais se alinham em melhores práticas compartilhadas (convergência) e dimensões onde a preferência individual varia legitimamente (divergência). Esse reducionismo corre o risco de produzir outputs de IA homogeneizados que falham em apoiar a pluralidade da prática criativa e as necessidades específicas de criativos em diferentes estágios de um fluxo de trabalho.

Metodologia

O artigo introduz o Human Creativity Benchmark (HCB), um conjunto de dados e framework projetado para operacionalizar a separação de convergência e divergência na avaliação criativa.

Coleta e Estrutura de Dados

• Participantes: 28 especialistas de domínio da Contra, uma rede de profissionais criativos independentes, abrangendo 13 países.
• Domínios: Cinco domínios criativos foram avaliados: Landing Pages, Aplicações Desktop, Imagens Publicitárias, Imagens de Marca e Vídeos de Produto.
• Fases do Fluxo de Trabalho: O benchmark espelha fluxos de trabalho criativos do mundo real através de três fases distintas:
  1. Ideação: Descoberta e exploração de direção criativa.
  2. Mockup: Atualização da direção escolhida em especificações coerentes.
  3. Refinamento: Ajustes direcionados para prontidão de produção e consistência.
• Modelos: 13 modelos generativos de fronteira foram avaliados, incluindo geradores de imagem (ex: GPT-Image-1.5, Flux-2-Pro), geradores de vídeo (ex: Veo3.1, Kling-v3.0) e modelos de geração de código (ex: Claude-Opus-4.6, GPT-5.3-Codex).
• Métricas de Avaliação: Cada output de modelo foi assessorado via três sinais complementares:
  1. Preferências Pareadas: Rankings forçados de outputs de modelos uns contra os outros, agregados via modelo de Bradley-Terry para produzir ratings ELO.
  2. Avaliações Escalares: Ratings em escala Likert (1–5) em três eixos específicos:
     • Aderência ao Prompt: Fidelidade ao prompt (menos subjetivo).
     • Usabilidade: Viabilidade funcional em um contexto profissional.
     • Apelo Visual: Interesse estético e polimento (mais subjetivo).
  3. Racionalidades Qualitativas: Explicações abertas para as escolhas, analisadas via codificação temática.

Abordagem Analítica

O estudo utiliza medidas estatísticas (Kendall's W para concordância, $\alpha$ de Krippendorff para confiabilidade, testes de Friedman para significância) para analisar como o acordo entre avaliadores muda através das fases e dimensões. A análise testa especificamente se os modelos performam consistentemente através do espectro de convergência-divergência e se os rankings dos modelos mudam quando avaliados por fase em vez de como um único agregado.

Principais Contribuições

1. O Human Creativity Benchmark (HCB): Um dataset público compreendendo 15.000 julgamentos profissionais, incluindo pares prompt-imagem, rankings pareados, avaliações escalares e racionalidades qualitativas através de cinco domínios e três fases de fluxo de trabalho.
2. Um Framework de Convergência-Divergência: Uma distinção teórica e operacional que separa a avaliação criativa em:
   • Convergência: Dimensões onde especialistas se alinham em critérios verificáveis (ex: correção técnica, hierarquia visual).
   • Divergência: Dimensões onde múltiplos julgamentos válidos existem baseados no gosto individual (ex: direção estética, risco conceitual).
3. Análise Empírica de Fluxos de Trabalho Criativos: Evidência demonstrando que os requisitos criativos não são estáticos; eles mudam significativamente da ideação para o refinamento, e que nenhum modelo único se destaca uniformemente em todas as fases ou domínios.

Resultados

• Separação de Padrões e Gosto: Os eixos de avaliação não são intercambiáveis. O acordo entre avaliadores é consistentemente mais alto em Aderência ao Prompt (critérios verificáveis) e mais baixo em Apelo Visual (orientado pelo gosto). A Usabilidade ocupa uma posição intermediária. Por exemplo, em Imagens Publicitárias, o acordo sobre Aderência ao Prompt permaneceu alto, enquanto o Apelo Visual variou amplamente com base na preferência individual.
• Requisitos Dependentes de Fase: Os critérios para um output "bom" mudam conforme o fluxo de trabalho progride.
  • Na Ideação, os avaliadores priorizam potencial generativo e direção estrutural.
  • No Mockup, o foco muda para aderência ao prompt, estrutura de grade e consistência de cores.
  • No Refinamento, o acordo atinge o pico conforme os critérios se estreitam para elementos de prontidão para produção, como tipografia e edições específicas.
• Sem Líder Universal: Nenhum modelo individual liderou todas as três fases em qualquer domínio. Por exemplo, em Desktop Apps, o Claude 4.6 liderou em Ideação e Mockup, enquanto o GPT 5.3 liderou em Refinamento. Em Vídeos de Produto, o Veo 3.1 liderou a Ideação, mas o Grok Imagine liderou o Refinamento.
• Perda de Sinal na Agregação: Colapsar esses sinais distintos em uma única métrica de qualidade descarta informações acionáveis. Um modelo pode ser altamente confiável em eixos convergentes (fidelidade ao prompt) mas ruim em eixos divergentes (variedade estética), ou vice-versa.

Significância e Alegações

O artigo alega que avaliar a IA criativa requer a preservação dos sinais de convergência e divergência. Argumenta-se que:

• Desacordo é Sinal, não Ruído: O desacordo profissional em domínios criativos é frequentemente uma característica, não um erro, refletindo a subjetividade inerente do gosto.
• Otimização Contextual: Desenvolvedores de modelos devem otimizar para confiabilidade em eixos convergentes (garantindo correção técnica) enquanto mantêm a direcionabilidade em eixos divergentes (permitindo variação criativa).
• Alinhamento de Fluxo de Trabalho: Ferramentas devem ser selecionadas com base na fase específica do processo criativo. Um modelo adequado para ideação pode não ser adequado para refinamento, e vice-versa.
• Prevenção da Homogeneização: Ao reconhecer a divergência, o campo pode evitar o "colapso de modo" (mode collapse), onde sistemas de IA convergem para uma média, preservando assim a pluralidade de vozes e estilos criativos.

Os autores concluem que o futuro da avaliação de IA criativa reside em ir além de rankings unidimensionais simples em direção a frameworks que reconheçam a natureza híbrida do trabalho criativo — equilibrando padrões objetivos com preferência subjetiva — e que suportem as necessidades dinâmicas dos criativos ao longo de seu fluxo de trabalho.