Resumo Técnico: TASTE – Um Conjunto de Dados de Preferências Multidimensionais Anotado por Designers para Design Gráfico Gerado por IA

Declaração do Problema

Os modelos atuais de texto para imagem (T2I) estão sendo cada vez mais implantados para design gráfico em escala de produção, no entanto, sua otimização e avaliação dependem fortemente de conjuntos de dados de preferência derivados da geração de imagens fotorealistas (por exemplo, HPSv2, Pick-a-Pic, ImageReward). Esses conjuntos de dados geralmente empregam um único rótulo "qual é melhor" por comparação, o que colapsa eixos distintos de design, como tipografia, hierarquia visual, harmonia de cores e fidelidade de layout. Isso cria um desalinhamento onde os modelos são recompensados pela plausibilidade fotorealista em vez de restrições específicas de design. Além disso, recursos existentes específicos de design (por exemplo, LICA, Graphic-Design-Bench) focam em metadados estruturais ou conclusão de tarefas, mas carecem de sinais de preferência humana. Existe uma lacuna crítica em dados de preferência multidimensionais e anotados por designers que capturem os processos cognitivos distintos envolvidos na avaliação de design gráfico.

Metodologia

O Conjunto de Dados TASTE

Os autores introduzem o TASTE (Tipografia, Estética, Espacial, Tom, etc.), um conjunto de dados projetado para capturar preferências sub-dimensionais.

• Geradores: Quatro modelos T2I atuais (FLUX.2 max, GPT Image 1.5, Nano Banana 2, Seedream 5.0 Lite) avaliados sob códigos secretos cegos.
• Anotadores: Duas coortes disjuntas de 5 designers profissionais cada (10 no total), recrutadas via Contra.
• Estrutura:
  • Duas Coortes: Uma coorte de Estética (focando em humor, tom, hierarquia, cor, artesanato tipográfico) e uma coorte de Descrições (focando em fidelidade ao prompt: precisão de cor, precisão espacial, renderização de texto).
  • Critérios: 9 sub-dimensões distintas.
  • Escala: 80 prompts por critério $\times$ 5 avaliadores $\times$ 4 modelos = 1.600 classificações por critério.
  • Formato: Os avaliadores realizam 6 comparações pareadas por prompt, agregadas em classificações estritas de 4 vias. Além disso, as coortes de preferência geral incluem bandeiras de alucinação (Não, Menor, Maior).

Framework de Validação de Sinal

Antes de tratar os dados como material de treinamento, os autores propõem um framework diagnóstico agnóstico ao critério para verificar a presença de um sinal de preferência aprendível, distinguindo-o de ruído aleatório ou desacordo faccional. O framework testa contra distribuições nulas exatas iid-uniformes em $(p=4, R=5)$ usando três estatísticas:

1. $\tau$ de Kendall: Mede a correlação de rank entre pares de avaliadores.
2. Probabilidade de Maioria ($p_{max}$): Mede a frequência de vencedores decisivos em comparações pareadas.
3. Indicador de Ciclo de Condorcet: Detecta intransitividade triádica ($A \succ B, B \succ C, C \succ A$) para distinguir entre ruído de ordenação compartilhada e desacordo faccional.

Benchmarking e Modelagem

• Benchmark de Linha de Base: Os autores avaliaram 9 sistemas pré-treinados (6 Modelos de Visão e Linguagem de peso aberto e 3 avaliadores dedicados T2I como HPSv2.1) contra a maioria dos 5 designers.
• Treinamento de Modelo Personalizado: Uma pequena cabeça de preferência modular foi treinada no TASTE. Os autores exploraram escolhas arquitetônicas, comparando especificamente uma cabeça de pontuação escalar padrão (pontuando imagens independentemente) contra uma cabeça de diferença pareada que computa explicitamente características da diferença entre duas imagens ($g(t, i_a, i_b)$).

Resultados Chave

1. Qualidade do Sinal e Posicionamento de Domínio

• Presença de Sinal: Todo critério do TASTE rejeita a hipótese nula de avaliador aleatório em pelo menos duas das três estatísticas de sinal ($p < 10^{-10}$).
• Comparação Transversal de Domínios: O acordo de designers sobre design gráfico cai entre domínios de gosto subjetivo (Sushi, MovieLens) e qualidade de imagem estilo foto (HPSv2).
  • O Kendall's $\tau$ mediano para o TASTE varia de +0,067 (Harmonia de Cores) a +0,200 (Precisão Espacial).
  • Isso é menor que o top-4 do HPSv2-test (0,267), mas maior que o nulo iid-uniforme (0).
• Estrutura de Acordo: As taxas de ciclo estão no ou abaixo do nulo iid-uniforme, excluindo o "desacordo faccional" (onde avaliadores formam grupos incompatíveis). Os dados suportam um modelo de uma ordem de preferência compartilhada fraca com ruído específico do avaliador.
• Heterogeneidade do Sinal: A força do sinal varia significativamente. Critérios de fidelidade de descrição (Tipografia, Precisão Espacial) mostram aproximadamente o dobro do sinal de critérios estéticos (Harmonia de Cores).

2. Desempenho Pronto para Uso (Off-the-Shelf)

• Baixo Acordo: Nenhum sistema pré-treinado (VLMs ou avaliadores dedicados) excede 0,55 de acordo macro com a maioria dos 5 designers.
• Limites de Escala: Dentro da família VLM, escalar parâmetros (por exemplo, Qwen3-VL de 4B para 32B) não melhora a precisão. Em vez disso, desloca o ponto de operação ao longo de uma fronteira viés-versus-percepção: modelos maiores exibem menos viés de posição, mas também menor sensibilidade ao conteúdo quando se comprometem, resultando em precisão líquida plana.
• Especialização: Avaliadores estéticos dedicados (por exemplo, LAION-Aesthetic-V2) falham significativamente em tarefas de fidelidade de texto (caindo para 0,411 em tipografia), enquanto o HPSv2.1 permanece a linha de base mais forte em 0,543.

3. Resultados de Treinamento de Modelo

• Análise de Teto: O limite superior teórico para um modelo imitar o painel é a precisão Leave-One-Out (LOO) de um único avaliador contra a maioria dos outros quatro, calculada em 0,741.
• Desempenho: Uma cabeça de diferença pareada personalizada treinada no TASTE alcançou 0,611 de precisão geral.
  • Isso fecha aproximadamente metade da lacuna entre a linha de base aleatória (0,5) e o teto de avaliador único (0,741).
  • A melhoria é impulsionada quase inteiramente por melhor desempenho em divisões 3-2 ambíguas (0,558 $\to$ 0,602), onde o modelo aprende a tomar decisões confiantes em casos onde avaliadores humanos discordam.
• Arquitetura: A arquitetura de diferença pareada (modelando explicitamente $i_a - i_b$) superou cabeças escalares padrão, sugerindo que atenção conjunta às diferenças de imagem é necessária para esta tarefa.

Significado e Alegações

O artigo posiciona o TASTE não meramente como um benchmark, mas como uma camada de decisão para a pilha de geração de design gráfico. Seu significado reside em três áreas:

1. Completando a Pilha: O TASTE preenche a camada de "preferência humana" faltante entre dados estruturais (LICA) e benchmarks de tarefas (Graphic-Design-Bench), permitindo a avaliação do que os designers preferem em vez de apenas o que os modelos podem fazer.
2. Padrão Metodológico: Os autores argumentam que a verificação de sinal de três estatísticas proposta (Kendall's $\tau$, $p_{max}$, Ciclos de Condorcet) deve se tornar prática padrão para qualquer novo conjunto de dados de preferência. Responde à pergunta prévia de se existe um sinal aprendível antes de investir no treinamento de modelos.
3. Habilitando Alinhamento Controlável: A estrutura multidimensional permite classificação específica por critério e alinhamento controlável. Os praticantes agora podem treinar modelos de recompensa ou objetivos de alinhamento que otimizam dimensões específicas (por exemplo, priorizando fidelidade tipográfica sobre harmonia de cores) em vez de depender de uma única pontuação agregada.

Os autores concluem que, embora os sistemas prontos para uso atuais falhem em capturar a preferência de designers, o conjunto de dados fornece uma fonte verificada de sinal para o treinamento de modelos de preferência especializados e alinhados a designers, com uma margem substancial restante para alcançar o teto de imitação humana.