Can Vision Language Models Assess Graphic Design Aesthetics? A Benchmark, Evaluation, and Dataset Perspective

Este trabalho apresenta o AesEval-Bench, um benchmark abrangente e um conjunto de dados para avaliar e aprimorar a capacidade de Modelos de Visão e Linguagem (VLMs) em julgar a estética do design gráfico, superando as limitações de estudos anteriores através de uma avaliação sistemática e de um framework de treinamento inovador.

O essencial

Imagine que você tem um amigo muito inteligente, um robô chamado "Visão-Linguagem" (ou VLM, na sigla em inglês), que consegue ver fotos e ler textos ao mesmo tempo. Ele é ótimo em dizer "isso é um cachorro" ou "o céu está azul". Mas a grande pergunta que os autores deste trabalho fizeram foi: será que esse robô consegue entender o que é "bonito" ou "bem feito" em um design gráfico?

Será que ele consegue dizer se um cartaz de festa está desorganizado, se as cores combinam ou se a letra é difícil de ler, da mesma forma que um designer humano faria?

A resposta curta, segundo o estudo, é: ainda não tão bem quanto nós. Mas eles criaram um plano para ajudar o robô a aprender.

Aqui está a explicação do trabalho, dividida em partes simples:

1. O Problema: O Robô é "Cego" para Beleza

Até agora, os testes para ver se esses robôs entendem arte e design eram meio "meia-boca". Era como testar se um chef de cozinha sabe cozinhar apenas pedindo para ele identificar se a comida está quente ou fria, sem perguntar se o sabor está bom.

• Os testes antigos focavam apenas em fotos comuns (como uma paisagem bonita).
• Eles não conseguiam apontar onde estava o erro (ex: "o texto está muito pequeno aqui").
• Não havia uma comparação justa entre os diferentes robôs disponíveis.

2. A Solução: O "Exame de Design" (AesEval-Bench)

Os autores criaram um novo "exame" chamado AesEval-Bench. Pense nele como uma prova de faculdade muito rigorosa para esses robôs.

Para passar na prova, o robô precisa analisar o design em 4 grandes áreas (como se fossem 4 disciplinas):

1. Tipografia (Fontes): A letra está legível? A hierarquia faz sentido (títulos maiores que subtítulos)?
2. Layout (Organização): Tudo está alinhado? O espaço em branco está bem usado?
3. Cores: As cores combinam? O contraste é bom?
4. Gráficos: As imagens têm qualidade? Fazem sentido com o tema?

Dentro dessas áreas, existem 12 critérios específicos (como "equilíbrio", "contraste", "legibilidade").

O exame tem 3 tipos de perguntas de dificuldade crescente:

• Nível 1 (Julgamento): "Este cartaz é bonito ou feio?" (Sim/Não).
• Nível 2 (Seleção): "Qual destas 4 partes do cartaz está com defeito?" (O robô precisa apontar a área errada).
• Nível 3 (Localização Precisa): "Desenhe um quadrado exatamente em volta do erro." (O robô precisa dar as coordenadas exatas do problema).

3. O Resultado: O Robô ainda está na Escola Primária

Eles colocaram os robôs mais famosos do mundo (como GPT-4, GPT-5, Qwen, etc.) para fazer essa prova.

• O Veredito: Os robôs são bons, mas ainda cometem muitos erros. Eles conseguem dizer que algo está "feio", mas muitas vezes não sabem por que ou onde exatamente está o problema.
• A Surpresa: Robôs que têm "raciocínio avançado" (aqueles que pensam muito antes de responder) não foram muito melhores que os normais. Isso mostra que, para design, apenas "pensar" não basta; é preciso entender as regras visuais específicas.
• O Tamanho Importa: Geralmente, os robôs maiores (com mais "cérebro") fazem um pouco melhor, mas ainda não são perfeitos.

4. O Treinamento: A "Escola de Design" para Robôs

Sabendo que os robôs estavam com dificuldade, os autores decidiram criar um curso intensivo para eles. Eles construíram um conjunto de dados de treinamento (um "livro didático" gigante).

Como eles ensinaram?

1. Etiquetagem Guiada por Humanos: Eles usaram um pouco de ajuda humana para ensinar o robô a identificar os erros, criando milhares de exemplos de "certo" e "errado".
2. Raciocínio Fundamentado (O Segredo): Em vez de apenas dar a resposta certa, eles ensinaram o robô a explicar o porquê, conectando o conceito abstrato (ex: "falta de hierarquia") a uma parte específica da imagem (ex: "veja que o título está do mesmo tamanho que o texto pequeno aqui [coordenadas]").

O Resultado do Treinamento:
Depois de estudar esse material, o robô (um modelo de 7 bilhões de parâmetros) ficou tão bom que superou robôs gigantes de 72 bilhões de parâmetros e até modelos proprietários caríssimos em algumas tarefas. Ele aprendeu a não apenas "adivinhar", mas a "diagnosticar" o design.

Resumo em uma Analogia

Imagine que você tem um aluno muito inteligente que sabe tudo sobre a história da arte, mas nunca viu um cartaz de propaganda na vida.

• Antes: Você mostra um cartaz e pergunta "está bonito?". Ele diz "acho que sim", mas não sabe explicar se a fonte está ruim ou se as cores gritam.
• O Estudo: Você cria um manual com exemplos de erros comuns e ensina o aluno a apontar com o dedo exatamente onde está o erro e explicar a regra que foi quebrada.
• Depois: O aluno agora consegue revisar o trabalho de um designer júnior, apontando: "Aqui a letra está muito pequena para ser lida" ou "Essa cor de fundo esconde o texto".

Conclusão:
Este trabalho é um marco porque criou a primeira ferramenta completa para medir e ensinar inteligência artificial a entender a beleza e a funcionalidade do design gráfico. Eles provaram que, com o treinamento certo, as máquinas podem se tornar ótimos assistentes para designers humanos, ajudando a criar coisas mais bonitas e funcionais.

Resumo técnico

1. Problema e Motivação

A avaliação da qualidade estética em design gráfico é fundamental para a comunicação visual, mas permanece subexplorada no contexto dos Modelos de Visão e Linguagem (VLMs). Apesar dos avanços dos VLMs em tarefas tradicionais (como legendagem de imagens e VQA), sua capacidade de julgar a estética do design — que depende de princípios complexos como tipografia, hierarquia, contraste e equilíbrio — é limitada.

O trabalho identifica três lacunas principais na pesquisa existente:

1. Benchmarks Insuficientes: Os benchmarks atuais são restritos a princípios estreitos, cobrem apenas um subconjunto de dimensões de design ou utilizam protocolos de avaliação qualitativos difíceis de quantificar (ex: respostas de texto livre ou pontuações holísticas sem localização de erros).
2. Falta de Comparação Sistemática: Não há uma avaliação abrangente comparando modelos proprietários, de código aberto e modelos aumentados por raciocínio no contexto de estética de design.
3. Falta de Dados de Treinamento: A ausência de conjuntos de dados específicos para fine-tuning impede a melhoria do desempenho dos VLMs nesta domínio.

2. Metodologia

Os autores propõem uma abordagem de três etapas para abordar essas limitações: a criação de um benchmark, a avaliação sistemática de modelos existentes e a construção de um conjunto de dados de treinamento especializado.

A. AesEval-Bench (Benchmark)

Foi introduzido o AesEval-Bench, um benchmark abrangente para avaliar a qualidade estética de designs gráficos.

• Estrutura: O benchmark cobre 4 dimensões principais (Tipografia, Layout, Cores e Gráficos) e 12 indicadores específicos (ex: hierarquia, legibilidade, harmonia, alinhamento, equilíbrio, etc.).
• Tarefas Quantificáveis: Para cada indicador, definem-se três tarefas desafiadoras:
  1. Julgamento Estético: Decisão binária (Sim/Não) sobre se o design é esteticamente agradável.
  2. Seleção de Região: Escolher, entre quatro regiões candidatas, onde o elemento problemático se encontra.
  3. Localização Precisa: Prever as coordenadas exatas da bounding box (bbox) da área com problemas estéticos.
• Construção de Dados: Os dados foram derivados do conjunto Crello. Para criar exemplos com falhas, os autores aplicaram perturbações controladas no metadado JSON dos designs (mudando posições, fontes, cores ou qualidade de imagem). Anotadores humanos validaram se essas perturbações geraram falhas estéticas reais.

B. Avaliação de VLMs

Os autores avaliaram sistematicamente 10 VLMs, incluindo:

• Modelos de código aberto (LLaVA, Qwen-VL, Intern-VL).
• Modelos proprietários (GPT-4o, GPT-5, Gemini-2.5-Pro).
• Modelos aumentados por raciocínio (GPT-o1, GPT-o3).
• Modelos especialistas em estética de imagem (AesExpert, UNIAA-LLaVA).
• Métricas: Precisão (para julgamento e seleção) e IoU (Intersection over Union) para localização de caixas.

C. Construção do Conjunto de Treinamento (AesEval-Train)

Para superar a escassez de dados, foi criado um conjunto de treinamento de 30k pares de perguntas e respostas, utilizando duas técnicas inovadoras:

1. Rotulagem Guiada por Humanos com VLM (Human-guided VLM Labeling): Usa um pequeno conjunto de anotações humanas como exemplos in-context para instruir VLMs poderosos a gerar rótulos de tarefa em escala, reduzindo custos manuais mantendo a alinhamento humano.
2. Raciocínio Fundamentado em Indicadores (Indicator-Grounded Reasoning): Em vez de raciocínio genérico, o modelo é treinado para vincular indicadores abstratos (ex: "hierarquia") a regiões concretas do design. O caminho de raciocínio inclui coordenadas de bounding boxes e explicações textuais sobre a relevância daquela região para o indicador.

3. Resultados Principais

Desempenho dos Modelos (Benchmark)

• Gaps de Desempenho: Existem lacunas claras entre os VLMs atuais e as demandas sutis da avaliação estética.
• Modelos Proprietários vs. Open-Source: Modelos proprietários (especialmente a série GPT-5) superaram consistentemente os modelos de código aberto. Entre os open-source, variantes maiores (72B) geralmente superaram as menores (7B).
• Raciocínio Genérico Ineficaz: Surpreendentemente, modelos aumentados por raciocínio (como GPT-o1) não mostraram vantagem clara sobre seus pares não aumentados. Isso sugere que o raciocínio genérico não é suficiente para entender princípios de design sem conhecimento específico do domínio.
• Dificuldade de Localização: A tarefa de "Localização Precisa" (prever bboxes) foi a mais difícil, com o melhor modelo (GPT-5) atingindo um IoU médio abaixo de 0.20, indicando grande dificuldade em localizar problemas visuais exatos.

Eficácia do Fine-Tuning (AesEval-Train)

O fine-tuning do modelo Qwen2.5-VL-7B com o novo conjunto de dados produziu ganhos significativos:

• Julgamento Estético: Aumento de 5.97% na precisão, superando a variante maior do Qwen (72B) sem fine-tuning.
• Seleção de Região: Aumento de 2.70%.
• Localização Precisa: Aumento massivo de 17.17% no IoU, superando até o GPT-5 nesta tarefa específica.
• Ablação: A remoção do "Raciocínio Fundamentado" resultou em desempenho inferior, provando que vincular indicadores abstratos a regiões visuais concretas é crucial para o aprendizado.

4. Contribuições Chave

1. AesEval-Bench: O primeiro benchmark sistemático para avaliação de qualidade estética em design gráfico, cobrindo 4 dimensões, 12 indicadores e 3 tarefas quantificáveis.
2. Avaliação Abrangente: A primeira comparação sistemática de VLMs (proprietários, open-source e com raciocínio) no domínio de design, revelando que o raciocínio genérico não substitui o conhecimento de domínio.
3. Método de Treinamento Inovador: Proposta de um pipeline de construção de dados que combina rotulagem guiada por humanos com VLMs e raciocínio fundamentado em indicadores, demonstrando que dados de alta qualidade e específicos de domínio superam modelos maiores e mais genéricos.

5. Significado e Impacto

Este trabalho estabelece um novo marco para a interação entre IA e design gráfico.

• Para Designers: Oferece ferramentas para feedback automático e iterativo, identificando não apenas se um design é ruim, mas onde e por que (ex: "o contraste nesta região viola o indicador de legibilidade").
• Para IA Generativa: Fornece a base para loops de feedback automático que podem refinar designs iterativamente sem intervenção humana extensa.
• Para a Comunidade de Pesquisa: Demonstra que, para tarefas subjetivas e baseadas em princípios (como estética), a especialização do modelo através de dados fundamentados (grounded data) é mais eficaz do que apenas aumentar a escala do modelo ou adicionar raciocínio genérico.

O código e o conjunto de dados serão lançados publicamente, permitindo que a comunidade avance no desenvolvimento de assistentes de design baseados em IA.