DesignSense: A Human Preference Dataset and Reward Modeling Framework for Graphic Layout Generation

O artigo apresenta o DesignSense, um novo framework que inclui o conjunto de dados de preferências humanas DesignSense-10k e um modelo de recompensa especializado, demonstrando melhorias significativas na avaliação e geração de layouts gráficos ao superar modelos existentes e otimizar o processo de treinamento por reforço.

O essencial

Imagine que você é um designer gráfico tentando criar um pôster incrível para um festival de música. Você tem as fotos, o texto e as cores, mas onde colocar cada coisa é o que faz a diferença entre um pôster que as pessoas amam e um que elas ignoram.

Até hoje, os computadores (Inteligência Artificial) eram ótimos em criar imagens bonitas, mas péssimos em entender a "arte de organizar" essas imagens. Eles sabiam desenhar um rosto, mas não sabiam se o rosto deveria ficar no canto ou no centro, ou se o texto estava cobrindo a foto.

É aqui que entra o DesignSense, o projeto apresentado neste artigo. Vamos explicar como eles resolveram isso usando analogias do dia a dia.

1. O Problema: O Chef que não entende de "Arrumação"

Imagine que você tem um chef de cozinha muito talentoso (a IA atual) que sabe fazer o melhor bolo do mundo. Mas, quando você pede para ele arrumar a mesa para o jantar, ele coloca o prato de sobremesa em cima do prato principal e a garrafa de vinho de cabeça para baixo.

O problema é que os modelos de IA existentes foram treinados com milhões de fotos de paisagens e rostos (como se o chef só soubesse cozinhar, mas nunca tivesse arrumado uma mesa). Eles não entendem que, em design gráfico, a posição das coisas é tão importante quanto as coisas em si. Se você mover um botão de "Comprar" um pouco para a esquerda, o design pode ficar perfeito ou um desastre.

2. A Solução: Criando um "Ginásio de Treino" Especializado (O Dataset)

Para treinar um novo "juiz" de design, os pesquisadores do Adobe precisavam de um manual de instruções feito por humanos. Mas criar esse manual manualmente seria impossível (seria como pedir para 10.000 pessoas organizarem 10.000 mesas diferentes).

Então, eles criaram um processo de 5 etapas (o "Pipeline") que funciona como uma fábrica de designs:

1. Agrupamento (O Organizador): Em vez de tratar cada letra e cada foto separadamente, a IA agrupa coisas que vão juntas (como "Título + Subtítulo" ou "Data + Local"). É como agrupar os talheres antes de guardar na gaveta.
2. Previsão (O Criativo): A IA gera várias versões do mesmo pôster, mudando o tamanho e a posição das coisas, como se estivesse testando diferentes arranjos de móveis na sala.
3. Filtragem (O Fiscal de Qualidade): A IA joga fora os designs que são claramente ruins (ex: texto sobreposto, coisas fora da página).
4. Agrupamento por Diversidade (O Curador): Eles garantem que os designs restantes sejam diferentes uns dos outros, para não treinar o juiz com a mesma coisa repetida.
5. Refinamento (O Polidor): Uma IA superpoderosa ajusta os detalhes finos, alinhando bordas e espaçamentos, garantindo que os designs estejam "prontos para a galeria".

O resultado? Um banco de dados gigante chamado DesignSense-10k, com mais de 10.000 pares de designs comparados.

3. A Grande Diferença: O Juiz de 4 Estrelas

Aqui está a mágica. Quando pedimos para humanos escolherem o melhor design, eles nem sempre dizem "O da esquerda é melhor". Às vezes, os dois são ótimos, ou os dois são horríveis.

Os modelos antigos de IA só conseguiam dizer "Esquerda" ou "Direita" (como um jogo de "quem ganha"). O DesignSense ensinou a IA a entender 4 cenários:

1. Esquerda é melhor.
2. Direita é melhor.
3. Os dois são bons (ambos acertaram o estilo).
4. Os dois são ruins (ambos falharam feio).

Isso é como ter um juiz de culinária que não só escolhe o prato vencedor, mas também sabe dizer: "Ambos os chefs cozinharam bem" ou "Nenhum dos dois salvou o jantar".

4. O Resultado: O "Juiz" que Entende de Design

Eles treinaram um modelo chamado DesignSense com esses dados. Quando colocaram para competir contra os gigantes da tecnologia (como o GPT-4, GPT-5 e outros modelos famosos), o DesignSense venceu de lavada.

• A analogia: Imagine que os modelos antigos são como turistas que visitam Paris e acham que a Torre Eiffel é bonita. O DesignSense é como um arquiteto local que entende por que a Torre Eiffel é bonita e consegue julgar se uma nova construção combina com a cidade.
• O desempenho: O DesignSense foi 54% melhor do que os melhores modelos comerciais existentes na tarefa de julgar layouts.

5. Por que isso importa no mundo real?

Não é apenas sobre ter um modelo que julga bem. É sobre usar esse juiz para melhorar a criação.

• Treinamento: Quando a IA que cria os pôsteres (o "chef") usa o DesignSense como professor, ela aprende a fazer designs que os humanos realmente gostam. O sucesso aumentou em cerca de 3%.
• Escolha Inteligente: Se a IA gerar 10 opções de pôsteres, o DesignSense pode olhar para todas e escolher a melhor, como um editor de revista escolhendo a foto final. Isso melhorou a qualidade em 3,6%.

Resumo em uma frase

Os pesquisadores criaram um "treinador de elite" para IAs de design, ensinando-as a não apenas criar imagens bonitas, mas a organizar essas imagens de uma forma que faça sentido para o olho humano, superando todos os modelos atuais que tentavam adivinhar o gosto humano sem entender a lógica do design.

Resumo técnico

Resumo Técnico: DesignSense

1. O Problema

Os modelos de geração de layouts gráficos recentes demonstraram capacidades impressionantes, mas frequentemente falham em alinhar-se com o julgamento estético humano nuanceado.

• Falha de Generalização: Os conjuntos de dados e modelos de recompensa existentes (treinados para geração de imagem texto-para-imagem, como ImageReward ou HPS) não se generalizam para a avaliação de layouts.
• Divergência de Distribuição: A preferência por layouts depende de relações espaciais, equilíbrio composicional e organização hierárquica de elementos idênticos, ao contrário da geração de imagens fotorealistas onde o conteúdo visual varia drasticamente.
• Ausência de Dados: Não existia um conjunto de dados em grande escala que capturasse preferências humanas específicas para design de layouts, especialmente considerando ambiguidades estéticas (quando ambos os layouts são bons ou ambos são ruins).

2. Metodologia

A abordagem proposta consiste em três pilares principais: a criação do conjunto de dados DesignSense-10k, um pipeline de curadoria de dados de cinco estágios e o treinamento de um modelo de recompensa especializado.

A. Pipeline de Geração de Dados (5 Estágios)
Utilizando o conjunto de dados Crello como base, os autores desenvolveram um pipeline para gerar pares de comparação de alta qualidade com diferentes proporções de aspecto:

1. Agrupamento (Grouping): Uso do modelo GPT-4o para agrupar semanticamente elementos relacionados (ex: texto e sua imagem de placeholder) para reduzir a complexidade combinatorial e preservar a intenção de design.
2. Previsão (Prediction): Geração de layouts candidatos usando o modelo de síntese de layout AesthetiQ (re-treinado para operar em nível de grupos) sob diferentes proporções de aspecto (original, esticado 2x e invertido).
3. Filtragem e Clusterização: Remoção de previsões de baixa qualidade (sobreposições, vazamentos) usando um modelo intermediário (GPT-4o) e clusterização baseada em IoU (Interseção sobre União) para garantir diversidade nos pares selecionados.
4. Refinamento: Uso do modelo OpenAI o3 para ajustar posições de grupos, eliminar sobreposições sutis e melhorar o alinhamento, garantindo polimento estético antes da anotação humana.
5. Anotação Humana: Anotação de 10.235 pares com um esquema de 4 classes: "Esquerda", "Direita", "Ambos Bons" e "Ambos Ruins". Isso captura não apenas a preferência direcional, mas também a ambiguidade subjetiva.

B. Modelo DesignSense (O Julgador)

• Arquitetura: Um classificador baseado em Modelo de Linguagem Visual (VLM), construído sobre a base InternVL3-8B.
• Treinamento: O modelo é fine-tuned no conjunto DesignSense-10k.
• Aumento de Dados: Introdução de perturbações controladas (deslocamento de posição e escala aleatória) em 70% dos elementos para criar amostras negativas e ensinar o modelo a identificar defeitos de alinhamento e espaçamento.
• Objetivo: O modelo aprende a raciocinar sobre composição, equilíbrio e intenção de design através de linguagem natural, superando a simples similaridade visual.

3. Principais Contribuições

1. DesignSense-10k: O primeiro conjunto de dados em grande escala (10.235 pares) de preferências humanas anotadas para avaliação de qualidade de layouts, cobrindo diversas proporções de aspecto e arranjos espaciais.
2. Pipeline de Curadoria Inovador: Um processo de cinco etapas que gera pares de comparação viáveis e diversificados, resolvendo o desafio de criar variações significativas sem alterar o conteúdo semântico.
3. Modelo de Julgador Especializado: O DesignSense, um modelo de recompensa que supera significativamente modelos de base (open-source e proprietários) na tarefa de preferência de layout.
4. Validação de Impacto Prático: Demonstração de que o modelo de recompensa melhora diretamente a geração de layouts quando usado em treinamento por Reforço (RL) e em escalamento no tempo de inferência.

4. Resultados

Os experimentos compararam o DesignSense contra modelos open-source (ex: InternVL) e proprietários de ponta (ex: GPT-4o, GPT-5, Gemini 2.5-Pro).

• Desempenho de Classificação:
  • O DesignSense alcançou um Macro F1 de 0,456 e um Weighted F1 de 0,520.
  • Isso representa uma melhoria de 54,6% no Macro F1 em relação ao melhor baseline proprietário (GPT-5-fewshot-deepthink).
  • Modelos de ponta (frontier VLMs) falharam catastroficamente na tarefa de 4 classes, muitas vezes classificando erroneamente preferências claras como "ambos bons/ruins", enquanto o DesignSense manteve alta precisão tanto na escolha binária (73,2%) quanto na tarefa completa.
• Generalização:
  • O modelo manteve alta performance em dados fora da distribuição (PrismLayers) e ao julgar layouts gerados por outro modelo (LayoutNUWA), demonstrando que aprendeu princípios estéticos fundamentais e não apenas memorizou o conjunto de treinamento.
• Impacto na Geração (Downstream):
  • Treinamento com RL: Ao usar o DesignSense como juiz no treinamento do gerador AesthetiQ, a taxa de vitória (win rate) aumentou em aproximadamente 3%.
  • Escalamento no Tempo de Inferência: Gerar múltiplos candidatos e selecionar o melhor usando o DesignSense resultou em uma melhoria de 3,6% na qualidade percebida pelo humano.

5. Significância

O trabalho preenche uma lacuna crítica na interseção entre IA generativa e design gráfico. Ele demonstra que:

• Modelos gerais de visão e linguagem não são suficientes para tarefas de design que dependem de arranjo espacial e hierarquia visual.
• A criação de um conjunto de dados específico com anotações de ambiguidade ("ambos bons/ruins") é essencial para treinar modelos robustos.
• Modelos de recompensa especializados (Reward Models) são ferramentas práticas e eficazes para alinhar a geração automática de layouts com o gosto humano, oferecendo ganhos tangíveis tanto no treinamento quanto na fase de inferência.

Em suma, o DesignSense estabelece um novo padrão para a avaliação e melhoria de sistemas de geração de layouts gráficos, fornecendo a infraestrutura de dados e modelos necessária para avançar a área de design assistido por IA.