PortraitCraft: A Benchmark for Portrait Composition Understanding and Generation

Resumo Técnico: PortraitCraft

1. O Problema

A composição de retratos é um elemento central na estética visual e na comunicação, influenciando a qualidade percebida de imagens em fotografia, publicidade e geração de IA. No entanto, a pesquisa atual enfrenta limitações significativas:

• Foco em Avaliação Global: A maioria dos conjuntos de dados existentes (como AVA e AADB) foca em pontuações estéticas globais e genéricas, ignorando a estrutura específica dos retratos.
• Falta de Supervisão Estruturada: Não há benchmarks unificados que suportem simultaneamente a análise estruturada da composição (entendimento) e a geração controlada baseada em requisitos de composição explícitos.
• Complexidade dos Retratos: A qualidade de um retrato depende de múltiplos fatores inter-relacionados (pose corporal, expressão facial, contexto da cena, iluminação, hierarquia visual) que não podem ser capturados adequadamente por uma única pontuação global.
• Escassez de Dados de Alta Qualidade: Recursos públicos com anotações precisas, realizadas por especialistas e focadas especificamente em retratos, são limitados.

2. Metodologia

Os autores introduzem o PortraitCraft, um benchmark unificado construído sobre um conjunto de dados de alta qualidade e um framework de avaliação estruturado.

A. Construção do Conjunto de Dados (Dataset)

• Escala e Origem: O dataset contém aproximadamente 50.000 imagens de retratos reais curadas, extraídas da plataforma Unsplash.
• Filtragem Rigorosa: As imagens passaram por um processo de triagem multiestágio (modelos automáticos e verificação manual) para remover conteúdo gerado por IA, imagens de baixa resolução, problemas de exposição e garantir a privacidade e a estrutura visual adequada.
• Anotação Multi-nível: A supervisão é estruturada e inclui:
  • Pontuação Global de Composição: Uma nota geral de qualidade.
  • 13 Atributos de Composição: Anotações detalhadas em categorias como cor, estilo, qualidade técnica, iluminação, princípios de composição, organização espacial, apresentação do sujeito e estabilidade visual.
  • Textos Explicativos: Justificativas em texto para as anotações de atributos.
  • Pares de Perguntas e Respostas Visuais (VQA): Para testar o raciocínio fundamentado na imagem.
  • Descrições Estruturadas para Geração: Textos que especificam requisitos de composição (ex: posicionamento do sujeito, espaço negativo, camadas de profundidade) para guiar a geração de imagens.
• Validação por Especialistas: O processo de anotação envolveu designers profissionais e pesquisadores com experiência em estética visual, utilizando modelos de linguagem multimodal (MLLMs) para auxiliar na escalabilidade, seguido de revisão humana.

B. Tarefas do Benchmark
O PortraitCraft define duas tarefas complementares dentro de um único framework:

1. Track 1: Compreensão da Composição de Retratos

   • Objetivo: Avaliar se o modelo pode analisar a qualidade da composição de forma estruturada.
   • Subtarefas:
     • Previsão da pontuação global de composição.
     • Classificação de 13 atributos de composição em três níveis (Bom, Médio, Ruim).
     • Resposta a perguntas de múltipla escolha baseadas na imagem (VQA) com opções altamente distrativas.
   • Entrada: Uma imagem de retrato. Saída: Pontuação, rótulos de atributos e resposta à pergunta.

2. Track 2: Geração Consciente de Composição

   • Objetivo: Avaliar se o modelo pode gerar imagens de retrato que atendam a descrições textuais estruturadas de composição.
   • Diferencial: Diferente da síntese texto-para-imagem livre, esta tarefa exige que o modelo siga restrições explícitas de composição (ex: "sujeito à esquerda, fundo desfocado, iluminação lateral").
   • Entrada: Uma descrição textual estruturada. Saída: Uma imagem de retrato gerada.
   • Avaliação: Foca no alinhamento entre a imagem gerada e as especificações textuais de composição, e não apenas na realismo visual geral.

C. Protocolos de Avaliação

• Para a Compreensão (Track 1), são utilizadas métricas de correlação (SRCC, PLCC) para pontuações globais, precisão (Accuracy) para atributos e VQA.
• Para a Geração (Track 2), uma métrica interna analisa as propriedades estruturais da imagem gerada e as compara com as especificações do texto de entrada para calcular o alinhamento.

3. Principais Contribuições

1. Benchmark Unificado: O primeiro framework a integrar avaliação global, raciocínio de atributos de granularidade fina e geração controlada de retratos em um único conjunto de dados.
2. Dataset de Grande Escala: Um conjunto de dados de ~50.000 imagens reais com supervisão multi-nível (pontuações, 13 atributos, explicações, VQA e descrições estruturadas), superando datasets anteriores que eram genéricos ou focados apenas em pinturas.
3. Protocolos Padronizados: Definição clara de métricas e procedimentos de teste para permitir comparações reprodutíveis entre modelos multimodais.
4. Linha de Base (Baseline): Fornecimento de resultados de referência utilizando modelos como o Qwen3-VL-4B, demonstrando a viabilidade da tarefa e estabelecendo um ponto de partida para a comunidade.

4. Resultados

Os experimentos foram conduzidos utilizando o modelo Qwen3-VL-4B:

• Track 1 (Compreensão): O modelo ajustado (fine-tuned) superou consistentemente o desempenho zero-shot em todas as métricas.
  • Houve melhoria significativa na concordância com anotações de especialistas (SRCC e PLCC aumentaram de ~0.67 para ~0.78).
  • A precisão na resposta a perguntas visuais (VQA) aumentou de 78,25% para 87,65%.
  • A precisão na classificação de atributos individuais teve um ganho menor (de 42,90% para 45,92%), indicando que o julgamento fino de 13 atributos permanece um desafio significativo.
• Track 2 (Geração): Resultados qualitativos mostraram que os modelos ajustados conseguem gerar retratos visualmente plausíveis que seguem as instruções de composição do texto (posicionamento do sujeito, organização espacial, ênfase visual). Isso valida a viabilidade prática da geração guiada por restrições de composição.

5. Significado e Impacto

O PortraitCraft preenche uma lacuna crítica na pesquisa de visão computacional e geração de imagens:

• Avanço na Pesquisa: Permite o estudo sistemático do raciocínio de composição de granularidade fina e da avaliação estética interpretável, indo além de pontuações globais vagas.
• Aplicações Práticas: Oferece ferramentas para sistemas de edição de imagem, fotografia assistida por IA e geração de conteúdo que exigem controle estruturado sobre a estética de retratos.
• Padronização: Estabelece um padrão de ouro para avaliar a capacidade de modelos multimodais em tarefas complexas de compreensão e geração de retratos, incentivando o desenvolvimento de modelos mais explicáveis e controláveis.

O dataset e o código de implementação estão disponíveis publicamente para fomentar pesquisas futuras na área de composição estruturada e geração controlada de retratos.