Position: Universal Aesthetic Alignment Narrows Artistic Expression

Resumo Técnico: Alinhamento Estético Universal Restringe a Expressão Artística

Declaração do Problema
O artigo identifica um conflito crítico nas atuais pipelines de geração de imagens: a tensão entre o seguimento de instruções e o alinhamento estético geral. Embora os modelos sejam ajustados via Aprendizado por Reforço a partir de Feedback Humano (RLHF) para alinhar-se a uma preferência humana "universal" ou generalizada por beleza, esse alinhamento frequentemente anula instruções explícitas do usuário solicitando resultados "antiestéticos" ou de baixa qualidade. Os autores argumentam que isso cria um "alinhamento reverso", onde o sistema alinha o usuário à preferência coletiva do modelo, em vez de alinhar o modelo à intenção específica do usuário. Esse fenômeno suprime a expressão artística legítima (por exemplo, surrealismo, arte abstrata, emoções negativas) e impõe valores centrados no desenvolvedor, estreitando efetivamente o espectro da produção criativa admissível.

Metodologia
Para validar empiricamente esse viés, os autores construíram um conjunto de dados de estética de amplo espectro e avaliaram modelos de geração e recompensa de última geração (SOTA) por meio de uma pipeline de três etapas:

1. Geração de Prompts:

   • Começando com 300 legendas base do conjunto de dados COCO, os autores amostraram 2–4 dimensões estéticas do conjunto de dados VisionReward (por exemplo, iluminação, cor, detalhe).
   • Usando um Modelo Visão-Linguagem (Qwen/Qwen3-VL-235B-A22B-Instruct), geraram "prompts de estética de amplo espectro" ($p_a$) que solicitavam explicitamente atributos "indesejáveis" (por exemplo, desfoque, ruído, baixo contraste, emoções negativas) mantendo o sujeito central.
   • Estes foram comparados com os prompts originais ($p_o$).

2. Geração de Imagens:

   • O estudo avaliou quatro famílias de modelos: Flux (incluindo base, DanceFlux, PrefFlux e Flux Krea), Stable Diffusion (SDXL, Playground-2.5, variantes SD3.5M) e o Nano Banana do Google.
   • Para cada modelo, duas imagens foram geradas: uma a partir de $p_o$ e outra a partir de $p_a$.
   • O estudo incluiu tanto modelos base quanto variantes explicitamente alinhadas para estética geral ou seguimento de prompts.

3. Avaliação e Métricas:

   • Modelos de Recompensa: As imagens geradas foram pontuadas por múltiplos modelos de recompensa (HPSv3, HPSv2.1, ImageReward, PickScore, MPS) e baselines não alinhadas (CLIP-L, BLIP-L).
   • Verdade Terrena: Um VLM ajustado (Qwen/Qwen3-VL-4B-Instruct) e avaliadores humanos determinaram qual imagem em um par aderiu melhor ao prompt de amplo espectro ($p_a$).
   • Validação do Mundo Real: Os autores testaram modelos de recompensa em fotografias reais antiestéticas (do conjunto de dados AVA) e obras de arte históricas (do conjunto de dados LAPIS) para verificar se esses modelos penalizavam desvios artísticos intencionais.

Principais Resultados

• Falha dos Modelos de Recompensa: Modelos de recompensa treinados em preferências gerais falharam consistentemente em reconhecer estéticas de amplo espectro. Quando encarregados de selecionar a imagem que melhor correspondia a um prompt "antiestético", modelos como o HPSv3 performaram pior que o chute aleatório (pontuação F1 ~0,54) e significativamente pior que baselines não alinhadas como o BLIP-L (F1 ~0,97).
• Viés dos Modelos de Geração: Modelos de geração alinhados esteticamente (por exemplo, DanceFlux, Playground) frequentemente recorreram a resultados convencionalmente belos, ignorando instruções explícitas para desfoque, ruído ou emoções negativas. Por exemplo, modelos alinhados frequentemente geravam rostos neutros ou felizes quando solicitados tristeza ou raiva, enquanto modelos não alinhados seguiam o prompt com precisão.
• Penalização da Arte: A validação no mundo real revelou que modelos de recompensa penalizavam obras artísticas genuínas. O HPSv3 atribuiu pontuações significativamente mais baixas a fotografias intencionalmente antiestéticas e obras-primas históricas (por exemplo, O Grito, de Edvard Munch) em comparação com imagens limpas geradas por IA, mesmo quando o prompt solicitava explicitamente o estilo "feio".
• Viés Emocional: O estudo encontrou um viés sistemático de "positividade tóxica". Modelos de recompensa penalizaram pesadamente imagens que retratavam emoções negativas (tristeza, medo, raiva), mesmo quando o prompt as solicitava explicitamente, reforçando uma dicotomia onde emoções positivas são "desejáveis" e as negativas são "indesejáveis".

Principais Contribuições

1. Estrutura Conceitual: O artigo introduz o conceito de "alinhamento reverso", argumentando que os processos atuais de RLHF alinham os usuários a uma preferência coletiva definida pelo desenvolvedor, em vez de respeitar a autonomia individual do usuário.
2. Conjunto de Dados e Benchmark: Os autores lançam um conjunto de dados de estética de amplo espectro e um framework de avaliação correspondente, projetado para testar modelos em sua capacidade de gerar imagens intencionalmente "de baixa qualidade" ou não convencionais.
3. Evidência Empírica de Viés: Através de testes rigorosos em múltiplas famílias de modelos e modelos de recompensa, o artigo fornece evidências de que o alinhamento estético atua como um filtro que suprime sistematicamente o pluralismo artístico, incluindo surrealismo, abstração e expressão emocional negativa.
4. Crítica à Captura de Valores: Os autores enquadram o alinhamento estético como um caso de "Captura de Valores", onde a natureza rica, matizada e frequentemente conflituosa do julgamento estético humano é reduzida a uma única pontuação de recompensa simplificada, terceirizando assim a autonomia do usuário para o modelo.

Significado e Alegações
O artigo alega que a adesão estrita a uma preferência estética universal não é meramente uma limitação técnica, mas uma forma de "autoritarismo estético". Ao priorizar uma média estatística da preferência humana (frequentemente enviesada para demografias específicas e aparências "polidas"), os sistemas atuais:

• Minam a autonomia do usuário e a agência expressiva.
• Limitam o pluralismo estético ao penalizar movimentos artísticos legítimos (por exemplo, Dadaísmo, Expressionismo) que dependem do desvio das normas.
• Criam uma "realidade higienizada" que falha em refletir a complexidade total da emoção e experiência humanas, particularmente ao suprimir emoções negativas.

Os autores concluem que, embora o alinhamento de preferência geral tenha benefícios para segurança e experiência do usuário, ele não deve anular instruções explícitas do usuário. Eles argumentam por uma mudança de padrões estéticos prescritivos e universais para sistemas que apoiem o pluralismo estético e permitam a "fealdade" intencional como um modo válido de expressão. O artigo não propõe um novo algoritmo específico para corrigir isso, mas pede uma reavaliação dos objetivos de alinhamento para distinguir entre conteúdo verdadeiramente prejudicial e conteúdo que os desenvolvedores simplesmente não gostam.