Resumo Técnico: XPASS-VIS: Um Conjunto de Dados para Avaliação de Estética de Imagem Personalizada Cross-Domain

1. Definição do Problema

A Avaliação de Estética de Imagem Personalizada (PIAA, na sigla em inglês) visa modelar a natureza subjetiva dos julgamentos estéticos ao nível individual, indo além do consenso de nível populacional. Embora se saiba que a preferência estética é profundamente pessoal, ela também exibe consistência através de diferentes domínios visuais; por exemplo, a preferência de um indivíduo pela simplicidade pode se manifestar tanto em arte minimalista quanto em moda discreta. No entanto, os conjuntos de dados e métodos de PIAA existentes estão amplamente confinados a domínios únicos ou carecem de amostras suficientes por anotador dentro de cada domínio para suportar uma análise cross-domain. Consequentemente, a extensão à qual as preferências estéticas personalizadas podem ser transferidas entre domínios visuais permanece inexplorada. Além disso, coletar dados rotulados suficientes para cada novo domínio é proibitivamente caro, criando um problema de "cold-start" (início a frio), onde não existe histórico de classificação do usuário. Isso exige o desenvolvimento de estratégias de Adaptação de Domínio Não Supervisionada (UDA) para transferir modelos de domínios de origem rotulados para domínios de destino não rotulados.

2. Metodologia

2.1 O Conjunto de Dados XPASS-Vis

Para abordar a falta de infraestrutura de dados para PIAA cross-domain, os autores introduzem o XPASS-Vis, o primeiro conjunto de dados explicitamente projetado para esta tarefa.

• Estímulos: O conjunto de dados compreende 6.526 estímulos em três domínios visuais distintos: Arte (2.345 imagens da divisão de teste LAPIS), Moda (2.082 imagens de alta resolução do conjunto de dados Clothing Co-Parsing) e Paisagem (2.099 clipes de vídeo de um minuto de Sekai-Real-Walking-HQ, convertidos em quadros únicos).
• Anotadores: 129 anotadores avaliaram os estímulos em todos os três domínios.
• Anotações: Cada anotador forneceu 10 classificações por estímulo:
  1. Avaliação Estética Geral: Uma escala Likert de 7 pontos (1 = Altamente não estético, 7 = Altamente estético).
  2. Classificações Estético-Emocionais: Nove itens do questionário AESTHEMOS (ex: "Gostei", "Fez-me sentir nostálgico"), avaliados em uma escala de 5 pontos.
• Atributos do Usuário: Os anotadores forneceram dados demográficos (idade, gênero, nacionalidade, histórico acadêmico) e traços de personalidade (Ten-Item Personality Inventory/TIPI).
• Escala: O conjunto de dados gera 87.836 interações usuário–estímulo, com cada anotador avaliando mais de 200 estímulos por domínio, garantindo cobertura suficiente para a personalização.

2.2 Configuração Experimental e Baselines

Os autores estabeleceram um benchmark para PIAA cross-domain sob uma configuração de Adaptação de Domínio Não Supervisionada (UDA), onde um modelo é treinado em um domínio de origem rotulado e transferido para um domínio de destino não rotulado sem usar rótulos do destino.

• Pré-processamento:
  • Atributos do Usuário: Codificados como vetores one-hot (114 dimensões no total), incluindo demografia, personalidade e interesse no domínio.
  • Atributos da Imagem: 45 Propriedades de Imagem Quantitativas (QIPs) de baixo nível extraídas via toolbox, cobrindo cor, textura, simetria e complexidade.
• Pipeline de Treinamento:
  • Avaliação de Estética de Imagem Geral (GIAA): Um modelo baseline (NIMA com backbone CLIP) treinado para prever pontuações agregadas da população.
  • Avaliação de Estética de Imagem Personalizada (PIAA): Uma abordagem de duas fases:
    1. Pré-treinamento (Nível Populacional): Um módulo de personalização é treinado em usuários gerais para aprender padrões de preferência de nível populacional.
    2. Ajuste Fino (Nível Individual): O modelo é ajustado para usuários específicos utilizando um pequeno número de suas classificações (100 amostras).
  • Baselines: O estudo avalia Large Language Models proprietários (GPT-5.4, Claude Opus 4.6, Gemini 3.0 Flash) via inferência zero-shot e duas arquiteturas PIAA estabelecidas (MIR e ICI).
• Métodos de Adaptação de Domínio: Os autores avaliaram sistematicamente 8 métodos representativos de UDA:
  • Adversariais: DANN, CDAN, ALDA.
  • Baseados em Discrepância (Transporte Ótimo): DeepJDOT, JUMBOT.
  • Baseados em Discrepância (Alinhamento de Características): DeepCORAL, RSD, DARE-GRAM.
  • Nota: RSD e DARE-GRAM são variantes conscientes de regressão especificamente projetadas para predição de escore contínuo.

2.3 Avaliação

O desempenho foi medido usando validação cruzada de 5 dobras (5-fold cross-validation) ao nível do usuário. As métricas incluíram:

• SCC (Coeficiente de Correlação de Posto de Spearman): Mede a correlação de ordem de posto.
• CCC (Coeficiente de Correlação de Concordância): Mede tanto a ordem de posto quanto a concordância absoluta (sensível ao uso da escala de classificação).

3. Resultados Principais

3.1 Desempenho Dentro do Domínio

• PIAA vs. GIAA: Modelos personalizados (ICI e MIR) superaram significativamente o modelo GIAA de nível populacional (NIMA) e os LLMs zero-shot. O modelo ICI alcançou o melhor desempenho geral (Média SCC = 0,470, CCC = 0,423).
• Dificuldade do Domínio: O desempenho variou por domínio, com Arte gerando as pontuações mais altas e Moda as mais baixas. Isso correlaciona-se com um menor acordo inter-anotador (ICC) na moda, sugerindo maior subjetividade e dificuldade em modelar o consenso populacional para este domínio.
• Limitações de LLMs: LLMs proprietários zero-shot performaram de forma comparável entre si, mas falharam em superar o baseline NIMA em qualquer domínio, indicando que o julgamento de nível individual é difícil de inferir a partir de atributos textuais sem dados de treinamento.

3.2 Transferência Cross-Domain (UDA)

• Desvio de Domínio: O baseline "Source-Only" (sem adaptação) teve um desempenho ruim (Média SCC = 0,145), destacando um desvio de domínio substancial.
• Sucesso da Adaptação: A maioria dos métodos UDA melhorou o baseline Source-Only.
  • Alinhamento de Características vs. Adversarial: Métodos de alinhamento de características (DeepCORAL, RSD, DARE-GRAM) superaram os métodos adversariais e de transporte ótimo.
  • Consciência de Regressão: Os métodos de melhor desempenho foram RSD e DARE-GRAM, que são explicitamente projetados para tarefas de regressão. Eles alcançaram os maiores scores de SCC entre todos os métodos UDA.
• Transferibilidade: Os melhores métodos de adaptação recuperaram aproximadamente 60% do limite superior Target-Only (o limite teórico se os rótulos do alvo estivessem disponíveis) em termos de SCC. Isso fornece evidência de que as preferências estéticas personalizadas são transferíveis entre domínios em uma extensão significativa.
• Desempenho Absoluto vs. Relativo: Embora os scores absolutos tenham sido menores para alvos de moda, a taxa de recuperação em relação à dificuldade do domínio alvo foi consistente na maioria das direções, sugerindo que a adaptabilidade das preferências não depende da direção, mas é limitada pela dificuldade inerente do domínio alvo.
• Limitações do CCC: A recuperação para CCC (concordância absoluta) foi menor (~38%) do que para SCC, indicando que a adaptação não supervisionada tem dificuldade em capturar tendências de classificação específicas do anotador (ex: uso da escala).

3.3 Análise ao Nível do Usuário

Os autores investigaram se atributos específicos do usuário (demografia, personalidade, estilo de classificação) prevêem quem se beneficia da adaptação de domínio.

• Descoberta: Além de um efeito mecânico de "regressão à média", nenhum atributo de usuário previu sistematicamente os ganhos de adaptação. Efeitos significativos foram raros e confinados a direções de transferência específicas.
• Implicação: Os benefícios da UDA de alinhamento marginal são amplos e não são filtrados por subgrupos demográficos ou de personalidade grosseiros. O sucesso parece ser impulsionado por propriedades intra-individuais mais finas (ex: o grau de sobreposição da estrutura de preferência entre domínios) em vez de traços estáticos.

4. Principais Contribuições

1. Conjunto de Dados XPASS-Vis: O lançamento do primeiro conjunto de dados explicitamente projetado para PIAA cross-domain, apresentando 129 anotadores avaliando 6.526 estímulos em Arte, Moda e Paisagem com cobertura por domínio suficiente (>200 amostras/usuário) e rica coleta de atributos de usuário.
2. Benchmark e Baselines: O estabelecimento de uma nova tarefa de benchmark para PIAA cross-domain, incluindo uma avaliação sistemática de 8 métodos representativos de UDA e LLMs proprietários.
3. Evidência Empírica de Transferibilidade: A demonstração de que as preferências estéticas personalizadas são transferíveis entre domínios visuais, com métodos de alinhamento de características conscientes de regressão recuperando ~60% do limite superior supervisionado em configurações totalmente não supervisionadas.
4. Insight sobre Adaptação: A descoberta de que os ganhos de adaptação não são previsíveis por atributos usuais de usuário, sugerindo que futuras estratégias de adaptação específicas para PIAA devem focar no modelamento da própria estrutura de preferência cross-domain, em vez de depender de proxies demográficos.

5. Significância e Alegações

O artigo afirma que o XPASS-Vis fornece um recurso fundamental para estudar PIAA cross-domain, abordando uma lacuna crítica na literatura existente onde os conjuntos de dados eram ou de domínio único ou careciam de densidade por usuário. Os resultados oferecem "evidências encorajadoras" de que as preferências estéticas não são inteiramente específicas de domínio, mas contêm componentes transferíveis e invariantes de domínio.

Os autores enquadram modestamente suas descobertas como um "sim qualificado" à questão da transferibilidade. Eles enfatizam que, embora os métodos não supervisionados atuais recuperem uma parte significativa do desempenho, um hiato substancial permanece, particularmente na captura de tendências de classificação absoluta (CCC). O artigo postula que o próximo passo para o campo é o desenvolvimento de estratégias de adaptação específicas para PIAA que modelem explicitamente a interação entre atributos do usuário e desvios de domínio, em vez de depender de técnicas de UDA de propósito geral. O trabalho também destaca a necessidade de pesquisas futuras em adaptação cross-modal e domínios visuais mais amplos.