Resumo Técnico: PreferThinker

Definição do Problema

A avaliação personalizada de preferência de imagens visa avaliar a preferência de imagem de um usuário individual utilizando apenas um pequeno conjunto de imagens de referência como informação prévia. Embora os métodos existentes lidem efetivamente com preferências gerais (ex: alinhamento texto-imagem, estética) usando conjuntos de dados de larga escala, eles têm dificuldade com preferências personalizadas. Este desafio surge de dois fatores primários:

1. Escassez e Heterogeneidade de Dados: Ao contrário das preferências gerais, onde os usuários compartilham critérios comuns, os dados personalizados para cada usuário são limitados, distintos e difíceis de escalar para treinamento.
2. Complexidade do Gosto: As preferências individuais são frequentemente diversas e multidimensionais (abrangendo estilo artístico, cor, meio, etc.), tornando-as mais difíceis de capturar do que preferências humanas gerais claras.

Abordagens atuais, incluindo métodos baseados em CLIP e Modelos de Linguagem de Grande Escala Multimodais (MLLMs), normalmente falham neste domínio porque ou carecem de interpretabilidade (fornecendo apenas pontuações numéricas) ou não conseguem aproveitar dados personalizados suficientes para treinamento em larga escala. Métodos de personalização existentes, como o ViPer, utilizam implicitamente imagens de referência, mas falham em aproveitar totalmente a informação prévia contida nelas ou em fornecer etapas de raciocínio interpretáveis.

Metodologia

Os autores propõem o PreferThinker, um sistema de avaliação de preferência de imagem baseado em raciocínio que segue um paradigma de predição-então-avaliação (predict-then-assess). O insight central é aproximar diversos usuários através da introdução de um Perfil de Preferência Comum, que consiste em elementos visuais compartilhados (ex: estilo artístico, cor, meio artístico, saturação, detalhamento). Embora os gostos individuais sejam únicos, esses elementos visuais subjacentes são comuns e podem ser aprendidos entre diferentes usuários.

1. Perfil de Preferência Visual

O sistema formaliza as preferências do usuário em um perfil composto por cinco elementos visuais fundamentais identificados através de estudos de usuário e análise de prompts de texto: Estilo Artístico, Cor, Meio Artístico, Saturação e Detalhamento. Este perfil de nível de elemento permite a caracterização de gostos individuais complexos e serve como uma ponte para o treinamento em amostras de usuários em larga escala.

2. Construção de Conjunto de Dados (PreferImg-CoT)

Para permitir o raciocínio estruturado, os autores construíram o PreferImg-CoT, o primeiro conjunto de dados de avaliação personalizada em larga escala no estilo Cadeia de Pensamento (Chain-of-Thought - CoT).

• Geração: Eles primeiro criaram o PreferImg, um conjunto de dados com 80.000 usuários simulados, cada um com perfis de preferência distintos. Imagens de referência (preferidas e não preferidas) e imagens candidatas foram geradas usando modelos de texto-para-imagem baseados nesses perfis.
• Anotação: Utilizando o Claude 3.7, eles geraram respostas de alta qualidade no estilo CoT para 60.000 amostras de usuários. Estas anotações incluem a predição explícita dos perfis de preferência (preferido/não preferido) do usuário e pontuação multidimensional interpretável para imagens candidatas.

3. Estratégia de Treinamento

O PreferThinker emprega uma estratégia de treinamento em duas etapas para dominar o raciocínio estruturado:

• Etapa 1: Ajuste Fino Supervisionado (Supervised Fine-Tuning - SFT) de Inicialização a Frio: O modelo (inicializado a partir do Qwen2.5-VL-7B) é ajustado finamente no conjunto de dados PreferImg-CoT. Esta etapa ensina o modelo a primeiro predizer os perfis de preferência visual do usuário a partir das imagens de referência e, em seguida, usar esses perfis para gerar pontuações interpretáveis e multidimensionais para imagens candidatas.
• Etapa 2: Ajuste Fino por Reforço (RFT) com GRPO: Para aumentar a generalização e explorar caminhos de avaliação mais razoáveis, os autores aplicam a Otimização de Política Relativa de Grupo (Group Relative Policy Optimization - GRPO). Esta etapa incentiva o modelo a explorar diversos camhos de raciocínio sem a necessidade de um modelo crítico.

4. Recompensa de Predição Consciente de Similaridade

Uma inovação fundamental é a Recompensa de Predição Consciente de Similaridade. Os autores observaram que a predição precisa do perfil facilita avaliações mais razoáveis. Para melhorar isso, eles projetaram uma função de recompensa que avalia a precisão da predição do perfil de preferência medindo:

• Similaridade de Texto: Similaridade semântica entre o perfil predito e o real (ground truth) (usando SBERT).
• Similaridade de Imagem: Similaridade visual entre as imagens geradas a partir do perfil predito versus as imagens geradas a partir do perfil real (usando DreamSim).
  Esta recompensa é combinada com recompensas de correção de formato e precisão de avaliação para guiar o treinamento de RL.

Principais Contribuições

1. Sistema PreferThinker: Um framework baseado em raciocínio que alcança avaliação personalizada precisa e pontuação multidimensional interpretável ao predizer primeiro os perfis de preferência do usuário.
2. Conjunto de Dados PreferImg-CoT: O primeiro conjunto de dados de larga escala em estilo CoT para avaliação personalizada, anotado com diversos perfis de preferência e raciocínio de alta qualidade, permitindo a supervisão explícita de raciocínio estruturado.
3. Estratégia de Treinamento: Uma abordagem inovadora de duas etapas combinando SFT de inicialização a frio e RL baseado em GRPO, aumentada por uma recompensa de predição consciente de similaridade para melhorar a predição de perfil e a qualidade da avaliação.
4. Superioridade Empírica: Experimentos extensos demonstrando que o PreferThinker supera os métodos de estado da arte (SOTA) tanto em benchmarks sintéticos quanto de usuários reais.

Resultados Experimentais

Os autores avaliaram o PreferThinker no benchmark proposto PreferImg (1.500 usuários, dividido em grupos de preferência única/múltipla e visto/não visto) e no dataset de usuários reais PickaPic.

• Precisão: O PreferThinkம் alcançou a maior precisão em todas as configurações. No subconjunto de preferência única (SP) visto do PreferImg, atingiu 96,6%, superando o SOTA anterior (ViPer) em 2,4% e o modelo base em 21,2%.
• Generalização: O método manteve um desempenho forte em usuários não vistos (96,4% no SP não visto), demonstrando generalização robusta.
• Desempenho no Mundo Real: No dataset PickaPic (onde os rótulos refletem preferências gerais, mas são agrupados por usuário), o PreferThinker classificou-se em segundo lugar entre os métodos não vistos, confirmando sua generalizabilidade apesar da mudança de domínio.
• Estudos de Ablação: Remover tanto o SFT de inicialização a frio quanto o pós-treinamento de RL degradou significativamente o desempenho. A inclusão da recompensa de predição consciente de similaridade melhorou ainda mais tanto a precisão da predição do perfil quanto a precisão da avaliação final.
• Eficiência: Mesmo sem a geração explícita de CoT (modo de inferência), o PreferThinker superou os métodos SOTA enquanto alcançava a velocidade de inferência mais rápida (0,80s) em comparação com outros MLLMs.

Significância e Alegações

O artigo afirma que o PreferThinker representa o primeiro sistema de avaliação de preferência de imagem personalizada baseado em raciocínio que consegue unir a lacuna entre dados personalizados limitados e gostos individuais complexos. Ao introduzir o Perfil de Preferência Comum, o método aproveita dados de usuários em larga escala para treinar a predição de perfis, mitigando efetivamente a escassez de dados. O sistema não apenas fornece avaliações precisas, mas também oferece pontuações multidimensionais interpretáveis fundamentadas nas imagens de referência do usuário, abordando a limitação de "caixa preta" dos modelos de recompensa anteriores. Além disso, demonstrou-se que os perfis preditos são benéficos para a geração de imagens personalizadas, sugerindo que a utilidade do framework se estende além da avaliação para a criação de conteúdo. O trabalho estabelece um novo paradigma para o alinhamento personalizado na IA generativa, indo além da simples regressão de pontuação para o raciocínio estruturado e explicável.