Resumo Técnico: Arena como Recompensa Offline (ArenaPO)

Declaração do Problema

Enquanto o Aprendizado por Reforço a partir de Feedback Humano (RLHF) alinhou efetivamente modelos de difusão Texto-para-Imagem (T2I) com preferências humanas, ele sofre de ineficiência computacional devido à necessidade de treinar e implantar um modelo de recompensa explícito com inferência online. A Otimização Direta de Preferência (DPO) emergiu como uma alternativa mais eficiente, aproveitando conjuntos de dados estáticos offline sem modelagem de recompensa explícita. No entanto, a DPO padrão limita-se a feedback binário (pares escolhidos vs. rejeitados), o que resulta em otimização de granularidade grosseira. Na prática, as diferenças de qualidade entre pares de imagens variam significativamente; tratar todas as imagens "escolhidas" como igualmente superiores às "rejeitadas" ignora a magnitude da preferência, potencialmente levando a um alinhamento subótimo. O desafio central é como incorporar sinais de preferência de granularidade fina no framework eficiente da DPO sem depender de um modelo de recompensa explícito e computacionalmente caro.

Metodologia: ArenaPO

Os autores propõem o ArenaPO, um framework que extrai recompensas offline de granularidade fina de uma "Arena de Modelos" para aprimorar o treinamento da DPO. O método opera em três estágios distintos:

1. Construção da Arena de Modelos

Em vez de tratar imagens isoladamente, os autores constroem uma "Arena de Modelos" onde a fonte de cada imagem é uma competidora.

• Modelagem Probabilística: Seguindo a Teoria do Caso V de Thurstone, a capacidade de cada modelo é modelada não como um ponto fixo, mas como uma distribuição Gaussiana $\theta \sim \mathcal{N}(\mu, \sigma^2)$, onde $\mu$ representa a capacidade média e $\sigma$ representa a incerteza.
• Atualização Bayesiana: O conjunto de dados é visto como uma série de comparações pareadas. Ao percorrer as preferências pareadas anotadas, a distribuição de capacidade de cada modelo é iterativamente atualizada usando inferência bayesiana. O rótulo binário (vitória/derrota) serve como função de verossimilhança para atualizar a distribuição a priori, convergindo para uma distribuição a posteriori que caracteriza a verdadeira capacidade do modelo.

2. Inferência de Variável Latente para Estimativa de Lacuna de Qualidade

Para qualquer par de imagens $(y_w, y_l)$ dado no conjunto de dados, o método estima a lacuna de qualidade absoluta sem um modelo de recompensa.

• Formulação: A qualidade de uma imagem é tratada como uma única amostra extraída da distribuição de capacidade de seu modelo fonte. O problema é formulado como a estimativa da expectativa a posteriori da diferença de qualidade $Q_D = Q_w - Q_l$ dado o evento observado $Q_w > Q_l$.
• Distribuição Normal Truncada: Como a diferença entre duas variáveis Gaussianas independentes também é Gaussiana, e a observação impõe uma restrição unilateral ($Q_D > 0$), os autores utilizam as propriedades da distribuição normal truncada.
• Solução de Forma Fechada: A lacuna de qualidade estimada $Q_D^*$ é computada como a expectativa condicional $E[Q_D | Q_D > 0]$. Este valor incorpora tanto a diferença média a priori ($\mu_w - \mu_l$) quanto um termo de correção derivado da incerteza ($\sigma_w, \sigma_l$) e da preferência binária observada. Esta $Q_D^*$ serve como um sinal de recompensa de granularidade fina e específico da instância.

3. Treinamento DPO de Granularidade Fina

A lacuna de qualidade estimada é integrada ao objetivo Diffusion-DPO.

• Modelo Bradley-Terry Baseado em Margem: Em vez de impor uma ordenação binária simples, a probabilidade de preferência é modelada com uma margem: $p(y_w \succ y_l) = \sigma(r(y_w) - r(y_l) - Q_D^*)$.
• Função de Perda: A perda padrão da DPO é modificada para incluir $Q_D^*$ como um fator de escala (ponderado por um coeficiente $\gamma$). Isso incentiva a política a não apenas aprender qual imagem é melhor, mas também quanto melhor ela é, correspondendo à magnitude da lacuna de preferência.
• Eficiência: Todo o pipeline é offline. A construção da Arena e a estimativa da lacuna de qualidade são computadas antes do treinamento, não exigindo inferência online adicional ou treinamento de modelo de recompensa, mantendo assim a eficiência computacional da DPO.

Principais Contribuições

1. Framework ArenaPO: A proposta de um método que aproveita pontuações de Arena como recompensas offline para fornecer feedback refinado para a DPO, alcançando tanto os sinais de recompensa ricos do RLHF quanto a eficiência da DPO sem um modelo de recompensa explícito.
2. Inferência de Variável Latente: A introdução de um método de inferência novel baseado na distribuição normal truncada para estimar lacunas de qualidade absolutas entre pares de imagens usando apenas distribuições de capacidade do modelo e preferências binárias.
3. Superioridade Empírica: Extensos experimentos nos conjuntos de dados Pick-a-Pic v2 e HPD v3 demonstrando que o ArenaPO supera consistentemente as linhas de base existentes (incluindo Diffusion-DPO, MaPO, DSPO e SDPO) em múltiplas métricas de avaliação (PickScore, HPS, Aesthetic, CLIP, ImageReward).

Resultados Experimentais

Os autores avaliaram o ArenaPO no Stable Diffusion 1.5 e no Stable Diffusion XL usando os conjuntos de dados Pick-a-Pic v2 e HPD v3.

• Ganhos de Desempenho: O ArenaPO alcançou resultados state-of-the-art em todos os benchmarks testados. Por exemplo, no conjunto de dados Pick-a-Pic v2 com Stable Diffusion 1.5, o ArenaPO melhorou o PickScore de 0,2143 (SDPO) para 0,2151 e o ImageReward de 0,5546 para 0,6063.
• Taxa de Vitórias: Em comparações diretas contra o Stable Diffusion 1.5 original, o ArenaPO alcançou uma taxa de vitórias de 79,0%, superando significativamente outras variantes da DPO.
• Estudos de Ablação:
  • Granularidade Fina vs. Margem Uniforme: Substituir a $Q_D^*$ adaptativa por uma margem uniforme fixa resultou em desempenho significativamente inferior, validando a necessidade de recompensas de granularidade fina e adaptativas.
  • Escalabilidade: Combinar o ArenaPO com outros métodos avançados (por exemplo, DSPO) gerou ganhos de desempenho adicionais, indicando que a abordagem é desacoplada e compatível com outras estratégias de otimização.
  • Sensibilidade a Hiperparâmetros: O coeficiente de escala $\gamma$ mostrou-se relativamente insensível, com desempenho ótimo em $1 \times 10^{-3}$.

Significado e Alegações

O artigo alega que o ArenaPO efetivamente preenche a lacuna entre a eficiência da DPO e a riqueza do RLHF. Ao modelar as capacidades dos modelos como distribuições e usar inferência de variável latente, o método extrai informação de preferência de granularidade fina de conjuntos de dados binários existentes sem a sobrecarga de treinar um modelo de recompensa. Os autores afirmam que essa abordagem leva a um alinhamento mais eficaz, permitindo que os modelos aprendam não apenas a direção da preferência, mas a intensidade dessa preferência. O método é apresentado como uma solução prática e escalável para melhorar modelos de difusão T2I em aplicações do mundo real onde os recursos computacionais para modelagem de recompensa online são limitados.