💻 computer science

Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training

O artigo propõe o \textsc{SURE}, um framework unificado de espaço latente que aprimora o pós-treinamento de modelos de difusão ao aprender distribuições de recompensa com estimativas de incerteza adaptáveis à amostra para fornecer feedback denso e confiável para otimização sem exigir a decodificação no espaço de pixels.

Autores originais: Rui Li, Yuanzhi Liang, Ke Hao, Ziqiao Weng, Haibin Huang, Chi Zhang, XueLong Li

Publicado 2026-08-07

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rui Li, Yuanzhi Liang, Ke Hao, Ziqiao Weng, Haibin Huang, Chi Zhang, XueLong Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô artista a pintar. Você não quer esperar até que o robô termine uma obra-prima inteira para dizer: "Não, aquele cachorro parece uma batata". Você quer sussurrar dicas enquanto ele ainda está misturando as cores na tela. Este é o mundo dos modelos de difusão, um tipo de IA que cria imagens e vídeos transformando lentamente o ruído estático em imagens nítidas, passo a passo. Para fazer com que esses robôs pintem o que os humanos realmente gostam, precisamos de um "sistema de recompensa" — um professor que dá pontos para a boa arte e pontos negativos para a arte ruim.

Tradicionalmente, esse professor espera até que o robô termine a pintura, olha para a imagem final e então dá uma nota. Mas isso é lento e caro porque o robô tem que terminar toda a imagem apenas para receber uma dica. Métodos mais novos permitem que o professor dê uma espiada nos esboços bagunçados e inacabados (chamados de "latentes") e dê feedback mais cedo. No entanto, há uma pegadinha: esses professores geralmente apenas gritam um único número, como "8 de 10", sem dizer o quanto têm certeza. Se o professor estiver adivinhando loucamente, mas ainda assim gritar uma pontuação alta, o robô pode ficar confuso e começar a pintar coisas estranhas apenas para perseguir essa pontuação falsa. Este artigo aborda o problema de ensinar o robô a confiar em seu professor e quando ignorá-lo.

O Problema: O Professor Superconfiante

Imagine um professor de arte rigoroso avaliando seus esboços. No passado, este professor olharia para o seu desenho inacabado e apenas diria: "Bom trabalho!" ou "Mau trabalho!" com um único número. O problema é que o professor às vezes não sabe do que está falando. Talvez o esboço esteja tão borrado que o professor esteja apenas adivinhando, mas ele ainda grita uma pontuação alta. Se você, o aluno, seguir cegamente essa pontuação alta, poderá começar a cometer o mesmo erro repetidamente, pensando que está indo muito bem quando, na verdade, está saindo dos trilhos. No mundo da IA, isso é chamado de "exploração de recompensa" (reward hacking), onde a IA encontra uma brecha para obter uma pontuação alta sem, de fato, criar uma arte melhor.

Os pesquisadores por trás deste artigo, que chamam seu sistema de SURE (Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training), perceberam que os professores existentes estavam perdendo uma informação crucial: a confiança. Eles precisavam de uma maneira para o professor dizer: "Estou 90% certo de que este é um bom desenho" ou "Estou apenas 20% certo, então não me escute muito de perto".

A Solução: Um Professor que Admite a Dúvida

Os autores construíram um sistema de duas partes para corrigir isso.

Parte 1: O Professor Consciente da Incerteza (SURE-LRM)
Primeiro, eles criaram um novo tipo de modelo de recompensa. Em vez de apenas dar uma pontuação, este modelo dá uma pontuação e uma medida de quão instável é essa pontuação. Pense nisso como uma previsão do tempo. Um professor normal diz: "Vai chover". O novo professor SURE-LRM diz: "Vai chover, e estou 95% certo" ou "Pode ser que chova, mas estou apenas 4 \text{40%} certo porque as nuvens estão estranhas".

Eles treinaram este professor usando um método especial onde ele observa pares de imagens (uma boa e uma ruim) e aprende não apenas qual é a melhor, mas o quanto a "bondade" varia. Se o professor vê um esboço bagunçado e confuso, ele aprende a dar uma pontuação de "incerteza" alta. Se ele vê uma obra-prima clara e óbvia, ele dá uma pontuação de incerteza baixa. Crucialmente, o artigo mostra que este professor pode aprender esse nível de confiança apenas olhando para exemplos padrão de "bom vs. ruim", sem precisar que humanos rotulem explicitamente o quão confiantes estavam.

Parte 2: O Estudante Inteligente (SURE-REFL)
Em seguida, eles construíram um método de treinamento chamado SURE-REFL que utiliza este novo professor. Quando o artista de IA está aprendendo, ele pede feedback ao professor em muitos estágios diferentes do processo de desenho. Normalmente, a IA aceitaria todo o feedback e tentaria segui-lo cegamente. Mas com o SURE-REFL, a IA olha primeiro para o "medidor de confiança" do professor.

Se o professor diz: "Pontuação: 8/10, Confiança: Baixa", a IA pensa: "Ok, eu vou ouvir, mas não vou mudar toda a minha pintura baseada nisso". Se o professor diz: "Pontuação: 8/10, Confiança: Alta", a IA pensa: "Entendido! Eu definitivamente farei mais disso". O sistema essencialmente pesa o feedback: alta confiança recebe um peso pesado, e baixa confiança recebe um peso leve. Isso impede que a IA se confunda com os palpites do professor.

O Que Eles Descobriram

Os pesquisadores testaram este sistema tanto em geradores de imagem (como fazer fotos de gatos) quanto em geradores de vídeo (como fazer clipes de filmes curtos).

Melhores Professores: O novo professor SURE-LRM foi melhor em prever as preferências humanas do que os métodos anteriores. Em um teste de 2.000 pares de imagens, quando mantiveram apenas as previsões onde o professor estava mais confiante (os 50% de menor incerteza), a precisão saltou de cerca de 79,4% para 90,1%. Isso prova que o "medidor de confiança" do professor estava realmente dizendo a verdade sobre quais previsões eram confiáveis.
Aprendizado Estável: Quando usaram o SURE-REFL para treinar a IA, o processo de aprendizado foi muito mais estável. Em testes com métodos antigos, a pontuação da IA subia enquanto a qualidade real da arte diminuía (um sinal de exploração de recompensa). Com o SURE-REFL, as pontuações e a qualidade real permaneceram em sincronia por muito mais tempo.
Desempenho Superior: Nos resultados finais, o método SURE-REFL alcançou as pontuações mais altas nos benchmarks padrão para imagens e vídeos. Para geração de vídeo, atingiu uma pontuação de qualidade total de 0,8357, superando o segundo melhor método por 0,0109.

Por Que Isso Importa

Este artigo sugere que a chave para ensinar a IA a criar arte melhor não é apenas ter um professor mais inteligente, mas ter um professor que saiba quando não sabe. Ao permitir que a IA ignore os palpites instáveis do professor e foque naqueles em que ele tem confiança, o sistema evita ser enganado a criar arte estranha e quebrada apenas para perseguir uma pontuação alta. É um passo em direção a artistas de IA que não são apenas criativos, mas também confiáveis, aprendendo com o feedback sem se confundir com o ruído.

Resumo Técnico: Recompensas Latentes Adaptáveis à Amostra para Pós-Treinamento de Difusão Guiado por Incerteza

1. Declaração do Problema

O pós-treinamento de modelos de difusão visual para alinhar com as preferências humanas normalmente depende da avaliação de saídas RGB decodificadas, o que exige a decodificação repetida e custosa do VAE dentro do ciclo de feedback. Embora modelos de recompensa latente (LRMs) "nativos de difusão" tenham surgido para pontuar latentes ruidosos diretamente — evitando custos de decodificação e permitindo supervisão de estados intermediários — as abordagens existentes sofrem de duas limitações críticas:

Saídas Escalares Carecem de Incerteza: Os atuais modelos de recompensa latente produzem apenas um escore escalar. Eles falham em estimar a incerteza de cada previsão. Consequentemente, o gerador não consegue distinguir entre feedback confiável e não confiável.
Suposições de Incerteza Estáticas: Trabalhos anteriores, como o DiNa-LRM, atribuem a incerteza baseando-se exclusivamente no nível de ruído (timestep) do latente. Eles assumem que todas as amostras no mesmo timestep compartilham a mesma confiabilidade. No entanto, o artigo argumenta que a dificuldade da recompensa também depende do conteúdo; uma amostra "ruidosa" com um objeto claro pode ser mais previsível do que uma amostra "limpa" com conteúdo ambíguo.
Riscos de Otimização: Sem a estimativa de incerteza, o gerador pode otimizar com base em feedback local não confiável, levando ao "reward hacking" (onde o modelo explora a função de recompensa em vez de melhorar a qualidade) e dinâmicas de treinamento instáveis.

2. Metodologia

Os autores propõem o SURE (Sample-Adaptive Latent Reward for Uncertainty-Guided Diffusion Post-Training), um framework unificado consistindo em dois componentes: SURE-LRM (o modelo de recompensa) e SURE-REFL (o algoritmo de pós-treinamento).

2.1 SURE-LRM: Modelo de Recompensa Latente Adaptável à Amostra

O SURE-LRM é projetado para prever não apenas um escore de recompensa, mas uma distribuição de utilidade Gaussiana completa para cada latente ruidoso, condicionado ao prompt e ao timestep.

Arquitetura: Ele reutiliza o backbone Diffusion Transformer (DiT) do gerador alvo (tanto para imagens quanto para vídeos) para processar latentes ruidosos, prompts e timesteps sem a necessidade de decodificação VAE.
Alvos de Predição: Para um latente $z_\sigma$ $z_{σ}$ , o modelo prevê:
- Uma média de recompensa $\mu_\theta$ .
- Um parâmetro de variância residual adaptável à amostra $a_\theta$ .
Modelagem de Variância: A variância preditiva total $v_\eta(\sigma)$ é a soma de um prior dependente do ruído $v_0(\sigma)$ (que captura a perda média de informação conforme o ruído aumenta) e uma variância residual aprendida e específica da amostra $v_{\eta, res} = \text{softplus}(a_\theta) + \epsilon_v$ .
Objetivo de Treinamento: O modelo é treinado em preferências pareadas padrão ( $z^+ \succ z^-$ $z^{+} ≻ z^{-}$ ) usando um objetivo de preferência heterocedástica:
- Perda de Verossimilhança ( $L_{pref}$ ): Baseada no modelo de utilidade aleatória de Thurstone, ela otimiza a probabilidade de a amostra preferida ter uma utilidade maior. Os gradientes encorajam naturalmente o modelo a aumentar a variância (incerteza) quando o ranking está incorreto ou ambíguo, e diminuir a variância quando o ranking é confiante e correto.
- Regularização:
  - Regularização de Variância ( $L_{var}$ ): Impede que o modelo explique todos os erros de ranking simplesmente inflando a incerteza (inflação de variância).
  - Regularização de Margem ( $L_{margin}$ ): Garante uma separação mínima entre os escores preferidos e rejeitados.
  - Perda de Âncora ( $L_{anchor}$ ): Estabiliza a escala geral do escore.

2.2 SURE-REFL: Aprendizado de Feedback de Recompensa Densa Guiado por Incerteza

Uma vez treinado o SURE-LRM, seus parâmetros são congelados. O SURE-REFL utiliza este modelo para guiar o pós-treinamento do gerador no espaço latente.

Mecanismo de Feedback Local: Em vez de retropropagar através de todo o grafo de denoising, o SURE-REFL consulta o modelo de recompensa congelado em transições selecionadas ( $j$ ) ao longo da trajetória de denoising.
Ponderação Guiada por Incerteza:
1. O modelo prevê a recompensa média $\mu$ e a variância residual para o estado na transição $j$ .
2. A variância total é convertida em um peso de confiabilidade $\rho = V^{-1/2}$ (inverso do desvio padrão).
3. Este peso é desconectado (stop-gradient) da função de recompensa, o que significa que o gerador aprende com o peso, mas não atualiza as estimativas de incerteza do modelo de recompensa durante este passo.
4. Os pesos são normalizados entre as amostras avaliadas na mesma transição para garantir uma comparação justa.
Otimização: O gerador é atualizado usando um objetivo de recompensa ponderado, onde amostras com menor variância prevista (maior confiabilidade) contribuem mais fortemente para o gradiente. Este feedback denso é aplicado localmente a cada transição, evitando a necessidade de retenção total do grafo ou decodificação para o espaço de pixels.

3. Principais Contribuições

Formulação da Incerteza Adaptável à Amostra: O artigo formula a incerteza da recompensa no espaço latente como uma distribuição aprendível derivada de preferências pareadas padrão, sem exigir anotações de confiança humana adicionais.
SURE-LRM: Um modelo de recompensa latente que aprende incerteza dependente da amostra, demonstrando que amostras no mesmo timestep podem ter diferentes estimativas de confiabilidade baseadas em seu conteúdo.
SURE-REFL: Um método de pós-treinamento unificado para tanto imagem quanto vídeo que utiliza incerteza desconectada para ponderar o feedback local denso, eliminando a necessidade de decodificação VAE e retenção total do grafo de denoising.
Insight Teórico: Os autores derivam gradientes de variância para demonstrar como a perda de preferência fornece um sinal intrínseco para o aprendizado de incerteza.

4. Resultados Experimentais

4.1 Precisão do Modelo de Recompensa (SURE-LRM)

Benchmarks de Imagem: O SURE-LRM alcançou precisão de preferência pareada de estado da arte (SOTA) em quatro benchmarks (ImageReward, HPD v2, HPD v3, GenAI-Bench) em três backbones diferentes (SD3.5, Z-Image-Turbo, FLUX.1-dev), superando fortes baselines, incluindo DiNa-LRM e recompensas de pixel baseadas em VLM.
Benchmarks de Vídeo: No VisionRewardDB e T2V Ranking, o SURE-LRM alcançou a maior precisão, superando avaliadores de vídeo decodificados e modelos de recompensa específicos para vídeo.
Diagnósticos de Incerteza: Experimentos confirmaram que a variância residual aprendida correlaciona-se com os erros de previsão. Amostras com rankings incorretos apresentaram variância residual significativamente maior (24,26% maior em média). Filtrar amostras por baixa variância prevista melhorou a precisão pareada de 79,40% para 90,10%.

4.2 Desempenho de Pós-Treinamento (SURE-REFL)

Geração de Imagem: O SURE-REFL alcançou o melhor desempenho em métricas HPSv2.1, ImageReward e PickScore no SD3.5, Z-Image-Turbo e FLUX.1-dev, superando baselines como Flow-GRPO, ViPO e DiNa-LRM.
Geração de Vídeo: No VBench, o SURE-REFL alcançou as maiores pontuações em Qualidade, Semântica e Total para o gerador de vídeo Wan2.1-14B, superando DanceGRPO, ViPO, Video-DPO e HY-PRFL.
Estabilidade e Reward Hacking: A dinâmica de otimização mostrou que, enquanto os baselines (ex: DiNa-LRM-REFL) exibiram reward hacking (escores de recompensa subindo enquanto métricas de qualidade independentes como HPSv3 caíam), o SURE-REFL manteve o alinhamento entre a recompensa otimizada e as métricas de qualidade independentes por mais tempo, atingindo escores finais mais altos.

4.3 Estudos de Ablação

A ablação dos componentes de perda do modelo de recompensa confirmou que todos os termos são necessários. A remoção da regularização de variância ( $L_{var}$ ) causou a maior queda de precisão, validando a necessidade de controlar a inflação de variância.

5. Significância e Alegações

O artigo afirma que o SURE fornece um framework unificado e eficiente para alinhar modelos de difusão visual ao abordar o "gap de confiabilidade" na modelagem de recompensa latente. Sua significância reside em:

Eficiência: Ao operar inteiramente no espaço latente sem decodificação VAE, reduz o overhead computacional durante o ciclo de feedback.
Robustez: Ao modelar e utilizar explicitamente a incerteza adaptável à amostra, evita que o gerador sofra overfitting a feedbacks ruidosos ou ambíguos, reduzindo assim o reward hacking e melhorando a estabilidade do treinamento.
Generalidade: O framework é agnóstico à modalidade, aplicando com sucesso a mesma lógica de ponderação de incerteza tanto para tarefas de geração de imagem quanto de vídeo.

Os autores concluem que aprender a incerteza dependente da amostra a partir de preferências pareadas padrão é uma estratégia viável e eficaz para melhorar a confiabilidade do feedback de recompensa denso no pós-treinamento de difusão.