From Preferences to Prejudice: The Role of Alignment Tuning in Shaping Social Bias in Video Diffusion Models

Resumo Técnico: "From Preferences to Prejudice"

Título Original: From Preferences to Prejudice: The Role of Alignment Tuning in Shaping Social Bias in Video Diffusion Models
Publicação: Transactions on Machine Learning Research (02/2026)

1. O Problema (Problem)

O avanço dos modelos de difusão de vídeo (Text-to-Video) tem sido impulsionado pelo ajuste de alinhamento (alignment tuning), que utiliza modelos de recompensa (reward models) treinados com base em preferências humanas para melhorar a qualidade visual e a coerência temporal.

No entanto, os autores identificam um risco crítico: as preferências humanas são subjetivas e frequentemente carecem de diversidade cultural e demográfica. Isso pode codificar preconceitos sistemáticos que são herdados pelos modelos de recompensa e, subsequentemente, amplificados pelos modelos de geração de vídeo. O problema central é entender como o processo de alinhamento transforma "preferências" em "preconceitos" estruturados, afetando a representação de gênero e etnia.

2. Metodologia (Methodology)

Para investigar este fenômeno, os pesquisadores introduziram o VideoBiasEval, um framework de diagnóstico abrangente que utiliza as seguintes abordagens:

• Prompting Baseado em Eventos (Event-based Prompting): Em vez de prompts genéricos, eles utilizam uma estrutura determinística $\langle p, a, c \rangle$ (ator, verbo, contexto). Isso permite separar o conteúdo semântico (o que está acontecendo) dos atributos do ator (quem está fazendo), permitindo um controle rigoroso sobre variáveis de gênero e etnia.
• Taxonomia de Atributos: O estudo foca em 4 categorias de gênero e 7 grupos étnicos, aplicados a 42 verbos socialmente associados a estereótipos.
• Avaliação Multigranular via VLMs: Utilizam um ensemble de Modelos de Linguagem e Visão (VLMs), como Qwen2-VL e InternVL2.5, para atuar como "juízes" automáticos, classificando atributos em cada quadro do vídeo gerado.
• Métricas de Viés:
  • PBSG (Proportion Bias Score for Gender): Mede o desequilíbrio de gênero condicionado à etnia.
  • RDSe (Representation Deviation Score for Ethnicity): Mede o desvio da representação étnica em relação a uma distribuição uniforme.
  • SDI (Simpson’s Diversity Index): Avalia a diversidade geral das representações.
  • TAS (Temporal Attribute Stability): Uma métrica inédita que mede a consistência da identidade do ator ao longo do tempo no vídeo.
• Análise de Ponta a Ponta: O estudo rastreia o viés desde os conjuntos de dados de preferência humana $\rightarrow$ modelos de recompensa $\rightarrow$ modelos de difusão de vídeo alinhados.

3. Principais Contribuições (Key Contributions)

1. VideoBiasEval: Um framework robusto para avaliar vieses sociais em modelos de vídeo, superando limitações de benchmarks anteriores que focavam apenas em imagens estáticas ou prompts não diversificados.
2. Primeira Análise End-to-End: O primeiro estudo que conecta sistematicamente como o viés em dados de preferência humana se propaga e se amplifica através de todo o pipeline de alinhamento de modelos de vídeo.
3. Descoberta da "Estabilização do Viés": A demonstração de que o alinhamento não apenas aumenta o viés, mas o torna temporalmente estável e visualmente "suave", tornando o preconceito mais difícil de detectar por parecer um conteúdo de alta qualidade.
4. Modelagem de Preferência Controlável: Demonstração de que é possível usar modelos de recompensa "contra-viesados" para mitigar disparidades de representação.

4. Resultados (Results)

• Amplificação do Viés: O ajuste de alinhamento frequentemente piora o desequilíbrio de gênero. Por exemplo, o modelo InstructVideo aumentou o viés de preferência masculina em comparação ao seu modelo base.
• Dominância Étnica: Todos os modelos testados exibiram uma forte sobre-representação de indivíduos brancos (White). O alinhamento pode reduzir a dominância de um grupo, mas frequentemente ao custo de reduzir a diversidade total (SDI).
• O Paradoxo da Estabilidade (TAS): O alinhamento melhora a coerência temporal (os atores não "mudam" de rosto entre os frames), mas isso tem um efeito colateral: o modelo torna as representações estereotipadas mais persistentes e visualmente consistentes.
• Sensibilidade de Ações: Certas ações são mais sensíveis ao alinhamento de gênero do que outras (ex: "dormir" e "ler" mostraram mudanças drásticas de gênero após o ajuste).
• Mitigação Possível: O experimento de "Controllable Preference Modeling" provou que treinar modelos de recompensa com dados propositalmente equilibrados (ou contra-viesados) pode reverter o viés de gênero nos modelos de vídeo.

5. Significância (Significance)

Este trabalho é fundamental para o desenvolvimento de IA Responsável. Ele alerta que métricas de qualidade estética (como fidelidade visual) são insuficientes para avaliar modelos generativos, pois a "qualidade" pode ser alcançada às custas da justiça social.

A pesquisa sugere que o desenvolvimento de modelos de vídeo deve incluir auditorias de viés em todas as etapas — desde a curadoria dos conjuntos de dados de preferência até o design dos modelos de recompensa — para evitar que a tecnologia normalize e estabilize preconceitos sociais sob uma aparência de alta qualidade técnica.