💻 computer science

Multi-Stage Alignment of Large Language Models for Popularity Bias Mitigation in Generative Movie Recommendation

Este artigo propõe um pipeline de alinhamento de múltiplos estágios combinando extração de preferência, ajuste fino supervisionado e Otimização de Preferência Direta para mitigar eficazmente o viés de popularidade em recomendadores de filmes baseados em LLM, alcançando melhoria na novidade e na cobertura do catálogo enquanto mantém uma precisão competitiva.

Autores originais: Subham Raj, Krishnakant Chourey, Sriparna Saha, Brijraj Singh, Niranjan Pedanekar

Publicado 2026-07-17

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Subham Raj, Krishnakant Chourey, Sriparna Saha, Brijraj Singh, Niranjan Pedanekar

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está entrando em uma biblioteca mágica e imensa que sabe tudo sobre você. Você diz a ela: "Eu amo filmes de ficção científica com viagem no tempo", e ela instantaneamente sussurra uma lista de dez filmes que você pode gostar. Esta é a promessa dos sistemas de recomendação modernos, alimentados por cérebros de computador gigantes chamados Modelos de Linguagem de Grande Escala (LLMs). Esses modelos são como superleitores que devoraram quase todos os livros, críticas e enredos de filmes da internet. Eles são incrivelmente inteligentes em entender linguagem e contexto. No entanto, há um problema sorrateiro com esses superleitores: eles são obcecados pelo "famoso". Porque leram tanto, eles sabem que Os Vingadores ou Titanic são mencionados em todos os lugares, então continuam sugerindo esses mesmos sucessos populares para todo mundo, mesmo que você realmente prefira um filme independente estranho e obscuro de 1974. É como um guia turístico que só conhece os cinco principais pontos turísticos e se recusa a mostrar as joias escondidas, não importa o quanto você peça. Isso é chamado de "viés de popularidade", e isso faz com que a biblioteca pareça entediante e repetitiva, escondendo os tesouros únicos que podem ser perfeitos para você.

Os pesquisadores deste artigo decidiram corrigir essa obsessão pela fama. Eles não apenas disseram ao cérebro do computador para "se esforçar mais"; eles construíram um campo de treinamento especial de três etapas para reconfigurar a forma como o modelo pensa sobre recomendações. Primeiro, ensinaram o modelo a ser um bom bibliotecário, mostrando a ele exemplos do que as pessoas realmente gostaram (uma etapa chamada Ajuste Fino Supervisionado). Em seguida, jogaram um jogo de "isso ou aquilo", onde o modelo tinha que escolher entre um filme famoso e um menos famoso, mas igualmente interessante, recompensando-o por escolher a joia escondida (uma etapa chamada Otimização de Preferência Direta). Ao separar a parte de "aprender a ser útil" da parte de "aprender a ser diverso", eles criaram um sistema que sugere filmes que você realmente vai aproveitar, não apenas filmes que todo mundo já viu. Seus experimentos mostraram que este novo método reduziu com sucesso o número de filmes populares sugeridos pela metade em alguns casos, mantendo as recomendações precisas e divertidas.

A História da Correção de Três Etapas

Pense em um Modelo de Linguagem de Grande Escala (LLM) como um crítico de cinema muito talentoso, mas levemente esnobe. Este crítico leu milhões de críticas e assistiu a milhares de filmes, mas, por ter visto tanto, tem um mau hábito: ele só recomenda os blockbusters. Se você pedir uma recomendação de filme, ele quase sempre sugerirá os 10 filmes mais populares de todos os tempos, ignorando o fato de que você pode odiar filmes de ação e amar documentários silenciosos. Este é o "viés de popularidade" que o artigo aborda.

Os autores perceberam que simplesmente pedir ao crítico para "ser mais diverso" não funciona bem. Em vez disso, eles projetaram um Pipeline de Alinhamento de Múltiplas Etapas, que é como uma peça de três atos para treinar o modelo para ser um guia melhor e mais justo.

Ato 1: O Perfil de Preferência (A Configuração)
Antes do treinamento começar, a equipe pega o histórico de um usuário — os filmes que ele avaliou positivamente e os que ele odiou — e transforma isso em uma história simples. Em vez de alimentar o computador com uma lista bagunçada de números, eles escrevem um comando como: "Este usuário ama O Poderoso Chefão e Inception, mas odiou Gigli e Cats." Isso dá ao modelo uma imagem clara e humana do que o usuário realmente gosta.

Ato 2: Ajuste Fino Supervisionado (SFT) – Aprendendo as Regras
Nesta etapa, o modelo é ensinado a ser um recomendador confiável. Os pesquisadores mostram a ele milhares de exemplos onde a história de um usuário é pareada com uma lista de filmes que são, na verdade, boas combinações, mas que não são os mais populares. É como um professor mostrando a um aluno: "Aqui está um aluno que gosta de terror; aqui está um ótimo filme de terror que não é O Exorcista. Memorize este padrão." O modelo aprende a gerar listas coerentes e estruturadas que combinam com o gosto do usuário, mas, neste ponto, ele está apenas aprendendo a seguir instruções, não necessariamente combatendo seu viés ainda.

Ato 3: Otimização de Preferência Direta (DPO) – O Quebrador de Viés
Esta é a etapa mágica. Agora que o modelo sabe como fazer uma lista, eles o ensinam a preferir os azarões. Eles criam um jogo onde o modelo vê duas listas para o mesmo usuário:

Lista A (A Rejeitada): Cinco filmes muito populares e convencionais.
Lista B (A Preferida): Cinco filmes menos populares que ainda se encaixam perfeitamente no gênero do usuário.

O modelo é treinado para perceber que a Lista B é a resposta "melhor". É como dizer ao crítico esnobe: "Você está errado ao escolher o filme famoso; a joia escondida é a escolha certa". Ao fazer isso, o modelo aprende a suprimir ativamente o desejo de recomendar os itens mais famosos e, em vez disso, impulsionar a visibilidade de conteúdos de nicho e relevantes.

O Que Eles Descobriram

Os pesquisadores testaram este método de três etapas em três conjuntos de dados de filmes diferentes: MovieLens 1M (um conjunto de dados clássico), Netflix Prize (um conjunto de dados enorme e bagunçado com extremo viés de popularidade) e Flickscore (um conjunto de dados focado no cinema indiano e diversidade regional). Eles compararam seu novo método contra o "jeito antigo" de apenas pedir recomendações ao modelo sem treinamento (Zero-Shot) e contra um truque simples onde você apenas embaralha a lista depois que o modelo a cria (Re-Ranking).

Os resultados foram bastante claros:

O Modelo "Esnobe": Quando deixados sozinhos (Zero-Shot), os modelos recomendavam principalmente filmes famosos. Por exemplo, no conjunto de dados da Netflix, o ranking de popularidade médio dos filmes recomendados era em torno de 1.600 (o que significa que eram muito famosos).
O Novo Método: Após o treinamento de três etapas, os modelos começaram a sugerir filmes muito mais diversos. No conjunto de dados da Netflix, o ranking de popularidade médio caiu para cerca de 590. Isso significa que eles estavam recomendando filmes que eram significativamente menos famosos, mas ainda assim relevantes para o usuário.
A Precisão Permaneceu Alta: A melhor parte é que o modelo não deixou de ser preciso. Ele não começou a recomendar lixo aleatório apenas para ser diferente. A "Precisão" (com que frequência a recomendação era realmente boa) permaneceu quase a mesma, enquanto a "Novidade" (o quão novos e únicos eram os itens sugeridos) saltou por margens enormes — aumentando às vezes em mais de 170% no conjunto de dados da Netflix.

Eles também descobriram que este novo método funcionava melhor do que o truque de "Re-Ranking". O Re-ranking é como dizer ao modelo para fazer uma lista, e então um humano (ou um script de computador simples) entra e substitui os filmes famosos por obscuros no final. O artigo mostrou que treinar o próprio modelo (Alinhamento Intrínseco) para querer os filmes obscuros desde o início produzia resultados melhores e mais estáveis do que apenas corrigir a lista no final.

Por Que Isso Importa

Este artigo sugere que não temos que escolher entre um sistema de recomendação que é preciso e um que é justo. Ao dividir o processo de treinamento em etapas — primeiro ensinando o modelo a entender o usuário e depois ensinando-o a valorizar a diversidade — podemos construir uma IA que nos ajude a descobrir o próximo grande filme que nunca ouvimos falar, em vez de apenas nos dizer para assistir ao último blockbuster de super-herói novamente.

Os autores observam que, embora seu método funcione bem, ele requer muito poder computacional para treinar esses modelos. Eles também apontam que não testaram isso em usuários que não têm histórico nenhum (o problema do "cold start"), o que é um desafio para o futuro. Mas para usuários que já compartilharam seus gostos, esta abordagem de múltiplas etapas oferece uma maneira fundamentada e escalável de fazer as recomendações de filmes parecerem menos um discurso de vendas para os itens mais populares e mais uma descoberta genuína de algo especial.

Resumo Técnico: Alinhamento de Múltiplas Etapas de Grandes Modelos de Linguagem para Mitigação de Viés de Popularidade em Recomendação Generativa de Filmes

1. Definição do Problema

Grandes Modelos de Linguagem (LLMs) integrados a sistemas de recomendação exibem um forte viés de popularidade inerente. Devido ao seu pré-treinamento em corpora massivos contendo padrões de interação globais, os LLMs recomendam desproporcionalmente itens mainstream e de alta frequência, enquanto sub-representam conteúdos de nicho alinhados ao usuário. Esse viés cria um ciclo de feedback de "o rico fica mais rico", limitando a diversidade do catálogo e a descoberta pelo usuário.

Embora sistemas de recomendação clássicos tenham abordado isso via estratégias post-hoc (ex: ponderação de inversão de propensão, re-ranking consciente de popularidade), permanece incerto se o alinhamento intrínseco de LLMs pode superar sistematicamente esses métodos clássicos em configurações de recomendação generativa. As abordagens existentes baseadas em LLM frequentemente dependem de prompting zero-shot ou de ajuste fino supervisionado (SFT) de etapa única, que ou falham em mitigar o viés ou reproduzem a distribuição de popularidade dos dados de treinamento. Além disso, há uma falta de avaliação sistemática sobre como diferentes etapas de alinhamento interagem e se a correção de viés deve ser desacoplada do embasamento comportamental.

2. Metodologia

Os autores propõem um Pipeline de Alinhamento de Múltiplas Etapas que separa explicitamente o embasamento comportamental do alinhamento corretivo de viés. Este pipeline consiste em três etapas distintas:

Etapa 1: Extração de Preferências e Engenharia de Prompt

Os históricos de interação do usuário são transformados em perfis de preferência em linguagem natural estruturada. Uma função determinística converte o top 10 de filmes curtidos e os 5 filmes menos curtidos de um usuário em um prompt textual consistente. Isso unifica a entrada entre diferentes conjuntos de dados (MovieLens 1M, Netflix Prize, Flickscore) e escalas de classificação (5 estrelas vs. binária).

Etapa 2: Ajuste Fino Supervisionado (SFT)

O LLM é ajustado finamente em pares (prompt, alvo) para estabelecer o embasamento comportamental.

Objetivo: Ensinar o modelo a gerar listas de recomendação coerentes e estruturadas que mapeiem perfis de usuários para itens relevantes.
Construção de Dados: Os alvos são gerados selecionando filmes não avaliados do percentil inferior de 50% de popularidade que compartilham alta similaridade de gênero (índice de Jaccard) com os filmes curtidos pelo usuário.
Papel: O SFT estabiliza o formato de saída do modelo e a relevância, mas não resolve inerentemente o problema do viés, pois o modelo ainda pode reter o conhecimento prévio que favorece itens populares.

Etapa 3: Otimização Direta de Preferência (DPO)

Baseando-se no modelo SFT, o DPO é aplicado para realizar o alinhamento corretivo de viés.

Construção de Pares de Preferência: Para cada prompt de usuário, duas listas são construídas programaticamente:
- Preferido ( $y_w$ ): 5 filmes do percentil inferior de 50% de popularidade com alta sobreposição de gênero.
- Rejeitado ( $y_l$ ): 5 filmes do percentil superior de 50% de popularidade sem correspondência de gênero.
Otimização: O modelo é treinado para maximizar a log-verossimilhança da lista preferida sobre a lista rejeitada usando a função de perda DPO. Isso penaliza explicitamente itens de alta popularidade enquanto recompensa a relevância tópica.
Distinção Chave: Os autores enfatizam que o DPO não é uma novidade por si só, mas sua aplicação após o SFT é crítica. Aplicar DPO sem o embasamento comportamental prévio leva a saídas instáveis, enquanto o SFT sozinho falha em corrigir o viés.

3. Configuração Experimental

Datasets:
- MovieLens 1M: Benchmark equilibrado com 1 milhão de avaliações.
- Netflix Prize: Conjunto de dados de grande escala e esparso com extremo viés de popularidade.
- Flickscore: Dataset regional (cinema indiano) com avaliações binárias e contexto multilíngue.
Modelos: Três LLMs de código aberto representando diferentes gerações e arquiteturas:
- LLaMA 3.1 8B: Modelo de instrução de última geração.
- LLaMA 2 7B: Baseline da geração anterior.
- Mistral 7B: Arquitetura focada em eficiência com Grouped-Query Attention (GQA) e Sliding Window Attention.
Baselines:
- Prompting Zero-Shot: Modelos pré-treinados não modificados.
- Re-Ranking Consciente de Popularidade: Um baseline clássico post-hoc que penaliza itens de alta popularidade na lista gerada sem modificar os parâmetros do modelo.

4. Principais Resultados

O estudo avalia o desempenho usando Métricas de Recomendação (Precision@5, nDCG@5, MAP@5) e Métricas de Mitigação de Viés (Novidade, Cobertura de Catálogo, Popularidade Média).

Mitigação de Viés vs. Acurácia: O alinhamento de múltiplas etapas (SFT + DPO) reduz significativamente o viés de popularidade enquanto mantém uma acurácia competitiva.
- No Netflix Prize, o DPO aumentou a Novidade em ~170% e a Cobertura de Catálogo em ~280% em comparação com os baselines zero-shot, enquanto a Popularidade Média caiu 63%.
- No MovieLens 1M, o DPO reduziu a Popularidade Média de ~1217 para ~575 (para o LLaMA 3.1) com apenas uma queda marginal na Precisão@5.
Alinhamento Intrínseco vs. Extrínseco: O alinhamento intrínseco proposto (SFT+DPO) superou consistentemente o baseline clássico de Re-Ranking Consciente de Popularidade.
- O alinhamento intrínseco alcançou maior Novidade e Cobertura com menor Popularidade Média em todos os datasets e modelos.
- Métodos de re-ranking frequentemente introduziram quedas maiores na qualidade do ranking (Precisão) em comparação com os trade-offs mais estáveis observados com SFT+DPO.
Generalização: A estratégia provou ser robusta através de diferentes arquiteturas de modelos (LLaMA 2, LLaMA 3.1, Mistral) e diversos contextos culturais (cinema ocidental vs. indiano), confirmando que o desacoplamento do embasamento e da correção de viés não é específico de arquitetura.

5. Principais Contribuições

Decomposição do Problema: Formulou a mitigação do viés de popularidade em LLMs como um problema de duas etapas (embasamento comportamental + correção de viés) em vez de um objetivo de ajuste fino único.
Análise Empírica de Limitações: Demonstrou que nem o SFT nem o DPO sozinhos são suficientes; o SFT sozinho reproduz o viés, e o DPO sem embasamento causa instabilidade.
Estratégia de Múltiplas Etapas: Validou um fluxo de trabalho onde o SFT embasa o modelo e o DPO corrige o viés, permitindo uma geração estável, reprodutível e sem viés.
Construção de Preferência Programática: Introduziu um método totalmente automatizado e orientado a dados para construir pares de preferência DPO usando estatísticas de popularidade de itens, eliminando a necessidade de anotação humana.
Validação Cross-Model/Dataset: Forneceu evidências extensas de robustez através de três famílias de LLM e três datasets distintos.
Comparação Intrínseca vs. Extrínseca: Comparou sistematicamente o alinhamento intrínseco contra o re-ranking post-hoc clássico, mostrando que incorporar objetivos de equidade diretamente nos parâmetros do modelo produz um equilíbrio de exposição e estabilidade superiores.

6. Significância e Alegações

O artigo posiciona o alinhamento de múltiplas etapas de LLM como uma estratégia principada e escalável para mitigar o viés de popularidade em sistemas de recomendação generativos. Os autores afirmam que:

O Desacoplamento é Essencial: Separar o embasamento comportamental (SFT) da correção de viés (DPO) é necessário para alcançar tanto um comportamento de recomendação estável quanto um debiasing eficaz.
Superioridade Intrínseca: Incorporar objetivos de exposição diretamente no modelo via alinhamento de múltiplas etapas oferece vantagens sistemáticas sobre métodos post-hoc clássicos (como re-ranking), proporcionando melhores trade-offs entre relevância e equidade em cenários de geração sem candidatos pré-definidos.
Escalabilidade: A abordagem é robusta através de diferentes tamanhos de modelos e contextos culturais, sugerindo que pode ser aplicada amplamente a diversos cenários de recomendação.

Os autores reconhecem limitações, observando que o framework não aborda explicitamente cenários extremos de cold-start (onde não existe histórico do usuário) e que o custo computacional do ajuste fino de múltiplas etapas é maior do que o filtragem colaborativa tradicional. Eles também notam que, embora o viés de popularidade seja mitigado, outros estereótipos latentes (ex: vieses demográficos) herdados dos dados de pré-treinamento podem persistir.