Aligning Recommendations with User Popularity Preferences

Título: Alinhamento de Recomendações com Preferências de Popularidade do Usuário

Autores: Mona Schirmer et al. (Universidade de Amsterdã e Amazon Music)

1. O Problema: Viés de Popularidade e Desalinhamento

O viés de popularidade é um problema onipresente em sistemas de recomendação, onde itens populares são super-representados em detrimento de itens de nicho. Isso gera dinâmicas de "os ricos ficam mais ricos", homogeneização de conteúdo e, crucialmente, desalinhamento entre as recomendações do sistema e as preferências individuais dos usuários.

• Impacto: Usuários podem receber conteúdo genérico que não reflete seu gosto pessoal (seja por itens populares ou de nicho), enquanto criadores de conteúdo menos conhecidos sofrem com falta de visibilidade e receita.
• Definição do Problema: O artigo define o viés não apenas como uma propriedade global do sistema, mas como uma questão de alinhamento usuário-recomendador. Um sistema ideal deve reproduzir a distribuição de popularidade dos itens que um usuário específico consumiu no passado ($p(s|u)$) em suas recomendações futuras ($q(s|u)$).

2. Metodologia

O trabalho é dividido em duas partes principais: a criação de uma nova métrica de medição e o desenvolvimento de um método de mitigação.

A. Medição: Calibração de Quantis de Popularidade (Popularity Quantile Calibration)

Os autores analisam métricas existentes (como Popularity Lift, LogPopDiff e UPD) através da teoria da medição e identificam falhas de validade (ex: falta de cardinalidade, sensibilidade a outliers, incapacidade de capturar dispersão).

Para resolver isso, propõem um novo framework baseado em calibração:

1. Conceito: Um recomendador é "calibrado" se a distribuição de popularidade de seus itens recomendados corresponder à distribuição de popularidade do histórico do usuário.
2. Métrica Proposta (PCE - Popularity Calibration Error):
   • Em vez de usar médias ou discretização grosseira (bins), o método compara as funções de distribuição cumulativa (CDF) do histórico do usuário e das recomendações através de suas funções de quantil.
   • Calcula-se a curva de calibração: para cada nível de quantil $\tau$ das recomendações, verifica-se qual fração dos itens do histórico do usuário está abaixo desse limiar.
   • O PCE é o erro quadrático médio entre a linha de calibração ideal (diagonal) e a curva observada. Um PCE de 0 indica alinhamento perfeito.
   • Vantagens: Captura direção (viés positivo/negativo), magnitude e dispersão (variância) da preferência do usuário, sendo invariante à escala e robusto a outliers.

B. Mitigação: SPREE (Steering PopulaRity toward human prEferEnces)

Para corrigir o viés sem re-treinar o modelo, os autores propõem o SPREE, um método de direcionamento de ativação (activation steering) em tempo de inferência.

1. Identificação da Direção de Popularidade:
   • O modelo gera duas sequências contrastantes de itens: uma com itens muito populares ($D^+$) e outra com itens de nicho ($D^-$).
   • Calcula-se a diferença média nas ativações residuais do modelo entre esses dois conjuntos para identificar um vetor de direção de popularidade ($v$) no espaço de representação.
2. Direcionamento Adaptativo (O Diferencial):
   • Métodos anteriores aplicam um desvio global (todos os usuários recebem menos itens populares). O SPREE, no entanto, estima o viés individual de cada usuário.
   • Um estimador (regressão Lasso) prevê o desvio de popularidade $e(u)$ de um usuário com base em suas ativações internas.
   • A correção é aplicada dinamicamente:
     • Se o usuário recebe itens mais populares do que gosta: o vetor é subtraído.
     • Se o usuário recebe itens menos populares: o vetor é adicionado.
     • A magnitude da correção é proporcional à severidade do desvio estimado.
   • Fórmula: $x^* = x + \lambda \cdot \hat{f}(x) \cdot v$, onde $\hat{f}(x)$ é a estimativa do viés do usuário.

3. Contribuições Principais

1. Análise Teórica: Uma revisão crítica das métricas de viés de popularidade existentes usando teoria da medição, estabelecendo desiderata (validade, confiabilidade) que as métricas atuais não atendem completamente.
2. Nova Métrica (PCE): Introdução da Calibração de Quantis de Popularidade, que quantifica o desalinhamento entre a preferência histórica do usuário e as recomendações, capturando nuances de direção e dispersão.
3. Método de Mitigação (SPREE): Um método leve, baseado em activation steering, que ajusta as recomendações em tempo de inferência de forma personalizada por usuário, sem necessidade de re-treinamento do modelo base.
4. Validação Empírica: Demonstração de que o SPREE melhora o alinhamento com as preferências do usuário enquanto preserva (ou até melhora) a qualidade preditiva (NDCG), superando métodos globais e baselines de pós-processamento.

4. Resultados Experimentais

Os experimentos foram realizados em quatro conjuntos de dados (Foursquare, MovieLens-1M, MovieLens-20M, RateBeer) usando um modelo base SASRec (Transformers).

• Trade-off Desempenho-Alinhamento: O SPREE demonstrou a melhor curva de Pareto entre o erro de calibração (PCE) e a precisão da recomendação (NDCG).
  • Métodos que reduzem a popularidade globalmente (como Inverse Popularity Ranking ou PopSteer) pioraram o alinhamento com os usuários (aumentaram o PCE), pois trataram todos os usuários da mesma forma.
  • Métodos que apenas promovem itens já vistos pelo usuário (Personalized Popularity) degradaram o NDCG, pois deixaram de recomendar itens novos.
  • O SPREE reduziu consistentemente o PCE (melhor alinhamento) mantendo o NDCG estável ou levemente melhorado.
• Análise de Curvas de Calibração: O SPREE conseguiu trazer as curvas de calibração para perto da diagonal ideal (alinhamento perfeito), corrigindo tanto o viés para itens muito populares quanto para itens de nicho excessivo, dependendo do perfil do usuário.
• Ablação: A versão do SPREE sem o estimador de viés (aplicando um desvio global) falhou em melhorar o alinhamento na maioria dos datasets, confirmando que a adaptação individual é crucial para o sucesso do método.

5. Significado e Conclusão

O trabalho é significativo porque muda o paradigma de combate ao viés de popularidade:

• Do Global para o Individual: Em vez de tentar "nivelar" a popularidade globalmente (o que pode prejudicar usuários que gostam de hits), o foco passa a ser o alinhamento com a preferência individual de cada usuário.
• Eficiência Operacional: O método SPREE não requer re-treinamento de modelos grandes, tornando-o economicamente viável para plataformas de streaming em tempo real.
• Justiça e Diversidade: Ao permitir que usuários de nicho recebam recomendações adequadas ao seu gosto (sem serem forçados a itens populares) e que usuários mainstream recebam o que desejam, o sistema promove uma diversidade de conteúdo mais orgânica e justa, beneficiando tanto a experiência do usuário quanto a viabilidade econômica de criadores de nicho.

Em suma, o SPREE oferece uma solução técnica elegante para um problema social complexo, utilizando a estrutura interna dos modelos de transformer para alinhar recomendações com a intenção humana real.