MBD: A Model-Based Debiasing Framework Across User, Content, and Model Dimensions

O artigo propõe o MBD, um framework de desviamento baseado em modelo que transforma sinais comportamentais enviesados em representações calibradas e personalizadas através da modelagem distribucional, permitindo a construção de sinais de valor mais justos e adaptáveis sem exigir infraestrutura de serviço separada.

O essencial

Imagine que você é o diretor de uma grande festa (o aplicativo de vídeos) e precisa decidir quais músicas tocar para que todos os convidados se divirtam. O seu problema é que você tem um assistente (o sistema de recomendação) que tenta adivinhar o que as pessoas gostam, mas esse assistente é um pouco "preguiçoso" e usa regras muito simples que acabam prejudicando a festa.

Aqui está a explicação do papel MBD (Model-Based Debiasing) usando uma analogia simples:

O Problema: O Assistente Cego

O assistente do sistema olha para os dados brutos e diz: "Olha, essa música durou 5 minutos, então as pessoas devem ter gostado muito!" ou "Essa foto foi curtida, então é ótima!".

Mas isso é injusto por três motivos principais:

1. O Formato Engana: É muito mais fácil alguém assistir a um vídeo de 10 minutos do que a uma foto estática. O assistente acha que o vídeo é melhor só porque durou mais, mesmo que a foto fosse mais divertida.
2. O Tempo Engana: Vídeos curtos são mais propensos a serem assistidos até o final (loop) do que vídeos longos. O assistente acha que os curtos são melhores.
3. O Convidado Engana: Algumas pessoas são super ativas e curtem tudo. Outras são tímidas e só curtem o que amam. O assistente trata o "curtir" de um tímido e de um hiperativo da mesma forma, o que não faz sentido.

Isso cria um viés: o sistema começa a mostrar apenas vídeos longos ou fotos, ignorando o que o usuário realmente quer, porque os números brutos estão "mentindo" sobre a qualidade real.

A Solução: O "Sistema de Notas Relativas" (MBD)

O papel propõe o MBD, que é como dar ao assistente um "contexto" ou uma "régua inteligente" para medir as coisas. Em vez de olhar apenas para o número bruto (ex: "5 minutos de visualização"), o MBD pergunta:

"Espera aí! Para um vídeo de 5 minutos, ver 5 minutos é incrível (é 100% do vídeo!). Mas para um vídeo de 10 minutos, ver 5 minutos é apenas metade. Vamos comparar o desempenho deste vídeo com o que é 'normal' para vídeos desse tamanho."

O MBD funciona em três passos simples:

1. Criar Grupos Inteligentes (Não Caixas Rígidas):
   Antigamente, o sistema tentava agrupar vídeos em caixas rígidas (ex: "vídeos de 5 a 10 segundos"). O problema é que um vídeo de 5,1 segundos era tratado igual a um de 9,9 segundos, o que é errado.
   O MBD é como um professor que não usa caixas, mas sim uma fórmula matemática flexível. Ele olha para o vídeo, para o usuário e para o contexto, e calcula instantaneamente: "Qual é a média de visualização para este tipo de vídeo com este tipo de usuário?".

2. Calcular a "Média" e a "Variação" (O Contexto):
   O sistema não apenas prevê o número, ele aprende a prever duas coisas ao mesmo tempo:

   • A Média (µ): O que é "normal" esperar?
   • A Variação (σ): Quão imprevisível é esse grupo?
   • Analogia: Imagine que você joga basquete. Se você faz 20 pontos num jogo normal, é ótimo. Mas se você faz 20 pontos num jogo onde a média é 5, você é um astro! O MBD descobre se você é um astro ou apenas um jogador mediano, comparando seu desempenho com a média do seu time.

3. Transformar em "Pontuação Justa" (Z-Score):
   Em vez de usar o número bruto, o sistema converte tudo em uma pontuação relativa.

   • Antes: "Este vídeo teve 45 segundos de visualização." (Não sabemos se é bom ou ruim).
   • Depois (com MBD): "Este vídeo teve um desempenho no 85º percentil para vídeos desse tamanho!" (Isso significa que ele foi melhor que 85% dos vídeos parecidos).

Por que isso é genial?

• Não precisa de novas máquinas: O MBD é como um "ramo extra" que cresce dentro da árvore principal do sistema. Ele usa a mesma inteligência artificial que já existe, apenas adicionando uma pequena camada de cálculo. É leve e rápido.
• Funciona para tudo: Serve para vídeos longos, fotos, vídeos novos (que ninguém viu ainda) e até para usuários de diferentes países.
• Resultados Reais: Quando o Meta (Facebook, Instagram, etc.) testou isso em bilhões de usuários, a festa ficou melhor. As pessoas passaram mais tempo no aplicativo, assistiram a mais vídeos e interagiram mais, porque o sistema finalmente parou de priorizar o que era "fácil de medir" e passou a priorizar o que as pessoas realmente gostavam.

Resumo em uma frase

O MBD é como um juiz de competição que, em vez de olhar apenas para o tempo total que um atleta correu, olha para o tempo dele comparado ao que é normal para a distância daquela corrida e para as condições do dia, garantindo que o vencedor seja realmente o mais talentoso, e não apenas o que correu a distância mais curta.

Resumo técnico

Resumo Técnico: Framework de Desviés Baseado em Modelo (MBD)

1. O Problema: Viéses Heterogêneos em Sistemas de Recomendação

Os sistemas de recomendação modernos agregam múltiplos sinais comportamentais (como tempo de visualização, curtidas, compartilhamentos) para ranquear candidatos. No entanto, esses sinais brutos são intrinsecamente confusos por viéses heterogêneos que não refletem a preferência real do usuário, mas sim características do item ou do contexto:

• Viés de Item: O "tempo de visualização" favorece naturalmente vídeos longos, enquanto a "taxa de loop" favorece vídeos curtos. A probabilidade de comentário favorece vídeos em relação a imagens.
• Viés de Usuário: Usuários têm diferentes níveis de atividade e paciência (ex.: "scrollers" rápidos vs. espectadores pacientes).
• Viés de Modelo: O próprio sistema de ranqueamento cria loops de feedback que exacerbam esses viéses, estreitando o ecossistema para favorecer "vencedores" do sistema em vez de interesses genuínos.

Limitações das Abordagens Atuais:
Métodos existentes (como Inverse Propensity Weighting ou bucketização estatística) operam principalmente em estimativas pontuais (point-wise). Eles falham em:

1. Falta de Contexto: Uma estimativa de 45 segundos de visualização pode indicar alto interesse para um vídeo de 60s, mas baixo interesse para um vídeo de 10 minutos. Métodos pontuais não capturam essa distribuição contextual.
2. Problemas de Escala e Generalização: A "bucketização" (agrupamento em faixas discretas) sofre com a maldição da dimensionalidade, erros de discretização (tratando vídeos de 5.1s e 9.9s como iguais), esparsidade de dados (falha em cold-start) e obsolescência temporal (não adapta-se a mudanças rápidas no ecossistema).

2. Metodologia: Framework MBD (Model-Based Debiasing)

O MBD propõe uma mudança de paradigma: de estimativa pontual absoluta para caracterização distribucional relativa. O objetivo é transformar sinais enviesados em sinais "desenviesados" e calibrados, definidos por uma noção de "justiça" controlável pelo usuário.

Componentes Principais:

• Conjunto de Recursos Parciais (Partial Feature Set - $x'$):
  O sistema permite definir um subconjunto de recursos que representam os fatores de viés a serem controlados (ex.: {perfil do usuário, duração do vídeo, região, número de visualizações}).
• Estimativa de Momentos Contextuais (Média e Variância):
  Diferente de métodos que apenas preveem o valor esperado $E[y|x]$, o MBD estima explicitamente a média contextual ($\mu$) e a variância contextual ($\sigma^2$) da distribuição de engajamento condicionada ao conjunto parcial $x'$.
  • Aprendizado Supervisionado: O modelo utiliza uma função de perda dupla para aprender esses momentos sem assumir uma distribuição subjacente específica (distribution-free):
    • Perda de Média: Minimiza o erro entre a previsão do modelo principal e a média estimada.
    • Perda de Variância: Utiliza a relação entre o primeiro e segundo momento para estimar a variância, usando o operador stop-gradient para evitar que o aprendizado da variância perturbe a previsão principal.
• Construção de Sinais Desviados (Unbiased Signals):
  Com $\mu$ e $\sigma$ estimados, o sistema transforma a previsão bruta $p(x)$ em uma Pontuação de Preferência Relativa (RPS), semelhante a um escore Z ou percentil:
  $$RPS = \frac{p(x) - \mu(x')}{\sigma(x')}$$
  Isso permite comparar itens de forma justa (ex.: "este vídeo está no 85º percentil para a duração deste usuário", em vez de "45 segundos").
• Arquitetura Eficiente:
  O MBD é implementado como um ramo leve e embutido no modelo de ranqueamento existente (Multi-Task Multi-Label - MTML). Ele compartilha as representações de embeddings principais, adicionando menos de 5% de custo computacional e não requer infraestrutura de serviço separada ou tabelas estatísticas offline.

Aplicações no Modelo de Valor (Value Model):
Os sinais RPS podem ser integrados de três formas:

1. Boosting Aditivo: Promover itens que superam significativamente a linha de base do seu grupo.
2. Filtragem Rígida: Suprimir itens que estão muito abaixo da expectativa do grupo (ex.: clickbait).
3. Reponderação Multiplicativa: Ajustar suavemente a magnitude do score para calibrar a eficiência relativa entre diferentes coortes.

3. Principais Contribuições

1. Framework Generalizado de Desviés: Transição da minimização de erro pontual para mitigação de viés distribucional, aplicável a qualquer viés definido por um conjunto parcial de recursos.
2. Algoritmo de Aprendizado de Momentos Desacoplado: Um método que estima estatísticas distribucionais (média e variância) sem assumir distribuições prévias, resolvendo o problema de estimar variância em aprendizado supervisionado.
3. Arquitetura Integrada e Leve: Implementação nativa no modelo de ranqueamento, eliminando a necessidade de tabelas de lookup offline e permitindo adaptação em tempo real a mudanças de distribuição.
4. Impacto em Escala Industrial: Validação em plataformas com bilhões de usuários, demonstrando ganhos reais em métricas de longo prazo.

4. Resultados e Avaliação

O framework foi testado em dois aplicativos de vídeo curto com escala de bilhões de usuários.

• Avaliação Offline:

  • Qualidade da Estimativa: O MBD demonstrou alta fidelidade na estimativa de $\mu$ e $\sigma$, reduzindo o NLL (Negative Log-Likelihood) em mais de 50% comparado a baselines de agrupamento (clustering).
  • Mitigação de Viés: A correlação entre o score de preferência relativa (RPS) e o atributo de viés (ex.: duração do vídeo) foi reduzida para quase zero ($\rho \approx 0.003$), indicando que o sinal tornou-se independente do viés, ao contrário de métodos heurísticos que sofrem de sub ou super-correção.

• Testes A/B Online (Resultados Chave):

  • Retenção e Engajamento: O MBD resultou em um aumento cumulativo de +0.5% no Tempo de Uso (Time Spent) e +0.05% em Sessões em diferentes superfícies de produto.
  • Caso 1 (Duração de Mídia): Correção de viés que penalizava histórias multimídia longas. Resultado: Aumento de impressões para conteúdo multimídia (+0.58%) e ganhos simultâneos em visualização e curtidas.
  • Caso 2 (Formato de Conteúdo): Balanceamento entre fotos e vídeos. O sistema identificou "likes" incrementais reais, melhorando a descoberta de conteúdo.
  • Caso 3 (Cold Start): Melhoria significativa em itens novos (+0.190% em breakout), ao modelar a incerteza inerente a itens com poucas visualizações.
  • Eficiência de Engajamento: O modelo promoveu vídeos longos de alta retenção (razão de eficiência > 500% em alguns buckets) e podou vídeos curtos de baixa qualidade (razão < 100%), otimizando o ecossistema.

5. Significado e Conclusão

O trabalho MBD representa um avanço significativo na engenharia de sistemas de recomendação ao resolver o dilema entre precisão de previsão e justiça contextual. Ao substituir a dependência de heurísticas estáticas e tabelas offline por um modelo probabilístico dinâmico e integrado, o MBD permite que os sistemas de recomendação:

1. Decuplem os sinais de preferência dos artefatos do ecossistema.
2. Adaptem-se em tempo real a mudanças de comportamento e tendências.
3. Promovam uma diversidade de conteúdo mais saudável e sustentável, beneficiando tanto os usuários (melhor experiência) quanto os criadores (exposição justa).

A abordagem demonstra que a modelagem distribucional não é apenas uma melhoria teórica, mas uma ferramenta prática essencial para a escalabilidade e saúde de plataformas de recomendação em massa.