Resumo Técnico: Não Contraste o Impossível

Definição do Problema

Em sistemas de recomendação de larga escala, o aprendizado contrastivo é o paradigma padrão para aprender representações de usuários. Esses métodos tipicamente tratam interações observadas entre usuário e item como positivas e outros itens dentro de um mini-lote (mini-batch) como negativos. Uma suposição comum, muitas vezes implícita, que fundamenta a amostragem aleatória de mini-lotes é a exposição universal: a ideia de que qualquer usuário poderia, teoricamente, ser exposto a qualquer item.

Essa suposição falha em plataformas de comunidade local como o Karrot (Danggeun Market), onde a exposição é geograficamente restrita por design. Nessas plataformas, a vasta maioria dos pares usuário-item é impossível por política; itens localizados fora da região visível de um usuário nunca são expostos a esse usuário. Consequentemente, o batching aleatório padrão introduz um alto volume de negativos impossíveis — itens que um usuário jamais poderia ter visto devido a regras geográficas, não por falta de preferência.

O artigo distingue dois tipos de negativos:

1. Negativos Viáveis (Feasible Negatives): Itens aos quais um usuário poderia ter sido exposto, mas optou por não interagir. Eles carregam um sinal de preferência significativo.
2. Negativos Impossíveis (Impossible Negatives): Itens aos quais um usuário nunca poderia ter sido exposto devido a restrições da plataforma. Eles carregam pouco ou nenhum sinal de preferência, pois a não interação é determinada pelo sistema, e não pela escolha do usuário.

Quando os negativos impossíveis dominam um lote de treinamento, eles diluem o sinal de aprendizado contrastivo, levando a representações de usuário menos discriminativas.

Metodologia: Amostragem de Lote Restrita por Região (RCBS)

Para abordar o problema dos "negativos impossíveis", os autores propõem a Amostragem de Lote Restrita por Região (RCBS - Region-Constrained Batch Sampling). Esta é uma correção ao nível de dados que modifica a forma como os mini-lotes são construídos sem alterar a arquitetura do modelo subjacente ou a função de perda.

Mecanismo Central

O RCBS constrói mini-lotes homogêneos por região. Em vez de amostrar usuários uniformemente de forma aleatória de toda a plataforma, o RCBS amostra usuários de uma região geográfica específica $r$.

• Definição de Viabilidade: Um par usuário-item é definido como viável se a distância entre a região do usuário e a região do item estiver dentro de um raio de exposição específico do usuário $\delta_u$.
• Construção do Lote: Um lote $\mathcal{B}_r$ é formado amostrando usuários uniformemente de um pool de usuários $U_r$ de uma região específica. Como todos os usuários no lote compartilham restrições de exposição semelhantes, os itens associados a outros usuários no lote são altamente propensos a serem negativos viáveis para o usuário alvo.

Impacto Teórico

Os autores derivam que, sob o batching aleatório, a fração esperada de negativos impossíveis ($\rho$) é alta e escala com o número de regiões. Em contraste, o RCBS concentra a massa de probabilidade em uma única região, levando $\rho$ próximo a zero.

• Negativos Mais Difíceis (Harder Negatives): Ao substituir negativos impossíveis por viáveis, o RCBS naturalmente introduz "negativos mais difíceis". Negativos viáveis representam itens que o usuário poderia ter visto, mas não viu, fornecendo um sinal mais forte e informativo para o aprendizado de preferências do usuário.
• Complementaridade com IPS: O artigo observa que o RCBS é complementar ao Scoring de Propensão Inversa (IPS). Enquanto o IPS corrige o viés de exposição entre pares observados, ele não consegue lidar com pares com probabilidade de exposição zero (pares impossíveis). O RCBS garante que o lote de treinamento consista primariamente em pares viáveis, sobre os quais o IPS pode então operar para corrigir desequilíbrios residuais.

Principais Contribuições

1. Identificação do Problema: O artigo identifica o problema específico dos "negativos impossíveis" em sistemas de recomendação com restrição regional, distinguindo-os de negativos baseados em preferência padrão.
2. Proposta do RCBS: Introduz a Amostragem de Lote Restrita por Região, um método simples e eficaz para reduzir negativos impossíveis ao impor homogeneidade geográfica nos mini-lotes.
3. Validação Empírica: Através de extensas avaliações offline e online, os autores demonstram que o RCBS melhora a qualidade da representação do usuário e o desempenho downstream.
4. Implantação em Produção: As embeddings de usuário resultantes, aprendidas via RCBS, foram implantadas com sucesso em diversas aplicações na produção do Karrot.

Resultados Experimentais

Avaliação Offline (Pré-treinamento de Modelagem de Usuário)

• Métricas: Recall@10 e Recall@100.
• Descobertas: Modelos treinados com RCBS superaram consistentemente os baselines de batching aleatório.
  • Random-Train: Alcançou R@10 de 0,100 com uma razão de negativos impossíveis ($\rho_{train}$) de 0,98.
  • RCBS-Train (fine): Alcançou R@10 de 0,149 com $\rho_{train}$ reduzido para 0,30.
• Observação: Uma razão menor de negativos impossíveis correlacionou-se fortemente com melhores métricas de recall. Além disso, avaliar modelos treinados com RCBS usando avaliação baseada em RCBS (RCBS-Eval) resultou em pontuações menores do que o Random-Eval, confirmando que os negativos viáveis atuam como negativos mais difíceis e desafiadores do que os impossíveis.

Desempenho em Tarefas Downstream

Ao ser aplicado a três tarefas downstream, as embeddings de usuário treinadas com RCBS mostraram melhorias consistentes sobre os baselines de batching aleatório:

• Ranking de Feed Principal: Melhoria de +1,18% em NDCG@10.
• Recuperação (Retrieval) de Feed Principal: Melhoria de +7,56% em Recall@10 (o maior ganho, atribuído à similaridade estrutural entre os objetivos de recuperação e pré-treinamento).
• Ranking de Anúncios de Display: Melhoria de +3,38% em PR-AUC.

Testes A/B Online

O modelo de melhor desempenho (RCBS-Train fine) foi implantado em testes A/B de produção:

• Feed Principal (Ranking + Recuperação): Aumento de +10,0% em cliques, +5,12% em impressões e +1,91% em Espectadores Diários Ativos (DAV).
• Anúncios de Display: Aumento de +6,01% em eCPM e +7,46% em CTR de Anúncios.

Significância e Alegações

O artigo afirma que o problema dos "negativos impossíveis" é uma questão crítica e frequentemente negligenciada em serviços dependentes de localização (ex: entrega de comida, aplicativos de relacionamento, mercados locais) onde a exposição é estritamente limitada pela geografia. Ao simplesmente restringir o processo de batching para ser homogêneo por região, os autores demonstram que:

1. Os sinais de treinamento são fortalecidos: Substituir negativos impossíveis por viáveis fornece um reflexo mais preciso da preferência do usuário.
2. O desempenho é escalável: O método melhora métricas de recuperação e ranking de forma generalizada, levando a um impacto comercial significativo em um ambiente de produção.
3. A simplicidade é eficaz: A solução não requer mudanças na arquitetura do modelo ou na função de perda, tornando-a um substituto prático e direto para o batching aleatório padrão em sistemas geograficamente restritos.

Os autores concluem que, embora o RCBS aborde efetivamente a impossibilidade estrutural de certos pares, trabalhos futuros poderiam explorar o agrupamento de regiões adaptativo para restrições dinâmicas e uma integração mais profunda com métodos de debiasing baseados em propensão.