Aligning Multimodal Sequential Recommendations via Robust Direct Preference Optimization with Sparse MoE

1. Problema e Motivação

O artigo aborda um desafio crítico na aplicação de Otimização Direta de Preferência (DPO) — uma técnica bem-sucedida em Grandes Modelos de Linguagem (LLMs) via RLHF — ao domínio de Sistemas de Recomendação (RecSys), especificamente em cenários de Recomendação Sequencial Multimodal (MSR).

• O Dilema do "Falso Negativo": Em NLP, as amostras negativas (respostas geradas pelo modelo que estão erradas) são estritamente indesejáveis. No entanto, em sistemas de recomendação baseados em feedback implícito (cliques/compras), um item não observado (não clicado) não significa necessariamente que o usuário o odeia; ele pode ser apenas um "positivo não observado" (um item que o usuário gostaria, mas não viu ou não teve a chance de interagir).
• Falha do DPO Convencional: Estratégias padrão de DPO, como a mineração de "hard negatives" (selecionar o item não-alvo com a maior pontuação), tendem a selecionar acidentalmente esses "positivos não observados" como negativos. Ao penalizar agressivamente esses itens, o modelo gera gradientes de preferência errôneos, distorcendo o espaço de ranking e degradando o desempenho.
• Limitações Atuais: Métodos existentes muitas vezes confundem ganhos de desempenho devido à complexidade arquitetônica com ganhos reais provenientes da correção do mecanismo de amostragem de negativos no DPO.

2. Metodologia Proposta: RoDPO

Os autores propõem o RoDPO (Robust Direct Preference Optimization), um framework projetado para alinhar modelos de recomendação com as preferências implícitas dos usuários, mitigando o problema dos falsos negativos.

A. Amostragem Estocástica de Top-K Negativos (Core Innovation)

A contribuição central é a substituição da seleção determinística de um único "hard negative" por uma Amostragem Estocástica de Top-K Negativos:

1. Em vez de escolher apenas o item com a maior pontuação (argmax) como negativo, o modelo constrói um pool dinâmico com os K melhores candidatos (excluindo o item positivo real).
2. O item negativo ($y_l$) é amostrado uniformemente desse pool de Top-K.
3. Benefício: Isso mantém a intensidade do gradiente (já que os candidatos são de alta pontuação), mas introduz estocasticidade controlada que reduz a probabilidade de penalizar repetidamente o mesmo "falso negativo", suavizando a otimização.

B. Arquitetura e Escalabilidade (Sparse MoE)

Para garantir capacidade suficiente para resolver conflitos de preferência de alta granularidade sem aumentar excessivamente o custo de inferência:

• O modelo utiliza um Encoder Sequencial Multimodal (incorporando IDs, texto e imagens via Transformers).
• Incorpora opcionalmente uma camada Sparse Mixture-of-Experts (MoE). Isso permite escalar a capacidade do modelo (mais parâmetros ativos) durante o treinamento, mas mantém a latência de inferência baixa, ativando apenas um subconjunto de especialistas por entrada.

C. Protocolo de Treinamento em Duas Etapas

1. Warm-up (SFT): O modelo é pré-treinado com uma tarefa de previsão de próximo item padrão (Cross-Entropy) para obter uma política de referência ($\pi_{ref}$) estável e confiável.
2. Otimização DPO: O modelo é ajustado minimizando uma função de perda combinada:
   $$\mathcal{L}_{total} = \mathcal{L}_{CE} + \lambda \mathcal{L}_{DPO}$$
   Onde $\mathcal{L}_{DPO}$ é calculado com base nas margens de logits entre o item positivo ($y_w$) e o negativo amostrado estocasticamente ($y_l$), em relação à política de referência congelada.

3. Contribuições Principais

1. Identificação do Dilema: Demonstrar que a fragilidade do DPO em RecSys é causada primariamente pela seleção de falsos negativos, e não apenas pela complexidade do modelo.
2. Estratégia de Amostragem: Proposição da "Amostragem Estocástica de Top-K" como uma solução simples, plug-and-play, que equilibra a dureza do sinal de gradiente com a tolerância a falsos negativos.
3. Framework RoDPO: Integração dessa estratégia com um backbone multimodal escalável (MoE) e um protocolo de treinamento robusto.
4. Desempenho Eficiente: Mostrar que é possível obter ganhos significativos de ranking sem aumentar o custo de inferência.

4. Resultados Experimentais

Os experimentos foram conduzidos em três benchmarks do Amazon (Toys and Games, Beauty, Home and Kitchen).

• Desempenho Geral (RQ1): O RoDPO superou consistentemente todos os baselines de ponta (incluindo métodos multimodais como HM4SR, IISAN e métodos clássicos como SASRec).
  • Ganho Máximo: Até +5.25% em NDCG@5 e +7.67% em MRR@5 no conjunto de dados "Toys and Games" em comparação com o melhor baseline.
• Análise de Amostragem (RQ2):
  • Amostragem Aleatória: Desempenho inferior.
  • Hard Sampling (Argmax): Apenas marginais melhorias, confirmando que a penalização agressiva de um único item é prejudicial devido aos falsos negativos.
  • Top-K Sampling (RoDPO): Obteve os melhores resultados, provando que o equilíbrio entre dureza e estocasticidade é crucial.
• Estudo de Ablação (RQ3):
  • Remover o DPO causou queda significativa no desempenho.
  • Remover o MoE (usando MLP padrão) resultou em desempenho inferior, indicando que a capacidade extra do MoE ajuda a capturar fronteiras de preferência complexas.
• Eficiência:
  • O custo de treinamento é quase idêntico ao do baseline (devido ao modelo de referência congelado).
  • A latência de inferência é praticamente inalterada (0.45s vs 0.42s por batch), pois o modelo de referência é descartado na implantação e o MoE é esparsamente ativado.

5. Significado e Conclusão

O trabalho oferece uma metodologia robusta para alinhar modelos de recomendação com preferências humanas reais, superando as limitações dos métodos baseados apenas em verossimilhança (pointwise).

• Implicação Teórica: Corrigir o mecanismo de amostragem de negativos é mais crítico do que apenas aumentar a complexidade do modelo para aplicar DPO em sistemas de recomendação.
• Implicação Prática: O RoDPO demonstra que é possível melhorar significativamente a precisão do ranking em cenários de dados esparsos e multimodais sem sacrificar a eficiência computacional em produção.
• Futuro: Abre caminho para o uso de modelos foundation maiores e sinais de feedback mais diversos, embora a generalização para outros domínios (como vídeos curtos) ainda precise ser verificada.

Em resumo, o RoDPO resolve o problema fundamental de "punição de itens bons não observados" no DPO, utilizando uma abordagem estatisticamente inteligente (amostragem estocástica) combinada com arquiteturas eficientes (MoE), estabelecendo um novo estado da arte em recomendação sequencial multimodal.