Resumo Técnico: MMRM para Classificação de Produtos de E-commerce

1. Definição do Problema

A classificação de busca em e-commerce requer a captura de preferências finas de usuários através de múltiplos objetivos (ex: Taxa de Cliques, Taxa de Adição ao Carrinho, Taxa de Conversão). Embora abordagens recentes utilizem o ajuste fino (fine-tuning) de Modelos de Linguagem Multimodais (MLLMs) gerais para gerar representações de itens, os autores identificam duas limitações críticas nos métodos existentes:

1. Dependência de Sinais Colaborativos Únicos: Os métodos atuais tipicamente realizam o ajuste fino de MLLMs usando apenas um tipo de sinal (ex: cliques de consulta-para-item baseados em busca ou cliques de item-para-item baseados em comportamento). Os autores argumentam que os sinais de e-commerce são inerentemente heterogêneos. Sinais de busca capturam relevância ampla, enquanto comportamentos sequenciais (carrinho, pedido) refletem similaridades mais refinadas e relações complementares. Ignorar essa diversidade impede que os modelos aprendam as representações abrangentes necessárias para a classificação multitarefa.
2. Subutilização na Classificação de Jusante (Downstream): Modelos de classificação existentes frequentemente tratam representações multimodais como recursos regulares, utilizando uma única tabela de embeddings para interação de recursos ou agrupamento simples de comportamento. Essa abordagem falha em capturar "intenções de usuário multiplex", levando à perda de informação e ao emaranhamento de embeddings em cenários multitarefa.

2. Metodologia

A solução proposta, o Multiplex Multimodal Representation Model (MMRM), é um framework unificado projetado para alinhar MLLMs com diversos sinais colaborativos e integrá-los em sistemas de classificação multitarefa.

2.1 Construção do Dataset

Os autores construíram quatro conjuntos de dados de tripletas distintas para capturar sinais heterogêneos:

• Dataset Q2I (Busca): Construído a partir de cliques de consulta-item ($q2i\_click$), representando o sinal mais pervasivo, porém de granularidade grossa. Negativos difíceis (hard negatives) são amostrados da mesma categoria pai, mas de subcategorias diferentes.
• Datasets I2I (Comportamento): Três datasets ($i2i\_click$, $i2i\_cart$, $i2i\_order$) são construídos via abordagens baseadas em grafos.
  • Itens são conectados com base em comportamentos sequenciais de usuários dentro de janelas de tempo específicas (ex: 10 minutos para cliques, 30 minutos para carrinhos).
  • Para mitigar o domínio de itens populares (hot-items), itens âncoras são subamostrados usando uma função de probabilidade similar ao word2vec.
  • Negativos difíceis são amostrados da mesma subcategoria do item positivo para aumentar o aprendizado contrastivo.

2.2 Arquitetura MMRM

O MMRM emprega um backbone de MLLM compartilhado (inicializado a partir do Qwen3-VL-4B-Instruct) com modificações arquiteturais específicas para lidar com o aprendizado multitarefa:

• Tokens Específicos de Tarefa: Quatro tokens especiais — [SEARCH], [CLICK], [CART] e [ORDER] — são anexados às entradas para desentrançar as tarefas.
• Camadas de Projeção: O estado oculto do token de tarefa específico é projetado via um MLP (Perceptron Multicamadas) específico da tarefa para gerar a representação final do item específica da tarefa ($r^t_i$).
• Objetivo de Treinamento: O modelo é treinado em uma mistura uniforme dos quatro datasets. Para cada tarefa $t$, a perda de aprendizado contrastivo é calculada usando pares positivos daquela tarefa, enquanto itens de outras tarefas servem como negativos dentro do lote (in-batch negatives). Isso permite que o modelo aprenda com diversos sinais simultaneamente sem degradação de desempenho.

2.3 Aplicação de Classificação Multitarefa

Os autores introduzem uma estratégia de representação de usuário multiplex para o modelo de classificação de jusante:

• Busca Suave (Soft Search): Para uma determinada consulta e item alvo, o sistema extrai uma subsequência de comportamento relevante top-$K$ usando a tabela de embeddings multimodais específica da tarefa atual (ex: usando embeddings [CART] para predição de ACR).
• Representação de Usuário: Representações de usuário específicas da tarefa ($U_t$) são derivadas usando um módulo de Atenção Alvo Multi-Cabeça (MHTA) sobre a sequência de comportamento filtrada.
• Integração MMoE: Todas as representações de usuário específicas da tarefa e outros recursos são processados por um módulo de Mistura de Especialistas com Portão Multi (MMoE) para gerar estados ocultos específicos da tarefa.
• Predição: Esses estados são alimentados em torres específicas de tarefa (CTR, ACR, CVR) para gerar predições finais.

3. Principais Contribuições

1. Framework Unificado: O MMRM alinha efetivamente MLLMs com quatro sinais colaborativos diversos (busca, clique, carrinho, pedido) usando um backbone compartilhado e tokens específicos de tarefa, permitindo a geração eficiente de representações de itens multiplex em uma única passagem de inferência.
2. Estratégia de Usuário Multiplex: O artigo propõe uma estratégia inovadora para derivar representações de usuário específicas de tarefa a partir de representações de itens multiplex, abordando o problema de emaranhamento de embeddings em classificação multitarefa.
3. Escalabilidade: Os autores demonstram que o MMRM pode ser treinado eficientemente em dados de larga escala (0,3 bilhão de tripletas) usando técnicas como GradCache para lidar com grandes tamanhos de lote em MLLMs modernos.

4. Resultados Experimentais

4.1 Avaliação do Modelo de Representação

• Desempenho: O MMRM superou consistentemente os baselines de tarefa única e um baseline "Vanilla-Multi" (que utilizava embeddings compartilhados com prompts de tarefa).
• Eficiência: O MMRM gera todos os quatro embeddings de tarefa em uma única passagem forward, enquanto os baselines exigiam quatro passagens separadas.
• Ablação: Experimentos confirmaram que tamanhos de lote maiores (alcançados via GradCache) aumentam significativamente o desempenho, validando a importância de negativos diversificados no lote.

4.2 Avaliação do Modelo de Classificação (Ranking)

• Offline: O modelo de classificação proposto usando filtragem multiplex ($SIM_{soft}(item_{MMRM[ALL]})$) alcançou os melhores escores de GAUC nas tarefas de CTR, ACR e CVR em comparação com baselines que usavam tabelas de embeddings únicas ou filtragem baseada em categoria.
• Teste A/B Online: Implantado no mecanismo de busca do e-commerce da JD, o sistema mostrou melhorias significativas em relação ao baseline online:
  • Taxa de Clique do Usuário (UCTR): +0,42%
  • Taxa de Adição ao Carrinho do Usuário (UACR): +0,37%
  • Taxa de Conversão do Usuário (UCVR): +0,35%
  • Os autores observam que, dado o tráfego massivo da plataforma, esses aumentos se traduzem em crescimento substancial de receita.

5. Significância e Alegações

O artigo afirma que o MMRM aborda com sucesso as limitações dos atuais sistemas de classificação multimodais ao alavancar a heterogeneidade dos sinais de e-commerce. Ao se afastar do ajuste fino de sinal único e da modelagem de classificação de embedding único, o MMRM fornece uma compreensão mais abrangente da intenção do usuário. O deploy bem-sucedido na JD.com, atendendo milhões de usuários diários, valida a eficácia prática e a escalabilidade do framework proposto em um ambiente real de alto risco. O trabalho ressalta o valor das representações "multiplex" para desentrançar comportamentos complexos de múltiplos objetivos do usuário.