Resumo Técnico: Preenchendo a Lacuna de Informação com o SemRaD

1. Definição do Problema

O artigo aborda o problema de cold-start para novos usuários no e-commerce, especificamente o desafio de prever o Valor do Tempo de Vida do Usuário (LTV) e a Taxa de Conversão (CVR) para usuários com históricos de interação esparsos. Modelos de sequência padrão (ex: DIN, SASRec) dependem de históricos ricos; quando os rastros dos usuários contêm apenas alguns eventos, as previsões degeneram em direção às médias populacionais, levando a um marketing ineficiente e oportunidades perdidas de retenção.

Os autores identificam duas abordagens existentes e suas limitações específicas:

1. Aumentação Semântica Baseada em LLM: Embora os Grandes Modelos de Linguagem (LLMs) possam densificar históricos esparsos ao inferir a intenção do usuário, eles tipicamente geram racionais não estruturados e de formato livre. Em produção, estes são ruidosos, difíceis de validar e inconsistentes entre usuários ou mudanças de mercado, tornando-os difíceis de operacionalizar.
2. Aprendizado Usando Informação Privilegiada (LUPI): Esta abordagem utiliza um modelo "professor" com acesso a sinais pós-conversão (informação privilegiada) para treinar um modelo "aluno" que vê apenas dados pré-conversão. No entanto, a destilação ingênua frequentemente falha porque a lacuna de informação entre o professor e o aluno é muito grande e heterogênea entre os usuários. Um único caminho de destilação compartilhado tende a fazer a média sobre esses regimes, falhando em transferir o conhecimento efetivamente para os usuários que mais precisam dele.

2. Metodologia: Estrutura SemRaD

Os autores propõem o SemRaD (Semantic Reasoning-aware Distillation), uma estrutura projetada para preencher a lacuna de informação através de dois componentes complementares: um Pipeline de Raciocínio Semântico Estruturado e uma Rede de Destilação Consciente de Hindsight (Retrospectiva).

A. Pipeline de Raciocínio Semântico Estruturado

Em vez de gerar texto de formato livre, o SemRaD emprega um fluxo de trabalho de descobrir–curar–auditar para criar um esquema fixo e interpretável de dimensões comportamentais (ex: Resolução Temporal, Magnitude da Transação).

• Construção do Esquema: LLMs propõem dimensões candidatas, que são deduplicadas e consolidadas por uma segunda chamada de LLM, sendo então revisadas por especialistas de domínio para garantir distinção e relevância preditiva.
• Perfilamento Semântico:
  • Pré-conversão ($Z_{pre}$): O LLM analisa o log esparso de pré-conversão para gerar um Perfil Semântico Densificado, consistindo de racionais estruturados para cada dimensão. Este é o único sinal derivado de LLM utilizado pelo aluno implantado.
  • Pós-conversão ($Z_{post}$): Durante o treinamento, o LLM analisa o log privilegiado de pós-conversão para gerar um perfil futuro.
  • Fusão de Hindsight ($Z_{fused}$): Um prompt de fusão reconcilia o raciocínio de pré e pós-conversão. Ele identifica quais sinais de pré-conversão foram verdadeiramente preditivos e resolve contradições, produzindo um Alvo de Destilação de Hindsight. Este alvo fornece supervisão autossuficiente para o professor, da qual o aluno pode aprender, em vez de sinais brutos e potencialmente contraditórios.

B. Rede de Destilação Consciente de Hindsight

A estrutura utiliza um paradigma de Destilação Simultânea com um Aluno (online) e um Professor (apenas para treinamento).

• Codificador com Portão Semântico (Semantic-Gated Encoder): Para lidar com a heterogeneidade do usuário (onde diferentes dimensões importam para diferentes usuários), o modelo utiliza um Codificador com Portão Semântico. Ele codifica cada racional semântico com um codificador de texto congelado e computa pesos de importância por usuário via um mecanismo de portão (gating). Isso permite que o modelo foque nas dimensões mais informativas para cada usuário específico.
• Especialistas de Destilação: Para abordar a lacuna de informação heterogênea, a estrutura substitui um único caminho de destilação compartilhado por Especialistas de Destilação. Um roteador Gumbel-softmax, condicionado à representação do professor, seleciona entre múltiplos MLPs especialistas para reconstruir o alvo do professor a partir do input do aluno. Isso permite que o modelo adapte a estratégia de transferência baseada no regime de dados de cada usuário específico.
• Objetivo de Treinamento: O loss total combina o loss supervisionado específico da tarefa (Huber para LTV, BCE para CVR), a destilação de conhecimento de alvo suave (KD) e o loss de reconstrução roteado por especialistas.

3. Principais Contribuições

1. Pipeline de Raciocínio Semântico Estruturado: Substitui racionais de LLM não estruturados por um fluxo de trabalho de descoberta-curadoria-auditoria guiado por esquema. Isso produz um Perfil Semântico Densificado para inferência e um Alvo de Destilação de Hindsight para treinamento, garantindo consistência e operacionalidade.
2. Rede de Destilação Consciente de Hindsight: Introduz um mecanismo de destilação que preenche a lacuna professor-aluno através do alvo de hindsight reconciliado e lida com a variabilidade por usuário através de Especialistas de Destilação, evitando a fragilidade da destilação de via única.
3. Implantação em Produção e Generalização: Demonstra que o SemRaD generaliza para diversas tarefas (LTV e CVR), backbones de alunos (Transformer, DIN, Avg-Pooling) e LLMs de perfilamento. Valida a abordagem em um cenário industrial de larga escala.

4. Resultados Experimentais

Os experimentos foram conduzidos em um dataset industrial de larga escala (120k usuários) e validados via um teste A/B online de quatro semanas na Keeta.

• Desempenho Offline: Comparado a um modelo base de nível de produção, o SemRaD alcançou:
  • +1,9% de melhoria no LTV (Coeficiente de Gini).
  • +1,0% de melhoria no CVR (AUROC).
  • Estudos de ablação confirmaram que tanto o perfilamento semântico estruturado quanto a destilação consciente de hindsight (incluindo especialistas) são necessários para o pico de desempenho.
• Eficiência de Dados: O SemRaD igualou o desempenho de LTV do sistema de produção usando apenas 9% dos dados de treinamento, enquanto melhorou o CVR em 0,8%, destacando a eficiência de sinal dos perfis semânticos.
• Teste A/B Online: Em uma implantação ao vivo (5% de tráfego, ~10k usuários), o SemRaD mostrou:
  • +1,0% de ganho relativo em LTV.
  • +0,43% de ganho relativo em CVR.
  • A latência de serviço aumentou ligeiramente (P50: +7,6%, P99: +34%) devido ao MLP com portão, mas nenhuma chamada de LLM foi necessária no tempo de inferência (perfis são armazenados em cache).
• Análise de Mecanismo:
  • Pesos do Portão (Gate Weights): Os pesos de portão aprendidos alinharam-se com a intuição do especialista (ex: Navigation Intent Specificity dominou), validando a utilidade do esquema.
  • Especialistas de Destilação: O roteador naturalmente agrupou usuários em regimes distintos (ex: conversores vs. não conversores) sem supervisão explícita.
  • Lacuna de Informação: O SemRaD reduziu significamente o desacordo de previsão entre o professor e o aluno para usuários em cold-start comparado à destilação ingênua, confirmando que a fusão de hindsight torna a supervisão privilegiada mais alcançável.

5. Significância e Alegações

O artigo afirma que o SemRaD aborda efetivamente os desafios duplos do ruído semântico não estruturado e das lacunas de informação heterogêneas. Ao converter o raciocínio do LLM em um esquema estruturado e reconciliar sinais privilegiados através da fusão de hindsight, a estrutura permite uma transferência de conhecimento robusta de um professor privilegiado para um aluno de dados esparsos.

Os autores enfatizam que a estrutura é agnóstica ao modelo e foi adotada com sucesso para outras tarefas de produção na Keeta, incluindo previsão de CTR, simulação de usuário e reengajamento de usuários silenciosos. O trabalho demonstra que combinar raciocínio semântico estruturado com técnicas avançadas de destilação pode gerar valor de negócio significativo e mensurável, mantendo a eficiência de dados e a viabilidade operacional.