Resumo Técnico: LLM Ajustado como Preditor Complementar Melhorando o Sistema de Anúncios

Declaração do Problema

Embora os Modelos de Linguagem de Grande Porte (LLMs) tenham avançado rapidamente, sua integração direta em Sistemas de Recomendação (RecSys) em escala de produção, particularmente para publicidade, permanece desafiadora. Sistemas industriais de anúncios dependem fortemente de características esparsas e centradas em IDs (IDs de usuários, IDs de anunciantes) que não se alinham naturalmente com representações semânticas baseadas em tokens. Além disso, as aplicações existentes de LLMs em RecSys geralmente se enquadram em três categorias: recuperação generativa, reclassificação em estágio tardio ou enriquecimento de sinais auxiliares. No entanto, essas abordagens frequentemente lutam com as restrições específicas de sistemas de anúncios, incluindo orçamentos estritos de latência, a dominância de características esparsas e a necessidade de modelar restrições complexas de segmentação e históricos de conversão. O problema central abordado é como aproveitar o conhecimento de mundo e a capacidade preditiva dos LLMs para melhorar a recuperação e a classificação de anúncios sem substituir as pilhas industriais existentes, altamente otimizadas, ou incorrer em custos de inferência proibitivos.

Metodologia

Os autores propõem um paradigma complementar onde um LLM de código aberto ajustado atua não como um classificador direto, mas como um preditor auxiliar específico para anúncios. O sistema prevê anunciantes prováveis e interesses do usuário condicionados a perfis de usuários estruturados e históricos de conversão. Essas previsões servem como priores informativos para as etapas de recuperação e classificação a jusante.

Arquitetura do Sistema

O pipeline consiste em quatro etapas:

1. Seleção de Usuários: A inferência é restrita a segmentos de alto valor (usuários ativos dos EUA com conversões recentes) para gerenciar latência e custo.
2. Compilação de Características: Dados heterogêneos (pesquisas onsite/offsite, conversões atribuídas/compatíveis, URLs, dados demográficos) são compilados em uma representação textual compacta.
3. Previsão de Anunciantes Baseada em Prompt: O LLM é pós-treinado para prever uma lista classificada de anunciantes e interesses do usuário.
4. Consumo a Jusante: Os anunciantes previstos são usados como filtros de segmentação na etapa de recuperação (Geração de Candidatos) e como características em modelos de conversão (Classificação).

Estratégias de Pós-Treinamento

O artigo explora duas abordagens principais de pós-treinamento:

• Ajuste Fino Supervisionado (SFT): O modelo é treinado para prever um único "próximo anunciante" com base em um prompt estruturado contendo perfis de usuários, conversões passadas e um pool pré-definido de anunciantes.
• GRPO (Otimização de Política Relativa em Grupo): Após o SFT, o modelo é otimizado usando aprendizado por reforço. O prompt solicita uma lista classificada de 20 anunciantes e 5 interesses do usuário. A função de recompensa ($R_{total}$) equilibra a correspondência com o anunciante de verdade (com bônus para posições de topo) contra penalidades de comprimento por desviar do formato de saída exigido (20 anunciantes, 5 interesses). Isso incentiva tanto a precisão quanto a adesão estrita ao formato de saída XML estruturado necessário para a integração em produção.

Aprimoramento de ID Semântico (SID)

Para bridar a lacuna entre semântica de texto e sistemas de anúncios baseados em IDs, os autores incorporam IDs Semânticos (SIDs) derivados de embeddings multimodais (PinCLIP) via RQ-VAE. Uma abordagem de treinamento em múltiplas fases é usada para evitar o esquecimento catastrófico:

1. Fase 1: Alinhar tokens SID com o espaço de texto atualizando apenas os embeddings SID enquanto o restante do modelo permanece congelado.
2. Fase 2: Pré-treinamento com parâmetros completos para incorporar conhecimento de recomendação enquanto mistura dados de domínio geral.
3. Fase 3: Ajuste fino específico da tarefa (SFT/GRPO) onde os prompts incluem tanto características de texto quanto sequências recentes de SID.

Integração a Jusante

• Recuperação: Os anunciantes previstos pelo LLM atuam como um gerador de candidatos (CG) complementar, filtrando o espaço de recuperação para priorizar anunciantes com alta intenção de conversão. Isso é particularmente eficaz para usuários com cobertura de sinal existente fraca.
• Classificação: Os anunciantes e interesses previstos são transformados em características e alimentados em modelos de conversão a jusante (ctcvr, vtcvr).

Resultados Principais

Desempenho Offline

• Qualidade da Previsão: No conjunto de dados V1 (alinhado com o tráfego de produção), a combinação de SFT (prompt de 1 anunciante) seguida por GRPO superou significativamente o prompting zero-shot. A inclusão de IDs Semânticos proporcionou ganhos substanciais, melhorando Recall@1, Recall@5 e Recall@20 em mais de 10% em comparação com modelos apenas de texto.
• Ablação de Características: A característica de entrada mais crítica foi "anunciantes ativos com conversões passadas". URLs offsite e pesquisas offsite foram as características seguintes mais influentes. Curiosamente, cadeias de raciocínio explícitas foram consideradas menos úteis do que o treinamento direto estilo SFT para esta tarefa específica de agregação de intenção.
• Modelos de Conversão: Adicionar características de anunciante derivadas de LLMs aos modelos de conversão resultou em melhorias offline mensuráveis, particularmente no PR-AUC (Precisão-Recall AUC), que é crucial para configurações de conversão esparsa.

Impacto Comercial Online

• Recuperação: Testes A/B em Anúncios de Compras dos EUA mostraram que o gerador de candidatos baseado em LLM aumentou o Retorno sobre Gastos em Publicidade (RoAS) em 4,94% para a fatia de tratamento geral e 6,69% para a fatia de opt-in.
• Mecanismo: Os ganhos foram impulsionados pelo sistema trazendo à tona tráfego de anunciantes com alta intenção de conversão que anteriormente estavam subcobertos pelos canais padrão de filtragem colaborativa.
• Restrições Operacionais: O estudo destacou que o ajuste cuidadoso da cota do gerador de candidatos e do objetivo de treinamento (usando cliques com pesos baseados em duração em vez de impressões brutas ou conversões esparsas) foi essencial para equilibrar a sobrevivência do funil e o engajamento.

Significado e Alegações

O artigo afirma demonstrar um caminho prático para recomendação aprimorada por LLM em escala redefinindo o papel dos LLMs em sistemas industriais de anúncios. Em vez de tentar substituir as pilhas existentes de recuperação e classificação em múltiplos estágios ou usar LLMs apenas como reclassificadores caros, os autores mostram que LLMs ajustados podem servir como preditores complementares.

As principais contribuições incluem:

1. Mudança de Paradigma: Formular com sucesso uma tarefa de previsão de anunciantes que aproveita o conhecimento de mundo do LLM para bridar a lacuna entre semântica de texto e características de ID esparsas em anúncios.
2. Receita Prática: Fornecer um fluxo de trabalho validado para compilação de dados, design de prompt (incluindo integração de SID) e ajuste fino (SFT + GRPO) que produz sinais estáveis e de baixa latência utilizáveis em todo o pipeline de anúncios.
3. Validação End-to-End: Demonstrar que esses sinais derivados de LLMs podem desbloquear valor comercial mensurável (melhorias no RoAS) ao melhorar tanto a cobertura de recuperação quanto a precisão de classificação sem interromper a infraestrutura central.

Os autores permanecem modestos, observando que, embora a extensão multimodal de SID tenha mostrado resultados offline fortes, ela ainda não foi totalmente validada em ambientes de produção online e, portanto, é excluída das alegações empíricas principais. O trabalho enfatiza que o sucesso dessa abordagem depende do design específico da tarefa de previsão auxiliar e de sua integração estreita com as restrições industriais existentes.