Resumen Técnico: LLM Ajustado Fino como Predictor Complementario que Mejora el Sistema de Anuncios

Declaración del Problema

Aunque los Modelos de Lenguaje Grandes (LLM) han avanzado rápidamente, su integración directa en Sistemas de Recomendación (RecSys) a escala de producción, particularmente para publicidad, sigue siendo un desafío. Los sistemas publicitarios industriales dependen en gran medida de características escasas y centradas en identificadores (IDs de usuarios, IDs de anunciantes) que no se alinean naturalmente con representaciones semánticas basadas en tokens. Además, las aplicaciones existentes de LLM en RecSys suelen caer en tres categorías: recuperación generativa, reordenamiento en etapas tardías o enriquecimiento de señales auxiliares. Sin embargo, estos enfoques a menudo luchan contra las restricciones específicas de los sistemas publicitarios, incluidos presupuestos estrictos de latencia, el dominio de características escasas y la necesidad de modelar restricciones complejas de segmentación e historiales de conversión. El problema central abordado es cómo aprovechar el conocimiento del mundo y la capacidad predictiva de los LLM para mejorar la recuperación y el ordenamiento de anuncios sin reemplazar las pilas industriales existentes, altamente optimizadas, ni incurrir en costos de inferencia prohibitivos.

Metodología

Los autores proponen un paradigma complementario donde un LLM de código abierto ajustado fino actúa no como un ordenador directo, sino como un predictor auxiliar específico para anuncios. El sistema pronostica anunciantes probables e intereses de usuarios condicionados a perfiles de usuarios estructurados e historiales de conversión. Estas predicciones sirven como priores informativos para las etapas de recuperación y ordenamiento aguas abajo.

Arquitectura del Sistema

La tubería consta de cuatro etapas:

1. Selección de Usuarios: La inferencia se restringe a segmentos de alto valor (usuarios activos de EE. UU. con conversiones recientes) para gestionar la latencia y el costo.
2. Compilación de Características: Datos heterogéneos (búsquedas on-site/off-site, conversiones atribuidas/emparejadas, URLs, datos demográficos) se compilan en una representación textual compacta.
3. Predicción de Anunciantes Basada en Prompts: El LLM se entrena posteriormente para predecir una lista ordenada de anunciantes e intereses de usuarios.
4. Consumo Aguas Abajo: Los anunciantes predichos se utilizan como filtros de segmentación en la etapa de recuperación (Generación de Candidatos) y como características en modelos de conversión (Ordenamiento).

Estrategias de Entrenamiento Posterior

El artículo explora dos enfoques principales de entrenamiento posterior:

• Ajuste Fino Supervisado (SFT): El modelo se entrena para predecir un único "siguiente anunciante" basándose en un prompt estructurado que contiene perfiles de usuarios, conversiones pasadas y un grupo predefinido de anunciantes.
• GRPO (Optimización de Política Relativa de Grupo): Tras el SFT, el modelo se optimiza utilizando aprendizaje por refuerzo. El prompt solicita una lista ordenada de 20 anunciantes y 5 intereses de usuarios. La función de recompensa ($R_{total}$) equilibra la coincidencia con el anunciante de verdad fundamental (con bonificaciones por posiciones superiores) frente a penalizaciones por longitud por desviarse del formato de salida requerido (20 anunciantes, 5 intereses). Esto fomenta tanto la precisión como la adhesión estricta al formato de salida XML estructurado requerido para la integración en producción.

Mejora con Identificadores Semánticos (SID)

Para cerrar la brecha entre las semánticas de texto y los sistemas publicitarios basados en IDs, los autores incorporan Identificadores Semánticos (SIDs) derivados de incrustaciones multimodales (PinCLIP) mediante RQ-VAE. Se utiliza un enfoque de entrenamiento multifase para prevenir el olvido catastrófico:

1. Fase 1: Alinear los tokens SID con el espacio de texto actualizando solo las incrustaciones SID mientras se congela el resto del modelo.
2. Fase 2: Pre-entrenamiento con parámetros completos para incorporar conocimiento de recomendación mientras se mezcla con datos de dominio general.
3. Fase 3: Ajuste fino específico de la tarea (SFT/GRPO) donde los prompts incluyen tanto características de texto como secuencias SID recientes.

Integración Aguas Abajo

• Recuperación: Los anunciantes predichos por el LLM actúan como un generador de candidatos (CG) complementario, filtrando el espacio de recuperación para priorizar anunciantes con alta intención de conversión. Esto es particularmente efectivo para usuarios con cobertura de señal existente débil.
• Ordenamiento: Los anunciantes e intereses predichos se convierten en características y se alimentan a modelos de conversión aguas abajo (ctcvr, vtcvr).

Resultados Clave

Rendimiento Offline

• Calidad de la Predicción: En el conjunto de datos V1 (alineado con el tráfico de producción), la combinación de SFT (prompt de 1 anunciante) seguida de GRPO superó significativamente al prompting de cero disparos. La inclusión de Identificadores Semánticos proporcionó ganancias sustanciales, mejorando Recall@1, Recall@5 y Recall@20 en más del 10% en comparación con los modelos solo de texto.
• Ablación de Características: La característica de entrada más crítica fue "anunciantes activos con conversiones pasadas". Las URLs off-site y las búsquedas off-site fueron las siguientes características más influyentes. Curiosamente, se encontró que las cadenas de razonamiento explícitas eran menos útiles que el entrenamiento directo estilo SFT para esta tarea específica de agregación de intenciones.
• Modelos de Conversión: Añadir características de anunciantes derivadas de LLM a los modelos de conversión resultó en mejoras offline medibles, particularmente en PR-AUC (Área bajo la curva de Precisión-Recall), lo cual es crucial para configuraciones de conversión escasas.

Impacto Comercial Online

• Recuperación: Las pruebas A/B en Anuncios de Compras de EE. UU. mostraron que el generador de candidatos basado en LLM aumentó el Retorno de la Gasto Publicitario (RoAS) en un 4.94% para el segmento de tratamiento general y en un 6.69% para el segmento de opt-in.
• Mecanismo: Las ganancias fueron impulsadas por el sistema exponiendo tráfico de anunciantes con alta intención de conversión que previamente estaban poco cubiertos por los canales estándar de filtrado colaborativo.
• Restricciones Operativas: El estudio destacó que el ajuste cuidadoso de la cuota del generador de candidatos y del objetivo de entrenamiento (usando clics con ponderaciones basadas en duración en lugar de impresiones brutas o conversiones escasas) fue esencial para equilibrar la supervivencia del embudo y la participación.

Significado y Afirmaciones

El artículo afirma demostrar una ruta práctica para la recomendación mejorada con LLM a escala redefiniendo el papel de los LLM en sistemas publicitarios industriales. En lugar de intentar reemplazar las pilas existentes de recuperación y ordenamiento multietapa o usar LLMs exclusivamente como reordenadores costosos, los autores muestran que los LLM ajustados fino pueden servir como predictores complementarios.

Las contribuciones clave incluyen:

1. Cambio de Paradigma: Formular con éxito una tarea de predicción de anunciantes que aprovecha el conocimiento del mundo de los LLM para cerrar la brecha entre las semánticas de texto y las características ID escasas en publicidad.
2. Receta Práctica: Proporcionar un flujo de trabajo validado para la compilación de datos, el diseño de prompts (incluyendo la integración de SID) y el ajuste fino (SFT + GRPO) que genera señales estables y de baja latencia utilizables en toda la tubería publicitaria.
3. Validación de Extremo a Extremo: Demostrar que estas señales derivadas de LLM pueden desbloquear valor comercial medible (mejoras en RoAS) mejorando tanto la cobertura de recuperación como la precisión del ordenamiento sin interrumpir la infraestructura central.

Los autores permanecen modestos, señalando que, aunque la extensión SID multimodal mostró resultados offline sólidos, aún no ha sido validada completamente en entornos de producción en línea y, por lo tanto, se excluye de las afirmaciones empíricas principales. El trabajo enfatiza que el éxito de este enfoque depende del diseño específico de la tarea de predicción auxiliar y de su integración estrecha con las restricciones industriales existentes.