Learning User Interests via Reasoning and Distillation for Cross-Domain News Recommendation

1. Problema y Motivación

La recomendación de noticias personalizada es crucial para gestionar la sobrecarga de información en plataformas en línea. Sin embargo, los sistemas tradicionales basados en filtrado colaborativo o embeddings tienen limitaciones significativas:

• Dependencia de señales superficiales: A menudo fallan al capturar patrones secuenciales profundos o necesidades de información subyacentes.
• Dificultad en dominios cruzados: Es complicado aprender representaciones (embeddings) razonables y personalizadas para todos los usuarios cuando las señales provienen de múltiples fuentes heterogéneas (búsquedas, clics, historial de navegación) que pueden ser ruidosas.
• Escalabilidad vs. Capacidad de Razonamiento: Los Grandes Modelos de Lenguaje (LLMs) ofrecen un razonamiento superior para inferir intereses abstractos, pero su alto costo computacional los hace inviables para el servicio en línea (online serving) a gran escala.

Objetivo: Desarrollar un marco que infiera listas de intereses de usuario reutilizables y profundos a partir de señales ruidosas de múltiples dominios, manteniendo la escalabilidad necesaria para sistemas de producción masivos.

2. Metodología Propuesta

El sistema propone un marco de tres etapas que combina el aprendizaje por refuerzo (RL) con grandes modelos de lenguaje y la destilación de políticas.

A. Limpieza de Datos (Noise Cleaning)

Las señales de comportamiento crudas contienen mucho ruido (cadenas aleatorias, números de teléfono, consultas de navegación).

• Se utiliza un clasificador binario ligero basado en RoBERTa para filtrar comportamientos irrelevantes.
• El modelo se entrena con etiquetas generadas por GPT-5, reteniendo solo las señales informativas ($\tilde{B}_u$) para el modelado de intereses.

B. Generación de Intereses con Aprendizaje por Refuerzo (Teacher Model)

El núcleo del enfoque es reformular el descubrimiento de intereses como un problema de generación de listas de consultas de búsqueda (query-list generation).

• Modelo: Se utiliza un LLM instruido (Qwen2.5-32B) como "maestro".
• Algoritmo: Se emplea GRPO (Group Relative Policy Optimization), una variante de PPO que utiliza el promedio de un grupo de muestras como línea base, eliminando la necesidad de un modelo de valor crítico separado.
• Diseño de Recompensas: Se optimiza la política con una recompensa compuesta de cinco señales:
  1. Alineación de Recuperación ($R_{align}$): Garantiza que las consultas generadas recuperen artículos relevantes en el índice ANN interno.
  2. Cobertura de Intereses ($R_{cov}$): Asegura que el conjunto de consultas refleje la diversidad de intereses latentes.
  3. Especificidad de la Consulta ($R_{spec}$): Fomenta consultas ricas en contenido y no genéricas.
  4. Diversidad Intra-lista ($R_{div}$): Promueve la no redundancia semántica entre las consultas de una misma lista.
  5. Validez Estructural ($R_{struct}$): Verifica el formato de salida.

C. Destilación en Política (On-Policy Distillation)

Para hacer el sistema viable en producción, se transfiere la política aprendida del modelo maestro (costoso) a un modelo estudiante ligero.

• Enfoque: Destilación en política (On-Policy), donde el modelo estudiante ($\pi_\psi$) minimiza la divergencia KL inversa con respecto a la distribución del maestro ($\pi_\theta$) en cada paso de decodificación.
• Ventaja: A diferencia de la destilación supervisada tradicional, este método utiliza la cobertura de exploración de los rollouts del estudiante junto con la supervisión densa a nivel de token del maestro, preservando la capacidad de razonamiento con baja latencia.

3. Contribuciones Clave

1. Propiedades de Escalado (Scaling Laws) en Intereses: El trabajo demuestra que aumentar la capacidad del modelo (escalado espacial) y el muestreo en tiempo de inferencia (escalado temporal) mejora consistentemente la calidad de los intereses inferidos y el rendimiento de recuperación, exhibiendo un comportamiento similar a las leyes de escalado.
2. Marco de Destilación en Política: Propone un método eficiente para transferir la capacidad de razonamiento de un LLM grande a un modelo compacto (de 0.5B a 32B parámetros) sin perder la mayor parte de las ganancias en modelado de intereses.
3. Validación en Producción: Es uno de los primeros despliegues de un marco de RL impulsado por razonamiento en un sistema comercial de recomendación de noticias a gran escala, validado mediante pruebas A/B en línea.

4. Resultados Experimentales

Evaluación Offline

• Métricas: Se utilizaron Recall@K, NDCG@K y MRR.
• Comparativa: El modelo propuesto (RL-entrenado con Qwen2.5-32B) superó consistentemente a todos los baselines (GRU, SASRec, NRHUB, PinSage, HSTU).
  • Ejemplo: Recall@10 mejoró de 0.250 (HSTU, el mejor baseline) a 0.271 (Modelo Maestro).
• Destilación: El modelo estudiante destilado (Qwen2.5-0.5B) alcanzó un Recall@10 de 0.261, preservando la mayor parte de las ganancias del modelo maestro con una fracción del tamaño.
• Escalado:
  • Aumentar el tamaño del modelo (de 0.5B a 32B) mejoró linealmente las métricas.
  • Aumentar el muestreo en tiempo de inferencia (Best-of-N) también mejoró el rendimiento, aunque con rendimientos decrecientes.

Experimentos Online (Pruebas A/B)

Se realizó una prueba A/B de 7 días en un sistema de producción real:

• DAU (Usuarios Activos Diarios): Aumento del +0.95% (p-valor 0.012).
• CTR (Tasa de Clics): Aumento del +0.22% (p-valor 0.031).
• Usuarios Fríos (Cold Users): Se observó un impacto significativo del +4.38% en DAU para usuarios con historial limitado, demostrando la capacidad del modelo para inferir intereses a partir de señales cruzadas cuando faltan datos directos de noticias.

5. Significado e Impacto

Este trabajo representa un avance pionero al integrar el razonamiento de LLMs con aprendizaje por refuerzo escalable en un entorno industrial.

• Superación de Limitaciones Tradicionales: Demuestra que ir más allá de los patrones de comportamiento superficial mediante el razonamiento semántico permite capturar intereses de usuario más profundos y reutilizables.
• Viabilidad de Despliegue: Resuelve el cuello de botella de la latencia mediante la destilación en política, permitiendo que sistemas complejos de razonamiento operen en tiempo real.
• Nueva Dirección: Abre nuevas vías para combinar la capacidad de generalización semántica de los LLMs con la eficiencia de los sistemas de recomendación tradicionales, especialmente en escenarios de datos ruidosos y dominios cruzados.

En resumen, el artículo presenta un sistema robusto que transforma señales de comportamiento heterogéneas y ruidosas en representaciones de intereses de alta calidad, logrando mejoras medibles tanto en la recuperación de contenido como en la participación del usuario en un entorno de producción masivo.