Resumen Técnico: Descomposición de la Obsolescencia en Sistemas de Recomendación

1. Definición del Problema

En sistemas de recomendación a gran escala como Google Discover, la obsolescencia del contenido es una fuente primaria de insatisfacción del usuario. El artículo argumenta que la obsolescencia no es un problema monolítico, sino que surge de dos mecanismos distintos:

• Supersesión: Un elemento se vuelve obsoleto abruptamente cuando un elemento más reciente actualiza, contradice o cambia la narrativa del tema subyacente (por ejemplo, el anuncio de una contratación deportiva que suplanta un informe sobre negociaciones). Este es un signo relacional que requiere una comparación por pares.
• Decaimiento de la Relevancia: Un elemento pierde naturalmente su valor informativo a lo largo de su ciclo de vida debido a su contenido intrínseco (por ejemplo, una guía para el clima de un día específico o un evento de última hora). Este es un signo intrínseco vinculado a la vida útil prevista del elemento.

Los contraataques tradicionales, como los cortes de edad o las heurísticas basadas en el compromiso (engagement) (por ejemplo, los suelos de tasa de clics), son ineficaces. Los cortes de edad son toscos y no logran distinguir entre contenido perenne y contenido sensible al tiempo, mientras que las heurísticas de compromiso sufren de un retraso estructural, exponiendo a los usuarios a contenido degradado antes de que el sistema se adapte.

2. Metodología: Marco SDF

Los autores proponen el SDF (Supersession-Decay Filtering - Filtrado por Supersesión y Decaimiento), un sistema de doble filtro desplegado antes de la etapa de clasificación (ranking) para podar candidatos obsoletos antes de que consuman recursos computacionales pesados en las etapas posteriores. El SDF opera mediante una disyunción (fusión OR) de dos modelos complementarios:

2.1 Filtro de Obsolescencia Relacional (Supersesión)

Este componente aborda la naturaleza relacional de la supersesión determinando si un elemento recién llegado ($d'$) deja obsoleto a un elemento existente ($d$).

• Generación de Datos: Debido al costo prohibitivo de la anotación manual para comparaciones por pares, los autores utilizan un profesor basado en un Modelo de Lenguaje Grande (LLM) para sintetizar un conjunto de datos etiquetados. Emplean una estrategia de muestreo que agrupa elementos para evitar la redundancia y pondera al alza los pares con similitud óptima (evitando duplicados casi idénticos o elementos no relacionados).
• Etiquetado: El profesor LLM genera etiquetas y razonamientos para pares de elementos utilizando aprendizaje en contexto (in-context learning) y prompting de Cadena de Pensamiento (CoT). Múltiples muestras independientes se agregan mediante votación por mayoría para asegurar la calidad de las etiquetas.
• Entrenamiento del Modelo: Un modelo estudiante compacto (T5) es entrenado mediante destilación de conocimiento sobre las etiquetas sintetizadas. El entrenamiento incorpora:
  • Supervisión de Razonamiento: El estudiante es entrenado para generar un razonamiento seguido de la etiqueta de clase, imitando la decodificación CoT.
  • Aumentación NLI: Se utiliza la información de Inferencia de Lenguaje Natural (NLI) como una tarea auxiliar para mejorar la capacidad del modelo para juzgar las relaciones entre las entradas de texto.
• Servicio: El filtro se ejecuta tanto en modo online (casi en tiempo real para elementos sensibles al tiempo) como en modo batch para cubrir la larga cola de contenido.

2.2 Filtro de Obsolescencia Intrínseca (Decay de la Relevancia)

Este componente aborda el decaimiento intrínseco pronosticando la relevancia de un elemento a lo largo del tiempo utilizando únicamente su contenido.

• Ratio de Tráfico Predicho (PTR): El modelo predice la fracción del tráfico de la vida útil de un elemento que se acumulará dentro de un horizonte temporal específico ($\tau$) después de la publicación. El objetivo es el ratio de visitas en $[t, t+\tau]$ respecto al total de visitas en una ventana fija de 30 días.
• Arquitectura: Una red multimodal multitarea con fusión temprana. Los tokens de texto, imagen y video se combinan en un codificador compartido, seguido de cabezales de predicción específicos para cada horizonte (entrenados para horizontes de 12h, 1d, 3d, 5d, 7d, 10d, 14d).
• Señal de Entrenamiento: El modelo se entrena con registros anonimizados de búsquedas y clics, que reflejan la intención explícita del usuario y la relevancia mejor que los registros de visualización de páginas brutos.
• Regla de Decisión: Un elemento se marca como obsoleto si el ratio de tráfico predicho en el mayor horizonte transcurrido supera un umbral ($\theta$), indicando que el elemento ya ha capturado la mayor parte de su tráfico potencial.

2.3 Composición del Sistema

Los dos filtros se combinan mediante una operación OR. Si el filtro relacional detecta un elemento que lo suplanta o el filtro intrínseco predice que el elemento ha pasado su vida útil útil, el elemento se elimina del conjunto de candidatos $A$ antes de entrar al clasificador (ranker) posterior. Este enfoque no está personalizado y se basa en señales a nivel de elemento, lo que permite un almacenamiento en caché y una búsqueda eficientes durante el servicio.

3. Contribuciones Clave

• Descomposición de la Obsolescencia: El artículo distingue formalmente entre la obsolescencia relacional (supersesión) y la intrínseca (decaimiento), argumentando que requieren mecanismos de detección diferentes.
• Modelo de Pares Destilado por LLM: Un flujo de trabajo escalable para generar etiquetas de obsolescencia relacional utilizando LLMs y destilándolas en un modelo estudiante ligero, superando el cuello de botella de la anotación manual.
• Predicción de Tráfico Basada en Contenido: La introducción del modelo PTR, que predice el decaimiento de la relevancia directamente desde el contenido multimodal sin esperar a las señales de compromiso.
• Despliegue Industrial: El despliegue completo de este marco de doble filtro en Google Discover, sirviendo a cientos de millones de usuarios diarios.

4. Resultados Experimentales

El sistema fue evaluado mediante métricas offline, pruebas A/B online y un despliegue de producción de dos años.

• Evaluación Offline:
  • El filtro relacional (configuración Gen + NLI) alcanzó una puntuación F1 del 84.79% en el conjunto de prueba.
  • El filtro intrínseco (fusión temprana) alcanzó un 80% de precisión en la clasificación de elementos sensibles al tiempo, superando al baseline de fusión tardía por 4 puntos.
• Pruebas A/B Online:
  • Utilizando un marco de prevalencia-delta continuo, el SDF logró una reducción del −6.91% en la prevalencia de contenido obsoleto en comparación con un baseline de cortes de edad y declives de compromiso.
  • Los experimentos de control a largo plazo mostraron que el SDF redujo las tasas de descarte de los usuarios en un −0.16%, aumentó la diversidad del feed en un +0.13% y mejoró el compromiso positivo en un +0.26%.
• Impacto en Producción (Despliegue de 2 Años):
  • Los informes de obsolescencia presentados por los usuarios disminuyeron un 54.9% respecto al baseline previo al despliegue.
  • Desglose de la reducción: 64.0% para la supersesión y 34.4% para el decaimiento.
  • Ganancias de Eficiencia: El sistema ahorró un 4.76% en horas de CPU/TPU de servicio (filtro relacional) y un 3.98% (filtro intrínseco) al podar candidatos antes de las computaciones de clasificación pesadas.

5. Significado y Reivindicaciones

El artículo afirma que el SDF establece un paradigma robusto y escalable para resolver la obsolescencia del contenido a escala industrial. Al reformular la obsolescencia como una propiedad conjunta de un elemento y su entorno (relacional) y de su ciclo de vida (intrínseca), el sistema va más allá de las heurísticas rudimentarias. Los autores enfatizan que el SDF no solo mejora la experiencia del usuario al reducir la insatisfacción, sino que también mejora la eficiencia del sistema al reducir la carga computacional de las etapas de clasificación posteriores. El marco se presenta como generalizable a otros sistemas de recomendación industriales y aplicaciones de contenido.

Los autores reconocen limitaciones, incluyendo la ambigüedad en los comentarios políticos para los juicios relacionales y la dificultad de capturar una larga cola de elementos que decaen gradualmente. Sin embargo, los datos de despliegue de dos años validan el enfoque de doble filtro como una mejora significativa sobre las prácticas existentes de la industria.