Resumen Técnico: Clasificación Heterogénea en Sistemas de Recomendación a Escala Industrial

1. Planteamiento del Problema

El artículo aborda el desafío de la clasificación unificada en Google Discover, un sistema que agrega contenido altamente heterogéneo de la web abierta descentralizada (por ejemplo, artículos web, videos de formato largo/corto, contenido generado por usuarios, tarjetas de deportes y resúmenes de IA) en un único feed personalizado. A diferencia de las plataformas de ecosistema cerrado (por ejemplo, aplicaciones exclusivas de música o video) donde las modalidades de contenido y los patrones de interacción son uniformes, Google Discover enfrenta dos dimensiones primarias de heterogeneidad:

• Heterogeneidad de Datos: El contenido carece de características uniformes, lo que genera variaciones en la densidad de características, estructuras de metadatos y disponibilidad asimétrica de señales.
• Heterogeneidad de Interacción: Los patrones de compromiso y las intenciones del usuario varían significativamente según el tipo de contenido. Por ejemplo, mientras que los "likes" y los "descartes" (dismissals) son universales, los artículos impulsan principalmente clics, mientras que el UGC y las tarjetas de deportes impulsan tiempos de permanencia (dwell times) prolongados.

Desafíos Clave:

1. Desajuste de Distribución: Un modelo optimizado para métricas globales (por ejemplo, CTR general) puede favorecer desproporcionadamente a tipos de contenido dominantes y de baja calidad (por ejemplo, artículos de click-bait) sobre tipos minoritarios de alto valor (por ejemplo, videos), degradando la experiencia del usuario.
2. Transferencia Negativa (Fenómeno de la Balancín/Seesaw): La optimización conjunta de objetivos conflictivos (por ejemplo, maximizar clics vs. minimizar descartes) en una representación compartida a menudo causa que las mejoras en una tarea impacten negativamente en otras.
3. Colapso de Tipos Minoritarios: Las arquitecturas compartidas tienden a favorecer los tipos de contenido dominantes con características más ricas o mayor tráfico, provocando que los tipos de contenido subrepresentados sean "ahogados".

La línea base de producción existente utiliza un backbone de Perceptrón Multicapa (MLP) compartido con 11 cabezales específicos de tarea, lo que obliga a una única representación latente a servir a todos los tipos de contenido, fallando en abordar adecuadamente estas heterogeneidades.

2. Metodología

Los autores proponen un flujo de trabajo de extremo a extremo que comprende una nueva arquitectura de modelo (HA-MoE), un marco de observabilidad (LENS) y una métrica de evaluación especializada (DL-AUC).

2.1 HA-MoE: Multi-gated Mixture-of-Experts Adaptativo a la Heterogeneidad

Para abordar los desafíos sin violar las estrictas restricciones industriales (tamaño del modelo, velocidad de entrenamiento y latencia de servicio), los autores introducen HA-MoE. Esta arquitectura integra señales de heterogeneidad explícitas ($h$) tanto en las redes de compuerta (gating) como en las representaciones de los expertos.

• Arquitectura: Utiliza un marco de aprendizaje multitarea basado en expertos densos con $N$ expertos compartidos (Redes de Propagación hacia Adelante/Feed-Forward Networks).
• Compuerta Consciente de la Heterogeneidad (HA-Gating): El mecanismo de compuerta incorpora explícitamente señales de heterogeneidad ($h$) junto con características densas ($x$) para determinar la utilización de los expertos para cada tarea. Esto permite al modelo dirigir expertos específicos hacia segmentos de contenido específicos, protegiendo a los segmentos minoritarios de ser eclipsados.
  $$g_t(x, h) = \text{Softmax}(W_t \Phi(x, h) + b_t)$$
• Modulación Lineal Impulsada por la Heterogeneidad (HDLM): Para desacoplar la capacidad del experto de los sesgos específicos de la distribución, la salida de cada experto se adapta dinámicamente utilizando vectores de escala ($\gamma$) y desplazamiento ($\beta$) derivados de $h$. Esto permite que la red "cambie de contexto" (por ejemplo, cambiando el enfoque de patrones visuales para videos a la afinidad del creador para creadores seguidos) sin una expansión masiva de parámetros.
  $$\tilde{E}_n(x, h) = \gamma_n(h) \odot E_n(x) + \beta_n(h)$$
• Optimización: El modelo utiliza una función de pérdida combinada que equilibra la entropía cruzada binaria (BCE) puntual y la pérdida de RankNet por pares para calibrar las probabilidades absolutas mientras se preserva el orden relativo.

2.2 LENS: Especialización de la Red de Expertos Latentes

Para mitigar la naturaleza de "caja negra" de los modelos unificados, los autores introducen LENS, un marco de observabilidad ligero:

• Segmentación de Activación (Activation Slicing): Visualiza la división interna del trabajo del modelo segmentando las activaciones de la compuerta en matrices de contenido-por-experto, revelando cómo diferentes expertos se especializan en diferentes tipos de contenido.
• Emparejamiento de Expertos Invariante a la Permutación (PIEM): Dado que los expertos de MoE son invariantes a la permutación, la comparación directa de parámetros es intratable. PIEM caracteriza a cada experto mediante un vector de perfil de comportamiento (contribución relativa a través de tareas) y utiliza el algoritmo húngaro para encontrar el emparejamiento óptimo 1 a 1 entre instantáneas (snapshots) del modelo. Calcula una puntuación basada en la Divergencia de Jensen-Shannon (JSD) para rastrear la estabilidad funcional y detectar el "colapso funcional" (pérdida de especialización) durante el reentrenamiento continuo.

2.3 DL-AUC: AUC de Doble Nivel

El AUC global estándar puede ocultar fallos estructurales donde un modelo infla las puntuaciones para segmentos mayoritarios mientras suprime los minoritarios. Los autores proponen DL-AUC para equilibrar la utilidad global con la corrección entre segmentos:
$$\text{DL-AUC} = \lambda \cdot \text{Micro-AUC} + (1 - \lambda) \cdot \text{Macro-xAUC}$$

• Micro-AUC: Mide la calidad de la clasificación global bajo la distribución de tráfico empírica.
• Macro-xAUC: El promedio no ponderado de xAUC a través de todos los pares de segmentos de contenido. Esto asegura que un ítem positivo de un segmento minoritario (por ejemplo, Video) sea clasificado correctamente por encima de un ítem negativo de un segmento mayoritario (por ejemplo, Artículo Web), evitando el dominio de la clase mayoritaria.

3. Contribuciones Clave

1. Arquitectura HA-MoE: Un diseño de MoE adaptativo a la heterogeneidad y listo para producción que inyecta explícitamente el contexto del contenido en las capas de compuerta y de expertos, permitiendo una especialización efectiva sin un aumento significativo en la carga operativa (<5% de aumento en el tamaño del modelo, <0.5% de aumento en la latencia).
2. Marco LENS: Una novedosa herramienta de observabilidad que "desencaja" la dinámica interna del modelo, permitiendo a los ingenieros interpretar la especialización de los expertos y rastrear cuantitativamente la heterogeneidad funcional a través de los ciclos de entrenamiento usando PIEM.
3. Métrica DL-AUC: Una métrica de evaluación consciente de la heterogeneidad que evita el despliegue de modelos que logran ganancias globales a expensas de la salud del ecosistema (corrección entre segmentos).

4. Resultados

Evaluación Offline

• Rendimiento: En un conjunto de datos industrial a gran escala (10M de ejemplos), HA-MoE logró el DL-AUC agregado más alto (0.691 para pInterest, 0.949 para pDisinterest), superando tanto a la línea base de MLP compartido como al MMoE estándar.
• Ablación: Tanto los componentes HA-Gating como HDLM contribuyeron a las ganancias. El modelo completo revirtió con éxito la transferencia negativa vista en las líneas base, mejorando las predicciones de compromiso negativo (pDisinterest) mientras mantenía las ganancias positivas.
• Corrección de Tipo Cruzado: HA-MoE redujo significamente la brecha de clasificación entre Artículos Web y Videos. La brecha en el xAUC de tipo cruzado (Vid+ vs. Web−) mejoró de 0.141 (Shared MLP) a 0.060 (HA-MoE), demostrando la capacidad del modelo para evitar que los artículos de baja calidad supriman a los videos de alta calidad.

Pruebas A/B Online

Desplegado en el 1% del tráfico real en Google Discover (cientos de millones de DAU), el modelo HA-MoE mostró incrementos estadísticamente significativos:

• Actividad del Feed: +0.22% en DAU y +0.48% en Vistas de Impresiones (Viewed Impressions).
• Exploración: +0.34% en Profundidad de Scroll, +0.36% en Tasa de Diversidad del Feed y +0.54% en Tasa de Compromiso Diverso.
• Estabilidad: No se observaron regresiones en las métricas operativas principales. Los resultados validaron que la mejora en la clasificación heterogénea se traduce en beneficios tangibles para la salud del ecosistema.

5. Significación y Reivindicaciones

El artículo afirma presentar un caso de estudio de producción que valida la efectividad de modelar explícitamente la heterogeneidad en sistemas de clasificación unificados. Su significación radica en:

• Escalabilidad Industrial: Demostrar que la adaptación de la heterogeneidad compleja puede lograrse dentro de estrictas restricciones de producción (latencia, almacenamiento, velocidad de entrenamiento), yendo más allá de las propuestas teóricas hacia la realidad desplegada.
• Salud del Ecosistema: Probar que equilibrar la utilidad global con la corrección entre segmentos (vía DL-AUC y HA-MoE) evita el "sesgo de la mayoría" que típicamente degrada la experiencia del usuario en los feeds de la web abierta.
• Transparencia Operativa: Establecer LENS como una herramienta crítica para mantener la estabilidad estructural en los procesos de entrenamiento continuo, asegurando que las actualizaciones del modelo no colapsen inadvertidamente la especialización funcional.

Los autores concluyen que, si bien la gestión de la heterogeneidad a escala sigue siendo un desafío en evolución, su enfoque proporciona un patrón de diseño robusto para sistemas de recomendación industriales, cerrando la brecha entre el modelado unificado y las diversas realidades de la web abierta. El trabajo futuro se centrará en compuertas más expresivas, enrutamiento disperso (sparse routing) y la extensión del modelado de heterogeneidad al contexto del usuario y la optimización de listas (listwise optimization).