Resumen Técnico: DeGRe: Reordenamiento Generativo Denso Supervisado para Recomendación

1. Enunciado del Problema

En los sistemas de recomendación de múltiples etapas, la etapa de reordenamiento es crítica para optimizar la utilidad general al modelar dependencias contextuales intra-lista. Sin embargo, encontrar la secuencia óptima dentro de un espacio de permutaciones exponencialmente grande presenta dos desafíos fundamentales para los métodos de reordenamiento generativo existentes:

1. Sesgo de Etiquetas Heurísticas: Los métodos actuales a menudo construyen objetivos de entrenamiento basados en reglas heurísticas simples (por ejemplo, promover los elementos clickeados a la parte superior). Este enfoque ignora las dependencias causales dentro del contexto de la lista e asume implícitamente que los elementos clickeados son siempre superiores independientemente de su posición. En consecuencia, los modelos se ajustan a una distribución de datos sesgada en lugar de aprender la clasificación óptima global verdadera, fallando en explorar secuencias de alto valor en el espacio no expuesto.
2. Problema de Asignación de Crédito: Los enfoques existentes que dependen de recompensas posteriores a nivel de lista (por ejemplo, CTR o GMV general) proporcionan retroalimentación dispersa. Estas señales escalares de grano grueso no logran atribuir valor a pasos intermedios específicos durante la generación de secuencias, lo que conduce a direcciones de optimización ambiguas y limita los techos de rendimiento.

2. Metodología: Marco DeGRe

Para abordar estos problemas, los autores proponen DeGRe (Reordenamiento Generativo Denso Supervisado), un marco que conecta la exploración fuera de línea y la eficiencia en línea mediante un diseño desacoplado fuera de línea/en línea. El sistema consta de dos componentes principales: un Evaluador de Mirada Avanzada (DeGRe-E) y un Generador en Línea (DeGRe-G).

2.1 Fase Fuera de Línea: Evaluador de Mirada Avanzada y Construcción de Supervisión Densa

La exploración computacionalmente intensiva del espacio de permutaciones se delega a la etapa fuera de línea.

• Evaluador de Mirada Avanzada: Este componente es un modelo basado en Causal Transformer que utiliza regresión acumulativa. En lugar de predecir un único valor escalar, modela la distribución de métricas discretas (por ejemplo, conteos de clics) prediciendo la probabilidad de que el valor acumulado $V$ alcance o supere un umbral $k$ en cualquier paso $t$. Esto permite una estimación de grano fino del valor acumulado esperado de cualquier subsecuencia.
• Minería de Secuencias de Mirada Avanzada: Utilizando el evaluador entrenado, el sistema emplea búsqueda en haz para minar activamente secuencias de alto valor en el espacio no expuesto. El evaluador guía la búsqueda estimando el valor acumulado de agregar elementos candidatos, identificando soluciones óptimas potenciales que los datos de exposición histórica podrían pasar por alto.
• Construcción de Supervisión Densa: Las estimaciones de valor paso a paso del evaluador se transforman en señales de supervisión densas para el generador:
  • Etiquetas Duras: El elemento específico seleccionado en cada paso de la secuencia de mirada avanzada minada sirve como objetivo determinista.
  • Etiquetas Suaves: Se construye una distribución de probabilidad sobre los candidatos restantes basada en las estimaciones de valor del evaluador, preservando información de clasificación de grano fino para alternativas subóptimas.
  • Ponderación de Secuencias: Las secuencias se ponderan por su valor acumulado estimado para asegurar que el generador se enfoque en rutas de alta confianza y alto valor.

2.2 Fase de Entrenamiento: Destilación Híbrida

El Generador en Línea es una arquitectura ligera de Codificador-Decodificador diseñada para inferencia de baja latencia.

• Arquitectura: Utiliza un Transformer Bidireccional para codificar el conjunto de candidatos (capturando relaciones competitivas/complementarias) y un Decodificador Causal Guiado por Usuario para la generación autoregresiva. Emplea un mecanismo de decodificación restringido a candidatos (estilo red de punteros) para asegurar que los elementos generados sean estrictamente del conjunto de candidatos de entrada.
• Objetivo: El generador se entrena mediante Destilación Híbrida, minimizando una función de pérdida que combina:
  • Imitación de Mirada Avanzada ($L_{CE}$): Ajustar las etiquetas duras (decisiones objetivo) de las secuencias minadas.
  • Alineación de Valor ($L_{KL}$): Alinear con las distribuciones de etiquetas suaves para interiorizar las estimaciones de valor de grano fino del evaluador.

2.3 Fase en Línea: Inferencia Eficiente

Durante el servicio en línea, el pesado Evaluador de Mirada Avanzada no se despliega. El Generador en Línea ligero realiza un único paso eficiente de decodificación codiciosa para producir la lista de recomendaciones. Al interiorizar las capacidades de planificación de mirada avanzada durante el entrenamiento, el generador aproxima el óptimo global sin la sobrecarga computacional de un proceso de generación-evaluación de dos etapas.

3. Contribuciones Clave

1. Marco DeGRe: Un nuevo marco de reordenamiento generativo que adopta una estrategia de desacoplamiento fuera de línea/en línea. Aprovecha recursos abundantes fuera de línea para minar secuencias de alto valor, mitigando efectivamente el sesgo introducido por las etiquetas heurísticas.
2. Mecanismo de Supervisión Densa: Un método basado en el Evaluador de Mirada Avanzada que proporciona estimaciones de valor paso a paso. A diferencia de las recompensas posteriores dispersas, este enfoque ofrece orientación densa, aliviando efectivamente el problema de asignación de crédito durante la generación de secuencias.
3. Validación Empírica: Experimentos extensos en puntos de referencia públicos (ML-1M, Taobao Ad) y conjuntos de datos industriales (Taobao Flash Shopping) demuestran que DeGRe supera a los métodos más avanzados mientras mantiene una inferencia eficiente.

4. Resultados Experimentales

Rendimiento Fuera de Línea

• Generador: En el conjunto de datos Taobao Flash Shopping, DeGRe (con tamaño de haz $B=8$) logró un HR@1% de 88.72%, representando una mejora absoluta del 53.19% sobre la línea base más fuerte (GoalRank). Incluso con supervisión débil ($B=1$), superó las líneas base existentes.
• Evaluador: El Evaluador de Mirada Avanzada logró un R-AUC de 0.7090 y un PCOC de 0.9932 en el conjunto de datos Taobao Flash Shopping, superando a las líneas base punto a punto y de lista, validando la efectividad de la regresión acumulativa para la estimación de valor de secuencia.

Pruebas A/B en Línea

DeGRe se desplegó en el escenario de recomendación de la página de inicio de Taobao Flash Shopping con un 2% de tráfico en vivo durante 8 días.

• Métricas de Negocio: Comparado con la estrategia base, DeGRe logró mejoras de +2.85% en CTR, +2.14% en PEDIDOS y +3.75% en GMV.
• Comparación con PRM: Comparado con el modelo de una sola etapa estándar de la industria PRM, DeGRe mejoró adicionalmente los PEDIDOS en un 1.0% y el GMV en un 2.99%.
• Latencia: La latencia promedio de inferencia aumentó solo 14.8 ms, cumpliendo con los requisitos de baja latencia de sistemas en tiempo real a gran escala.
• Robustez: El modelo demostró mejoras consistentes en GMV a través de diferentes grupos de usuarios (Existentes: +3.73%, Nuevos: +2.72%) y escenarios de cliente (Aplicación Taobao: +3.75%, Aplicación Alipay: +4.14%).

5. Significado y Afirmaciones

El artículo afirma que DeGRe aborda con éxito la compensación entre profundidad de exploración y eficiencia de inferencia en el reordenamiento generativo. Al desacoplar la exploración costosa (fuera de línea) de la inferencia (en línea), el marco permite que el generador "interiorice" las capacidades de planificación de mirada avanzada. Esto permite que el sistema aproxime el óptimo global con un único paso de decodificación codiciosa, evitando la inconsistencia de objetivos y la alta latencia de los paradigmas tradicionales de generador-evaluador de dos etapas. El despliegue exitoso en Taobao Flash Shopping, resultando en un crecimiento significativo del GMV, valida la utilidad práctica de la supervisión densa y la minería fuera de línea en sistemas de recomendación industriales.