RGAlign-Rec: Ranking-Guided Alignment for Latent Query Reasoning in Recommendation Systems

Resumen Técnico: RGAlign-Rec

1. Problema y Contexto

En el comercio electrónico moderno, los chatbots impulsados por IA han evolucionado de simples clasificadores de intenciones a plataformas de diálogo avanzadas. Un objetivo clave es la predicción proactiva de intenciones en escenarios de "cero consulta" (Zero-Query), donde el sistema debe anticipar las necesidades del usuario (ej. retraso en envío, fallo de pago) basándose en señales de comportamiento y contexto, sin que el usuario escriba nada.

Sin embargo, los sistemas industriales actuales enfrentan dos desafíos fundamentales:

1. Brecha Semántica y Desajuste de Modalidades: Los modelos de recomendación tradicionales (DLRM) dependen de identificadores discretos (IDs de usuario/intención), mientras que las intenciones en los chatbots son ricas en texto y semánticamente finas. Existe una dificultad para alinear las características de comportamiento dispersas del usuario con las descripciones textuales de la Base de Conocimiento (KB).
2. Desalineación de Objetivos: Las técnicas de alineación de Grandes Modelos de Lenguaje (LLM) actuales (como SFT o DPO) suelen optimizarse para preferencias lingüísticas humanas (fluidez, utilidad percibida), lo que no se traduce directamente en métricas de ranking específicas del negocio (como CTR o GMV). Esto genera que las representaciones semánticas del LLM sean interpretables para humanos pero subóptimas para el ranking.

2. Metodología Propuesta: RGAlign-Rec

El autores proponen RGAlign-Rec, un marco de trabajo de alineación en bucle cerrado que integra un razonador semántico basado en LLM con un modelo de ranking potenciado por consultas (Query-Enhanced Ranking). La metodología se divide en tres etapas principales:

• Arquitectura Base (QE-Rec):

  • Se extiende la arquitectura clásica de dos torres a una de tres torres:
    1. Torre de Usuario: Codifica características heterogéneas (histórico, perfil, contexto).
    2. Torre de Intención: Combina embeddings de ID con representaciones semánticas de texto.
    3. Torre de Consulta (Query): Proyecta la representación semántica latente generada por el LLM.
  • Razonador de Consultas (LLM): Utiliza un modelo LLM (Qwen3-4B) para convertir características discretas del usuario en una descripción natural ("verbalización de características") y luego razonar una consulta latente. Se utiliza la técnica de Last Token Pooling (LTP) para extraer el embedding de la consulta final, evitando la necesidad de modelos de incrustación externos.

• Alineación Guiada por Ranking (RGA):
  Para cerrar la brecha entre la generación semántica y los objetivos de ranking, se propone un proceso de entrenamiento en dos fases:

  1. Entrenamiento Inicial: Se entrena el modelo QE-Rec usando embeddings de un LLM congelado para establecer un modelo de recompensa estable.
  2. Alineación Propiamente dicha:
     • Generación de Muestras Multi-LLM: Se utilizan múltiples LLMs (Gemini, GPT, CompassMax) para generar consultas candidatas.
     • Muestreo Best-of-N: Se seleccionan las mejores consultas basándose en la puntuación NDCG del modelo QE-Rec (actuando como Modelo de Recompensa).
     • RG-SFT (Supervised Fine-Tuning): Se ajusta el LLM para generar las consultas óptimas seleccionadas.
     • Refinamiento (RG-DPO y RG-CL): Se aplican dos estrategias de alineación:
       • RG-DPO: Optimización basada en preferencias para maximizar la diferencia entre consultas óptimas y subóptimas.
       • RG-CL (Contrastive Learning): Alineación a nivel de representación que sincroniza los estados ocultos del LLM con el espacio semántico optimizado para el ranking, utilizando una pérdida InfoNCE.

• Calibración en Bucle Cerrado:
  El LLM refinado se utiliza para reentrenar el modelo de ranking, creando un ciclo de retroalimentación que mejora continuamente tanto el razonamiento semántico como la precisión del ranking.

3. Contribuciones Clave

1. Arquitectura RGAlign-Rec: Integración de un razonador semántico basado en LLM dentro de un marco de recomendación potenciado por consultas para abordar la predicción de intenciones en escenarios de cero consulta.
2. Alineación Guiada por Ranking (RGA): Propuesta de un paradigma de entrenamiento donde el modelo de ranking actúa como Modelo de Recompensa para el LLM, asegurando que las representaciones semánticas estén alineadas con los objetivos de negocio (CTR, GMV) en lugar de solo preferencias lingüísticas.
3. Impacto Industrial: Validación a gran escala en Shopee, demostrando mejoras consistentes en métricas de producción (CTR, CSAT) y la viabilidad de desplegar este sistema en un entorno de chatbot de alto tráfico.

4. Resultados Experimentales

Los experimentos se realizaron en un conjunto de datos industrial de Shopee (7.53M muestras, 5 semanas) y mediante pruebas A/B en línea.

• Rendimiento Offline:

  • RGAlign-Rec (versión completa) superó a la línea base de producción en todas las métricas clave.
  • GAUC: Aumento absoluto de +0.12% (reducción del error del 3.52%).
  • Recall@3: Mejora de +0.56%.
  • NDCG@3: Mejora de +0.35%.
  • Se demostró que la alineación a nivel de representación (SFT + Contrastive Learning) es más robusta y escalable que los métodos basados únicamente en preferencias (DPO).

• Rendimiento Online (Pruebas A/B):

  • El modelo QE-Rec (solo integración de LLM) logró un aumento del 0.98% en CTR@3.
  • La etapa adicional de Alineación Guiada por Ranking (RGAlign-Rec) aportó un incremento adicional del 0.13% en CTR@3.
  • Intent Hit Rate (IHR): Mejora del 1.43% frente a la línea base.
  • Nota sobre CSAT: Se observó una ligera disminución (-0.21%) en la satisfacción del cliente (CSAT) tras la alineación. Los autores atribuyen esto a que, aunque el modelo identifica mejor la intención, la calidad del contenido de respuesta asociado a esa intención puede ser un factor limitante independiente del ranking.

5. Significado e Impacto

Este trabajo es significativo porque:

• Cierra la brecha semántica: Demuestra cómo los LLMs pueden ser utilizados no solo para generar texto, sino como componentes críticos de razonamiento latente dentro de sistemas de ranking industriales.
• Resuelve la desalineación de objetivos: Introduce un mecanismo donde el feedback del sistema de recomendación (ranking) guía directamente el entrenamiento del LLM, asegurando que la "inteligencia generativa" sirva a los objetivos comerciales.
• Escalabilidad Industrial: Proporciona una tubería práctica y escalable para sistemas de recomendación proactiva en tiempo real, validada en un entorno de producción masivo con millones de usuarios, logrando latencias aceptables (<1.5s) mediante optimizaciones de inferencia (cuantización, vLLM).

En conclusión, RGAlign-Rec establece un nuevo estándar para la integración de LLMs en sistemas de recomendación, moviendo el enfoque de la simple extracción de características hacia un razonamiento semántico alineado con el ranking para mejorar la experiencia del usuario en chatbots de comercio electrónico.