Thinking Broad, Acting Fast: Latent Reasoning Distillation from Multi-Perspective Chain-of-Thought for E-Commerce Relevance

Resumen Técnico: Pensar Ampliamente, Actuar Rápido

Planteamiento del Problema
El modelado de relevancia efectivo es fundamental para la búsqueda en el comercio electrónico, sin embargo, los modelos tradicionales tienen dificultades con consultas de cola larga y ambiguas. Aunque los Modelos de Lenguaje de Gran Escala (LLM) mejorados con razonamiento de Cadena de Pensamiento (CoT, por sus siglas en inglés) han mostrado promesa al mejorar la precisión y la interpretabilidad, dos limitaciones críticas dificultan su despliegue en el mundo real:

1. Limitación de Perspectiva Única: Los enfoques de CoT existentes dependen típicamente de una perspectiva de razonamiento única y monolítica. Esto no logra capturar la naturaleza multifacética de la relevancia en el comercio electrónico, que requiere equilibrar simultáneamente la intención del usuario, el emparejamiento de atributos estructurados y las reglas de negocio específicas.
2. Ineficiencia de la Destilación: Los métodos actuales de destilación de conocimiento que utilizan racionales generados por LLM suelen descartar la estructura de CoT durante la inferencia. Tratan el razonamiento como una señal de entrenamiento transitoria en lugar de una capacidad interna, perdiendo la utilidad del proceso de razonamiento para el servicio en línea. Además, los propios LLM sufren de una alta latencia de inferencia, lo que los hace poco prácticos para sistemas de búsqueda en tiempo real.

Metodología
Los autores proponen un marco que "piensa ampliamente" durante el entrenamiento y "actúa rápido" en la inferencia, el cual consta de dos componentes primarios:

1. Cadena de Pensamiento Multiperspectiva (MPCoT) para el Entrenamiento del Profesor
El marco emplea un potente LLM profesor (Qwen3-14B) entrenado para generar diversos racionales desde tres perspectivas distintas:

• Intención del Usuario: Se enfoca en las necesidades funcionales y la alineación con el caso de uso.
• Análisis Estructurado: Realiza una verificación sistemática, atributo por atributo, entre la consulta y el producto.
• Reglas de Negocio: Aplica heurísticas específicas de la plataforma para resolver ambigüedades (por ejemplo, distinguir productos principales de accesorios).

El modelo profesor se somete a un proceso de optimización de dos etapas:

• Ajuste Fino Supervisado (SFT): El modelo es entrenado en un conjunto de datos agregado de racionales CoT de alta calidad y específicos por perspectiva. Esto obliga al modelo a internalizar diversos caminos de razonamiento.
• Optimización de Preferencia Directa (DPO): Para abordar los casos donde diferentes perspectivas arrojan predicciones conflictivas, el modelo se refina mediante DPO. Esta etapa construye pares de preferencia donde las respuestas "elegidas" provienen de perspectivas correctas y las "rechazadas" de las incorrectas, enseñando al modelo a adaptar y seleccionar el camino de razonamiento óptimo basado en el contexto.

2. Destilación de Conocimiento de Razonamiento Latente (LRKD) para el Despliegue del Estudiante
Para transferir las capacidades del profesor a un modelo estudiante ligero (por ejemplo, BERT) sin incurrir en latencia de generación, los autores introducen LRKD.

• Arquitectura: El modelo estudiante es un codificador cruzado (cross-encoder) aumentado con un Extractor de Razonamiento Latente entrenable. Este extractor mapea las representaciones de tokens contextualizados del estudiante en un vector de razonamiento latente estructurado.
• Objetivo de Entrenamiento: El estudiante es entrenado utilizando una función de pérdida dual:
  1. Pérdida de Clasificación: Entropía cruzada estándar para predecir etiquetas de relevancia.
  2. Pérdida de Guía Latente: Una pérdida de Error Cuadrático Medio (MSE) que alinea el vector de razonamiento latente del estudiante con el embedding denso del CoT generado por el profesor (codificado por un modelo de embedding de oraciones congelado como BGE-M3).
• Inferencia: A diferencia de métodos anteriores, el extractor de razonamiento latente se retiene durante la inferencia. Permite que el modelo estudiante internalice semánticas de razonamiento sofisticadas en una forma compacta y no generativa, permitiendo un despliegue de baja latencia.

Contribuciones Clave

1. Marco MPCoT: Un novedoso marco de razonamiento que genera racionales complementarios desde múltiples perspectivas, demostrando que la fusión de diversos puntos de vista (Intención del Usuario, Análisis Estructurado, Reglas de Negocio) conduce a juicios de relevancia más robustos que los enfoques de perspectiva única.
2. Mecanismo LRKD: Una técnica de destilación que preserva las semánticas de razonamiento en un modelo estudiante ligero a través de un extractor latente. Esto evita la alta latencia de la generación de texto mientras retiene la utilidad del razonamiento CoT durante el servicio en línea.
3. Validación Empírica: Validación exhaustiva en conjuntos de datos de comercio electrónico multilingües (AliExpress y ESCI) y una prueba A/B a gran escala en línea.

Resultos

• Desempeño Offline: El profesor MPCoT combinado y el estudiante LRKD lograron resultados de vanguardia en los conjuntos de datos de AliExpress y ESCI. El profesor MPCoT superó a las bases de comparación de perspectiva única más fuertes con un promedio de +1.96% en Precisión y +3.5% en F1. Las variantes del estudiante LRKD (específicamente basadas en GAT y Poly-encoder) superaron consistentemente a las bases de comparación de destilación existentes (CED-KD, MKD) y a los modelos BERT estándar, con la variante GAT mejorando la precisión en +2.37 puntos y el F1 en +3.91 puntos sobre la base.
• Eficiencia: Los modelos estudiante mantuvieron una baja latencia (aproximadamente 132–148 ms) en comparación con el LLM profesor (46,800 ms), con incrementos marginales en los parámetros.
• Impacto Online: En una prueba A/B en vivo en la plataforma de publicidad de búsqueda de AliExpress, que atiende a decenas de millones de usuarios, el método entregó mejoras estadísticamente significativas:
  • +1.42% en el Ingreso por Mil (RPM).
  • +0.48% en la Tasa de Clics (CTR).
  • +0.4% en la puntuación de Satisfacción de Relevancia (RS).

Significancia
El artículo afirma que su enfoque logra cerrar la brecha entre las altas capacidades de razonamiento de los LLM y los estrictos requisitos de latencia de la búsqueda industrial en el comercio electrónico. Al ir más allá del razonamiento de perspectiva única y retener las estructuras de razonamiento en el espacio latente del modelo estudiante, el marco ofrece una solución práctica para manejar consultas complejas y ambiguas que los modelos tradicionales omiten. Los resultados demuestran que "pensar ampliamente" (mediante el entrenamiento multiperspectiva) y "actuar rápido" (mediante la destilación latente) pueden mejorar simultáneamente el rendimiento comercial (ingresos) y la experiencia del usuario (satisfacción de relevancia) sin el costo computacional de ejecutar grandes LLM en tiempo real.