OneSearch-V2: The Latent Reasoning Enhanced Self-distillation Generative Search Framework

Resumen Técnico: OneSearch-V2

1. El Problema

El sistema de búsqueda generativa OneSearch (versión anterior) ha demostrado ser exitoso en entornos industriales al reemplazar arquitecturas en cascada por un enfoque de extremo a extremo. Sin embargo, el artículo identifica tres limitaciones críticas que frenan su rendimiento en escenarios de comercio electrónico complejos:

1. Comprensión insuficiente de consultas complejas: Las consultas a menudo son ambiguas (ej. "equipo de fitness para interiores") o de cola larga (long-tail) con disparidad léxica respecto a los ítems objetivo. El modelo original, al realizar inferencia directa en un solo paso, carece de la capacidad de razonamiento profundo para desambiguar estas intenciones.
2. Razonamiento de intención personalizada deficiente: El modelo depende en gran medida de patrones históricos de co-ocurrencia y ajuste a registros (log-fitting), lo que impide inferir intenciones latentes basadas en el contexto del usuario (ej. evitar alérgenos en flores estacionales). Aunque el razonamiento explícito (Chain-of-Thought o CoT) ayuda, genera una latencia prohibitiva para la implementación en línea.
3. Sistema de recompensas frágil y sesgado: El sistema actual utiliza un modelo de recompensa separado entrenado con registros históricos, lo que conduce a un sobreajuste a preferencias estrechas, "hacking de recompensas" (reward hacking) y una incapacidad para adaptarse rápidamente a nuevas consultas o intenciones emergentes.

2. Metodología

Para abordar estos desafíos, los autores proponen OneSearch-V2, un marco de búsqueda generativa mejorado con razonamiento latente y auto-distilación. El enfoque se basa en tres innovaciones principales:

A. Módulo de Comprensión de Consultas Aumentado con Pensamiento (Thought-Augmented Query Understanding)

• Enfoque: En lugar de generar un CoT explícito y extenso durante la inferencia (que es lento), el sistema utiliza un LLM grande (Qwen3-32B) de forma asíncrona para generar CoTs basados en palabras clave (Keyword-based CoT).
• Proceso: Se extraen palabras clave densas en información que capturan la intención, la categoría y los atributos del usuario.
• Uso: Estos CoTs se utilizan como corpus de alineación semántica durante el entrenamiento y como señales suplementarias en la inferencia (RAG) para consultas complejas, mejorando la comprensión sin sacrificar la latencia en tiempo real.

B. Pipeline de Entrenamiento de Auto-Distilación con Razonamiento Internalizado

• Objetivo: Transferir la capacidad de razonamiento explícito (generada por el módulo anterior) a los pesos del modelo generativo, eliminando la necesidad de generar tokens de razonamiento durante la inferencia.
• Mecanismo: Se utiliza una distilación auto-supervisada donde el mismo modelo actúa como maestro y alumno.
  • Maestro: Recibe la consulta + los CoTs de palabras clave.
  • Alumno: Recibe solo la consulta.
  • Objetivo: El alumno debe predecir la misma distribución de salida que el maestro, internalizando así el "pensamiento" en sus pesos.
• Estabilización: Para mitigar la inestabilidad causada por la asimetría de información, se aplican:
  • R-Drop: Para garantizar consistencia en las predicciones ante perturbaciones estocásticas (dropout).
  • FGM (Fast Gradient Method): Para robustez adversaria en el espacio de embeddings de entrada.
  • Focal Loss: Para manejar el desequilibrio de clases en el vocabulario de IDs semánticos (SIDs).

C. Sistema de Optimización de Alineación de Preferencias con Retroalimentación de Comportamiento

• Cambio de Paradigma: Se elimina el modelo de recompensa separado. En su lugar, se utiliza una optimización directa basada en la retroalimentación del usuario (clics, compras, etc.).
• Recompensa Compuesta: Se diseñan recompensas que combinan la relevancia semántica, la tasa de clics (CTR) posterior y la conversión (compras).
• TPMA-GRPO (Token-Position Marginal Advantage): Se introduce un mecanismo novedoso dentro del algoritmo GRPO (Group Relative Policy Optimization). A diferencia de los métodos estándar que asignan una ventaja uniforme a toda la secuencia, TPMA asigna ventajas marginales basadas en la posición del token.
  • Reconoce la estructura causal jerárquica de los SIDs (categoría general $\to$ atributos específicos).
  • Utiliza una "puerta de prefijo" (prefix gate) que solo permite el flujo de gradiente si los tokens anteriores (prefijo) son correctos, evitando optimizar tokens finales en ramas erróneas.

3. Contribuciones Clave

1. Comprensión de Consultas Mejorada: Un módulo que genera CoTs basados en palabras clave para desambiguar consultas complejas y de cola larga, integrando preferencias del usuario.
2. Internalización del Razonamiento: Un mecanismo de auto-distilación que codifica la capacidad de razonamiento en los pesos del modelo, logrando mejoras de rendimiento sin costo adicional de inferencia ni latencia.
3. Alineación de Preferencias Robusta: Un sistema de optimización que elimina la dependencia de modelos de recompensa externos, utilizando retroalimentación de comportamiento directa y un mecanismo de asignación de crédito (TPMA) que respeta la estructura jerárquica de la generación.
4. Eficiencia Operativa: La solución mitiga problemas comunes como las burbujas de información y la escasez de cola larga sin aumentar los costos de inferencia ni la latencia de servicio.

4. Resultados

Los autores realizaron evaluaciones exhaustivas tanto offline como en pruebas A/B en línea en la plataforma de comercio electrónico de Kuaishou.

• Resultados Offline: OneSearch-V2 superó significativamente a la versión V1 y a otras líneas base en métricas de recuperación (Recall) y clasificación (MRR). La combinación de todas las innovaciones logró un HR@10 del 23.14% (vs 20.46% de la base) y un MRR@10 del 11.51%.
• Resultados en Línea (A/B Testing):
  • CTR de Ítems: +3.98%
  • Tasa de Conversión de Compradores: +2.90%
  • Volumen de Pedidos: +2.11%
  • GMV (Valor Bruto de Mercancías): +3.45%
  • Evaluación Manual: Mejora del 1.65% en la tasa de buena página y 1.37% en la relevancia consulta-ítem.
• Impacto en Segmentos Difíciles: Las mejoras fueron más pronunciadas en consultas de cola larga (+5.37% en CTR), usuarios de baja actividad y artículos "fríos" (nuevos), demostrando una mejor capacidad de generalización y descubrimiento.

5. Significado e Impacto

OneSearch-V2 representa un avance significativo en la búsqueda generativa industrial al resolver el dilema entre la capacidad de razonamiento y la eficiencia de inferencia.

• Superación de Limitaciones Históricas: Demuestra que es posible superar el sobreajuste a registros históricos y mejorar la comprensión semántica profunda sin depender de modelos de recompensa externos propensos a sesgos.
• Escalabilidad: Al internalizar el razonamiento, el sistema mantiene una latencia baja, lo que es crucial para la implementación en tiempo real en plataformas de alto tráfico.
• Adaptabilidad: El sistema de alineación de preferencias permite ajustes en tiempo real a objetivos comerciales dinámicos (ej. campañas de promoción) sin reentrenar modelos complejos de recompensa.
• Relevancia Académica e Industrial: El trabajo establece un nuevo estándar para cómo integrar el razonamiento en modelos generativos de recuperación, ofreciendo un marco reproducible que combina técnicas de distilación, aprendizaje por refuerzo y comprensión semántica avanzada.

En conclusión, OneSearch-V2 no solo mejora las métricas comerciales clave, sino que también mejora la experiencia del usuario al proporcionar resultados más relevantes y personalizados, especialmente para consultas ambiguas y nichos de mercado poco explorados.