A Unified Structured Query Understanding Framework for Industrial Semantic Search

Enunciado del Problema

Los sistemas de búsqueda semántica industrial, particularmente en verticales a gran escala como la Búsqueda de Empleos de LinkedIn, dependen tradicionalmente de pipelines fragmentados y en cascada de componentes dispares (por ejemplo, etiquetadores de entidades, reescritores de consultas y clasificadores de intención separados). Aunque son optimizables individualmente, esta arquitectura incurre en una alta sobrecarga de mantenimiento, conduce a comportamientos inconsistentes entre tipos de consultas y amplifica los errores en escenarios de cola larga.

El problema se ve exacerbado por la naturaleza de las consultas semánticas modernas, que a menudo son verbosas, de alta entropía y multi-constraint (por ejemplo, "solicitar fácilmente remoto auxiliar de entrada de datos" o "salario > $X o remoto en EE. UU."). En los sistemas heredados, los componentes aislados luchan por resolver dependencias complejas, a menudo extrayendo en exceso entidades o pasando por alto intenciones latentes. Además, el modelado unificado enfrenta cuellos de botella significativos en la escasez de datos y la evaluación; las etiquetas de comprensión de consultas son costosas de producir debido a estrictos requisitos de política de producto (por ejemplo, evitar filtros alucinatorios), y muchos modos de fallo son sutiles y difíciles de capturar con métricas automáticas estándar.

Metodología

Los autores proponen un Marco Unificado de Comprensión de Consultas Estructuradas que consolida funciones heterogéneas en un único Modelo de Lenguaje Pequeño (SLM) que realiza una generación restringida por esquema. El sistema opera en dos entornos asíncronos:

1. Motor de Inferencia en Línea (El Estudiante):

   • Un SLM monolítico (específicamente un modelo de 1.5 mil millones de parámetros) optimizado para una generación restringida por esquema en un solo paso.
   • Entrada: Consulta del usuario ($q$) y vector de contexto ($c$) que comprende el perfil del miembro, la ubicación y el historial de sesiones.
   • Salida: Un artefacto estructurado $y = \{r, t, w, s, \dots\}$ generado en un solo paso hacia adelante:
     • $r$: Enrutador (decisión discreta que controla la ejecución de componentes aguas abajo como etiquetado, reescritura o bloqueo de confianza).
     • $t$: Etiquetas (restricciones estructuradas como título, empresa, ubicación, "Solicitar fácilmente").
     • $w$: Reescritura (refinamiento opcional en lenguaje natural, por ejemplo, resolver "cerca de mi ubicación" a una ciudad específica).
     • $s$: Decisiones de Seguridad/Confianza.
   • Servicio: El sistema utiliza decodificación guiada por gramática (xgrammar) para imponer esquemas JSON/TypeScript, evitando salidas malformadas. Emplea agrupación en el lado del cliente y almacenamiento en caché de prefijos para cumplir con estrictas restricciones de baja latencia (latencia mediana < 300 ms) en recursos de GPU limitados.

2. Iluminador de Consultas (El Maestro y el Juez):

   • Un marco offline de alta capacidad (utilizando un modelo de 8 mil millones de parámetros) que aborda los cuellos de botella de datos y evaluación.
   • Rol de Maestro: Genera objetivos de alta fidelidad y compatibles con el esquema para Ajuste Fino Supervisado (SFT) y Distilación de Conocimiento (KD). El proceso de distilación transfiere capacidades de razonamiento del maestro de 8B al estudiante de 1.5B, cerrando la brecha de razonamiento mientras se mantiene una pequeña huella de servicio.
   • Rol de Juez: Actúa como un evaluador sustituto para pruebas offline. Utiliza plantillas de prompts fundamentadas en políticas para puntuar las salidas candidatas frente a referencias basadas en rúbricas (por ejemplo, precisión de extracción, higiene de consultas) y emite una taxonomía de errores estructurada. Esto permite una evaluación escalable donde las etiquetas humanas son escasas.

Estrategia de Entrenamiento:
El marco utiliza un paradigma de ajuste de instrucciones multi-tarea. El modelo se entrena mediante SFT en salidas restringidas por esquema, seguido de distilación desde el maestro. El enfoque multi-tarea (optimización conjunta de enrutamiento, etiquetado y reescritura) actúa como regularizador, evitando el sobreajuste a patrones léxicos dominantes y mejorando la generalización en consultas de cola larga.

Contribuciones Clave

1. Comprensión Unificada de Consultas Estructuradas: Reemplaza los pipelines multi-etapa fragmentados con un único SLM que realiza generación restringida por esquema, reduciendo la propagación de errores y los costos de mantenimiento.
2. Supervisión y Evaluación Fundamentadas en Políticas: Introduce el Iluminador de Consultas, un marco de doble propósito que sirve tanto como maestro para auto-annotación/distilación como juez sustituto para una evaluación offline escalable y alineada con políticas.
3. Servicio Escalable para Generación Estructurada: Describe una pila de servicio de producción que presenta decodificación guiada, validación de esquemas y agrupación en el lado del cliente, validada bajo cargas QPS realistas.
4. Extensibilidad Transversal a Dominios: Demuestra la portabilidad del marco aplicando la misma arquitectura a la Búsqueda Semántica de Personas (SPS) con una adaptación mínima, probando su naturaleza agnóstica al dominio.

Resultados Experimentales

El marco fue validado mediante pruebas extensas offline y online dentro del sistema de Búsqueda de Empleos de LinkedIn (>10M documentos, >10K QPS) y un estudio de caso de Búsqueda de Personas.

• Calidad Offline:

  • Rendimiento Multilingüe: El modelo estudiante de 1.5B distilado logró alta precisión y recuperación en inglés, alemán, español y francés, recuperando gran parte de la calidad del maestro más grande.
  • Multi-tarea vs. Tarea Única: La optimización conjunta mejoró la F1 de extracción de Ubicación de 0.885 a 0.924 en comparación con el ajuste fino de herramienta única, demostrando una transferencia positiva.
  • Validación del Juez Sustituto: El Iluminador de Consultas logró un $\kappa$ de Cohen de 0.77 frente a expertos humanos (techo 0.83) con un 99.96% de estabilidad de análisis JSON, validando su uso como una señal de desarrollo confiable.

• Pruebas A/B en Línea (Búsqueda de Empleos):

  • Fiabilidad: Redujo las fallas de solicitud en un 17.13%, impulsado principalmente por una mejora en la fiabilidad del enrutamiento y el etiquetado.
  • Participación: Mostró mejoras estadísticamente significativas en métricas clave, incluyendo la relación de solicitud a viewport (+0.14%), sesiones de búsqueda (+0.74%) y acciones exitosas de solicitar o guardar (+0.49%).
  • Latencia: El sistema mantuvo presupuestos de latencia estrictos (mediana < 300 ms para etiquetado, ~110 ms para sugerencia de facetas) incluso bajo cargas de trabajo intermitentes.

• Transversal a Dominios (Búsqueda de Personas):

  • Aplicado a la Búsqueda Semántica de Personas, el sistema enrutó el 70.1% del tráfico a la ruta semántica.
  • La relevancia graduada offline (GR@10) mostró aumentos masivos: +57% para consultas navegacionales y +75% para consultas exploratorias cuando el sistema de recuperación consumió las consultas estructuradas.

• Impacto Aguas Abajo:

  • Inyectar etiquetas estructuradas en un sistema de Recuperación Basada en Incrustaciones (EBR) existente (sin reentrenar el recuperador) mejoró las métricas de recuperación top-50 en +1.8% de precisión y +2.2% de recuperación.

Significado y Afirmaciones

El artículo afirma que consolidar el enrutamiento, el etiquetado, la reescritura y el manejo de confianza en un único SLM restringido por esquema es una alternativa viable y superior a los pipelines fragmentados para la búsqueda semántica industrial. El significado radica en:

• Eficiencia Operativa: Reducir drásticamente la sobrecarga de mantenimiento y la propagación de errores mientras se satisfacen estrictas restricciones de baja latencia en hardware limitado.
• Escalabilidad: Resolver el cuello de botella de datos a través del Iluminador de Consultas, que permite una iteración rápida mediante supervisión sintética y evaluación fundamentada en políticas sin depender exclusivamente del costoso etiquetado humano.
• Generalización: Demostrar que una arquitectura unificada puede ser portada exitosamente entre diferentes verticales (Búsqueda de Empleos a Búsqueda de Personas) e idiomas, siempre que se redefina el esquema de salida.

Los autores concluyen que este enfoque transforma la comprensión de consultas en un sistema más escalable, extensible y completo para producción, equilibrando efectivamente el poder expresivo de los modelos generativos con los requisitos de fiabilidad de la búsqueda industrial.