Resumen Técnico: Un solo Recuperación para Cubrirlos a Todos

Declaración del Problema

Los sistemas actuales de Generación Aumentada por Recuperación (RAG) están optimizados para la relevancia de una sola consulta, recuperando documentos que son semánticamente similares a una consulta aislada del usuario. Sin embargo, los usuarios empresariales interactúan con las bases de conocimiento (KB) a través de sesiones: episodios coherentes de preguntas relacionadas que abarcan partes semánticamente distantes de la KB.

El artículo identifica una "brecha de cobertura de sesión" crítica: los sistemas RAG estándar no logran recuperar el conjunto completo de documentos que un usuario necesita en una sola sesión porque esos documentos residen a menudo en vecindarios semánticos diferentes. Por ejemplo, un usuario que configura un sitio web necesita artículos sobre configuración de dominios, diseño de plantillas y procesamiento de pagos. Aunque están relacionados funcionalmente, estos documentos son semánticamente distantes en el espacio de embeddings.

• El Punto Ciego: Las métricas de recuperación estándar (por ejemplo, Recall@k) optimizan la búsqueda del mejor documento único para una sola pregunta, ignorando las necesidades de información multidocumento.
• La Consecuencia: En el benchmark WixQA, un sistema RAG estándar cubre solo el 41% de la necesidad de información de la sesión de un usuario con una sola llamada de recuperación ($k=8$). Los usuarios deben emitir múltiples consultas de seguimiento para acceder al conocimiento restante, lo que aumenta la latencia, los costos de API y la fricción del usuario.

Metodología

Los autores proponen la Reorganización de la Base de Conocimiento Consciente de la Co-ocurrencia, un enfoque de pre-recuperación que reestructura la KB de forma offline para alinearla con los patrones de comportamiento del usuario en lugar de solo con la similitud semántica. El método consta de dos fases:

1. Offline: Clustering Consciente de la Co-ocurrencia

El sistema aprende un nuevo espacio de embeddings basado en patrones de co-ocurrencia de documentos (documentos accedidos juntos en sesiones) en lugar de la similitza semántica del texto.

• Construcción de Secuencias: Las secuencias de co-ocurrencia se construyen a partir de tres fuentes:
  1. Verdad de terreno (Ground-truth): Consultas etiquetadas por expertos con múltiples IDs de artículos relevantes.
  2. Caminatas en vecindarios de embeddings: Caminatas aleatorias a través del grafo de similitud semántica con una alta probabilidad de salto (40%) para capturar relaciones entre vecindarios.
  3. Secuencias impulsadas por QA: Pares de pregunta-respuesta sintéticos y sus vecinos de documentos fuente.
• Aprendizaje de Embeddings: Los IDs de los documentos se tratan como tokens, y las sec sequences como oraciones. Se entrena un modelo Word2Vec (CBOW) para generar embeddings de co-ocurrencia ($z_d$). Esto captura la relación funcional: los documentos necesarios juntos en una sesión están cerca en el espacio $z$, incluso si son semánticamente distantes.
• Clustering Jerárquico: Se aplica clustering aglomerativo a los embeddings de co-ocurrencia para agrupar documentos en clusters. El objetivo es reducir el tamaño efectivo de la KB al 20% de su tamaño original (ej. 6,221 documentos $\to$ 1,244 clusters).

2. Online: Recuperación Híbrida con Expansión de Cluster

En el momento de la consulta, el sistema realiza un proceso de recuperación híbrida:

1. Recuperación Vanilla: Recuperar los top-$k_v$ (ej. 3) documentos basados en la similitud semántica estándar (usando cualquier encoder).
2. Expansión de Cluster: Para cada documento recuperado, reunir todos los demás documentos dentro de su cluster pre-calculado como candidatos de expansión.
3. Re-ranking: Re-clasificar la unión de los resultados vanilla y los candidatos de expansión utilizando la similitud original entre la consulta y el documento para devolver los top-$k$ finales (ej. 8) resultados.

Este enfoque es independiente del encoder (la estructura del cluster se aprende independientemente del encoder de la consulta) y es de pre-recuperación (la KB se reorganiza una vez de forma offline).

Contribuciones Clave

1. Métricas de Evaluación a Nivel de Sesión: El artículo introduce la Cobertura de Sesión de Consulta Única (la fracción de los documentos de una sesión recuperados en una sola llamada) y las Llamadas a $\tau$-Cobertura (el número de llamadas necesarias para cubrir una fracción específica de una sesión). Estas métricas cambian el enfoque de la evaluación desde el recall de una sola consulta hacia la satisfacción holística de la sesión.
2. Reorganización de la KB Consciente de la Co-ocurrencia: Un método novedoso que reorganiza la KB offline utilizando patrones de co-ocurrencia para permitir la recuperación híbrida mediante expansión de clusters.
3. Validación Empírica: Demostración de ganancias consistentes a través de cuatro modelos de embedding diferentes, seis dominios funcionales y diversas complejidades de sesión en un benchmark empresarial.

Resultados

Evaluado en WixQA (6,221 artículos de soporte empresarial) y un corpus de Soporte de E-Commerce:

• Cobertura de Sesión: El método propuesto eleva la cobertura de sesión de consulta única del 41.4% (RAG Vanilla) al 59.1% en $k=8$ (+17.7% absoluto; 95% IC: [14.1, 20.4]).
• Eficiencia de Recuperación: Para alcanzar una cobertura de sesión del 70%, el método reduce el promedio de llamadas de recuperación de 4.0 (Vanilla) a 2.6, una reducción del 34%.
• Robustez del Encoder: El método mejora la cobertura en los cuatro modelos de embedding probados (MiniLM, BGE, GTE, E5) con ganancias absolutas que van desde +17.1% a +20.6%.
• Generalización de Dominio: Las ganancias son consistentes en seis dominios funcionales distintos (ej. Reservas, Apps, Editor), con mejoras que oscilan entre +12.7% y +21.5%.
• Compresión de la KB: El clustering reduce el tamaño efectivo de la KB al 20% del original mientras mejora la cobertura.
• Compromiso de Precisión: La precisión de primer impacto (Hits@K) disminuye ligeramente (96.0% a 93.0%), lo cual los autores argumentan es un intercambio aceptable para lograr una cobertura de sesión significativamente más amplia.
• Condiciones Límite: El método no muestra ganancias en HotpotQA, confirmando que la mejora depende de bases de conocimiento persistentes con reutilización de documentos entre sesiones, y no en el mecanismo de expansión en sí mismo.

Significado y Reivindicaciones

El artículo sostiene que la cobertura a nivel de sesión, y no el recall de una sola consulta, debería ser la métrica principal para la evaluación de RAG en entornos empresariales. La importancia de este trabajo radica en:

• Cerrar la Brecha Semántica: Demuestra que la similitud semántica y las necesidades de información del usuario son señales distintas. Los documentos necesarios juntos no siempre son semánticamente similares, y confiar únicamente en la similitud de embeddings pierde un contexto crítico.
• Eficiencia y Costo: Al recuperar los documentos correctos en la primera llamada, el método reduce el número de llamadas a la API, la latencia y la fricción del usuario para resolver problemas de soporte complejos.
• Complementariedad: El enfoque es ortogonal a la reescritura de consultas o la compresión post-recuperación. Puede combinarse con optimizaciones existentes del lado de la consulta (como la reescritura de múltiples consultas) o métodos post-recuperación (como EDC2-RAG) para la optimización de la sesión de extremo a extremo.
• Practicidad: La reorganización offline es computacionalmente eficiente (menos de 20 minutos para 6k documentos) y la sobrecarga online es insignificante, lo que la hace viable para el despliegue en producción.

Los autores concluyen que, aunque sus secuencias de co-ocurrencia se derivan actualmente de fuentes sintéticas y basadas en embeddings, el método establece un marco donde los patrones de co-ocurrencia pueden servir como una señal poderosa y complementaria a los embeddings semánticos para los sistemas RAG empresariales.