Retrieval with Multiple Query Vectors through Anomalous Pattern Detection

Resumen Técnico: Recuperación con Múltiples Vectores de Consulta mediante Detección de Patrones Anómalos

Formulación del Problema
Los sistemas clásicos de recuperación vectorial operan típicamente bajo un paradigma de consulta única, donde un único vector de incrustación se utiliza para recuperar los vectores más similares de una base de datos basándose en métricas de proximidad (por ejemplo, similitud del coseno, distancia euclidiana). Sin embargo, las tareas complejas de razonamiento y recuperación a menudo involucran múltiples vectores de consulta que capturan diferentes aspectos de la intención del usuario (por ejemplo, un párrafo donde cada oración representa una restricción o característica distinta). Los enfoques existentes para la recuperación multi-consulta a menudo agregan estos vectores en una sola incrustación mediante heurísticas o los tratan de forma independiente, descartando así valiosas relaciones inter-consulta. Además, las métricas estándar basadas en la distancia pueden no capturar relaciones complejas, no lineales y dependientes del contexto inherentes a las incrustaciones de alta dimensión, particularmente aquellas provenientes de Modelos de Lenguaje Grande (LLM).

Este trabajo aborda el desafío de recuperar vectores relevantes de la base de datos dado un conjunto de múltiples vectores de consulta $Q = \{q_1, q_2, \dots, q_M\}$, sin requerir que el número de vectores a recuperar se especifique a priori.

Metodología
Los autores proponen un marco de recuperación fundamentado en la detección de patrones anómalos. La hipótesis central es que el conjunto de vectores de consulta comparte un "patrón anómalo" específico: un subconjunto de dimensiones vectoriales donde los valores se desvían conjuntamente de manera significativa de la distribución observada en la base de datos $D$. Los vectores de la base de datos más relevantes son aquellos que exhiben este mismo patrón anómalo conjunto.

El enfoque extiende los algoritmos de escaneo profundo (McFowland, Speakman y Neill 2013; Cintas et al. 2021, 2022) al entorno de recuperación mediante un proceso de dos pasos:

1. Identificar Dimensiones Anómalas: Dado el conjunto de consultas $Q$, el algoritmo identifica un subconjunto de dimensiones vectoriales $O^*_S$ que mejor capturan las características distintivas de las consultas.

   • El método asume que el patrón anómalo corresponde a valores particularmente bajos (en la cola inferior $\alpha$) en comparación con la distribución de la base de datos.
   • Estandariza las dimensiones utilizando puntuaciones z ($z_{ml} = \frac{q_{ml} - \mu_l}{\sigma_l}$), donde $\mu_l$ y $\sigma_l$ son la media y la desviación estándar de la dimensión $l$ a través de la base de datos $D$.
   • Una estadística de escaneo no paramétrica (específicamente la estadística Berk–Jones) se utiliza como función de puntuación $F(S)$ para maximizar la puntuación de anomalía sobre subconjuntos de dimensiones.

2. Recuperar Vectores de la Base de Datos: Utilizando las dimensiones identificadas $O^*_S$, el algoritmo escanea la base de datos $D$ para recuperar el subconjunto de vectores $R^*_S$ que exhiben el mismo patrón anómalo conjunto en esas dimensiones específicas.

A diferencia de los métodos tradicionales, este enfoque no depende de umbrales de distancia fijos ni de un conteo de recuperación preespecificado $K$. En su lugar, el tamaño del conjunto recuperado se determina dinámicamente mediante el proceso de puntuación de anomalías.

Configuración Experimental y Resultados
Los autores evaluaron el método en cuatro conjuntos de datos diversos:

• Imagen: MNIST y Fashion-MNIST (aplanados y proyectados a 30 dimensiones mediante UMAP).
• Texto: Persona (incrustaciones de LLM de oraciones que coinciden con personas específicas) y Ailuminate (incrustaciones de LLM de prompts sobre categorías de peligros).
• Tabular: Un conjunto de datos médico sobre cáncer de mama (31 características numéricas).

El método se comparó con dos líneas base adaptadas de KDTree:

• KDTree pre: Promedia todos los vectores de consulta en un solo vector antes de la recuperación.
• KDTree post: Recupera vectores para cada consulta de forma independiente y fusiona los resultados.

Hallazgos Clave:

• Impacto del Tamaño del Conjunto de Consultas: En la mayoría de los conjuntos de datos, aumentar el número de vectores de consulta ($M$) de 1 a 8 condujo a mejoras significativas tanto en precisión como en recuperación. Las ganancias disminuyeron al aumentar $M$ más allá de 8.
• Rendimiento por Conjunto de Datos:
  • Persona (Texto LLM): El método propuesto logró una precisión y recuperación casi perfectas (cerca de 1.00) para $M=64$, superando significativamente a ambas variantes de KDTree (que alcanzaron ~0.70–0.80).
  • Datos Tabulares: El método logró una precisión más alta (1.00) que las líneas base (0.90) pero una recuperación más baja (~0.77 frente a ~0.90).
  • Fashion-MNIST: El método mostró una recuperación más alta pero una precisión más baja en comparación con las líneas base.
  • MNIST: No se observó diferencia significativa entre el método propuesto y las líneas base, aunque el rendimiento absoluto fue alto para todos.
• Tamaño de Recuperación: El método propuesto determina dinámicamente el tamaño del conjunto de recuperación. En estudios de ablación, cuando KDTree se obligó a recuperar un número similar de vectores que el método propuesto, este último mantuvo aún una ligera ventaja en precisión y recuperación para los conjuntos de datos Tabular y Persona.

Significado y Afirmaciones
El artículo sitúa este trabajo como un paso novedoso hacia una recuperación multi-consulta robusta. Los autores afirman que definir la relevancia mediante una función de puntuación de anomalía en lugar de medidas tradicionales basadas en la distancia permite capturar relaciones complejas y no lineales que las métricas fijas pasan por alto.

El estudio enmarca modestamente sus contribuciones como un "primer paso" en esta dirección. Los autores reconocen limitaciones, incluido el uso de clases fijas de interés por conjunto de datos y la dependencia de KDTree como línea base en lugar de métodos de búsqueda vectorial más sofisticados (por ejemplo, búsqueda de similitud vectorial optimizada). Señalan que el método funcionó mejor en incrustaciones de texto de LLM en comparación con incrustaciones de imágenes de dimensión reducida y datos tabulares, lo que sugiere la necesidad de una futura investigación sobre la generalizabilidad a través de diferentes tipos de datos y arquitecturas de incrustación. El trabajo no afirma resolver todos los desafíos de recuperación multi-consulta, pero demuestra que aprovechar los patrones anómalos en conjuntos de consultas puede producir un rendimiento de recuperación superior en contextos específicos, particularmente con incrustaciones de LLM.