Retrieval with Multiple Query Vectors through Anomalous Pattern Detection

Resumo Técnico: Recuperação com Múltiplos Vetores de Consulta através de Detecção de Padrões Anômalos

Formulação do Problema
Sistemas clássicos de recuperação vetorial geralmente operam sob um paradigma de consulta única, onde um único vetor de incorporação é utilizado para recuperar os vetores mais similares de uma base de dados com base em métricas de proximidade (por exemplo, similaridade cosseno, distância euclidiana). No entanto, tarefas complexas de raciocínio e recuperação frequentemente envolvem múltiplos vetores de consulta que capturam diferentes aspectos da intenção do usuário (por exemplo, um parágrafo onde cada frase representa uma restrição ou característica distinta). Abordagens existentes para recuperação multi-consulta frequentemente agregam esses vetores em uma única incorporação por meio de heurísticas ou os tratam independentemente, descartando assim relações valiosas entre as consultas. Além disso, métricas padrão baseadas em distância podem falhar em capturar relações complexas, não lineares e dependentes do contexto inerentes a incorporações de alta dimensão, particularmente aquelas provenientes de Modelos de Linguagem de Grande Escala (LLMs).

Este trabalho aborda o desafio de recuperar vetores relevantes de uma base de dados dado um conjunto de múltiplos vetores de consulta $Q = \{q_1, q_2, \dots, q_M\}$, sem exigir que o número de vetores a serem recuperados seja especificado a priori.

Metodologia
Os autores propõem um framework de recuperação fundamentado na detecção de padrões anômalos. A hipótese central é que o conjunto de vetores de consulta compartilha um "padrão anômalo" específico — um subconjunto de dimensões vetoriais onde os valores desviam-se significativamente, em conjunto, da distribuição observada na base de dados $D$. Os vetores da base de dados mais relevantes são aqueles que exibem esse mesmo padrão anômalo conjunto.

A abordagem estende algoritmos de varredura profunda (McFowland, Speakman e Neill 2013; Cintas et al. 2021, 2022) para o cenário de recuperação através de um processo de duas etapas:

1. Identificar Dimensões Anômalas: Dado o conjunto de consultas $Q$, o algoritmo identifica um subconjunto de dimensões vetoriais $O^*_S$ que melhor capturam as características distintivas das consultas.

   • O método assume que o padrão anômalo corresponde a valores que são particularmente baixos (no cauda inferior $\alpha$) em comparação com a distribuição da base de dados.
   • Ele padroniza as dimensões usando escores-z ($z_{ml} = \frac{q_{ml} - \mu_l}{\sigma_l}$), onde $\mu_l$ e $\sigma_l$ são a média e o desvio padrão da dimensão $l$ através da base de dados $D$.
   • Uma estatística de varredura não paramétrica (especificamente a estatística Berk–Jones) é utilizada como função de pontuação $F(S)$ para maximizar a pontuação de anomalia sobre subconjuntos de dimensões.

2. Recuperar Vetores da Base de Dados: Usando as dimensões identificadas $O^*_S$, o algoritmo varre a base de dados $D$ para recuperar o subconjunto de vetores $R^*_S$ que exibem o mesmo padrão anômalo conjunto nessas dimensões específicas.

Diferentemente dos métodos tradicionais, esta abordagem não depende de limiares de distância fixos ou de uma contagem de recuperação pré-especificada $K$. Em vez disso, o tamanho do conjunto recuperado é determinado dinamicamente pelo processo de pontuação de anomalia.

Configuração Experimental e Resultados
Os autores avaliaram o método em quatro conjuntos de dados diversos:

• Imagem: MNIST e Fashion-MNIST (achatados e projetados para 30 dimensões via UMAP).
• Texto: Persona (incorporações de LLM de frases concordando com personas específicas) e Ailuminate (incorporações de LLM de prompts referentes a categorias de perigo).
• Tabular: Um conjunto de dados médico sobre câncer de mama (31 características numéricas).

O método foi comparado contra duas bases de referência KDTree adaptadas:

• KDTree pre: Média todos os vetores de consulta em um único vetor antes da recuperação.
• KDTree post: Recupera vetores para cada consulta independentemente e mescla os resultados.

Principais Descobertas:

• Impacto do Tamanho do Conjunto de Consultas: Na maioria dos conjuntos de dados, o aumento do número de vetores de consulta ($M$) de 1 para 8 levou a melhorias significativas tanto na precisão quanto no recall. Os ganhos diminuíram ao aumentar $M$ além de 8.
• Desempenho por Conjunto de Dados:
  • Persona (Texto LLM): O método proposto alcançou precisão e recall quase perfeitos (próximos a 1,00) para $M=64$, superando significativamente ambas as variantes KDTree (que alcançaram ~0,70–0,80).
  • Dados Tabulares: O método alcançou maior precisão (1,00) que as bases de referência (0,90), mas menor recall (~0,77 vs ~0,90).
  • Fashion-MNIST: O método mostrou maior recall, mas menor precisão em comparação com as bases de referência.
  • MNIST: Nenhuma diferença significativa foi observada entre o método proposto e as bases de referência, embora o desempenho absoluto tenha sido alto para todos.
• Tamanho da Recuperação: O método proposto determina dinamicamente o tamanho do conjunto de recuperação. Em estudos de ablação, quando o KDTree foi forçado a recuperar um número semelhante de vetores ao método proposto, este último ainda manteve uma leve vantagem em precisão e recall para os conjuntos de dados Tabular e Persona.

Significado e Alegações
O artigo posiciona este trabalho como um passo novel rumo à recuperação multi-consulta robusta. Os autores afirmam que definir relevância através de uma função de pontuação de anomalia em vez de medidas tradicionais baseadas em distância permite a captura de relações complexas e não lineares que métricas fixas ignoram.

O estudo enquadra modestamente suas contribuições como um "primeiro passo" nessa direção. Os autores reconhecem limitações, incluindo o uso de classes fixas de interesse por conjunto de dados e a dependência do KDTree como base de referência em vez de métodos de busca vetorial mais sofisticados (por exemplo, busca de similaridade vetorial otimizada). Eles observam que o método performou melhor em incorporações de texto de LLM em comparação com incorporações de imagem de dimensão reduzida e dados tabulares, sugerindo a necessidade de investigação futura sobre a generalizabilidade através de diferentes tipos de dados e arquiteturas de incorporação. O trabalho não alega resolver todos os desafios de recuperação multi-consulta, mas demonstra que alavancar padrões anômalos em conjuntos de consultas pode produzir desempenho de recuperação superior em contextos específicos, particularmente com incorporações de LLM.