Retrieval with Multiple Query Vectors through Anomalous Pattern Detection

Technische Samenvatting: Retrieval met Meerdere Query-Vectoren via Detectie van Abnormale Patronen

Probleemformulering
Klassieke vectorretrievalsystemen werken doorgaans onder een paradigma van één query, waarbij één embedding-vector wordt gebruikt om de meest vergelijkbare vectoren uit een database te halen op basis van nabijheidsmetrieken (bijvoorbeeld cosinus-achtigheid of Euclidische afstand). Complexe redenerings- en retrievaltaken omvatten echter vaak meerdere query-vectoren die verschillende aspecten van de intentie van de gebruiker vastleggen (bijvoorbeeld een alinea waarin elke zin een distincte beperking of eigenschap vertegenwoordigt). Bestaande benaderingen voor retrieval met meerdere queries aggregeren deze vectoren vaak tot één embedding via heuristieken of behandelen ze onafhankelijk van elkaar, waardoor waardevolle inter-query-relaties verloren gaan. Bovendien kunnen standaard op afstand gebaseerde metrieken complexe, niet-lineaire en contextafhankelijke relaties die inherent zijn aan hoogdimensionale embeddings, met name die van Large Language Models (LLM's), niet adequaat vastleggen.

Dit werk adresseert de uitdaging om relevante databasevectoren te halen gegeven een set van meerdere query-vectoren $Q = \{q_1, q_2, \dots, q_M\}$, zonder dat het aantal te halen vectoren a priori moet worden gespecificeerd.

Methodologie
De auteurs stellen een retrievalkader voor dat gebaseerd is op detectie van abnormale patronen. De kernhypothese is dat de set query-vectoren een specifiek "abnormaal patroon" deelt—een subset van vectordimensies waarbij de waarden gezamenlijk significant afwijken van de in de database $D$ waargenomen verdeling. De meest relevante databasevectoren zijn die welke ditzelfde gezamenlijke abnormale patroon vertonen.

Deze aanpak breidt diepe scan-algoritmen (McFowland, Speakman en Neill 2013; Cintas et al. 2021, 2022) uit naar de retrievalsetting via een tweestapsproces:

1. Abnormale Dimensies Identificeren: Gegeven de query-set $Q$, identificeert het algoritme een subset van vectordimensies $O^*_S$ die de onderscheidende kenmerken van de queries het beste vastleggen.

   • De methode neemt aan dat het abnormale patroon overeenkomt met waarden die bijzonder laag zijn (in de onderste $\alpha$-staart) in vergelijking met de databaseverdeling.
   • Het standaardiseert dimensies met z-scores ($z_{ml} = \frac{q_{ml} - \mu_l}{\sigma_l}$), waarbij $\mu_l$ en $\sigma_l$ het gemiddelde en de standaardafwijking zijn van dimensie $l$ over de database $D$.
   • Een niet-parametrische scanstatistiek (specifiek de Berk–Jones-statistiek) wordt gebruikt als scorefunctie $F(S)$ om de anomalie-score te maximaliseren over subsets van dimensies.

2. Databasevectoren Halen: Met behulp van de geïdentificeerde dimensies $O^*_S$ scant het algoritme de database $D$ om de subset van vectoren $R^*_S$ te halen die in die specifieke dimensies hetzelfde gezamenlijke abnormale patroon vertonen.

In tegenstelling tot traditionele methoden, vertrouwt deze aanpak niet op vaste afstandsdrempels of een vooraf gespecificeerd aantal te halen vectoren $K$. In plaats daarvan wordt de grootte van de gehaalde set dynamisch bepaald door het anomalie-scoreproces.

Experimentele Opzet en Resultaten
De auteurs evalueerden de methode op vier diverse datasets:

• Afbeelding: MNIST en Fashion-MNIST (platgelegd en geprojecteerd naar 30 dimensies via UMAP).
• Tekst: Persona (LLM-embeddings van zinnen die instemmen met specifieke persona's) en Ailuminate (LLM-embeddings van prompts betreffende gevarencategorieën).
• Tabulair: Een medische dataset betreffende borstkanker (31 numerieke kenmerken).

De methode werd vergeleken met twee aangepaste KDTree-baselines:

• KDTree pre: Gemiddeld alle query-vectoren tot één enkele vector voordat retrieval plaatsvindt.
• KDTree post: Haalt vectoren voor elke query onafhankelijk en voegt de resultaten samen.

Belangrijkste Bevindingen:

• Invloed van de Grootte van de Query-set: Bij de meeste datasets leidde het verhogen van het aantal query-vectoren ($M$) van 1 tot 8 tot significante verbeteringen in zowel precisie als recall. De winsten namen af bij het verhogen van $M$ boven 8.
• Prestatie per Dataset:
  • Persona (LLM-tekst): De voorgestelde methode bereikte een bijna perfecte precisie en recall (dicht bij 1,00) voor $M=64$, en presteerde aanzienlijk beter dan beide KDTree-varianten (die ongeveer 0,70–0,80 bereikten).
  • Tabulaire Data: De methode bereikte een hogere precisie (1,00) dan de baselines (0,90), maar een lagere recall (~0,77 versus ~0,90).
  • Fashion-MNIST: De methode vertoonde een hogere recall maar een lagere precisie in vergelijking met de baselines.
  • MNIST: Er werd geen significant verschil waargenomen tussen de voorgestelde methode en de baselines, hoewel de absolute prestaties voor allen hoog waren.
• Grootte van de Retrieval: De voorgestelde methode bepaalt dynamisch de grootte van de retrieval-set. In ablatiestudies, wanneer KDTree werd gedwongen een vergelijkbaar aantal vectoren te halen als de voorgestelde methode, behield de voorgestelde methode nog steeds een licht voordeel in precisie en recall voor de tabulaire en Persona-datasets.

Betekenis en Claims
Het artikel positioneert dit werk als een nieuwe stap richting robuuste retrieval met meerdere queries. De auteurs claimen dat het definiëren van relevantie via een anomalie-scorefunctie in plaats van traditionele op afstand gebaseerde maatstaven, het vastleggen van complexe, niet-lineaire relaties mogelijk maakt die vaste metrieken missen.

De studie presenteert haar bijdragen bescheiden als een "eerste stap" in deze richting. De auteurs erkennen beperkingen, waaronder het gebruik van vaste klassen van belang per dataset en de afhankelijkheid van KDTree als baseline in plaats van geavanceerdere methoden voor vectorzoekopdrachten (bijvoorbeeld geoptimaliseerde vector-achtigheidszoekopdrachten). Zij merken op dat de methode het beste presteerde op LLM-tekstembeddings in vergelijking met gereduceerd-dimensionale afbeeldingsembeddings en tabulaire data, wat wijst op de noodzaak van toekomstig onderzoek naar de generaliseerbaarheid over verschillende datatypes en embedding-architecturen. Het werk claimt niet alle uitdagingen van retrieval met meerdere queries op te lossen, maar demonstreert dat het benutten van abnormale patronen in query-sets superieure retrievalprestaties kan opleveren in specifieke contexten, met name bij LLM-embeddings.