Retrieval with Multiple Query Vectors through Anomalous Pattern Detection

Technisches Fazit: Retrieval mit mehreren Abfragevektoren durch Erkennung anomaler Muster

Problemformulierung
Klassische Vektor-Retrieval-Systeme arbeiten typischerweise unter einem Paradigma mit einer einzelnen Abfrage, bei dem ein einzelner Embedding-Vektor verwendet wird, um die ähnlichsten Vektoren aus einer Datenbank basierend auf Proximitätsmetriken (z. B. kosinussimilarität, euklidischer Abstand) zu finden. Komplexe Schlussfolgerungs- und Retrieval-Aufgaben beinhalten jedoch oft mehrere Abfragevektoren, die verschiedene Aspekte der Absicht eines Nutzers erfassen (z. B. ein Absatz, in dem jeder Satz eine distincte Einschränkung oder Eigenschaft darstellt). Bestehende Ansätze für das Retrieval mit mehreren Abfragen aggregieren diese Vektoren häufig über Heuristiken zu einem einzigen Embedding oder behandeln sie unabhängig voneinander, wodurch wertvolle inter-Abfrage-Beziehungen verloren gehen. Darüber hinaus können standardmäßige abstandsbasierte Metriken komplexe, nichtlineare und kontextabhängige Beziehungen, die in hochdimensionalen Embeddings – insbesondere solchen von Large Language Models (LLMs) – inhärent sind, nicht erfassen.

Diese Arbeit adressiert die Herausforderung, relevante Datenbankvektoren gegeben einer Menge mehrerer Abfragevektoren $Q = \{q_1, q_2, \dots, q_M\}$ zu finden, ohne dass die Anzahl der zu findenden Vektoren im Voraus spezifiziert werden muss.

Methodik
Die Autoren schlagen ein Retrieval-Framework vor, das auf der Erkennung anomaler Muster basiert. Die Kernhypothese lautet, dass die Menge der Abfragevektoren ein spezifisches „anomales Muster" teilt – eine Teilmenge von Vektordimensionen, in denen die Werte gemeinsam signifikant von der in der Datenbank $D$ beobachteten Verteilung abweichen. Die relevantesten Datenbankvektoren sind diejenigen, die dasselbe gemeinsame anomale Muster aufweisen.

Der Ansatz erweitert Deep-Scanning-Algorithmen (McFowland, Speakman und Neill 2013; Cintas et al. 2021, 2022) auf das Retrieval-Szenario durch einen zweistufigen Prozess:

1. Identifikation anomaler Dimensionen: Gegeben die Abfragemenge $Q$ identifiziert der Algorithmus eine Teilmenge von Vektordimensionen $O^*_S$, die die unterscheidenden Merkmale der Abfragen am besten erfassen.

   • Die Methode geht davon aus, dass das anomale Muster Werten entspricht, die im Vergleich zur Datenbankverteilung besonders niedrig sind (im unteren $\alpha$-Schwanz).
   • Es werden Dimensionen mittels z-Werten standardisiert ($z_{ml} = \frac{q_{ml} - \mu_l}{\sigma_l}$), wobei $\mu_l$ und $\sigma_l$ der Mittelwert und die Standardabweichung der Dimension $l$ über die Datenbank $D$ hinweg sind.
   • Als Bewertungsfunktion $F(S)$ wird ein nicht-parametrischer Scan-Statistik (speziell die Berk–Jones-Statistik) verwendet, um den Anomalie-Score über Teilmengen von Dimensionen zu maximieren.

2. Retrieval von Datenbankvektoren: Unter Verwendung der identifizierten Dimensionen $O^*_S$ scannt der Algorithmus die Datenbank $D$, um die Teilmenge der Vektoren $R^*_S$ zu finden, die in diesen spezifischen Dimensionen dasselbe gemeinsame anomale Muster aufweisen.

Im Gegensatz zu traditionellen Methoden stützt sich dieser Ansatz nicht auf feste Abstandsschwellenwerte oder eine im Voraus festgelegte Retrieval-Anzahl $K$. Stattdessen wird die Größe der gefundenen Menge dynamisch durch den Anomalie-Bewertungsprozess bestimmt.

Experimenteller Aufbau und Ergebnisse
Die Autoren bewerteten die Methode an vier unterschiedlichen Datensätzen:

• Bilder: MNIST und Fashion-MNIST (geflacht und via UMAP auf 30 Dimensionen projiziert).
• Text: Persona (LLM-Embeddings von Sätzen, die mit spezifischen Personas übereinstimmen) und Ailuminate (LLM-Embeddings von Prompts bezüglich Gefahrenkategorien).
• Tabellarisch: Ein medizinischer Datensatz zu Brustkrebs (31 numerische Merkmale).

Die Methode wurde mit zwei angepassten KDTree-Baselines verglichen:

• KDTree pre: Mittelt alle Abfragevektoren vor dem Retrieval zu einem einzigen Vektor.
• KDTree post: Findet Vektoren für jede Abfrage unabhängig und fusioniert die Ergebnisse.

Wichtige Erkenntnisse:

• Auswirkung der Abfragemengengröße: Bei den meisten Datensätzen führte eine Erhöhung der Anzahl der Abfragevektoren ($M$) von 1 auf 8 zu signifikanten Verbesserungen sowohl bei der Präzision als auch beim Recall. Die Gewinne nahmen ab, wenn $M$ über 8 hinaus erhöht wurde.
• Leistung nach Datensatz:
  • Persona (LLM-Text): Die vorgeschlagene Methode erreichte bei $M=64$ eine nahezu perfekte Präzision und einen nahezu perfekten Recall (nahe 1,00) und übertraf damit beide KDTree-Varianten signifikant (die ~0,70–0,80 erreichten).
  • Tabellarische Daten: Die Methode erreichte eine höhere Präzision (1,00) als die Baselines (0,90), aber einen niedrigeren Recall (~0,77 vs. ~0,90).
  • Fashion-MNIST: Die Methode zeigte einen höheren Recall, aber eine niedrigere Präzision im Vergleich zu den Baselines.
  • MNIST: Es wurde kein signifikanter Unterschied zwischen der vorgeschlagenen Methode und den Baselines beobachtet, obwohl die absolute Leistung bei allen hoch war.
• Retrieval-Größe: Die vorgeschlagene Methode bestimmt die Größe des Retrieval-Sets dynamisch. In Ablationsstudien, bei denen KDTree gezwungen wurde, eine ähnliche Anzahl von Vektoren wie die vorgeschlagene Methode zu finden, behielt die vorgeschlagene Methode bei den Datensätzen Tabellarisch und Persona weiterhin einen leichten Vorsprung bei Präzision und Recall.

Bedeutung und Behauptungen
Das Papier positioniert diese Arbeit als einen neuen Schritt hin zu einem robusten Retrieval mit mehreren Abfragen. Die Autoren behaupten, dass die Definition von Relevanz durch eine Anomalie-Bewertungsfunktion anstelle traditioneller abstandsbasierter Messgrößen die Erfassung komplexer, nichtlinearer Beziehungen ermöglicht, die feste Metriken übersehen.

Die Studie formuliert ihre Beiträge bescheiden als „ersten Schritt" in diese Richtung. Die Autoren erkennen Einschränkungen an, darunter die Verwendung fester Klassen von Interesse pro Datensatz und die Abhängigkeit von KDTree als Baseline anstelle von ausgefeilteren Vektorsuchmethoden (z. B. optimierte Vektor-Ähnlichkeitssuche). Sie stellen fest, dass die Methode bei LLM-Text-Embeddings im Vergleich zu reduzierten Bild-Embeddings und tabellarischen Daten am besten performte, was die Notwendigkeit zukünftiger Untersuchungen zur Generalisierbarkeit über verschiedene Datentypen und Embedding-Architekturen hinweg nahelegt. Die Arbeit behauptet nicht, alle Herausforderungen des Retrievals mit mehreren Abfragen zu lösen, zeigt jedoch, dass die Nutzung anomaler Muster in Abfragemengen in spezifischen Kontexten, insbesondere bei LLM-Embeddings, zu überlegener Retrieval-Leistung führen kann.