A Comparative Study of Vector Indexing Strategies Using Facebook AI Similarity Search as a Case Study

Stellen Sie sich vor, Sie stünden in einer Bibliothek, die jedes jemals geschriebene Buch enthält, aber die Bücher sind nicht nach Titel oder Autor sortiert. Stattdessen sind sie danach sortiert, wie „ähnlich“ sie einander fühlen. Wenn Sie nach einer Geschichte über eine tapfere Katze fragen, findet der Bibliothekar nicht einfach Bücher mit den Wörtern „tapfer“ und „Katze“; er findet Geschichten, die sich wie diese Idee anfühlen, selbst wenn die Wörter anders sind. Das ist die Magie moderner künstlicher Intelligenz: Ideen in Listen von Zahlen (Vektoren) zu verwandeln und dann die am nächsten liegenden Übereinstimmungen in einem Meer von Daten zu finden.

Aber hier ist der Haken: Wenn Ihre Bibliothek eine Milliarde Bücher hat, würde es ewig dauern, jedes einzelne zu überprüfen, um die beste Übereinstimmung zu finden. Es ist, als würde man versuchen, ein bestimmtes Sandkorn auf einem Strand zu finden, indem man jedes Korn einzeln aufhebt. Um dies zu lösen, haben Wissenschaftler „Indizes“ erfunden – spezielle Abkürzungen, die dem Computer helfen, die langweiligen Teile zu überspringen und direkt zum interessanten Zeug zu springen. Einige Abkürzungen sind wie eine super-organisierte Karte (exakte Suche), während andere wie ein kluges Ratespiel sind, das in einem Bruchteil einer Sekunde 99 % des Weges dorthin schafft (approximative Suche). Die große Frage ist: Welcher Shortcut ist der beste? Hängt es davon ab, wie groß Ihre Bibliothek ist? Spielt es eine Rolle, ob Sie ein kleines Notizbuch oder ein riesiges Lagerhaus zur Aufbewahrung Ihrer Bücher haben?

Genau das wollte ein Team von Forschern der Europäischen Universität Armenien herausfinden. Sie nahmen ein beliebtes Toolkit namens FAISS (Facebook AI Similarity Search), das wie ein Schweizer Taschenmesser für diese Vektor-Abkürzungen ist, und unterzogen seine verschiedenen Werkzeuge einem Test. Sie wollten sehen, wie gut jedes Werkzeug performt, wenn die Daten riesig werden, wenn die Zahlen kompliziert werden und wenn der Speicher knapp wird. Denken Sie an es wie ein großes Rennen, bei dem verschiedene Arten von Suchmaschinen gegeneinander antreten, um zu sehen, wer die richtige Antwort am schnellsten findet, ohne außer Atem zu geraten oder den Speicher zu überlasten.

Die Forscher testeten verschiedene Strategien, die von der „Brute-Force“-Methode (alles prüfen) bis hin zu cleveren Tricks mit Clustering (Gruppierung ähnlicher Elemente) und Kompression (Quetschen von Daten, um Platz zu sparen) sowie Graph-basierter Navigation (Nutzung eines Netzes von Verbindungen, um zur Antwort zu springen) reichen. Sie maßen zwei Hauptaspekte: Recall (Haben Sie die richtige Antwort gefunden?) und Latenz (Wie lange hat es gedauert?).

Hier ist das, was sie in ihren Experimenten herausfanden:

Der „Brute-Force“-Champion (IndexFlat)
Stellen Sie sich einen Detektiv vor, der nicht rät, sondern jeden einzelnen Verdächtigen in der Aufstellung überprüft. Dies ist die IndexFlat-Methode. Die Forscher fanden heraus, dass dieser Ansatz perfekt ist: Er verpasst nie die richtige Antwort (100 % Recall). Er ist jedoch unglaublich langsam. Als die Anzahl der „Verdächtigen“ (Vektoren) von 1.000 auf 10.000 anstieg, wuchs die Zeit, die benötigt wurde, um die Antwort zu finden, stetig an. Wenn Sie einen kleinen Datensatz haben, ist das großartig. Aber wenn Sie Millionen von Vektoren haben, wird diese Methode in der realen Welt zu langsam, um nützlich zu sein. Es ist, als würde man ein Mikroskop benutzen, um eine Nadel im Heuhaufen zu finden; es funktioniert, aber es dauert ewig.

Die „Gruppierungs“-Strategie (IVFFlat)
Als Nächstes probierten sie eine Methode aus, die ähnliche Vektoren in Cluster gruppiert, wie Bücher in Behälter sortiert mit den Etiketten „Abenteuer“, „Romanze“ und „Krimi“. Dies ist IndexIVFFlat. Wenn eine Abfrage eingeht, prüft das System nur die Behälter, die am wahrscheinlichsten die Antwort enthalten. Die Studie zeigte, dass dies ein fantastischer Mittelweg ist. Es ist viel schneller als das Überprüfen von allem, und man kann es genauer einstellen, indem man mehr Behälter überprüft. Die Forscher fanden heraus, dass man mehr Cluster überprüft (eine Einstellung namens nprobe), erhält man bessere Ergebnisse, aber es dauert etwas länger. Es ist ein flexibles Werkzeug, das Geschwindigkeit und Genauigkeit für mittelgroße bis große Datensätze gut ausbalanciert.

Die „Kompressions“-Experten (IVFPQ und IVFSQ)
Was ist, wenn Sie eine Milliarde Vektoren haben, aber nicht genug Festplattenplatz, um sie alle zu speichern? Die Forscher untersuchten IndexIVFPQ und IndexIVFSQ, die wie das Komprimieren eines hochauflösenden Films in eine kleinere Dateigröße funktionieren. Sie quetschen die Daten zusammen, damit sie weniger Speicherplatz beanspruchen.

• IVFPQ (Product Quantization) teilt Vektoren in winzige Stücke auf und komprimiert sie. Die Studie fand heraus, dass dies der Champion für massive Datensätze ist, bei denen der Speicherplatz das größte Problem darstellt. Es ist unglaublich schnell und verbraucht sehr wenig Platz, obwohl es gelegentlich die perfekte Antwort verpassen könnte (etwas geringerer Recall).
• IVFSQ (Scalar Quantization) ist eine einfachere Version der Kompression. Es ist ein gutes „mittleres Kind“ – es spart Platz und ist schneller als die unkomprimierten Versionen, komprimiert aber nicht so aggressiv wie IVFPQ. Die Forscher merkten an, dass es im Vergleich zur unkomprimierten Version zwar ein wenig an Genauigkeit verliert, die Speicherersparnis jedoch oft den Aufwand für große Systeme wert ist.

Das „Netzwerk der Verbindungen“ (HNSW)
Schließlich gab es IndexHNSW, das Daten in einem mehrschichtigen Netz organisiert, wie eine U-Bahn-Karte mit Expresslinien und lokalen Haltestellen. Man beginnt auf der obersten Ebene (der Expresslinie), um eine allgemeine Richtung zu bekommen, und zoomt dann Ebene für Ebene nach unten, um die exakte Haltestelle zu finden. Die Studie fand heraus, dass dies der absolute Superstar für Geschwindigkeit und Genauigkeit ist. Es ist „sehr schnell“ und hat einen „sehr hohen“ Recall. Es benötigt jedoch etwas mehr Speicher, um das Netz aufzubauen, und die Forscher merkten an, dass man es sorgfältig abstimmen muss. Wenn man das Netz zu dicht macht (zu viele Verbindungen), wird die Suche langsamer; wenn man es zu dünn besiedelt, übersieht man vielleicht die beste Antwort. Aber wenn es richtig abgestimmt ist, bietet es die beste Balance zwischen Geschwindigkeit und Präzision.

Das Urteil
Das Paper kommt zu dem Schluss, dass es kein einzelnes „bestes“ Werkzeug für jeden Job gibt. Es ist, als würde man fragen, ob ein Hammer, ein Schraubendreher oder ein Schraubenschlüssel der beste ist; es kommt darauf an, was man baut.

• Wenn Sie einen kleinen Datensatz haben und perfekte Genauigkeit benötigen, verwenden Sie den Flat-Index.
• Wenn Sie einen mittelgroßen Datensatz haben und eine Balance benötigen, ist IVFFlat eine solide Wahl.
• Wenn Sie mit Milliarden von Vektoren zu tun haben und Ihr Computer an seine Speergrenzen stößt, ist IVFPQ Ihr bester Freund.
• Wenn Sie die schnellstmögliche Suche mit hoher Genauigkeit benötigen und genug Speicherplatz haben, ist HNSW der Gewinner.

Die Forscher testeten auch verschiedene Arten, „Ähnlichkeit“ zu messen (wie etwa die Nähe zweier Punkte im Raum). Sie bestätigten, dass man für bestimmte Arten von KI-Modellen (wie jene, die für Sprache verwendet werden) die Daten zuerst normalisieren muss, damit die Mathematik korrekt funktioniert, aber sobald dies geschehen ist, halten die verschiedenen Indexing-Strategien gut stand.

Kurz gesagt: Diese Studie bietet einen praktischen Leitfaden für jeden, der KI-Systeme entwickelt. Sie sagt uns, dass wir zwar nicht alles haben können (perfekte Geschwindigkeit, perfekte Genauigkeit und null Speicherverbrauch gleichzeitig), wir aber die richtige Abwägung für unsere spezifischen Bedürfnisse wählen können. Ob Sie ein Betrugserkennungssystem für eine Bank oder eine Suchmaschine für medizinische Unterlagen bauen – es gibt eine spezifische Indexing-Strategie in diesem Toolkit, die Ihnen helfen wird, die Nadel im Heuhaufen zu finden, ohne sich zu verirren.