RAGPerf: An End-to-End Benchmarking Framework for Retrieval-Augmented Generation Systems

Das Paper stellt RAGPerf vor, ein Open-Source-Framework zur umfassenden End-to-End-Leistungsbewertung von Retrieval-Augmented-Generation-Systemen, das durch modulare Komponenten, flexible Konfiguration und automatisierte Metrikenerfassung detaillierte Analysen ermöglicht, ohne nennenswerten Overhead zu verursachen.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen extrem klugen, aber etwas vergesslichen Assistenten (das ist die KI oder der "Large Language Model"). Dieser Assistent kann alles über die Welt wissen, aber er hat ein Problem: Er kennt keine aktuellen Nachrichten, keine firmeninternen Dokumente und keine Geheimnisse aus Ihrer eigenen Schublade. Wenn Sie ihn fragen, antwortet er oft mit Halluzinationen oder veralteten Fakten.

Um das zu lösen, haben Entwickler das RAG-System (Retrieval-Augmented Generation) erfunden. Das ist wie ein Super-Assistent mit einem riesigen, digitalen Bibliothekar.

1. Der Assistent fragt den Bibliothekar: "Hast du Infos zu diesem Thema?"
2. Der Bibliothekar sucht in seinen Regalen (der Datenbank) die besten Seiten heraus.
3. Der Assistent liest diese Seiten und formuliert eine perfekte Antwort.

Das Problem? Niemand weiß genau, wie schnell oder effizient dieser Bibliothekar arbeitet. Ist er langsam? Braucht er zu viel Platz? Was passiert, wenn ständig neue Bücher in die Bibliothek kommen?

Hier kommt RAGPerf ins Spiel.

Was ist RAGPerf?

Stellen Sie sich RAGPerf wie einen hochmodernen Test-Crash-Test-Dummy oder einen Flugsimulator für KI-Systeme vor.

Bisher haben Forscher nur die Antwort des Assistenten bewertet (war sie gut?). RAGPerf schaut sich aber den ganzen Prozess an: Wie schnell sucht der Bibliothekar? Wie viel Strom verbraucht der Computer? Wie viel Gedächtnis (RAM) wird benötigt? Und was passiert, wenn man dem Bibliothekar mitten im Suchen neue Bücher gibt?

Die drei genialen Tricks von RAGPerf

1. Der "Chaos-Generator" (Workload Generator)

Stellen Sie sich vor, Sie testen ein neues Auto. Sie wollen nicht nur auf einer leeren Straße fahren, sondern auch im Stau, bei Regen und wenn plötzlich ein Huhn auf die Straße läuft.
RAGPerf macht genau das für KI-Systeme. Es simuliert echte, chaotische Szenarien:

• Lesen: Tausende Leute fragen gleichzeitig nach Infos.
• Schreiben: Jemand ändert gerade ein Dokument im Hintergrund.
• Löschen: Ein altes Dokument wird entfernt.
• Der Clou: RAGPerf kann sogar fiktive Updates erfinden. Es nimmt ein altes Dokument, ändert eine Zahl (z. B. "Umsatz war 10 Mio." zu "Umsatz war 20 Mio.") und prüft sofort, ob der Assistent die neue Zahl findet oder noch die alte sagt. So testet es, ob das System wirklich "auf dem neuesten Stand" ist.

2. Der "Lego-Baumeister" (Modulare Architektur)

Ein RAG-System ist wie ein riesiges Lego-Modell aus verschiedenen Teilen:

• Der Übersetzer (Embedding): Wandelt Text in Zahlen um, damit der Computer sie versteht.
• Der Regal-Einrichter (Indexing): Ordnet die Bücher im Regal so, dass man sie schnell findet.
• Der Sucher (Retrieval): Findet die richtigen Seiten.
• Der Antwort-Geber (Generation): Schreibt die Antwort.

Früher waren diese Teile fest miteinander verklebt. RAGPerf baut das System aus Lego-Steinen. Sie können den "Sucher" austauschen, einen anderen "Regal-Einrichter" nehmen oder einen schnelleren "Übersetzer" einbauen. RAGPerf misst dann sofort: "Aha! Wenn wir diesen Stein nehmen, wird das System doppelt so schnell, aber verbraucht mehr Strom." Das hilft Entwicklern, die perfekte Kombination zu finden.

3. Der "Röntgenblick" (Performance Profiling)

Während das System läuft, schaut RAGPerf mit einer Art Röntgenbrille auf den Computer.

• Es sieht, ob der Prozessor (CPU) vor lauter Arbeit schwitzt.
• Es sieht, ob der Grafikchip (GPU) überhitzt, weil er zu viel auf einmal verarbeiten muss.
• Es misst, wie viel Platz auf der Festplatte verstopft ist.

Das Wichtigste: RAGPerf stört den Assistenten dabei nicht. Es ist wie ein unsichtbarer Beobachter, der alles aufschreibt, ohne den Verkehr zu behindern.

Warum ist das wichtig?

Stellen Sie sich vor, Sie bauen eine Bibliothek für eine ganze Stadt.

• Ohne RAGPerf würden Sie einfach Bücher reinwerfen und hoffen, dass es funktioniert. Wenn dann die Leute anfangen zu schreien ("Ich finde mein Buch nicht!"), wissen Sie nicht, ob es am Regal, am Sucher oder daran liegt, dass zu viele Leute gleichzeitig kommen.
• Mit RAGPerf können Sie sagen: "Oh, das Regal ist zu klein, wir brauchen mehr Platz." oder "Der Sucher ist zu langsam, wir brauchen einen schnelleren."

Zusammenfassung

RAGPerf ist das Werkzeug, mit dem Ingenieure herausfinden, wie man KI-Assistenten nicht nur "klug", sondern auch schnell, günstig und zuverlässig macht. Es hilft, die teuren Computer-Ressourcen optimal zu nutzen und sicherzustellen, dass die KI immer die aktuellsten und korrektesten Informationen liefert – egal ob es um medizinische Diagnosen, juristische Verträge oder die Analyse von Aktienkursen geht.

Kurz gesagt: RAGPerf ist der Testfahrer, der sicherstellt, dass Ihr KI-Auto nicht nur schnell fährt, sondern auch sicher durch den dichten Verkehr kommt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „RAGPerf: An End-to-End Benchmarking Framework for Retrieval-Augmented Generation Systems" auf Deutsch:

1. Problemstellung

Die Einführung von Large Language Models (LLMs) hat die KI-Landschaft revolutioniert, doch ihre Fähigkeit, domänenspezifisches Wissen oder private Daten zu verarbeiten, bleibt begrenzt. Retrieval-Augmented Generation (RAG) wurde entwickelt, um LLMs durch externe Wissensdatenbanken zu ergänzen. Trotz der wachsenden Bedeutung von RAG fehlt es derzeit an umfassenden Benchmarks, die das Systemverhalten und die End-to-End-Performance realer RAG-Pipelines analysieren.

Bestehende Benchmarks konzentrieren sich meist nur auf semantische Metriken (z. B. Genauigkeit der Antwort) oder bewerten einzelne Komponenten isoliert (z. B. nur Vektordatenbanken oder nur LLM-Inferenz). Sie vernachlässigen jedoch:

• Die Interaktionen und Engpässe zwischen den Komponenten (Embedding, Indexierung, Retrieval, Reranking, Generation).
• Die Auswirkungen dynamischer Workloads (kontinuierliche Updates, Löschungen) auf die Performance.
• Die Ressourcennutzung (CPU/GPU-Auslastung, Speicher, I/O) unter realen Bedingungen.
• Die Flexibilität, verschiedene Konfigurationen (Datenbanken, Modelle, Hardware) systematisch zu testen.

2. Methodik und Architektur

RAGPerf ist ein modulares, erweiterbares Benchmarking-Framework, das den gesamten RAG-Workflow in unabhängige Komponenten zerlegt, um eine feingranulare Analyse zu ermöglichen.

Kernkomponenten des Frameworks:

1. Workload-Generator:

   • Simuliert reale Szenarien durch gemischte Workloads aus Lese- (Query) und Schreiboperationen (Insert, Update, Delete).
   • Unterstützt verschiedene Zugriffsmuster (Uniform, Zipfian) zur Modellierung von „Hotspots".
   • Dynamische Ground-Truth-Generierung: Für Update-Operationen generiert das Framework synthetische Faktenänderungen und korrespondierende Fragen/Antworten mittels LLMs, um die Aktualität der Wissensdatenbank zu testen.
   • Unterstützt diverse Datenmodalitäten (Text, PDF, Code, Audio).

2. Konfigurierbare RAG-Pipeline:

   • Die Pipeline ist in Module unterteilt: Embedding, Indexierung, Retrieval, Reranking und Generation.
   • Jedes Modul hat standardisierte Schnittstellen (z. B. BaseEmbedder, BaseReranker, DBInstance), die den Austausch von Komponenten (z. B. Wechsel der Vektordatenbank oder des LLM) ohne tiefgreifende Codeänderungen ermöglichen.
   • Unterstützte Technologien umfassen Vektordatenbanken (LanceDB, Milvus, Qdrant, Chroma, Elasticsearch), Embedding-Modelle, Reranker und LLMs (via vLLM).

3. Performance- und Qualitäts-Metriken:

   • System-Performance: Feingranulare Messung von End-to-End-Latenz, Durchsatz (QPS), CPU/GPU-Auslastung, Speicherverbrauch (Host/GPU) und I/O-Bandbreite.
   • Qualitätsmetriken: Integration von Ragas zur Bewertung von Context Recall, Query Accuracy und Factual Consistency.
   • Low-Overhead-Profiling: Ein separater Daemon sammelt Metriken asynchron, um den RAG-Betrieb nicht zu stören (Overhead < 0,3 %).

3. Wichtige Beiträge

• End-to-End-Ansatz: RAGPerf ist eines der ersten Frameworks, das nicht nur die semantische Qualität, sondern das gesamte Systemverhalten einer integrierten RAG-Pipeline unter realistischen Bedingungen bewertet.
• Modularität und Flexibilität: Ermöglicht das Testen verschiedener Kombinationen aus Datenbanken, Indexierungsmethoden (HNSW, IVF, Quantisierung), Embedding-Modellen und LLMs.
• Dynamische Workload-Simulation: Die Fähigkeit, kontinuierliche Updates und Löschungen zu simulieren, deckt Performance-Degradation auf, die bei statischen Benchmarks unsichtbar bleibt.
• Multi-Modalität: Unterstützung von Text, Bildern (PDF), Code und Audio durch spezialisierte Pipelines (z. B. OCR, ASR, visuelle Embeddings wie ColPali).
• Open Source: Das Framework ist öffentlich verfügbar und bietet eine reproduzierbare Umgebung für Entwickler.

4. Ergebnisse der Evaluierung

Die Autoren führten umfassende Experimente durch, um die Fähigkeiten von RAGPerf zu demonstrieren:

• Performance-Engpässe:

  • Bei Text-Pipelines ist die LLM-Generation der dominierende Engpass (75–91 % der Latenz), wodurch die Wahl der Vektordatenbank für die End-to-End-Latenz weniger kritisch ist.
  • Bei multimodalen Pipelines (PDF/Bilder) dominiert oft die Formatkonvertierung (z. B. OCR) oder das Reranking die Latenz.
  • Ressourcennutzung: Die GPU ist während Embedding und Generation stark ausgelastet, während die CPU während des Retrievals und Index-Buildings zum Flaschenhals wird. Host-Speicher ist oft der limitierende Faktor für Vektordatenbanken.

• Auswirkung von Updates:

  • Die Verwendung eines temporären flachen Index (Flat Index) für Updates verbessert die Datenfrische sofort, führt aber zu einer allmählichen Latenzsteigerung, bis ein Rebuild erfolgt.
  • Schiefe Update-Verteilungen (Zipfian) führen zu geringeren Latenzkosten als gleichmäßige Verteilungen.

• Ressourcenkonfiguration:

  • Die Anzahl der CPU-Kerne hat wenig Einfluss auf den Durchsatz, da RAG nicht rechenintensiv auf der CPU ist.
  • Host-Speicher-Mangel führt zu einer drastischen Verschlechterung des Durchsatzes (durch Auslagerung auf die Festplatte).
  • GPU-Speicher ist der kritischste Faktor; zu wenig Speicher verhindert das Laden großer Modelle oder limitiert die Batch-Größe.

• Genauigkeit vs. Effizienz:

  • Eine hohe Context Recall garantiert nicht automatisch eine hohe Antwortgenauigkeit. Kleine Modelle können selbst bei guter Retrieval-Qualität keine präzisen Antworten generieren, da ihnen die Kapazität fehlt, den Kontext zu nutzen.
  • Größere Modelle (z. B. Qwen-72B) verbessern die faktische Konsistenz und Genauigkeit signifikant.

• Indexierung:

  • Quantisierte Indexe (IVF_PQ) bieten den besten Kompromiss aus Geschwindigkeit, Speichereffizienz und Build-Zeit.
  • GPU-beschleunigte Indexe bieten nur marginale Performance-Gewinne im Vergleich zum hohen GPU-Speicherverbrauch, der dann für die LLM-Inferenz fehlt.

5. Bedeutung und Fazit

RAGPerf schließt eine kritische Lücke in der Entwicklung von RAG-Systemen. Es ermöglicht Entwicklern und Forschern, datengestützte Entscheidungen über Systemkonfigurationen zu treffen, indem es die Trade-offs zwischen Latenz, Durchsatz, Ressourcennutzung und Antwortqualität sichtbar macht.

Das Framework zeigt, dass die Optimierung von RAG-Systemen nicht isoliert betrachtet werden darf; vielmehr müssen die Wechselwirkungen zwischen Hardware-Ressourcen, Datenbank-Indexierung und Modellgröße gemeinsam analysiert werden. Durch die Bereitstellung eines reproduzierbaren, modularen und realistischen Benchmarks trägt RAGPerf maßgeblich zur Stabilisierung und Effizienzsteigerung von RAG-Infrastrukturen in der Produktion bei.