🤖 AI

Harmonia: End-to-End RAG Serving Optimization

Harmonia ist ein End-to-End-RAG-Serving-Framework, das die Leistung über heterogene Komponenten hinweg durch eine flexible Pipeline-Schnittstelle, heterogenitätsbewusste Bereitstellung und einen geschlossenen Regelkreis-Runtime-Controller optimiert und im Vergleich zu kommerziellen Alternativen eine Durchsatzverbesserung von über 2,04x sowie eine Reduzierung der SLO-Verletzungen um bis zu 78,4 % erreicht.

Ursprüngliche Autoren: Saurabh Agarwal, Bodun Hu, Luis Pabon, Myungjin Lee, Jayanth Srinivasa, Aditya Akella

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Saurabh Agarwal, Bodun Hu, Luis Pabon, Myungjin Lee, Jayanth Srinivasa, Aditya Akella

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie führen ein High-End-Restaurant. In den alten Zeiten hat ein Koch (die KI) einfach das gekocht, was der Kunde bestellt hat. Aber heute wollen Kunden „Compound AI“-Gerichte: Sie verlangen vom Koch, zuerst eine riesige Bibliothek von Kochbüchern zu prüfen (Retrieval), vielleicht einen Sous-Chef zu bitten, das Rezept umzuschreiben (Query Transformation) und dann das Essen zu kochen (Generation).

Dies nennt man RAG (Retrieval-Augmented Generation). Es macht die KI intelligenter und präziser, ist aber ein logistischer Albtraum in der effizienten Ausführung.

Harmonia ist ein neues System, das als der ultimative „Restaurantmanager“ für diese komplexen KI-Gerichte konzipiert wurde. So funktioniert es, unterteilt in einfache Konzepte:

Das Problem: Warum aktuelle Systeme Schwierigkeiten haben

Derzeit behandeln die meisten KI-Systeme eine komplexe Bestellung wie einen einzigen, riesigen Arbeitsblock. Sie versuchen, die gesamte Küche gleichzeitig hoch- oder runterzufahren, was ineffizient ist.

Das Problem des „starren Rezepts“: Aktuelle Tools zwingen Entwickler dazu, Code auf eine sehr spezifische, sperrige Weise zu schreiben (wie eine strikte DSL). Wenn sie das Rezept leicht ändern wollen – zum Beispiel einen Schritt zur Sicherheitsprüfung hinzufügen – müssen sie oft das gesamte Küchenframework neu aufbauen. Es ist, als wäre man gezwungen, für jeden Schnitt ein ganz bestimmtes Markenmesser zu benutzen; wenn man ein anderes Werkzeug möchte, muss man eine ganze neue Küche kaufen.
Das „Einheitsgröße“-Problem: In einem RAG-Workflow sind einige Schritte rechenintensiv für das Gehirn (GPU), einige speicherintensiv (CPU) und einige sind nur reine Suchvorgänge (I/O).
- Analogie: Stellen Sie sich eine Küche vor, in der der Schritt „Suche nach Zutaten“ 10 Sekunden dauert, aber der Schritt „Kochen“ nur 1 Sekunde. Wenn Sie 100 Köche haben, die alle dasselbe tun, stehen am Ende 99 Köche untätig herum und warten auf die eine Person, die gerade nach den Zutaten sucht. Aktuelle Systeme skalieren die gesamte Gruppe gemeinsam, was Ressourcen verschwendet.
Das Problem des „blind geführten Managers“: Die Arbeitslast ändert sich ständig. Manchmal stellt ein Kunde eine einfache Frage; ein anderes Mal eine komplexe Frage, die vom Koch erfordert, die Bibliothek zu prüfen, die Frage umzuschreiben, erneut zu prüfen und dann zu kochen. Aktuelle Systeme sehen das nicht kommen. Sie können keine dringenden Bestellungen priorisieren oder das Küchenpersonal in Echtzeit anpassen, was zu langen Wartezeiten führt (Verletzung von Service Level Objectives, oder SLOs).

Die Lösung: Harmonia

Harmonia ist ein End-to-End-System, das diesen gesamten Prozess von Anfang bis Ende verwaltet. Es besitzt drei Haupt-„Superkräfte“:

1. Der flexible Bauplan (Specification Layer)

Harmonia ermöglicht es Entwicklern, ihre KI-Workflows in normalem, alltäglichem Python-Code zu schreiben.

Die Analogie: Anstatt Sie zu zwingen, ein starres Regierungsformular auszufüllen, um Ihre Küche zu entwerfen, lässt Harmonia Sie Ihre Küche auf eine Serviette zeichnen. Es liest dann automatisch Ihre Zeichnung, versteht den Ablauf (z. B. „Zuerst die Bibliothek prüfen, dann kochen“) und wandelt dies in eine maschinenlesbare Karte um. Sie müssen keine neue Sprache lernen; Sie schreiben einfach die Logik, die Sie wollen.

2. Der intelligente Personalplan (Deployment Layer)

Sob-ald Harmonia Ihren Workflow versteht, ermittelt es genau, wie viele „Köche“ und „Bibliothekare“ Sie für jeden spezifischen Schritt benötigen.

Die Analogie: Wenn Ihr Rezept besagt, dass der „Such“-Schritt der Flaschenhals ist, stellt Harmonia nicht einfach 100 allgemeine Köche ein. Es stellt 100 spezialisierte Bibliothekare ein und nur 10 Köche. Es löst ein komplexes mathematisches Problem, um sicherzustellen, dass jeder Teil der Pipeline genau die Ressourcen hat, die nötig sind, um in Bewegung zu bleiben, ohne Geld für untätiges Personal zu verschwenden. Es behandelt den gesamten Workflow als einen vernetzten Graphen, nicht als einen einzelnen Block.

3. Der Verkehrspolizist (Runtime Controller)

Dies ist der Echtzeit-Manager, der die Küche während des Betriebs beobachtet.

Die Analogie: Stellen Sie sich einen Verkehrspolizisten vor, der an einer belebten Kreuzung steht.
- Priorisierung: Wenn ein Kunde schon lange gewartet hat oder seine Bestellung komplex ist, lässt der Polizist ihn vorlassen.
- Dynamische Skalierung: Wenn der „Such“-Schritt plötzlich überlastet ist, ruft der Polizist sofort mehr Bibliothekare hinzu.
- Smartes Streaming: Manchmal ist es schnell, Daten in winzigen Stücken (Streaming) zu senden; manchmal verstopft es die Leitungen. Der Polizist entscheidet basierend auf der aktuellen Auslastung der Küche über die beste Paketgröße.

Die Ergebnisse: Wie viel besser ist es?

Die Autoren haben Harmonia gegen zwei populäre kommerzielle Systeme (LangChain und Haystack) unter Verwendung von vier verschiedenen Arten komplexer KI-Workflows getestet.

Geschwindigkeit: Harmonia verarbeitete Anfragen im Durchschnitt 2,04 Mal schneller als die Konkurrenz.
Zuverlässigkeit: Es reduzierte die Anzahl der Fälle, in denen das System seine Geschwindigkeitsversprechen nicht einhalten konnte (SLO-Verletzungen), um bis zu 78,4 %.

Das Fazit

Harmonia ist ein System, das aufhört, komplexe KI-Workflows wie eine einzige, starre Maschine zu behandeln. Stattdessen betrachtet es sie als ein dynamisches, lebendiges Ökosystem. Es ermöglicht Entwicklern, flexible Workflows leicht zu erstellen, ermittelt automatisch die perfekte Ressourcenmischung für jeden Schritt und agiert als intelligenter Verkehrskontrolleur, um sicherzustellen, dass alles reibungslos läuft, selbst wenn die Arbeitslast chaotisch wird.

Das Paper behauptet, dass dies das erste System ist, das alle drei dieser Fähigkeiten (flexible Kodierung, intelligente Ressourcenallokation und Echtzeitsteuerung) in einem Paket kombiniert und damit signifikant schneller und zuverlässiger ist als das, was derzeit verfügbar ist.

Technisches Resümee: Harmonia – End-to-End RAG-Serving-Optimierung

1. Problemstellung

Retrieval-Augmented Generation (RAG) hat sich als kritisches Paradigma zur Verbesserung der Zuverlässigkeit von Large Language Models (LLMs) durch die Integration externen Wissens etabliert. Das effiziente Bereitstellen (Serving) von RAG-Workflows im großen Maßstab stellt jedoch erhebliche Herausforderungen dar, denen bestehende Frameworks nicht gerecht werden. Das Paper identifiziert drei primäre Engpässe:

Starre Programmiermodelle: Bestehende Frameworks (z. B. LangChain, Haystack) verlassen sich oft auf starre, deklarative domänenspezifische Sprachen (DSLs) oder spezifische Graph-Operatoren. Dies behindert die schnelle Experimentierfreudigkeit und die Integration neuer, sich entwickelnder Komponenten (z. B. vielfältige Retrieval-Strukturen, Sicherheits-Gates oder adaptive Kontrollflüsse), ohne das Framework selbst modifizieren zu müssen.
Monolithische Ressourcenansichten: RAG-Pipelines weisen eine extreme Heterogenität auf, bei der CPU/Speicher-/I/O-gebundene Stadien (Retrieval, Post-Processing) mit GPU-gebundenen Stadien (Generierung) gemischt werden. Aktuelle Systeme behandeln diese Workflows oft als monolithische Python-Prozesse, wodurch alle Stadien gezwungen sind, einen einzigen Ressourcenpool zu teilen. Dies führt zu einer grobkörnigen Replikation, bei der die Skalierung des gesamten Workflows ineffizient ist, da sich die Engpässe je nach Workflow-Topologie und Abfragekomplexität dynamisch verschieben.
Mangel an Sichtbarkeit und Kontrolle zur Laufzeit: RAG-Workloads sind hochgradig stochastisch. Der Kontrollfluss kann basierend auf Zwischenergebnissen verzweigen, rekursiv werden oder vorzeitig abbrechen. Zudem sind Kommunikationsmechanismen wie Streaming lastabhängig; während sie bei geringer Last vorteilhaft sind, können unkontrollierte Streaming-Prozesse bei hoher Last zu Pipeline-Stagnation und Durchsatzdegradierung führen. Bestehende Frameworks mangelt es an der globalen Telemetrie und der geschlossenen Regelung (Closed-Loop Control), die für die adaptive Anpassung von Routing, Priorisierung und Ressourcenallokation in Echtzeit erforderlich sind.

2. Methodik: Das Harmonia-Framework

Harmonia ist eine End-to-End RAG-Serving-Engine, die darauf ausgelegt ist, diese Herausforderungen durch eine dreischichtige Architektur zu adressieren: eine Spezifikationsebene (Specification Layer), eine Bereitstellungsebene (Deployment Layer) und eine Laufzeit-Kontrollebene (Runtime Control Layer).

2.1 Spezifikationsebene: Intent-getriebene Python-Schnittstelle

Harmonia ermöglicht es Entwicklern, RAG-Pipelines in idiomatischem Python zu schreiben, um die Reibung durch benutzerdefinierte DSLs zu vermeiden.

Bibliotheks-agnostische Integration: Entwickler können jede externe Bibliothek für Komponenten verwenden.
Verwaltete verteilte Akteure (Managed Distributed Actors): Im Gegensatz zu allgemeinen Frameworks (z. B. Ray), die Akteure als langlebige, lose gekoppelte Prozesse behandeln, behandelt Harmonia dekorierte Klassen als vollständig verwaltete verteilte Akteure. Es übernimmt automatisch Lebenszyklus, Zustandsverwaltung und Ressourcenallokation.
Streaming-Objekte: Eine abstrahierte Streaming Object-Abstraktion entkoppelt die Entwicklerlogik von den Details der Low-Level-Kommunikation, was asynchrone Schreibvorgänge ermöglicht, während die Laufzeit die Granularität der Kommunikation steuert.
Workflow-Constraints: Entwickler können deklarativ Constraints wie Zustandsbehaftung (Gewährleistung konsistenter Routings für rekursive Workflows), Ressourcenanforderungen (CPU/GPU/Speicher) und Mindestinstanzzahlen festlegen.

2.2 Bereitstellungsebene: Heterogenitätsbewusste Optimierung

Die Bereitstellungsebene erfasst den ausführbaren Pipeline-Graphen aus dem Python-Code mittels statischer Analyse des Abstract Syntax Tree (AST). Sie modellt den Workflow als gerichteten azyklischen Graphen (DAG) mit profilgesteuerten bedingten Pfaden.

Formulierung der Ressourcenallokation: Harmonia formuliert die Ressourcenallokation als verallgemeinertes Netzwerkflussproblem. Es optimiert die Platzierung und Kapazität von Komponenten (z. B. Anzahl der Retriever gegenüber Generatoren), um den End-to-End-Durchsatz unter Budgetbeschränkungen zu maximieren.
Schlüsselschlüsselparameter: Die Optimierung berücksichtigt Durchsatzkoeffizienten ( $\alpha$ ), Anfrage-Amplifikationsfaktoren ( $\gamma$ ) und Routing-Wahrscheinlichkeiten ( $p$ ), die aus Offline-Profilings abgeleitet wurden.
Verteilte Bereitstellung: Es injiziert automatisch eine Verteilungsschicht, die Hochleistungs-gRPC für die Inter-Node-Kommunikation und Shared Memory für die Intra-Node-Ausführung verwendet, wodurch Entwickler vor den Details der Low-Level-Bereitstellung geschützt werden.

2.3 Laufzeit-Kontrollebene: Geschlossene Regelung (Closed-Loop Adaptation)

Um die Stochastik zur Laufzeit und sich verschiebende Engpässe zu bewältigen, setzt Harmonia eine zentralisierte Steuerungsebene ein, die Entscheidungen von der Datenbewegung entkoppelt.

Globale Telemetrie: Der Controller überwacht den Ausführungsfortschritt, Warteschlangen und den Ressourcendruck an den Graphknoten.
Dynamische Neuzuweisung: Er löst das Optimierungsmodell periodisch neu auf (alle 10 Sekunden) unter Verwendung aktualisierter Laufzeitschätzungen von Durchsatz und Verzweigungswahrscheinlichkeiten, um die Ressourcen neu zu konfigurieren.
Last- und Zustandsbewusstes Routing: Der Scheduler antizipiert zukünftige Lasten, indem er ausstehende zustandsbehaftete Aufgaben und vorhergesagte Re-Entry-Muster verfolgt, um die Versendung von Anfragen an Instanzen zu vermeiden, die zwar leer erscheinen, aber für zustandsbehaftete Iterationen reserviert sind.
Management der Kommunikationsgranularität: Der Controller moduliert dynamisch die Streaming-Chunk-Größen basierend auf der Echtzeitlast, um Pipeline-Staus durch unkontrollierte Ressourcenkonflikte zu verhindern.
SLO-Management: Unter Verwendung von Online-Linearen-Regressionsmodellen schätzt der Controller den "Slack" (verbleibende Zeit bis zur SLO-Deadline) für laufende Anfragen. Er implementet einen deadline-bewussten Scheduler, der Anfragen mit dem geringsten Slack priorisiert und die Priorität durch die Kommunikationsschnittstelle propagiert.

3. Kernbeiträge

Ein allgemeines RAG-Serving-Framework: Harmonia ist das erste System, das Workflow-Spezifikation, heterogenitätsbewusste Bereitstellung und geschlossene Laufzeitsteuerung gemeinsam für RAG adressiert.
Flexible Spezifikation: Es ermöglicht den Ausdruck komplexer, bedingter und rekursiver RAG-Workflows mittels Standard-Python und erfasst dabei den Ausführungsgraphen, ohne Entwickler in spröde DSLs zu zwingen.
Heterogenitätsbewusste Bereitstellung: Es geht über monolithische Skalierung hinaus, indem es RAG-Komponenten als distinkte Entitäten mit spezifischen Ressourcenbedarfen behandelt und ein Netzwerkflussproblem löst, um Platzierung und Kapazität zu optimieren.
Geschlossene Laufzeitsteuerung: Es führt Mechanismen für die dynamische Ressourcenreallokation, das zustandsbewusste Routing und die adaptive Kommunikationsgranularität ein, um SLOs unter stochastischen Workloads zu verwalten.
Open Source: Die Autoren verpflichten sich, Harmonia als Open Source zur Verfügung zu stellen, um die Forschungsgemeinschaft zu unterstützen.

4. Experimentelle Ergebnisse

Die Autoren evaluierten Harmonia auf vier repräsentativen RAG-Architekturen (Vanilla-RAG, Corrective-RAG, Self-RAG, Adaptive-RAG) gegen kommerzielle Baselines (LangChain und Haystack) auf einem Cluster aus vier Servern mit jeweils 8 NVIDIA A100 GPUs.

Durchsatz: Harmonia erreichte einen bis zu 2,04-mal höheren Durchsatz (durchschnittlich 1,6-mal) im Vergleich zu den Baselines. Die Gewinne waren am signifikantesten in komplexen Pipelines mit bedingten Verzweigungen und Rekursion (z. B. 2,04-mal für Corrective-RAG).
SLO-Verletzungen: Harmonia reduzierte SLO-Verletzungen um bis zu 78,4 %. Die Reduktion war am ausgeprägtesten bei Adaptive-RAG (78,4 %) und Self-RAG (41,3 %), wo die Fähigkeit des Systems, Anfragen basierend auf der Ausführungsheterogenität und dem Slack zu priorisieren, effektiv war.
Overhead: Die Bereitstellungsschicht führte einen vernachlässigbaren Overhead (~0,8 %) im Vergleich zur Single-Node-LangChain-Ausführung ein. Der Runtime-Controller fügte etwa 2 ms Latenz pro Anfrage hinzu und blieb selbst bei hohen Lasten (1024 req/s) stabil.
Ressourceneffizienz: Ablationsstudien bestätigten, dass kein einzelner Mechanismus allein ausreicht; die Kombination aus Ressourcenmanagement, Routing und Management der Kommunikationsgranularität ist für optimale Leistung erforderlich. Beispielsweise identifizierte das System in Corrective-RAG korrekt den "Grader" als Engpass und allokierte zusätzliche Ressourcen dorthin, während Baselines dies nicht leisten konnten.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Harmonia einen fundamentalen Wandel in der Art und Weise darstellt, wie RAG-Systeme entworfen und betrieben werden. Indem es den RAG-Workflow als hochgradigen, ausführbaren Anfragegraphen an eine Steuerungsebene exponiert, trennt Harmonia die Planung auf langsamer Zeitskala von der Anpassung auf schneller Zeitskala.

Die Autoren argumentieren, dass diese Architektur essenziell ist, weil:

Starre Abstraktionen kostspielig sind in einer Ära, in der sich Komponenten rasant entwickeln.
Statische Bereitstellung unzurereichend ist, aufgrund der sich ständig ändernden Engpässe in heterogenen Pipelines.
Enge Laufzeit-Schnittstellen scheitern, da sie die über die Phasen hinweg bestehenden Abhängigkeiten und die Stochastik, die in zusammengesetzten KI-Anwendungen inhärent sind, nicht erfassen können.

Harmonia zeigt, dass eine End-to-End-Koordination — die Kombination aus flexibler Spezifikation, intelligenter Bereitstellung und reaktiver Laufzeitsteuerung — notwendig ist, um hohen Durchsatz und niedrige Latenz in Produktions-RAG-Systemen zu erreichen. Das Paper schließt mit dem Hinweis, dass es zwar noch keine voll dynamischen Agent-Workflows mit Ad-hoc-LLM-gesteuertem Kontrollfluss unterstützt, seine zentralisierte Steuerungsebene-Architektur jedoch einen grundlegenden Ansatz für die zukünftige agentische Orchestrierung bietet.