💻 computer science

AAFLOW: Scalable Patterns for Agentic AI Workflows

Dieser Beitrag stellt AAFLOW vor, eine einheitliche verteilte Laufzeitumgebung, die Apache Arrow und Cylon nutzt, um eine Zero-Copy-Datenplattform und eine ressourcendeterministische Planung zu realisieren und dadurch die Skalierbarkeit und den Durchsatz von agentic-AI-Workflows erheblich zu verbessern, indem sie den Datenfluss und die Kommunikationseffizienz optimiert, anstatt sich auf die Beschleunigung von LLM-Inferenz zu konzentrieren.

Ursprüngliche Autoren: Arup Kumar Sarker, Mills Staylor, Aymen Alsaadi, Gregor von Laszewski, Shantenu Jha, Geoffrey Fox

Veröffentlicht 2026-05-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arup Kumar Sarker, Mills Staylor, Aymen Alsaadi, Gregor von Laszewski, Shantenu Jha, Geoffrey Fox

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team brillanter, schnell denkender Experten (die KI-Agenten), die einen komplexen Fall lösen müssen. Sie müssen eine Bibliothek von Büchern lesen, spezifische Hinweise finden, darüber nachdenken, vergangene Gespräche im Gedächtnis behalten und einen abschließenden Bericht verfassen.

Das Problem liegt nicht daran, dass die Experten beim Denken langsam sind. Das Problem ist, dass das Büro, in dem sie arbeiten, ein Chaos ist.

In aktuellen Systemen müssen die Experten jedes Mal, wenn sie ein Buch, ein Stück Papier oder eine Notiz eines Kollegen benötigen, Folgendes tun:

Den Gegenstand in einen Karton verpacken (Serialisierung).
Den Karton zum nächsten Schreibtisch tragen.
Den Karton auspacken.
Den Inhalt lesen.
Den Gegenstand erneut verpacken, um ihn an die nächste Person zu senden.

Dieses „Verpacken und Auspacken" kostet so viel Zeit, dass die Experten den größten Teil ihres Tages damit verbringen, auf die Ankunft von Kartons zu warten, anstatt tatsächlich den Fall zu lösen.

AAFLOW ist eine neue Art, dieses Büro zu organisieren. Anstatt den Arbeitsablauf als eine Reihe von chaotischen Übergaben zu behandeln, betrachtet es den gesamten Prozess wie eine hochgeschwindigkeitsfähige, abfallfreie Fließbandproduktion.

So funktioniert es, unter Verwendung einfacher Metaphern:

1. Die „Operator"-Idee: Chaos in ein Rezept verwandeln

Aktuelle KI-Systeme sind wie eine Gruppe von Menschen, die ein Theaterstück improvisieren; sie entscheiden, was als Nächstes zu tun ist, basierend darauf, worauf sie in dem Moment Lust haben. Dies ist flexibel, aber chaotisch und schwer vorhersehbar.

AAFLOW ändert dies, indem es den Arbeitsablauf in ein striktes Rezept verwandelt, das aus „Operatoren" besteht. Denken Sie an diese als spezifische, vordefinierte Stationen auf einem Fließband:

Die Embedding-Station: Umwandlung von Text in Zahlen (Vektoren).
Die Retrieval-Station: Auffinden der richtigen Hinweise.
Die Reasoning-Station: Zusammenfügen der Hinweise.
Die Memory-Station: Aufschreiben dessen, was für später gelernt wurde.

Anstatt dass die KI entscheidet, wie Daten bewegt werden, kompiliert AAFLOW den gesamten Plan vor dem Start in eine Karte (einen Graphen). Es weiß genau, welche Station was tut und wie sie verbunden sind, was den Prozess vorhersehbar und wiederholbar macht.

2. Die „Zero-Copy"-Datenebene: Die Staffelstange übergeben, nicht den Karton

Auf die alte Weise war das Bewegen von Daten zwischen Stationen wie das Übergeben einer schweren, versiegelten Kiste. Man musste sie öffnen, den Inhalt herausnehmen, in eine neue Kiste legen und sie erneut versiegeln. Dies wird „Serialisierung" genannt und ist langsam.

AAFLOW verwendet ein Zero-Copy-System. Stellen Sie sich vor, die Experten stehen alle um einen riesigen, transparenten Tisch herum.

Wenn die „Embedding"-Station ihre Arbeit beendet, legt sie das Ergebnis nicht in einen Karton. Sie schiebt das Papier einfach über den Tisch.
Die „Retrieval"-Station kann dieses Papier sofort greifen, ohne dass jemand ein Paket öffnen oder etwas neu schreiben muss.
Dies basiert auf einer Technologie namens Apache Arrow, die wie eine universelle Sprache fungiert, die alle Stationen sofort verstehen.

3. Die „Batching"-Strategie: Der Bus versus das Taxi

Stellen Sie sich vor, Sie müssen 100 Personen über einen Fluss bringen.

Alte Methode (Taxi): Sie schicken 100 separate Taxis. Jedes Taxi muss seinen Motor starten, zum Dock fahren, eine Person laden, zurückfahren und den Motor erneut starten. Die Kosten für das Starten des Motors (Overhead) sind enorm.
AAFLOW-Methode (Bus): Sie laden alle 100 Personen in einen großen Bus. Sie starten den Motor nur einmal.

AAFLOW gruppiert Aufgaben zu Batches. Anstatt die KI zu bitten, ein Dokument nach dem anderen zu verarbeiten, verarbeitet sie Tausende auf einmal. Dies verteilt die „Startkosten" auf viele Gegenstände und macht den gesamten Prozess viel schneller.

4. Trennung des „Gehirns" vom „Muskel"

In vielen KI-Systemen sind das „Gehirn" (die KI, die entscheidet, was zu tun ist) und der „Muskel" (der Computer, der die Daten tatsächlich bewegt) miteinander verstrickt. Wenn das Gehirn zögert, stoppen die Muskeln.

AAFLOW trennt sie.

Das Gehirn (Agenten-Logik): Entscheidet, was getan werden muss (z. B. „Ich muss ein Dokument finden").
Der Muskel (AAFLOW-Laufzeitumgebung): Entscheidet, wie es am effizientesten getan wird (z. B. „Ich werde jetzt einen Bus mit 500 Dokumenten zur Retrieval-Station senden").

Diese Trennung bedeutet, dass der Computer die Fließbandproduktion mit voller Geschwindigkeit am Laufen halten kann, selbst wenn das „Gehirn" einen Moment zum Nachdenken braucht.

Die Ergebnisse: Geschwindigkeit ohne Magie

Die Studie testete dieses System gegen beliebige KI-Tools (wie LangChain und Dask).

Die gute Nachricht: Die eigentliche „Denk"-Geschwindigkeit der KI (wie schnell sie Wörter generiert) blieb gleich. AAFLOW machte die KI nicht intelligenter oder schneller beim Denken.
Der große Gewinn: Da AAFLOW keine Zeit mehr mit dem Verpacken von Kartons, dem Starten von Motoren und dem Warten auf Übergaben verschwendete, wurde die gesamte Pipeline viel schneller.
- In einigen Tests war das System 4,64-mal schneller beim Vorbereiten und Speichern von Daten.
- Die Gesamtzeit zum Ausführen einer komplexen Aufgabe wurde fast halbiert (1,88-fache Beschleunigung).

Zusammenfassung

AAFLOW macht das KI-Genie nicht schneller beim Denken. Stattdessen behebt es die Logistik. Es verhindert, dass die KI Zeit damit verschwendet, auf das Verpacken, Auspacken und Versenden von Daten zu warten. Indem es die Arbeit in eine saubere, abfallfreie Fließbandproduktion organisiert, ermöglicht es der KI, fast ihre gesamte Zeit damit zu verbringen, das zu tun, was sie am besten kann: Probleme zu lösen.

Technische Zusammenfassung: AAFLOW: Skalierbare Muster für Agentic-AI-Workflows

1. Problemstellung

Die Arbeit identifiziert eine kritische Diskrepanz zwischen der dynamischen, nicht-deterministischen Natur von Agentic-AI-Workflows (die Retrieval, Reasoning und Speicher integrieren) und den statischen, vorhersehbaren Dateninfrastrukturen, die derzeit zu ihrer Unterstützung eingesetzt werden. Während Frameworks wie LangChain und LangGraph Flexibilität bieten, leiden sie bei der Skalierung auf High-Performance-Computing (HPC)-Umgebungen unter drei Hauptbeschränkungen:

Daten-Orchestrierungs-Engpässe: Bestehende verteilte Frameworks (z. B. Dask, Spark) führen durch Serialisierung, Objektverwaltung und fragmentierte Ausführungspipelines zu erheblichem Overhead. In Retrieval-Augmented Generation (RAG)-Systemen erfordern Prozesse wie Dokumenten-Chunking, Generierung von Embeddings und Vektor-Retrieval einen massiven Datentransfer, der durch diese Ineffizienzen behindert wird.
Nicht-Determinismus der Ausführung: Agentic-Frameworks ermöglichen es LLMs, den Ausführungsfluss zu steuern, was zu dynamischen Routen führt, die schwer zu replizieren, zu profilieren oder zu optimieren sind. Dieser Mangel an Determinismus verhindert die Anwendung standardmäßiger HPC-Optimierungstechniken.
Fehlende einheitliche Abstraktion: Aktuelle Lösungen behandeln Agentic-Workflows als Black-Box-Prozesse oder disjunkte Dienste und verfügen über kein formales Modell, um agentic Operationen (Embedding, Retrieval, Reasoning) auf effiziente verteilte Kommunikationsmuster abzubilden.

Die Autoren argumentieren, dass der primäre Engpass in großskaligen Agentic-RAG-Systemen nicht die LLM-Inferenzgeschwindigkeit ist (die nach wie vor GPU-bedingt ist und über Frameworks hinweg vergleichbar bleibt), sondern vielmehr die Daten-Orchestrierung, Konnektivität und Pipeline-Ausführung.

2. Methodik: Die AAFLOW-Architektur

Um diese Probleme zu adressieren, stellen die Autoren AAFLOW vor, eine einheitliche verteilte Laufzeitumgebung, die Agentic-Workflows als Zusammensetzung von Operatoren behandelt, die auf hochleistungsfähige Kommunikationsprimitive abgebildet werden. Das System basiert auf drei grundlegenden Gestaltungsprinzipien:

A. Abstraktion agentic Operatoren

AAFLOW formalisiert Agentic-Workflows als gerichteten azyklischen Graphen (DAG) von Operatoren, wobei jeder auf ein spezifisches verteiltes Kommunikationsmuster abgebildet wird:

Embedding-Operator ( $Op_{embed}$ ): Abbildung auf Embarrassingly Parallel (EP)-Ausführung, bei der Dokumenten-Chunks unabhängig über Knoten hinweg verarbeitet werden.
Retrieval-Operator ( $Op_{retrieve}$ ): Abbildung auf Shuffle-Compute, einschließlich Query-Broadcast, lokaler Ähnlichkeitsbewertung und globaler Top-k-Reduktion.
Reasoning-Operator ( $Op_{reason}$ ): Abbildung auf Reduktion, bei der verteilte Kontextfragmente zu einem einzigen globalen Kontext für das LLM aggregiert werden.
Memory-Operator ( $Op_{memory}$ ): Abbildung auf Broadcast/Exchange, zur Verwaltung persistenten Zustands und Kontexthistorie über Sitzungen hinweg.
Upsert-Operator ( $Op_{upsert}$ ): Abbildung auf Shuffle-Reduce, zum Batching und Verdichten von Embedding-Aktualisierungen zur Aufrechterhaltung der Indexkonsistenz.

Diese Abstraktion ermöglicht es dem System, dynamische agentic Logik in einen vorhersehbaren, deterministischen Ausführungsplan zu kompilieren.

B. Zero-Copy-Datenebene

AAFLOW eliminiert Serialisierungs-Overhead durch die Nutzung von Apache Arrow und Cylon, um eine gemeinsame Zero-Copy-Datenebene zu schaffen.

Daten bewegen sich direkt zwischen den Stufen der Vorverarbeitung, des Embeddings und des Vektor-Retrievals, ohne Konvertierung zwischen Python-Objekten oder frameworkspezifischen Containern.
Diese Architektur unterstützt einen durchsatzorientierten, kommunikationsbewussten Datenverkehr unter Verwendung von Netzwerkprimitiven wie RDMA, InfiniBand und UCX, was die I/O- und I/O-Staging-Kosten erheblich reduziert.

C. Ressourcen-deterministische Ausführung

Das System entkoppelt die logische Ausführung (Agent-Entscheidungen und Reasoning) von der physischen Ausführung (Scheduling und Ressourcenallokation).

Workloads werden als batch-orientierte Aufgaben über Transformations-, Embedding- und Indexierungsstufen hinweg ausgedrückt.
Eine asynchrone Ausführungsmaschine mit begrenzten Warteschlangen und persistenten Worker-Pools überlappt die Stufen Load, Transform, Embed und Upsert.
Dieses Modell minimiert den Framework-Overhead ( $\Omega$ ) durch Eliminierung der Serialisierung und Reduzierung der Koordinationskosten, was ein hochparalleles Batching ermöglicht.

3. Hauptbeiträge

Die Arbeit präsentiert vier primäre Beiträge:

Abstraktion agentic Operatoren: Ein formales Modell, das Komponenten von Agentic-Workflows auf verteilte Kommunikationsmuster (Broadcast, Shuffle, Reduktion) abbildet und eine systematische Ausführung auf HPC-Systemen ermöglicht.
Einheitliche verteilte Laufzeitumgebung: Eine Zero-Copy-, kommunikationseffiziente Laufzeitumgebung (AAFLOW), die Datenverarbeitung, Embedding-Pipelines und Vektor-Retrieval in ein einziges Ausführungsmodell integriert.
Ressourcen-deterministische Ausführung: Ein Ausführungsmodell, das Agent-Logik von Ressourcenscheduling trennt, was die Reproduzierbarkeit verbessert und hochparalleles Batching ermöglicht.
Systemweite Leistungsanalyse: Empirische Belege, die zeigen, dass die Optimierung des Datenflusses und der Orchestrierung erhebliche Beschleunigungen erzielt, ohne die LLM-Inferenzmechanismen zu verändern.

4. Experimentelle Ergebnisse

Die Autoren bewerteten AAFLOW im Vergleich zu Frameworks wie LangChain, LangGraph, CrewAI, AutoGen, Ray und Dask auf einem großskaligen HPC-Cluster (40 CPU-Kerne pro Knoten).

End-to-End-RAG-Pipeline: AAFLOW erzielte eine 1,88-fache Beschleunigung gegenüber LangChain (0,87 s vs. 1,64 s) und schnitt besser ab als alle anderen Frameworks.
Ingestion-Pipeline: In einem Benchmark mit 10 Millionen Chunks erzielte AAFLOW:
- 4,64-fache Beschleunigung gegenüber DaskScalableRAG.
- 24,12-fache Beschleunigung gegenüber RayScalableRAG.
- 1,28-fache Beschleunigung gegenüber HigressRAG.
Stagenspezifische Gewinne: Die signifikantesten Verbesserungen wurden in den Phasen Embed (bis zu 2,8-mal schneller) und Upsert beobachtet, wo Serialisierung und Write Amplification typischerweise am höchsten sind.
Retrieval-Leistung: AAFLOW reduzierte die Gesamtlatenz für nicht-cacheierte komplexe Abfragen um 57,1 % und für hybrides Retrieval um 93,8 % im Vergleich zu HigressRAG.
Skalierung: Starke und schwache Skalierungstests zeigten, dass AAFLOW bis zu 1024 Worker eine nahezu lineare Skalierung beibehält, während Baselines unter erhöhtem Koordinations-Overhead und Synchronisationsbarrieren litten.

Hinweis: Die Autoren stellen ausdrücklich fest, dass der Durchsatz der LLM-Token-Generierung über alle Frameworks hinweg vergleichbar blieb, was bestätigt, dass die Gewinne aus der Effizienz des Datenverkehrs und der Orchestrierung stammen und nicht aus einer Beschleunigung des Modells.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass AAFLOW einen fundamentalen Wandel in der Systemarchitektur für KI-Prozesse darstellt. Anstatt Agentic-Workflows als dynamische, frameworkgetriebene Prozesse zu behandeln, fasst AAFLOW sie zu organisierten, kommunikationsbewussten Ausführungsplänen zusammen.

Die Bedeutung dieser Arbeit liegt in ihrem Nachweis, dass die Skalierung von Agentic-Workflows die Optimierung der umgebenden Daten- und Ausführungsinfrastruktur erfordert und nicht ausschließlich auf die Beschleunigung der Modellinferenz fokussiert sein sollte. Durch die Einführung einer formalen Operatoralgebra und einer Zero-Copy-Datenebene ermöglicht AAFLOW:

Skalierbarkeit: Effiziente Ausführung auf großskaligen HPC-Clustern.
Reproduzierbarkeit: Deterministische Ausführungsprotokolle trotz nicht-deterministischer Agentenlogik.
Vorhersagbarkeit: Reduzierte Varianz in der Leistung, was für wissenschaftliches Rechnen und Anwendungen mit hohen Risiken entscheidend ist.

Die Autoren schließen, dass dieser Ansatz die Lücke zwischen flexibler agentic Orchestrierung und effizientem verteiltem Systemdesign schließt und eine Grundlage für den Aufbau skalierbarer, wiederholbarer und hochleistungsfähiger KI-Systeme bietet.