stratum: A System Infrastructure for Massive Agent-Centric ML Workloads

Das Paper stellt Stratum vor, eine neue Systeminfrastruktur, die die Ausführung von ML-Pipelines von der Planung autonomer Agenten entkoppelt und durch die Kompilierung in optimierte Ausführungsgraphen sowie die Nutzung heterogener Backends, einschließlich einer Rust-Laufzeitumgebung, die Skalierbarkeit und Geschwindigkeit von agenter Pipelinesuche in der Python-ML-Ökosystem um bis zu 16,6-fach steigert.

Das Wesentliche

Stell dir vor, du bist ein genialer Koch (das ist der KI-Agent), der versucht, das perfekte Rezept für eine riesige Suppe zu finden. Deine Aufgabe ist es, tausende verschiedene Varianten auszuprobieren: mehr Salz, weniger Zwiebeln, andere Gewürze, verschiedene Kochzeiten.

Das Problem ist: Dein Kochteam (das aktuelle Python-System) arbeitet sehr chaotisch. Jeder Koch arbeitet allein in seiner eigenen Küche. Wenn Koch A eine Suppe kocht und Koch B fast das Gleiche, aber mit einem anderen Löffel, macht Koch B die ganze Arbeit nochmal, anstatt zu schauen, ob Koch A schon einen Topf mit der Basis-Suppe hat. Außerdem ist das Werkzeug, das sie benutzen (die Bibliotheken wie Pandas oder scikit-learn), eigentlich für einen einzelnen Koch gedacht, der langsam und sorgfältig arbeitet – nicht für eine Armee von 100 Köchen, die gleichzeitig loslegen.

Das Ergebnis? Die Küche brennt durch (der Speicher läuft voll), die Köche warten aufeinander (Verzögerungen), und es wird viel Energie verschwendet, obwohl das Essen am Ende vielleicht gar nicht besser schmeckt.

Hier kommt Stratum ins Spiel.

Was ist Stratum?

Stratum ist wie ein super-intelligenter Küchenmanager, der genau zwischen den Köchen und den Herden steht. Er sorgt dafür, dass die ganze Küche effizient läuft, ohne dass die Köche ihre Art zu kochen ändern müssen.

Hier ist, wie Stratum das macht, mit ein paar einfachen Vergleichen:

1. Der "Einheits-Plan" (DAG & Logischer Optimierer)
Statt dass jeder Koch sein eigenes Blatt Papier mit dem Rezept hat, schreibt Stratum alle tausenden Varianten in einen einzigen, riesigen Masterplan.

• Die Analogie: Stell dir vor, du hast 100 Rezepte, die alle "Kartoffeln schälen" beinhalten. Stratum sagt: "Halt! Wir schälen die Kartoffeln nur einmal und verteilen sie an alle 100 Köche."
• Der Effekt: Er erkennt, wo sich Arbeit wiederholt (z. B. das Laden der Daten), und eliminiert die Doppelarbeit. Das nennt man "Common Subexpression Elimination" – auf Deutsch: "Wir machen das Gleiche nicht zweimal."

2. Der "Schnellkochtopf" (Rust-Backend)
Die aktuellen Kochutensilien (Python-Bibliotheken) sind oft langsam und schwerfällig, wie alte Gusseisenpfannen.

• Die Analogie: Stratum bringt moderne, ultraleichte Induktionskochfelder (geschrieben in der Programmiersprache Rust) mit. Diese sind so schnell, dass sie die schweren Pfannen ersetzen können, aber die Köche müssen nicht lernen, wie man damit kocht. Sie stecken einfach ihre Rezepte dort rein, und zack – das Essen ist fertig.
• Der Effekt: Die Berechnungen laufen viel schneller ab, weil der "Koch" nicht mehr auf den langsamen Python-Interpreter warten muss.

3. Der "Lagermeister" (Wiederverwendung von Ergebnissen)
In der aktuellen Küche wird oft Essen weggeworfen, das schon gekocht wurde.

• Die Analogie: Stratum hat einen riesigen, gut organisierten Kühlschrank. Wenn ein Koch eine Basis-Suppe (z. B. eine Vorverarbeitung der Daten) gekocht hat, legt Stratum sie in den Kühlschrank. Wenn ein anderer Koch später genau diese Basis braucht, holt er sie einfach aus dem Kühlschrank, statt sie neu zu kochen.
• Der Effekt: Das spart enorm viel Zeit und Energie, besonders wenn der KI-Agent tausende ähnliche Rezepte testet.

4. Die "Ordnung im Chaos" (Parallelisierung)
Aktuell versuchen viele Köche, auf einem einzigen Herd zu kochen, was zu Staus führt.

• Die Analogie: Stratum verteilt die Arbeit perfekt auf alle verfügbaren Herde in der Küche. Er schaut genau hin: "Koch A braucht viel Wasser, Koch B viel Hitze." Er sorgt dafür, dass niemand auf einen anderen wartet und alle Herde gleichzeitig genutzt werden.
• Der Effekt: Die Küche läuft zu 100 % aus, statt nur zu 20 %.

Das Ergebnis

In den Tests hat Stratum gezeigt, dass es diese Art von "Koch-Experimenten" (die KI-Agenten durchführen) bis zu 16,6-mal schneller macht als die herkömmliche Methode.

Zusammengefasst:
Stratum ist das Betriebssystem für die Zukunft der KI-gesteuerten Datenwissenschaft. Es nimmt die chaotische, langsame Art, wie KI-Agenten heute tausende Datenpipelines testen, und verwandelt sie in einen hochgeordneten, superschnellen Produktionsprozess. Es erlaubt den KI-Agenten, kreativ und explorativ zu sein, während Stratum im Hintergrund dafür sorgt, dass die Technik nicht kollabiert und die Ergebnisse blitzschnell geliefert werden.

Kurz gesagt: Stratum verwandelt eine überfüllte, ineffiziente Küche in eine hochmoderne, automatisierte Suppenfabrik.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „stratum: A System Infrastructure for Massive Agent-Centric ML Workloads" auf Deutsch.

1. Problemstellung

Die Arbeit adressiert die wachsende Lücke zwischen der Art und Weise, wie moderne Large Language Models (LLMs) maschinelle Lernpipelines (ML-Pipelines) entwickeln, und den bestehenden Systeminfrastrukturen, die diese Pipelines ausführen.

• Der neue Workload-Typ: LLM-basierte Agenten (MLE-Agenten) generieren, validieren und optimieren autonom oder semi-autonom Tausende von Datenwissenschafts-Pipelines. Dieser Prozess, genannt „Agentic Pipeline Search", ist hochgradig explorativ. Agenten durchsuchen einen riesigen Raum an Pipeline-Strukturen und Hyperparametern, oft mit einer Rate von Tausenden von Ausführungen pro Sekunde.
• Die Ineffizienz bestehender Systeme:
  • Das aktuelle Python-Ökosystem (Pandas, scikit-learn) ist für menschliche, interaktive und sequenzielle Workflows konzipiert. Es fehlt eine einheitliche Ausführungsschicht, die Berechnungen ganzheitlich optimieren kann.
  • Python selbst ist aufgrund des Global Interpreter Locks (GIL) und interpretierter Ausführung für hochparallele, hochperformante Workloads ungeeignet.
  • Bestehende Hochleistungs-ML-Systeme (z. B. SystemML, DAPHNE) nutzen oft domänenspezifische Sprachen (DSLs), die für LLMs schwer zu generieren sind, oder sie optimieren nur isolierte Aufgaben, nicht aber den gesamten End-to-End-Pipeline-Search-Prozess.
• Folgen: Dies führt zu massiver Ressourcenverschwendung, redundanten Berechnungen, Speicherkonflikten (Out-of-Memory-Fehler) und ineffizienter Hardwareauslastung, da Agenten Pipelines oft naiv parallelisieren, ohne die Systemcharakteristika zu kennen.

2. Methodik und Systemarchitektur (Stratum)

Die Autoren stellen stratum vor, eine einheitliche Systeminfrastruktur, die die Ausführung von Pipelines von der Planung und dem logischen Denken der Agenten entkoppelt. Stratum integriert sich nahtlos in das bestehende Python-Ökosystem, führt jedoch eine tiefgreifende Optimierungsebene ein.

Kernprinzipien:

1. Nahtlose Integration: Unterstützung beliebiger ML-Bibliotheken (scikit-learn, Pandas, PyTorch) ohne manuelles Portieren von Operatoren.
2. Verzögerte Auswertung (Lazy Evaluation): Pipelines werden als gerichtete azyklische Graphen (DAGs) repräsentiert, bevor sie ausgeführt werden.
3. Heterogene Backends: Ausführung über verschiedene Backends, einschließlich eines neuartigen Rust-basierten Laufzeitsystems.

Architekturkomponenten:

• Declarative Abstraction (basierend auf Skrub): Stratum nutzt die Bibliothek skrub, um beliebige Python-Operationen in semantisch explizite Operatoren (DataOps) zu kapseln. Dies wandelt imperativen Python-Code in einen kontrollflussfreien DAG um, der Datenabhängigkeiten klar definiert.
• Logischer Optimierer:
  • Metadatenerfassung: Extrahiert Informationen über Operatortypen, Quellbibliotheken und Datencharakteristika.
  • Rewrites: Wendet regelbasierte Optimierungen an (z. B. Prädikats-Pushdown, Common Subexpression Elimination, Konstantenfaltung), um redundante Berechnungen zu eliminieren.
  • Operator-Lowering: Zerlegt komplexe Operatoren (z. B. Cross-Validation oder TableVectorizer) in feinere, unabhängige Operatoren, um die Optimierungsmöglichkeiten zu erhöhen.
• Operator-Auswahl (Operator Selection): Stratum bietet mehrere physische Implementierungen für logische Operatoren. Ein kostengestützter Optimierer wählt die effizienteste Implementierung basierend auf Speicher- und Rechenbudgets (z. B. Wahl zwischen Pandas, Polars oder nativen Rust-Kernen).
• Rust-Backend: Ein neu entwickeltes Laufzeitsystem in Rust, das:
  • Den GIL umgeht und echte Parallelität ermöglicht.
  • Zero-Copy-Datenzugriffe und explizite Speicherkontrolle bietet.
  • Operatoren fusioniert und Sparsity ausnutzt.
• Laufzeit-Optimierungen:
  • Parallelisierung: Intelligente Planung von intra- und inter-operator Parallelität, um Oversubscription zu vermeiden.
  • Wiederverwendung von Zwischenergebnissen (Caching): Ein Hash-basiertes Caching speichert Ergebnisse von Operatoren (z. B. Vorverarbeitungsschritte), die in nachfolgenden Iterationen des Agenten wiederverwendet werden können. Dies nutzt die hohe Redundanz in Agenten-Workloads aus.

3. Schlüsselbeiträge

• Konzeptuelle Vision: Definition einer neuen Systemklasse, die speziell für „Agentic Pipeline Search" entwickelt wurde und die Lücke zwischen hochleveligen Python-APIs und Low-Level-Optimierungen schließt.
• System-Design: Vorstellung von stratum als ganzheitlichem System, das logische Optimierung, Operator-Auswahl, ein Rust-Backend und Parallelisierungsplanung integriert.
• Agent-System-Co-Design: Der Ansatz ermöglicht es Agenten, systembewusste Optimierungen vorzunehmen (z. B. durch Metadaten-Annotationen), was zu einer gemeinsamen Optimierung von Code-Generierung und Ausführung führt.
• Prototyp und Evaluation: Bereitstellung eines frühen Prototyps, der die Machbarkeit des Ansatzes demonstriert.

4. Ergebnisse

Die Autoren führten Experimente mit einem realen Workload des AIDE-Agenten (basierend auf dem UK Housing Dataset) durch und verglichen stratum mit Baselines (sequenzielle Ausführung und naive Parallelisierung).

• End-to-End-Performance: stratum erreichte eine 16,6-fache Beschleunigung im Vergleich zur sequenziellen Baseline und war 7,8-mal schneller als eine naive parallele Ausführung (die durch Serialisierungs-Overhead und hohen Speicherverbrauch belastet war).
• Ablationsstudie:
  • Logische Optimierung allein (CSE, Rewrites) brachte bis zu 2,2x Speedup.
  • Die Auswahl effizienterer Operatoren (z. B. Rust statt Python) lieferte einen zusätzlichen 4,5x Gewinn.
  • Inter-Operator-Parallelisierung trug weitere 10% bei.
• Ressourcennutzung: Im Gegensatz zu Baselines, die zu Out-of-Memory-Fehlern neigten, nutzte stratum CPU und Speicher effizient und vermied redundante Materialisierung von Daten.

5. Bedeutung und Ausblick

Die Arbeit zeigt, dass die aktuelle Infrastruktur für ML nicht ausreicht, um das Potenzial von autonomen Agenten in der Datenwissenschaft voll auszuschöpfen.

• Paradigmenwechsel: Es ist notwendig, ML-Systeme nicht mehr nur als reine Ausführungsmaschinen für menschliche Skripte zu betrachten, sondern als Infrastrukturen, die auf die spezifischen Muster von Agenten-Workloads (hohe Redundanz, iterative Suche, Batch-Verarbeitung) zugeschnitten sind.
• Zukunftsperspektiven:
  • Entwicklung von systembewussten Agenten, die die Optimierungsfähigkeiten von stratum aktiv nutzen.
  • Skalierung auf Multi-Tenancy in Cloud-Umgebungen.
  • Integration von Deep Learning Workloads (DNNs) und weiterer Feinabstimmung der Inferenz-Engines.

Zusammenfassend stellt stratum einen entscheidenden Schritt dar, um die Effizienz von ML-Entwicklung durch autonome Agenten zu skalieren, indem es die Vorteile moderner Compiler-Techniken und Laufzeitsysteme (Rust) mit der Flexibilität des Python-Ökosystems vereint.