WORKSWORLD: A Domain for Integrated Numeric Planning and Scheduling of Distributed Pipelined Workflows

Die Arbeit stellt WORKSWORLD vor, eine neue Domäne für numerische, domänenunabhängige Planer, die die automatische Generierung und Terminierung verteilter Datenpipelines auf einer Ressourcenstruktur ermöglicht, indem sie Datenquellen, Komponenten und Ziele ohne explizite Vorgabe des gesamten Workflow-Graphen als Ziel definiert.

Das Wesentliche

Stell dir vor, du bist der Chef einer riesigen, weltumspannenden Lieferkette. Deine Aufgabe ist es, Pakete (Daten) von verschiedenen Lagerhäusern (Quellen) abzuholen, sie in einer Fabrik zu verpacken oder zu bearbeiten (Verarbeitung) und dann an Kunden (Zielorte) zu liefern.

Das Problem? Du hast nicht nur ein Lagerhaus, sondern viele: einige in der Stadt (Edge), einige in Vororten (Fog) und riesige Zentren im Ausland (Cloud). Jede Route hat unterschiedliche Kosten (Benzin/Geld) und unterschiedliche Reisezeiten (Latenz). Und du musst entscheiden:

• Packe ich das Paket schon im Lagerhaus um, um Gewicht zu sparen?
• Oder schicke ich es roh zum großen Zentrum, wo die Maschinen schneller sind?
• Welche Straße nehme ich, damit es pünktlich ankommt, aber nicht zu viel Geld kostet?

Normalerweise müssen Menschen (Daten-Ingenieure) diese Entscheidungen manuell treffen. Das ist extrem schwer, wenn die Lieferkette komplex wird. Genau hier kommt das WORKSWORLD-Projekt ins Spiel.

Was ist WORKSWORLD?

WORKSWORLD ist wie ein super-intelligenter, automatischer Disponent, der nicht nur die Lieferkette plant, sondern auch die Fabrikstraßen und Lagerhallen selbst entwirft.

Statt dass du ihm sagst: "Hier ist der fertige Plan, fahr los!", sagst du ihm nur: "Ich habe diese Rohdaten hier, ich brauche diese fertigen Produkte dort, und hier sind meine verfügbaren LKWs und Lager."

Der Disponent (ein KI-Algorithmus) denkt dann selbst nach:

1. Planung: Welche Schritte sind nötig? (Muss ich das Paket erst sortieren, dann komprimieren, dann versenden?)
2. Scheduling: Wo passiert was? (Sortiere ich im kleinen Lager am Rand oder im großen Cloud-Zentrum?)
3. Ressourcen: Reicht der Platz? Ist die Straße breit genug für den Datenstrom?

Die drei großen Herausforderungen (Die "Warum"-Frage)

Die Autoren zeigen drei Beispiele, warum das so schwer ist:

1. Das Archiv (Archivierung): Du hast alte Filme von drei verschiedenen Orten. Du musst sie komprimieren und in der Cloud speichern.
   • Die Entscheidung: Komprimiere ich sie schon am Ort (spart Übertragungskosten, braucht aber Rechenleistung dort) oder schicke ich sie roh in die Cloud (spart Rechenleistung vor Ort, kostet aber viel Übertragungsgebühr)?
2. Der Waldbrand (Sensoren): Sensoren melden Rauch. Das muss sofort erkannt werden, damit Feuerwehren alarmiert werden.
   • Die Entscheidung: Schicke ich die rohen Daten in die Cloud (zu langsam!) oder verarbeite ich sie direkt am Sensor (Edge)?
3. Die Cyber-Sicherheit (Automatisierung): Hackerangriffe müssen in Millisekunden erkannt und blockiert werden.
   • Die Entscheidung: Wie stelle ich sicher, dass die Rechenleistung genau dort ist, wo sie gebraucht wird, ohne dass die Kosten explodieren?

Wie funktioniert das im Hintergrund?

Stell dir vor, du gibst dem Computer eine Zutatenliste (YAML-Datei):

• "Hier sind meine Datenquellen."
• "Hier sind meine verfügbaren Computer und Speicher."
• "Hier ist das Ziel."

Der Computer wandelt diese Liste in eine Art Logik-Rätsel um (in einer Sprache namens PDDL). Dann schickt er dieses Rätsel an einen Meister-Solver (einen speziellen KI-Planner namens ENHSP).

Dieser Solver ist wie ein Schachgroßmeister, der Millionen von Zügen im Kopf durchspielt, aber nicht nur für Schach, sondern für Logistik. Er sucht nach dem perfekten Weg, der:

• Geld spart (weniger Datenübertragung, weniger Rechenzeit).
• Zeit einhält (die Daten kommen pünktlich an).
• Alles verbindet (die Daten fließen von A nach B ohne Bruch).

Was haben die Forscher herausgefunden?

Sie haben getestet, wie gut dieser "Disponent" mit wachsenden Problemen zurechtkommt.

• Das Ergebnis: Selbst mit ganz normaler Hardware (wie einem starken Büro-PC) konnte das System komplexe Lieferketten mit bis zu 14 Schritten über 8 verschiedene Standorte planen.
• Die Zeit: Es dauerte etwa eine Stunde Rechenzeit.
• Die Erkenntnis: Das System funktioniert! Es kann komplexe Entscheidungen treffen, die früher nur menschliche Experten mit viel Erfahrung treffen konnten.

Warum ist das wichtig?

Früher waren solche Systeme oft "Blackboxen" von großen Firmen (wie Amazon oder Google), die nur für deren eigene Clouds funktionierten. WORKSWORLD ist offen und allgemein. Es ist wie ein universeller Bauplan, den jeder nutzen kann, um seine eigene Daten-Lieferkette zu optimieren, egal ob für eine kleine Firma oder ein großes Netzwerk.

Zusammenfassend:
WORKSWORLD ist ein Werkzeug, das KI nutzt, um zu entscheiden, wo und wie Daten verarbeitet werden sollen, damit es billig, schnell und effizient ist. Es nimmt die schwere Denkarbeit von den Menschen ab und überlässt sie einem Algorithmus, der wie ein genialer Logistik-Manager arbeitet.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „WORKSWORLD: A Domain for Integrated Numeric Planning and Scheduling of Distributed Pipelined Workflows" auf Deutsch:

1. Problemstellung und Motivation

Das Paper adressiert die Herausforderung der automatisierten Planung und Terminierung (Scheduling) verteilter Datenpipelines (Workflows) in heterogenen Umgebungen (Cloud, Fog, Edge).

• Hintergrund: Organisationen investieren massiv in Datenplattformen und KI, erhalten aber oft keine messbare Rendite, da der Zugriff auf kuratierte, aktuelle Daten aus verteilten Systemen fehlt. Die Erstellung effizienter Datenpipelines ist eine Voraussetzung für den erfolgreichen Einsatz von KI-Tools.
• Die Herausforderung: Die optimale Planung und Terminierung komplexer Workflows ist rechnerisch oft unlösbar (NP-schwer). Bestehende Ansätze gehen meist von einem bereits vollständig definierten Workflow (DAG) aus und lösen nur das Scheduling-Problem. Sie trennen oft nicht explizit zwischen Rechen-, Speicher- und Netzwerkentscheidungen.
• Das Ziel: Die Autoren wollen Workflows nicht nur terminieren, sondern gemeinsam planen und terminieren. Das bedeutet, der Algorithmus muss entscheiden:
  1. Welche Datenkonvertierungen und Verarbeitungsschritte notwendig sind.
  2. Wo diese Schritte ausgeführt werden (zentral in der Cloud oder dezentral an Edge-Standorten).
  3. Wie Daten zwischen diesen Standorten über Netzwerke transferiert werden.
  4. Wie dies unter Einhaltung von Latenzanforderungen und Kostenminimierung geschieht.

Das Problem wird als integriertes Planungs- und Terminierungsproblem formuliert, bei dem der Workflow-Graph erst während des Lösungsprozesses aufgebaut wird, während er gleichzeitig auf einem Ressourcen-Graphen (Standorte, Schnittstellen, Links) platziert wird.

2. Methodik und Framework

Die Autoren stellen WORKSWORLD vor, ein neues Domänenmodell für numerische, domänenunabhängige Planer.

• Framework-Architektur:

  • Eingabe: Dateningenieure definieren die Umgebung, Workflow-Komponenten und Ziele (Ziel-Datenformate und -orte) in einer YAML-Konfigurationsdatei.
  • Konvertierung: Ein YAML-zu-PDDL-Konverter übersetzt diese Konfiguration in ein Problem im Planning Domain Definition Language (PDDL) Format.
  • Lösung: Ein numerischer Planer (hier: ENHSP – Expressive Numeric Heuristic Search Planner) löst das Problem.
  • Ausgabe: Ein validierter Plan, der den Workflow-Graphen aufbaut und die Komponenten auf den Ressourcen terminiert, sowie eine Visualisierung des Ergebnisses.

• Formale Modellierung (PDDL):

  • Umgebung: Die Welt besteht aus Sites (Standorten), die über Links (direkt oder zusammengesetzt) verbunden sind. Sites bieten Schnittstellen für Datenaustausch (DSI) und Datenverarbeitung (DPI).
  • Workflows: Workflows werden als gerichtete azyklische Graphen (DAG) modelliert, die aus alternierenden Daten-Sharing- und Daten-Verarbeitungskomponenten bestehen.
  • Numerische Fluente: Das Modell nutzt numerische Variablen, um Ressourcen (Rechenleistung, Speicher, Bandbreite) und Kosten/Latenz zu tracken.
  • Aktionen: Der Planer nutzt sechs Hauptaktionen:
    1. replicate code: Kopiert Konfigurationen (z.B. Container-Images) zu einem Ziel-Standort.
    2. schedule component: Plant eine Komponente auf einer Schnittstelle.
    3. connect direct/composite link: Verbindet Komponenten über Netzwerklinks.
    4. propagate input/output: Markiert den Datenfluss.
  • Optimierungsziel: Minimierung der Gesamtkosten (gewichtete Ressourcennutzung) unter Einhaltung von Latenzbeschränkungen.

3. Schlüsselbeiträge

1. WORKSWORLD Domain: Ein neues, öffentlich verfügbares PDDL-Domänenmodell, das die gemeinsame Planung und Terminierung verteilter Datenpipelines ermöglicht. Es ist der erste öffentlich zugängliche Ansatz, der genau dieses Problem formuliert.
2. Integration von Planung und Scheduling: Im Gegensatz zu herkömmlichen Ansätzen, die einen festen Workflow voraussetzen, generiert WORKSWORLD den Workflow-Graphen dynamisch als Teil der Lösung.
3. Entkopplung von Entscheidungen: Das Modell trennt explizit Entscheidungen über Rechenleistung, Speicherung und Netzwerk, was eine feinere Optimierung ermöglicht.
4. Skalierbarkeit auf Commodity-Hardware: Die Autoren zeigen, dass ein State-of-the-Art-Planer auf Standard-Hardware (1 Stunde CPU-Zeit, 30 GB RAM) komplexe Szenarien lösen kann.
5. Open-Source-Ökosystem: Bereitstellung von Domänen-Code, Benchmarks und Daten-Generatoren, um die Reproduzierbarkeit und Weiterentwicklung zu fördern.

4. Ergebnisse und Experimente

Die Autoren führten Experimente auf einer Cloud-Lab-Infrastruktur durch (Kubernetes-Cluster, 3 Knoten, ENHSP-Planer).

• Experiment 1 (Skalierung einzelner Parameter):

  • Untersucht wurde das Wachstum des Suchraums bei Erhöhung von Workflow-Komponenten, Schnittstellen, Links und Standorten.
  • Ergebnis: Die Anzahl der Workflow-Komponenten und Standorte führt zu exponentiellem Wachstum des Suchraums. Allerdings zeigt sich bei 16–32 Komponenten ein Übergang zu sub-exponentiellem Wachstum für die meisten Metriken, was auf eine effektive Pruning-Strategie (Beschneidung) des ENHSP-Planers hindeutet.
  • Engpass: Die Vorverarbeitung (AIBR-Preprocessing) bleibt jedoch exponentiell und stellt den primären Skalierungsengpass dar.

• Experiment 2 (Komplexe Szenarien):

  • Ein realistisches Szenario mit 8 Standorten (2 Cloud, 2 Fog, 4 Edge), 16 Schnittstellen und 14 Workflow-Komponenten.
  • Ergebnis: Der Planer konnte lineare Workflow-Ketten mit bis zu 14 Komponenten erfolgreich planen und terminieren.
  • Bei 16 Komponenten scheiterte der Planer an den Speicher- und Zeitlimits (30 GB RAM, 1 Stunde).
  • Die Lösung lieferte zufriedenstellende (satisficing) Ergebnisse, die Kosten und Latenz trade-offs berücksichtigen.

5. Bedeutung und Fazit

• Praktische Relevanz: WORKSWORLD bietet Dateningenieuren ein Werkzeug, um komplexe, verteilte Datenpipelines zu entwerfen, ohne den gesamten Graphen manuell festlegen zu müssen. Dies ist besonders wichtig für Szenarien mit strengen Latenzanforderungen (z.B. Cybersecurity) oder hohen Transferkosten (z.B. Archivierung).
• Forschungsbeitrag: Das Paper demonstriert, dass numerische Planung (Numeric Planning) für reale, ressourcenbeschränkte Probleme in verteilten Systemen praktikabel ist. Es überwindet die Lücke zwischen theoretischer KI-Planung und praktischem Workflow-Management.
• Zukunftsausblick: Die Autoren planen, zustandsabhängige Aktionskosten (state-dependent action costs) einzuführen, um eine noch realistischere Modellierung der Ressourcennutzung zu ermöglichen, sowie nicht-lineare Workflows (Series-Parallel) zu untersuchen.

Zusammenfassend beweist das Paper, dass die automatische Generierung und Terminierung verteilter Datenpipelines mit modernen numerischen Planern auf Standardhardware machbar ist, solange die Workflows eine gewisse Komplexitätsgrenze nicht überschreiten.