WORKSWORLD: A Domain for Integrated Numeric Planning and Scheduling of Distributed Pipelined Workflows

Dit paper introduceert WORKSWORLD, een nieuw domein voor geautomatiseerd plannen en plannen van gedistribueerde data-pipelines, waarbij een geavanceerde numerieke planner op standaard hardware in staat is om workflows van maximaal 14 componenten over acht locaties te bouwen en te plotten.

De kern

🌍 WORKSWORLD: De Slimme Planner voor Data-Transport

Stel je voor dat je een gigantisch logistiek bedrijf runt. Je hebt fabrieken (databronnen), magazijnen (opslag), en klanten (bestemmingen) verspreid over de hele wereld. Je taak is om goederen (data) van A naar B te krijgen, maar niet zomaar: de goederen moeten soms worden verpakt, ingepakt of omgezet in een ander formaat onderweg.

Het probleem? Je hebt te veel keuzes.

• Moet je het pakket verpakken in de fabriek (dichtbij de bron) of in het centrale distributiecentrum?
• Welke vrachtwagen (netwerkverbinding) gebruik je? Is die snel maar duur, of langzaam maar goedkoop?
• Hoe zorg je dat alles op tijd aankomt zonder dat je failliet gaat?

Dit is precies het probleem dat WORKSWORLD oplost, maar dan voor computers en data.

🤖 Wat is het probleem eigenlijk?

Vandaag de dag gebruiken bedrijven enorme hoeveelheden data voor kunstmatige intelligentie (AI). Maar vaak zit die data verspreid over verschillende locaties (de "cloud", lokale servers, of zelfs sensoren in de natuur).

Data-ingenieurs moeten handmatig beslissen:

1. Waar wordt de data verwerkt?
2. Hoe wordt het getransporteerd?
3. In welk formaat moet het eindigen?

Dit is als proberen een puzzel op te lossen terwijl je blind bent. Het is te complex om handmatig te doen, en bestaande software is vaak te star of te duur.

🛠️ De Oplossing: WORKSWORLD

De auteurs (Taylor Paul en William Regli) hebben een nieuw systeem bedacht dat ze WORKSWORLD noemen.

Stel je voor dat je een super-intelligente logistiek-manager hebt die alleen maar een simpele lijst met wensen nodig heeft.

• Jij zegt: "Ik wil data van deze 3 sensoren, verwerk het tot een rapport, en stuur het naar deze server."
• De manager (WORKSWORLD) zegt: "Oké, ik heb de kaart van alle beschikbare vrachtwagens, wegen en magazijnen. Ik ga nu zelf beslissen welke route de beste is, welke goederen waar worden verpakt, en hoe we het goedkoopst en snelst krijgen."

Het systeem doet twee dingen tegelijk:

1. Plannen: Het bedenkt wat er moet gebeuren (de route en de verwerking).
2. Plannen van de tijd: Het zorgt dat alles op het juiste moment gebeurt zonder dat de wegen overvol raken.

🧩 Hoe werkt het? (De Analogie van de Spoorlijn)

Het systeem ziet de wereld als een groot netwerk van stations (sites) en sporen (netwerken).

• Stations: Dit kunnen grote datacenters in de cloud zijn, of kleine servers in een fabriek (edge).
• Sporen: De verbindingen tussen deze stations. Sommige zijn snel maar duur (zoals een vliegtuig), andere zijn langzaam maar goedkoop (zoals een trein).
• Treinen: De data die moet worden vervoerd.

WORKSWORLD gebruikt een speciale taal (die ze "PDDL" noemen) om dit netwerk te beschrijven. In plaats van dat jij de hele route moet uittekenen, geef je alleen de start en het doel op. De computer bouwt dan zelf het hele traject op, inclusief waar de data moet worden omgezet (bijvoorbeeld van ruwe video naar een samenvatting).

🚀 Wat hebben ze ontdekt?

Ze hebben dit systeem getest op gewone computers (geen supercomputers). Het resultaat is verrassend goed:

• Het systeem kon workflows (data-routes) met 14 stappen over 8 verschillende locaties in één keer plannen.
• Het deed dit binnen een uur en gebruikte niet meer geheugen dan een moderne laptop.
• Het kon complexe afwegingen maken: "Is het goedkoper om de data hier te verwerken en dan te sturen, of eerst te sturen en daar te verwerken?"

💡 Waarom is dit belangrijk?

Vroeger moesten mensen dit handmatig doen of gebruikten ze dure, gespecialiseerde software die alleen voor één bedrijf werkte.
WORKSWORLD is als een openbaar vervoersnetwerk voor data. Het is:

• Flexibel: Werkt voor elke soort data.
• Slim: Zoekt automatisch de beste balans tussen snelheid en kosten.
• Toekomstbestendig: Kan helpen bij het bouwen van slimme steden, veiligheidsnetwerken of wetenschappelijke projecten waar data over de hele wereld moet worden verwerkt.

🎯 Conclusie

Kortom: WORKSWORLD is een slimme robot die voor data-ingenieurs de zware taak uit handen neemt om te beslissen hoe data door een complex netwerk van computers moet reizen. Het zorgt ervoor dat data op de juiste plek, in het juiste formaat en tegen de juiste prijs aankomt, zonder dat mensen urenlang hoeven te rekenen.

Het is alsof je van een handmatige kaartlezer bent gegaan naar een Google Maps voor data, die niet alleen de route aangeeft, maar ook zelf de vrachtwagen bestuurt en de lading in- en uitpakt!

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "WORKSWORLD: A Domain for Integrated Numeric Planning and Scheduling of Distributed Pipelined Workflows" in het Nederlands.

Titel en Context

Het paper introduceert WORKSWORLD, een nieuw domein voor numeriek, domein-onafhankelijk plannen en plannen van gedistribueerde datapijplijnen (workflows). De auteurs, Taylor Paul en William Regli van de Universiteit van Maryland, richten zich op het oplossen van het gecombineerde probleem van het ontwerpen van workflow-structuren en het toewijzen van deze taken aan gedistribueerde resources (cloud, fog, edge) zonder dat de volledige workflow als input gegeven hoeft te worden.

1. Het Probleem

Organisaties investeren massaal in data-platforms en AI, maar zien vaak weinig return on investment (ROI) omdat het opzetten van effectieve datapijplijnen complex is. Bestaande oplossingen zijn vaak propriëtrair, platform-specifiek of vereisen dat de volledige workflow (een Directed Acyclic Graph of DAG) al bekend is voordat er geschaald kan worden.

De kernuitdagingen zijn:

• Geïntegreerd Plannen en Plannen: Het moet niet alleen gaan om het plannen van taken op resources (scheduling), maar ook om het bepalen van de workflow-structuur zelf (welke conversies zijn nodig, waar worden ze uitgevoerd).
• Gedistribueerde Heterogeniteit: Resources bevinden zich op verschillende locaties (cloud, fog, edge) met verschillende netwerkkosten, latenties en capaciteiten.
• Meerdere Doelen: Er moet een balans worden gevonden tussen kosten (rekenkracht, opslag, netwerk) en prestaties (latentie), waarbij workflows permanent worden ingesteld ("permanently scheduled") in plaats van tijdelijke batch-taken.
• NP-Hardheid: Het probleem is structureel identiek aan het NP-hard "virtual network embedding" probleem, wat maakt dat het rekenkundig onbereikbaar is voor grote instanties zonder geavanceerde heuristieken.

2. Methodologie

De auteurs hebben een framework ontwikkeld dat data-engineers in staat stelt een probleem te definiëren via een YAML-configuratiebestand, dat vervolgens wordt omgezet naar een PDDL (Planning Domain Definition Language) probleem.

• Framework:

  • Input: Een YAML-bestand definieert de omgeving (sites, resources, netwerken), beschikbare workflow-componenten en doelen (gewenste dataformaten en bestemmingen).
  • Converter: Een tool zet YAML om naar PDDL 2.1 Level 2, waarbij numerieke fluents (variabelen) worden gebruikt voor resources en kosten.
  • Planner: Het systeem gebruikt de ENHSP (Expressive Numeric Heuristic Search Planner), een state-of-the-art numerieke planner.
  • Output: Een validatie en visualisatie van het gegenereerde plan.

• WORKSWORLD Domein:

  • Abstraktie: Het model gebruikt "Sites" met "Interfaces" (Data Sharing Interfaces - DSI en Data Processing Interfaces - DPI).
  • Objecten: Er zijn 17 objecttypes gedefinieerd, waaronder sites, links, interfaces, en workflow-componenten (data- en procescomponenten).
  • Acties: De planner voert acties uit zoals schedule component (toewijzen aan een interface), connect direct/composite link (netwerkverbindingen maken), en propagate input/output (dataflow bijhouden).
  • Optimalisatie: Het doel is het minimaliseren van de totale kosten (gewogen resource-gebruik) onder de beperking van een maximale absolute latentie (tijd voor een bericht om door de hele graf te reizen).

3. Belangrijkste Bijdragen

1. WORKSWORLD Domein: Een nieuw PDDL-domein dat specifiek is ontworpen voor het gezamenlijk plannen en plannen van permanente datapijplijnen over gedistribueerde resources. Het ontkoppelt expliciet reken-, opslag- en netwerkbeslissingen.
2. Geïntegreerde Aanpak: In tegenstelling tot traditionele methoden die een volledige DAG als input vereisen, bouwt de planner de workflow-structuur op vanuit de bronnen, de beschikbare componenten en de doelen.
3. Open Source Framework: Het paper levert een volledig werkend framework, inclusief YAML-naar-PDDL converter, benchmarks en datasets, beschikbaar via GitHub en GitLab.
4. Validatie op Commodity Hardware: Het bewijst dat complexe planningproblemen oplossen mogelijk is op standaard hardware (commodity hardware) binnen redelijke tijdslimieten.

4. Resultaten

De auteurs voerden experimenten uit op een CloudLab-omgeving met Kubernetes, gebruikmakend van ENHSP met een tijdslimiet van 1 uur en 30 GB RAM.

• Schalbaarheid (RQ1):
  • Voor lineaire workflows (chain-workflows) kan de planner tot 14 componenten over 8 sites succesvol plannen.
  • Bij het verhogen van het aantal componenten naar 16 of het aantal sites naar 64, faalt de planner binnen de tijdslimiet door de explosie van de zoekruimte.
  • De AIBR (Additive Interval-Based Relaxation) preprocessing stap van ENHSP blijkt de belangrijkste bottleneck te zijn; deze groeit exponentieel met het aantal objecten, terwijl de daadwerkelijke zoekruimte door pruning sub-exponentieel groeit.
• Complexiteit:
  • De staatruimte neemt sterk toe bij het toevoegen van sites en interfaces. Echter, voor een realistische "mid-sized" organisatie (8 sites, 16 interfaces, 15 directe links, 14 samengestelde links) is het probleem oplosbaar.
• Kosten en Duurzaamheid:
  • Het framework kan ook energieverbruik meten via Kepler, wat aantoont dat het systeem uitbreidbaar is voor duurzaamheidsanalyses.

5. Betekenis en Conclusie

Het paper toont aan dat het gebruik van geavanceerde numerieke planning (AI-planning) haalbaar is voor het oplossen van complexe, real-world data-engineering problemen die eerder als te complex werden beschouwd.

• Praktische Toepassing: Het biedt data-engineers een manier om workflows te definiëren op een hoog niveau (doelen en bronnen) zonder de complexe details van de implementatie handmatig te hoeven plotten.
• Toekomstperspectief: Hoewel het huidige werk zich richt op lineaire workflows, legt de basis voor het uitbreiden naar niet-lineaire series-parallelle workflows. De auteurs plannen ook om state-afhankelijke kosten te introduceren voor nog realistischere resource-modellering en het gebruik van een hiërarchie van planners voor grotere schaal.

Kortom, WORKSWORLD is een significante stap in het automatiseren van het ontwerp en de implementatie van gedistribueerde datapijplijnen, waarbij het de kloof overbrugt tussen theoretische AI-planning en praktische data-engineering.