WORKSWORLD: A Domain for Integrated Numeric Planning and Scheduling of Distributed Pipelined Workflows

Ce papier présente WORKSWORLD, un nouveau domaine pour les planificateurs numériques indépendants du domaine, conçu pour automatiser conjointement la planification et l'ordonnancement de pipelines de données distribués en générant dynamiquement les graphes de flux de travail et de ressources sans nécessiter une définition complète du graphe cible.

L'essentiel

🌍 Le Grand Défi : Organiser le Chaos des Données

Imaginez que votre entreprise est une immense usine de production. Mais au lieu de fabriquer des voitures, elle fabrique de la connaissance à partir de données brutes (des vidéos, des capteurs de température, des logs de sécurité, etc.).

Le problème ? Ces données arrivent de partout :

• De capteurs dans la forêt (Edge).
• De serveurs dans le cloud (Cloud).
• De petits serveurs locaux (Fog).

Pour transformer ces données brutes en informations utiles, il faut les faire passer par une série d'étapes : les nettoyer, les analyser, les compresser, puis les envoyer à l'endroit où elles sont nécessaires. C'est ce qu'on appelle un tuyau de données (ou pipeline).

Le défi, c'est que chaque étape de ce tuyau coûte de l'argent (électricité, stockage) et prend du temps (latence). Si vous envoyez une vidéo brute de la forêt vers le cloud pour la traiter, cela peut être trop lent pour alerter un incendie en temps réel. Si vous la traitez sur place, cela peut consommer trop de batterie.

Comment décider automatiquement :

1. Où traiter chaque donnée ?
2. Par quel chemin l'envoyer ?
3. Comment le faire sans exploser le budget ni attendre éternellement ?

C'est là qu'intervient WORKSWORLD.

---

🛠️ WORKSWORLD : L'Architecte Automatique

Les auteurs (Taylor Paul et William Regli) ont créé un nouveau "monde" pour des robots intelligents (des planificateurs informatiques) afin qu'ils puissent résoudre ce casse-tête tout seuls.

Imaginez que vous êtes le directeur d'une chaîne de restaurants. Vous avez :

• Des fournisseurs (les sources de données).
• Des cuisines (les sites de calcul : Cloud, Fog, Edge).
• Des camions (les réseaux) pour transporter les ingrédients.
• Des chefs cuisiniers (les composants de traitement) qui doivent transformer les ingrédients.

Votre objectif : Servir un plat parfait (la donnée finale) au bon endroit, au bon moment, et au moindre coût.

Comment ça marche ?

Au lieu de dessiner manuellement le plan de chaque restaurant (ce qui est impossible quand il y en a des milliers), vous donnez simplement une liste de souhaits à l'ordinateur :

• "Je veux des données de la forêt."
• "Je veux qu'elles soient transformées en alertes incendie."
• "Je veux que ce soit prêt en moins de 5 minutes."
• "Je ne veux pas dépenser plus de 100$."

L'ordinateur, grâce à WORKSWORLD, va alors :

1. Construire le plan : Il décide quelles étapes de transformation sont nécessaires.
2. Placer les cuisines : Il choisit quelle cuisine (Cloud ou Edge) va faire quel travail.
3. Planifier les camions : Il décide comment transporter les données entre les cuisines.

Tout cela en une seule fois ! C'est ce qu'on appelle un planification et ordonnancement intégrés.

---

🧩 Les Trois Scénarios du Papier

Pour montrer que leur système est puissant, les auteurs ont testé trois situations très différentes, comme trois types de restaurants différents :

1. Le Restaurant "Archivage" (Lent mais pas cher)

   • Le problème : On veut archiver des milliers de vidéos. On peut attendre quelques heures.
   • Le dilemme : Compresser les vidéos sur place (pour économiser le transport) ou les envoyer brutes au cloud (pour économiser la puissance de calcul locale) ?
   • La solution WORKSWORLD : Elle trouve le point d'équilibre parfait entre le coût du transport et le coût du calcul.

2. Le Restaurant "Alerte Incendie" (Rapide et critique)

   • Le problème : Des capteurs détectent de la fumée. Il faut réagir en quelques minutes.
   • Le dilemme : Envoyer les données brutes au cloud (trop lent) ou traiter l'analyse directement sur le capteur (trop gourmand en batterie) ?
   • La solution WORKSWORLD : Elle place l'intelligence artificielle directement sur le capteur (Edge) pour une réaction immédiate.

3. Le Restaurant "Sécurité Cyber" (Ultra-rapide)

   • Le problème : Bloquer un pirate informatique en moins d'une seconde.
   • Le dilemme : Trouver un endroit où le calcul est assez rapide pour bloquer l'attaque, mais pas trop cher.
   • La solution WORKSWORLD : Elle place le traitement exactement là où la latence est la plus faible.

---

🚀 Le Résultat : Un Super-Héros sur un Ordinateur Ordinaire

Ce qui est impressionnant dans ce papier, c'est que les auteurs ont utilisé un ordinateur "normal" (pas un supercalculateur de la NASA) pour résoudre ces problèmes complexes.

• La puissance : Ils ont utilisé un planificateur de pointe (appelé ENHSP) qui fonctionne comme un détective très intelligent.
• La performance : En une heure de calcul, avec 30 Go de mémoire (ce qui est courant aujourd'hui), le système a pu organiser des chaînes de traitement complexes traversant 8 sites différents avec 14 étapes de transformation.
• L'innovation : Avant, il fallait souvent choisir entre "planifier" (décider quoi faire) et "ordonnancer" (décider où et quand le faire). WORKSWORLD fait les deux en même temps, comme un chef qui décide du menu et de la répartition des tâches en cuisine simultanément.

💡 En Résumé

WORKSWORLD est comme un GPS intelligent pour les données.

Au lieu de vous dire "Tournez à gauche", il vous dit : "Pour aller de votre source de données à votre destination finale, voici le chemin le moins cher et le plus rapide, en passant par ces serveurs précis et en utilisant ces transformations spécifiques."

C'est une étape majeure pour aider les entreprises à utiliser l'Intelligence Artificielle sans se ruiner ni perdre du temps, en automatisant la création de leurs flux de données les plus complexes.

Résumé technique

Titre : WORKSWORLD : Un domaine pour la planification et l'ordonnancement intégrés de flux de travail pipelinés distribués

1. Problématique et Contexte

Les organisations investissent massivement dans les plateformes de données et l'intelligence artificielle (IA), mais peinent souvent à obtenir un retour sur investissement tangible. La cause principale est l'absence d'accès libre à des données collectées, curées et à jour provenant de systèmes distribués. La création de flux de travail (workflows) de données intensifs est un prérequis pour l'exploitation productive de l'IA.

Cependant, la planification et l'ordonnancement optimaux de ces flux, en particulier ceux qui sont suffisamment complexes pour répondre aux cas d'usage réels (impliquant plusieurs sites, réseaux hétérogènes et contraintes de latence/coût), se révèlent souvent computationalement intraitables.

Les approches existantes souffrent de plusieurs limitations :

• Elles supposent souvent que le graphe du flux de travail est déjà entièrement défini (un DAG de tâches) et se concentrent uniquement sur l'ordonnancement (placement des tâches sur les ressources).
• Elles sont souvent propriétaires et spécifiques à une plateforme.
• Elles ne séparent pas explicitement les décisions de calcul, de stockage et de réseau.

L'objectif de ce travail est de résoudre un problème intégré de planification et d'ordonnancement. Le système doit non seulement déterminer où placer les composants de traitement et de partage de données, mais aussi construire le graphe du flux de travail lui-même (quelles conversions de données appliquer, comment router les données) pour satisfaire des objectifs de format et de destination, tout en minimisant les coûts et en respectant les contraintes de latence.

2. Méthodologie

Les auteurs proposent un cadre basé sur la planification automatique (AI Planning) utilisant des planificateurs numériques indépendants du domaine.

A. Modélisation de l'environnement et des ressources

• Sites et Ressources : L'environnement est modélisé comme un ensemble de sites (Cloud, Fog, Edge) interconnectés. Chaque site possède des interfaces de partage de données (DSI) et de traitement de données (DPI), ainsi que des liens réseau (directs ou composites).
• Composants de flux : Les flux sont définis comme des graphes acycliques dirigés (DAG) alternant des composants de partage de données (sources, puits, stockage) et des composants de traitement.
• Contraintes : Le problème inclut des contraintes de capacité (CPU, stockage, bande passante), de latence et de coût.

B. Le domaine WORKSWORLD (PDDL)
Le cœur de la contribution est la définition d'un nouveau domaine en PDDL 2.1 (Planning Domain Definition Language) de niveau 2, permettant l'utilisation de fluents numériques.

• Entrées : Les utilisateurs définissent l'environnement, les composants disponibles et les objectifs (formats de sortie, destinations) via un fichier de configuration YAML. Un convertisseur génère automatiquement le problème PDDL correspondant.
• Actions : Le domaine définit six actions principales pour construire et ordonnancer le flux :
  • replicate_code : Copie les configurations (images de conteneurs, modèles) vers un site.
  • schedule_component : Place un composant sur une interface spécifique.
  • connect_direct/composite_link : Établit des liens réseau entre composants.
  • propagate_input/output : Gère la propagation des données à travers le graphe.
• Objectifs : Le planificateur cherche à minimiser un coût global (pondéré par l'utilisation des ressources) tout en contraignant la latence absolue (temps de traversée d'un message à travers le graphe).

C. Algorithme de résolution
Le système utilise le planificateur numérique de pointe ENHSP (Expressive Numeric Heuristic Search Planner).

• ENHSP utilise une heuristique basée sur la relaxation de plan (MRP) et un prétraitement par AIBR (Additive Interval-Based Relaxation) pour élaguer l'espace d'états.
• Le problème est résolu comme une recherche d'état : partir de l'état initial (sources de données disponibles) pour atteindre un état but (données transformées aux destinations requises) via une séquence d'actions.

3. Contributions Clés

1. WORKSWORLD : Un nouveau domaine PDDL numérique indépendant, conçu spécifiquement pour la planification et l'ordonnancement intégrés de flux de travail permanents (ingestion de données).
2. Abstraction Unifiée : Une représentation graphique unifiée qui découple les décisions de calcul, de stockage et de réseau, permettant de résoudre simultanément la construction du graphe de flux et son placement sur les ressources.
3. Outils Open Source :
   • Un convertisseur YAML-to-PDDL pour faciliter la définition des problèmes par les ingénieurs de données.
   • Des benchmarks publics et des scripts de visualisation.
4. Preuve de Concept à l'Échelle : Démonstration qu'un planificateur numérique standard peut résoudre des problèmes complexes sur du matériel commercial (commodity hardware) en un temps raisonnable.

4. Résultats Expérimentaux

Les expériences ont été menées sur un cluster CloudLab avec des nœuds équipés de processeurs doubles 16 cœurs et 384 Go de RAM, limitant le planificateur à 30 Go de RAM et 1 heure de temps CPU.

• Évolutivité (RQ1) :

  • L'augmentation du nombre de composants de flux (WorkFlow Components) montre une croissance sous-exponentielle de l'espace d'états après un certain seuil (16-32 composants), grâce à l'élagage efficace d'ENHSP.
  • Le prétraitement AIBR reste le goulot d'étranglement principal, présentant une croissance exponentielle, mais permettant de traiter des problèmes de taille significative.
  • L'ajout de sites et de liens est géré efficacement par le planificateur.

• Capacité de résolution (RQ2) :

  • Le système a réussi à planifier et ordonnancer des flux linéaires de 14 composants (7 composants de traitement + 7 de données) répartis sur 8 sites (modélisant une entreprise de taille moyenne avec Cloud, Fog et Edge).
  • Les flux de 16 composants ont échoué, atteignant les limites de mémoire et de temps.
  • Les résultats montrent que l'approche est viable pour des flux de travail linéaires dans des environnements distribués réalistes.

5. Signification et Conclusion

Ce travail démontre la viabilité de l'utilisation de la planification automatique numérique pour des problèmes complexes d'ingénierie de données distribués, là où les approches traditionnelles échouent souvent en raison de la complexité combinatoire.

• Impact : WORKSWORLD offre une alternative open-source et agnostique aux plateformes aux solutions propriétaires actuelles. Il permet aux ingénieurs de données de se concentrer sur les objectifs (formats, destinations) plutôt que sur la construction manuelle de graphes complexes.
• Limites actuelles : La solution se concentre actuellement sur des flux linéaires. Les flux non linéaires (série-parallèle) et les coûts d'action dépendants de l'état (pour une gestion plus fine de la charge réelle vs maximale) sont identifiés comme des pistes de recherche futures.
• Avenir : Les auteurs envisagent d'explorer une hiérarchie de planificateurs collaboratifs et d'affiner les modèles de coûts pour mieux refléter la consommation réelle des ressources.

En résumé, WORKSWORLD fournit un cadre robuste pour automatiser la conception et le déploiement de pipelines de données distribués, transformant un problème d'optimisation complexe en un problème de planification résolvable par des algorithmes d'IA éprouvés.