WORKSWORLD: A Domain for Integrated Numeric Planning and Scheduling of Distributed Pipelined Workflows

Este trabajo presenta WORKSWORLD, un nuevo dominio para planificadores numéricos independientes del dominio que automatiza la planificación y programación conjunta de flujos de trabajo de datos distribuidos, permitiendo definir orígenes y destinos sin especificar el grafo completo y logrando resolver cadenas lineales de hasta 14 componentes en ocho sitios con recursos de hardware estándar.

Lo esencial

Imagina que tu empresa es una gran cocina de restaurante que necesita preparar miles de platos (datos) cada día. Estos platos llegan de diferentes granjas (fuentes de datos), necesitan ser lavados, cortados, cocinados y luego enviados a diferentes mesas (destinos) en formatos específicos.

El problema es que la cocina tiene muchas estaciones de trabajo (servidores), algunas están en el sótano (la nube), otras en la entrada (el "edge" o borde) y algunas en el pasillo (la "niebla" o fog). Además, los ingredientes viajan por pasillos estrechos (redes) que a veces se atascan.

¿Qué hace este papel?
Los autores, Taylor Paul y William Regli, han creado un nuevo "chef robot" llamado WORKSWORLD. Su trabajo no es solo cocinar un plato, sino diseñar todo el menú y asignar quién hace qué, dónde y cuándo, de forma automática y perfecta.

Aquí te explico los conceptos clave con analogías sencillas:

1. El Problema: El Caos en la Cocina

Antes, si querías organizar esta cocina, tenías que dibujar tú mismo el mapa completo de quién hace qué (el "flujo de trabajo") y luego intentar asignar las estaciones de trabajo. Era como intentar resolver un rompecabezas gigante mientras te quemas los dedos.

• La realidad: Las empresas gastan millones en tecnología, pero a menudo no obtienen resultados porque los datos no llegan bien, están en el formato incorrecto o tardan demasiado.
• El desafío: Decidir si cocinar el plato en la granja (en el origen) para enviarlo ligero, o enviarlo crudo a la cocina central para cocinarlo todo junto. ¿Qué es más barato? ¿Qué es más rápido?

2. La Solución: WORKSWORLD (El Arquitecto Robot)

En lugar de darle al robot una receta ya hecha, tú le das una lista de deseos en un archivo simple (YAML):

• "Quiero ingredientes de la granja A y B".
• "Necesito que el plato final sea un filete en la mesa C".
• "No quiero que tarde más de 5 minutos".

WORKSWORLD toma esa lista y hace dos cosas mágicas al mismo tiempo:

1. Diseña el mapa: Decide qué pasos de cocina son necesarios (¿lavar? ¿cortar? ¿hervir?).
2. Asigna los recursos: Decide en qué estación de trabajo (nube, borde, etc.) se hará cada paso para que sea lo más barato y rápido posible.

3. ¿Cómo funciona el "Cerebro"? (Planificación Numérica)

El robot no adivina. Usa un tipo de inteligencia artificial muy avanzada llamada planificación numérica.

• La analogía: Imagina que el robot tiene una calculadora gigante. No solo piensa "¿Puedo hacer esto?", sino que calcula: "Si hago esto aquí, gastaré 5 dólares en electricidad y tardará 2 segundos. Si lo hago allá, gastaré 1 dólar pero tardará 10 segundos".
• El truco: El robot debe equilibrar la presión (latencia/velocidad) con el dinero (costo). A veces, para que un plato llegue en segundos (como bloquear un hacker), hay que gastar más. A veces, para archivar videos viejos, puedes esperar horas y ahorrar dinero.

4. El Experimento: ¿Hasta dónde puede llegar?

Los autores probaron su robot en una cocina virtual gigante con:

• 8 sitios diferentes (como 8 cocinas en diferentes ciudades).
• 14 pasos de cocina encadenados (un flujo de trabajo largo).
• Hardware normal: Usaron computadoras comunes, no superordenadores de ciencia ficción.

El resultado: El robot pudo resolver el rompecabezas en una hora usando 30 GB de memoria (como tener 30 libros de recetas abiertos a la vez). Esto es impresionante porque problemas similares antes eran considerados "imposibles" de resolver en tiempo razonable.

5. ¿Por qué es importante?

Hoy en día, muchas empresas tienen datos dispersos y sistemas complicados.

• Antes: Un ingeniero humano tenía que pasar días diseñando y ajustando manualmente cómo mover los datos.
• Con WORKSWORLD: El ingeniero solo define el objetivo (el "qué") y el robot resuelve el "cómo". Esto permite que las empresas sean más ágiles, gasten menos y respondan más rápido a emergencias (como detectar un incendio forestal o bloquear un ataque cibernético).

En resumen

Este paper presenta WORKSWORLD, un nuevo sistema que actúa como un director de orquesta automático para los datos. En lugar de que tú digas a cada músico qué nota tocar y cuándo, tú le dices: "Quiero que suene esta sinfonía", y el sistema decide qué instrumentos usar, dónde colocarlos y cómo coordinarlos para que la música salga perfecta, barata y a tiempo.

Es un paso gigante hacia automatizar la complejidad de la era de los datos, haciendo que la tecnología sea más accesible y eficiente para todos.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "WORKSWORLD: A Domain for Integrated Numeric Planning and Scheduling of Distributed Pipelined Workflows", presentado en español.

1. Introducción y Definición del Problema

Contexto:
Las organizaciones invierten miles de millones en plataformas de datos e IA, pero a menudo no obtienen un retorno de inversión tangible debido a la falta de acceso eficiente a datos curados y actuales provenientes de sistemas distribuidos. La creación de flujos de trabajo intensivos en datos (pipelines) es un prerrequisito para el uso productivo de herramientas de IA.

El Problema:
El desafío central es la planificación y programación (scheduling) óptima de estos flujos de trabajo distribuidos.

• Complejidad: Los flujos de trabajo actuales suelen modelarse como Grafos Acíclicos Dirigidos (DAG) de tareas computacionales. Sin embargo, en entornos distribuidos (nube, fog, edge), es necesario decidir no solo dónde ejecutar las tareas, sino también cómo se mueven los datos, en qué formatos se convierten y cómo se gestionan los recursos de red, almacenamiento y cómputo simultáneamente.
• Limitaciones de enfoques anteriores: La mayoría de los trabajos existentes asumen que el gráfico del flujo de trabajo ya está completamente definido y se centran únicamente en la programación de tareas en recursos existentes. Además, suelen ser soluciones propietarias o específicas de una plataforma.
• Objetivo de WORKSWORLD: Resolver un problema integrado de planificación y programación. El sistema debe determinar la estructura del gráfico del flujo de trabajo (qué componentes se necesitan y cómo se conectan) y asignarlos permanentemente a recursos distribuidos, minimizando costos (cómputo, almacenamiento, red) y respetando restricciones de latencia.

2. Metodología y Marco de Trabajo

El enfoque propuesto se basa en la Planificación Automática (AI Planning) utilizando un lenguaje de definición de dominio independiente.

Arquitectura del Sistema:

1. Entrada (YAML): Los ingenieros de datos definen el entorno, los componentes de flujo de trabajo disponibles, las fuentes de datos y los destinos deseados mediante un archivo de configuración YAML legible por humanos.
2. Conversión: Un convertidor transforma el YAML en un problema formal en PDDL (Planning Domain Definition Language).
3. Dominio WORKSWORLD: Se introduce un nuevo dominio de planificación numérica llamado WORKSWORLD. Este dominio modela:
   • Recursos: Sitios (Nube, Fog, Edge), interfaces de datos (DSI) y procesamiento (DPI), y enlaces de red.
   • Componentes: Tareas de procesamiento y componentes de datos (fuentes y sumideros).
   • Acciones: El planificador selecciona acciones para replicar configuraciones, programar componentes en interfaces, conectar componentes mediante enlaces directos o compuestos, y propagar datos.
4. Resolución: Se utiliza un planificador numérico de vanguardia, ENHSP (Expressive Numeric Heuristic Search Planner), para resolver el problema.
5. Salida: Se genera un plan ejecutable que construye el gráfico del flujo de trabajo y lo programa en los recursos, junto con una visualización del estado inicial y el resultado.

Modelado Matemático:

• Planificación Numérica: A diferencia de la planificación clásica, WORKSWORLD utiliza variables numéricas (fluents) para rastrear recursos (CPU, RAM, ancho de banda) y costos.
• Objetivos: Minimizar el costo total (utilización ponderada de recursos) y restringir la latencia absoluta (tiempo total para que un mensaje atraviese el gráfico).
• Restricciones: Se evitan acciones dependientes del estado para el cálculo de costos (usando valores constantes para la tasa máxima de mensajes) para garantizar la compatibilidad con los heurísticos del planificador.

3. Contribuciones Clave

1. Dominio WORKSWORLD: Es el primer dominio de planificación numérica pública diseñada específicamente para la planificación y programación integrada de flujos de trabajo de datos distribuidos y permanentes.
2. Abstracción de Recursos: Propone una abstracción unificada que desacopla las decisiones de cómputo, almacenamiento y red, permitiendo modelar sitios heterogéneos (nube, fog, edge) y sus interconexiones.
3. Entrada Declarativa: Facilita el uso mediante la conversión de configuraciones YAML a PDDL, eliminando la necesidad de que los usuarios definan manualmente el gráfico completo del flujo de trabajo como un objetivo.
4. Validación Empírica: Demuestra la viabilidad de usar planificadores numéricos genéricos en hardware comercial para resolver problemas complejos de infraestructura de datos.

4. Resultados Experimentales

Los autores realizaron experimentos en un entorno de nube simulado (CloudLab) utilizando hardware comercial (nodos con 384 GB de RAM y procesadores de 16 núcleos). El planificador ENHSP se ejecutó con límites de 1 hora de tiempo de CPU y 30 GB de memoria.

• Escalabilidad (RQ1):
  • Se probaron flujos de trabajo lineales variando el número de componentes, interfaces, enlaces y sitios.
  • Se observó que el preprocesamiento AIBR (Additive Interval-Based Relaxation) es el cuello de botella principal, creciendo exponencialmente. Sin embargo, la poda del espacio de estados por parte del planificador es efectiva.
  • El sistema logró manejar flujos de trabajo de hasta 14 componentes distribuidos en 8 sitios dentro de los límites de tiempo y memoria.
• Escalabilidad Empresarial (RQ2):
  • En un escenario más realista (8 sitios, 16 interfaces, 15 enlaces directos, 14 enlaces compuestos), el sistema pudo planificar flujos de hasta 14 componentes.
  • El crecimiento sub-exponencial en la mayoría de las métricas (excepto el preprocesamiento) sugiere que el enfoque es viable para organizaciones de tamaño medio.
• Eficiencia: El sistema resolvió problemas satisfactorios en hardware estándar, demostrando que no se requiere supercomputación para la planificación centralizada de pipelines de datos de escala media.

5. Significado e Impacto

• Viabilidad de la Planificación Automática: El trabajo demuestra que los planificadores numéricos de IA pueden aplicarse exitosamente a problemas complejos de ingeniería de datos distribuidos, un área dominada tradicionalmente por algoritmos heurísticos específicos o soluciones manuales.
• Independencia de Plataforma: Al ser agnóstico al proveedor (vendor-agnostic), WORKSWORLD permite a las organizaciones diseñar flujos de trabajo que pueden ejecutarse en cualquier combinación de nubes, centros de datos y dispositivos de borde sin estar atadas a una plataforma específica.
• Optimización de Costos y Latencia: Proporciona un marco formal para encontrar equilibrios óptimos entre el costo de transferencia de datos (compresión en origen vs. centralizada) y la latencia, algo crítico para aplicaciones como detección de incendios forestales o ciberseguridad.
• Recursos Abiertos: El dominio, los generadores de problemas y los datos de los experimentos están disponibles públicamente, fomentando la investigación futura en la comunidad de planificación de IA.

Limitaciones y Trabajo Futuro:
Actualmente, el dominio se centra en flujos de trabajo lineales. Los autores planean extenderlo a grafos no lineales (series-paralelo) e investigar el uso de costos de acción dependientes del estado para una gestión de recursos más conservadora y realista.