WORKSWORLD: A Domain for Integrated Numeric Planning and Scheduling of Distributed Pipelined Workflows

Este trabalho apresenta o WORKSWORLD, um novo domínio para planejadores numéricos independentes de domínio que automatiza o planejamento e agendamento integrados de fluxos de trabalho de dados distribuídos, permitindo a construção e alocação de grafos de fluxo em recursos de rede sem a necessidade de declarar explicitamente o grafo completo como objetivo.

O essencial

Imagine que você é o gerente de uma grande rede de restaurantes que espalha por toda a cidade (Cloud, Fog e Edge). Cada restaurante tem sua própria cozinha (computação), sua própria despensa (armazenamento) e seus próprios entregadores (rede).

O problema é: você recebe pedidos de ingredientes brutos vindos de vários fornecedores (fontes de dados) e precisa transformá-los em pratos prontos para clientes específicos (destinos de dados), tudo isso sem gastar uma fortuna e sem atrasar a entrega.

Aqui entra o WORKSWORLD, o "cérebro" que a equipe de Taylor Paul e William Regli criou para resolver esse caos.

O Que é o WORKSWORLD?

Pense no WORKSWORLD como um arquiteto de logística superinteligente. Em vez de você ter que desenhar manualmente o mapa de quem faz o quê, onde e quando, você apenas diz ao sistema:

1. O que temos: "Temos ingredientes na loja A, B e C."
2. O que queremos: "Precisamos de um bolo pronto na loja D e uma salada na loja E."
3. Quais ferramentas temos: "Temos fornos, geladeiras e caminhões disponíveis."

O sistema então cria o plano sozinho. Ele decide:

• Onde cozinhar cada prato (planejamento).
• Qual caminhão leva os ingredientes e qual leva o prato pronto (agendamento).
• Se vale a pena cozinhar na loja A e levar para a B, ou se é melhor levar os ingredientes crus para a B e cozinhar lá (trade-off entre custo e tempo).

A Grande Diferença: "Montar a Montanha-Russa"

Na maioria dos sistemas antigos, você já tinha que ter a montanha-russa montada (o fluxo de trabalho pronto) e o sistema apenas decidia em qual trilho colocar cada carrinho.

O WORKSWORLD é diferente. Ele constrói a montanha-russa enquanto decide onde colocar os carrinhos. Ele cria o caminho de dados do zero, conectando as peças certas nos lugares certos, tudo de uma vez só.

Como Funciona a Mágica? (A Analogia do "Tradutor")

O sistema usa uma linguagem especial chamada PDDL (uma espécie de "inglês robótico" para planejamento). Mas ninguém quer falar inglês robótico.

1. O Chef (Você): Você escreve suas regras em um arquivo simples e fácil de ler, chamado YAML (como uma lista de compras organizada).
2. O Tradutor: Um pequeno programa pega sua lista e a traduz para o "inglês robótico" (PDDL).
3. O Mestre de Cerimônias (O Planner): Um algoritmo de ponta (chamado ENHSP) lê esse plano robótico e calcula milhões de possibilidades em segundos para encontrar a melhor rota.
4. O Resultado: Ele devolve um mapa passo a passo: "Leve o tomate da Loja A para a Cozinha B, misture com o queijo, e envie o prato pronto para a Loja C".

Por Que Isso é Importante?

O artigo mostra que, mesmo com computadores comuns (não supercomputadores caros), esse sistema consegue resolver problemas complexos em cerca de uma hora.

• Cenário 1 (Arquivo): Você tem vídeos brutos de câmeras de segurança. Vale a pena comprimi-los na câmera (economiza internet) ou levar tudo bruto para a nuvem (economiza poder de processamento local)? O sistema decide o melhor custo-benefício.
• Cenário 2 (Sensores de Fogo): Sensores detectam fumaça. O sistema decide se processa o alerta na borda (rápido, para apagar o fogo na hora) ou se manda os dados para a nuvem (mais lento, mas mais barato).
• Cenário 3 (Segurança): Um ataque cibernético. O sistema precisa bloquear um IP em milissegundos. Ele decide colocar o "guarda" exatamente onde o ataque acontece para ser rápido, mesmo que custe um pouco mais.

O Desafio Real

O maior obstáculo não é a lógica, é a complexidade. Imagine tentar conectar 14 peças de um quebra-cabeça em 8 lugares diferentes, onde cada conexão tem um custo de energia e um tempo de viagem diferente. As combinações são astronômicas.

O WORKSWORLD usa truques matemáticos inteligentes (chamados de "poda de espaço de busca") para ignorar caminhos óbvios que não funcionam, focando apenas nas soluções promissoras.

Conclusão Simples

O WORKSWORLD é como ter um GPS para dados. Em vez de você ficar dirigindo e tentando adivinhar o melhor caminho entre o ponto A e o B, considerando trânsito, pedágios e consumo de combustível, você apenas digita o destino. O sistema traça a rota perfeita, decide onde fazer paradas para abastecer e garante que você chegue lá no menor tempo e com o menor custo possível.

Isso permite que empresas usem Inteligência Artificial de forma mais eficiente, sem precisar de uma equipe gigante de engenheiros para desenhar manualmente como os dados devem fluir por suas redes.

Resumo técnico

Título: WORKSWORLD: Um Domínio para Planejamento e Agendamento Numérico Integrado de Fluxos de Trabalho Pipelined Distribuídos

1. Problema e Motivação

O artigo aborda o desafio de planejamento e agendamento automatizados de fluxos de trabalho (pipelines) de dados distribuídos. Organizações investem pesadamente em plataformas de dados e IA, mas frequentemente falham em obter retorno sobre o investimento (ROI) devido à dificuldade de criar pipelines de dados eficientes que conectem fontes distribuídas a destinos variados.

Desafios Principais:

• Complexidade Integrada: A maioria das soluções existentes trata o agendamento de tarefas computacionais (DAGs - Grafos Acíclicos Direcionados) como um problema separado da definição do fluxo de trabalho. O WORKSWORLD busca resolver o problema integrado: definir qual é o fluxo de trabalho (quais componentes de processamento e compartilhamento de dados são necessários) e onde eles devem ser executados simultaneamente.
• Restrições Heterogêneas: Os fluxos devem operar em ambientes de computação distribuída (Nuvem, Fog e Edge), respeitando restrições de latência, largura de banda, custo de computação/armazenamento e formatos de dados.
• Intractabilidade Computacional: O problema é NP-difícil, assemelhando-se ao problema de embedding de rede virtual, onde a decisão de colocar componentes de processamento e dados em recursos específicos sob restrições de rede é extremamente complexa.

Objetivo: Mapear permanentemente fluxos de trabalho em recursos de computação e armazenamento distribuídos, minimizando custos (computação, armazenamento, rede) enquanto se satisfazem limites de latência, sem exigir que o grafo completo do fluxo seja fornecido como entrada.

2. Metodologia

Os autores propõem uma nova abordagem baseada em Planejamento Automático (AI Planning) usando o domínio WORKSWORLD.

A. Representação do Problema

• Modelo de Ambiente: O ambiente é definido como um conjunto de Sites (Nuvem, Fog, Edge), interconectados por links de rede (diretos ou compostos). Cada site possui interfaces para compartilhamento de dados (DSI) e processamento de dados (DPI).
• Componentes de Fluxo: O fluxo de trabalho é modelado como um DAG onde os nós são componentes de dados (fontes/destinos fixos) e componentes de processamento (móveis).
• Entrada: Em vez de fornecer um grafo completo, o usuário define um arquivo de configuração YAML contendo:
  • Fontes de dados e seus formatos.
  • Componentes de trabalho disponíveis.
  • Destinos desejados e formatos de saída.
  • Restrições de recursos e latência.
• Conversão: Um conversor transforma o YAML em um problema PDDL (Planning Domain Definition Language) nível 2.1, permitindo o uso de fluents numéricos (variáveis numéricas para custos, latência, capacidade).

B. O Domínio WORKSWORLD

O domínio foi desenvolvido para ser independente de domínio (domain-independent) e utiliza o planejador numérico ENHSP (Expressive Numeric Heuristic Search Planner).

• Ações Chave: O planejador executa ações para:
  1. Replicar código: Copiar configurações (ex: imagens de contêiner) para um site.
  2. Agendar componentes: Instanciar componentes de processamento ou dados em interfaces específicas.
  3. Conectar: Estabelecer links diretos ou compostos entre componentes.
  4. Propagar: Registrar o fluxo de dados (proveniência) entre componentes.
• Otimização: O objetivo é minimizar o Custo Total (uso ponderado de recursos) e a Latência Absoluta (tempo de travessia de uma mensagem através do grafo), garantindo que os recursos não sejam superalocados.

C. Ferramentas e Configuração Experimental

• Hardware: Computação comercial (CloudLab) com nós Kubernetes.
• Limites: Tempo de CPU de 1 hora e 30 GB de memória RAM por execução.
• Métricas: Tempo de planejamento, tamanho do espaço de estados, e consumo de energia (via Kepler/RAPL).

3. Contribuições Principais

1. Novo Domínio PDDL (WORKSWORLD): A primeira definição de domínio numérico que permite o planejamento e agendamento integrados de pipelines de dados permanentes, decoplando decisões de computação, armazenamento e rede.
2. Abordagem "Satisficing": O sistema não exige o grafo de fluxo completo como entrada; ele constrói o grafo de fluxo e o agenda simultaneamente, decidindo quais conversões de dados e rotas de rede são necessárias para atingir o objetivo.
3. Ferramentas de Engenharia: Disponibilização de conversores YAML para PDDL, geradores de benchmarks e visualizadores de planos, tornando a tecnologia acessível à comunidade de IA.
4. Validação Empírica: Demonstração de que planejadores de estado da arte podem resolver problemas complexos em hardware comercial, algo anteriormente considerado computacionalmente intratável para escalas empresariais.

4. Resultados Experimentais

Os autores realizaram dois experimentos principais para responder a duas questões de pesquisa (RQ1 e RQ2):

• RQ1 (Crescimento do Espaço de Estados):

  • Ao aumentar o número de componentes de fluxo, interfaces e sites, o espaço de estados cresce exponencialmente.
  • No entanto, o pré-processamento AIBR (Additive Interval-Based Relaxation) do planejador ENHSP consegue podar o espaço de estados de forma eficaz, permitindo que o tempo de planejamento cresça de forma sub-exponencial para a maioria das métricas, exceto o tempo de pré-processamento.

• RQ2 (Escalabilidade Empresarial):

  • O sistema conseguiu planejar e agendar fluxos de trabalho lineares com 14 componentes distribuídos em 8 sites (simulando uma organização de médio porte com nuvem, fog e edge).
  • Limites: O sistema falhou ao tentar 16 componentes no mesmo cenário, indicando que 14 é o limite atual para o hardware e configurações testadas (1h CPU, 30GB RAM).
  • Conclusão: O WORKSWORLD é viável para agendamento centralizado em grafos de recursos complexos e realistas, embora a suposição de fluxos lineares (cadeias) limite a aplicabilidade a casos mais complexos (grafos não lineares).

5. Significado e Impacto

• Avanço na IA Aplicada: O trabalho demonstra que técnicas de planejamento automático clássico/numérico podem ser aplicadas a problemas modernos de engenharia de dados distribuídos, superando a necessidade de algoritmos proprietários específicos de plataforma.
• Flexibilidade: Ao permitir que o planejador decida a topologia do fluxo de trabalho, o sistema oferece otimizações que humanos ou scripts estáticos poderiam não considerar (ex: decidir se a compressão de dados deve ocorrer na borda ou na nuvem para equilibrar custo e latência).
• Sustentabilidade: A inclusão de métricas de energia e o uso de hardware comercial sugerem que soluções de IA para infraestrutura de dados podem ser economicamente viáveis e energeticamente eficientes.
• Futuro: Os autores apontam que o pré-processamento (AIBR) é o principal gargalo de escalabilidade e planejam explorar custos de ação dependentes do estado e hierarquias de planejadores para lidar com fluxos de trabalho não lineares (series-parallel) no futuro.

Em resumo, o WORKSWORLD estabelece um novo paradigma para a orquestração de dados, transformando a definição de pipelines de dados de um processo manual e estático em um problema de otimização automática e dinâmica.