Resumo Técnico: DEFT – Escalonamento de Fluxos de Trabalho Dinâmicos em Nuvem

Definição do Problema

O artigo aborda o problema do Escalonamento de Fluxos de Trabalho Dinâmicos Consciente de Custos (CADWS) em ambientes de computação em nuvem. Neste cenário, fluxos de trabalho chegam dinamicamente e são modelados como Grafos Acíclicos Dirigidos (DAGs), onde os nós representam tarefas computacionais e as arestas representam restrições de precedência. Cada fluxo de trabalho está associado a um prazo de SLA (Acordo de Nível de Serviço).

O desafio central reside na natureza dinâmica do ambiente:

1. Chegadas Dinâmicas: Fluxos de trabalho chegam de forma imprevisível com estruturas e tamanhos variados.
2. Prazos Variáveis: Os prazos exibem um amplo espectro de rigor, variando de lenientes a extremamente urgentes.
3. Flutuação de Recursos: A disponibilidade e os custos de Máquinas Virtuais (VMs) mudam ao longo do tempo.

O objetivo é minimizar o custo total de execução, que é um composto de:

• Taxas de Aluguel de VM: Custos incorridos pelo leasing de VMs em regime de pagamento conforme o uso (pay-as-you-go).
• Penalidades de SLA: Penalidades financeiras incorridas quando um fluxo de trabalho falha em cumprir seu prazo.

As abordagens de Aprendizado por Reforço Profundo (DRL) existentes para CADWS tipicamente empregam redes de política monolíticas (vias de alimentação direta única). Os autores argumentam que essas arquiteturas rígidas têm dificuldade em se adaptar aos diversos cenários de escalonamento impostos pela variação do rigor dos prazos, pois um único conjunto de regras de decisão não consegue lidar de forma otimizada com prazos relaxados e urgentes simultaneamente.

Metodologia: DEFT

Os autores propõem o DEFT (Deadline-pErceptive Mixture-oF-Texperts), uma nova arquitetura de política de DRL projetada para superar as limitações de vias de inferência rígidas.

1. Arquitetura de Mistura de Especialistas (MoE)

Em vez de uma rede de política única, o DEFT utiliza um conjunto de sub-redes especializadas (especialistas).

• Especialização: Cada especialista é treinado para lidar com um nível específico de rigor de prazo (controlado por um coeficiente de relaxação de prazo $\gamma$). Por exemplo, um especialista pode se especializar em um escalonamento agressivo e insensível ao custo para prazos apertados, enquanto outro pode focar em estratégias de baixo custo e tolerantes a atrasos para prazos relaxados.
• Treinamento em Duas Fases:
  • Fase 1 (Pré-treinamento de Especialistas): Os especialistas são pré-treinados de forma independente em fluxos de trabalho com valores fixos e específicos de $\gamma$ para aprender comportamentos de escalonamento distintos.
  • Fase 2 (Ajuste Fino Conjunto): Todos os especialistas são carregados na arquitetura completa e ajustados conjuntamente junto com uma rede de portão (gating network) e o Módulo de Incorporação de Estado (SEM). Esta fase permite que o sistema se adapte a distribuições de prazos mistas.

2. Rede de Portão Adaptativa ao Grafo

Uma inovação crítica no DEFT é a Rede de Portão Adaptativa ao Grafo, que roteia dinamicamente as decisões para o especialista mais apropriado em cada etapa de tempo.

• Contexto de Entrada: A rede de portão integra quatro componentes principais:
  1. Incorporações globais do fluxo de trabalho (estrutura do DAG).
  2. Características da tarefa pronta atual e seu contexto topológico.
  3. Características do nível de sistema (disponibilidade e estados das VMs).
  4. Pontuações normalizadas de rigor de prazo.
• Mecanismo de Atenção Cruzada: Diferente do portão MoE tradicional que utiliza camadas lineares simples, o DEFT emprega um mecanismo de atenção cruzada. A incorporação do DAG do fluxo de trabalho e os estados das tarefas formam a Consulta (Q), enquanto as representações dos especialistas servem como Chaves (K) e Valores (V). Isso permite que o portão realize uma seleção de especialistas refinada e sensível ao prazo baseada nas complexas dependências estruturais do fluxo de trabalho.
• Estratégia de Roteamento: O sistema utiliza roteamento Top-1, selecionando o especialista único mais adequado para cada etapa de decisão. Estudos de ablação no artigo sugerem que o roteamento Top-1 supera o roteamento Top-k neste espaço de ação discreto, pois evita a "mistura" de recomendações conflitantes de especialistas, o que pode levar a seleções de VM subótimas.

3. Otimização

A política é otimizada usando Estratégias de Evolução (ES) da OpenAI, uma técnica de otimização baseada em população escolhida por sua robustez em ambientes dinâmicos e adequação para implementação paralela.

Principais Contribuições

O artigo reivindica três contribuições primárias:

1. Primeira Aplicação de MoE em Escalonamento de Fluxo de Trabalho Dinâmico: O DEFT é apresentado como a primeira abordagem a introduzir arquiteturas de Mistura de Especialistas especificamente para o escalonamento de fluxos de trabalho em nuvem dinâmicos, introduzindo um novo nível de adaptabilidade no design de políticas conscientes de prazos.
2. Melhoria na Diversidade e Generalização da Política: Ao empregar uma estratégia de treinamento de duas fases (pré-treinamento especializado seguido de ajuste fino conjunto), o DEFT alcança uma generalização superior através de diferentes regimes de prazos e escalas de fluxo de trabalho (Pequeno, Médio, Grande) em comparação com baselines de DRL monolíticos.
3. Portão Adaptativo ao Grafo: Os autores introduzem um mecanismo de portão inovador que combina representações de Redes Neurais de Grafos (GNN) com roteamento MoE. Este é o primeiro design que integra DAGs estruturados de fluxo de trabalho com roteamento MoE em um escalonador de DRL, permitindo a ativação de especialistas precisa e direcionada pelo prazo.

Resultados Experimentais

Os autores avaliaram o DEFT contra cinco baselines: dois métodos heurísticos (ProLis, GRP-HEFT) e três métodos de DRL de última geração (ES-RL, SPN-CWS, GATES).

• Redução do Custo Total: O DEFT consistentemente alcançou o menor custo total em todas as escalas de fluxo de trabalho (S, M, L).
  • Em fluxos de trabalho de grande escala, o DEFT reduziu os custos em 29,6% em comparação com o melhor baseline de DRL (GATES).
  • Métodos heurísticos tiveram desempenho significativamente inferior, com custos de 3 a 10 vezes maiores do que as abordagens de DRL.
• Escalabilidade: Enquanto outros métodos de DRL (como o ES-RL) degradaram bruscamente à medida que o tamanho do fluxo de trabalho aumentava, o DEFT demonstrou forte escalabilidade, com o aumento de custos sendo muito mais lento conforme os prazos se tornavam mais apertados e os fluxos de trabalho cresciam.
• Equilíbrio de Custos: O DEFT equilibrou efetivamente o compromisso entre taxas de aluguel de VM e penalidades de SLA. Em cenários com prazos apertados, priorizou evitar penalidades; em cenários relaxados, minimizou os custos de VM, adaptando sua estratégia dinamicamente.
• Estudos de Ablação:
  • Mecanismo de Portão: O portão adaptativo ao grafo superou significativamente os mecanismos de portão lineares e de MLP padrão.
  • MoE vs. Capacidade: Substituir o PMM fixo por MoE rendeu melhores resultados do que simplesmente aprofundar o MLP do baseline, confirmando que o ganho vem da seleção de política especializada e não apenas do aumento da capacidade do modelo.
  • Roteamento: O roteamento Top-1 mostrou-se superior ao roteamento Top-k para este problema específico, evitando a média de decisões conflitantes dos especialistas.

Significância e Alegações

O artigo posiciona o DEFT como um avanço significativo no campo do escalonamento de fluxos de trabalho em nuvem. Os autores afirmam que:

• Arquiteturas rígidas são insuficientes: Políticas de DRL de via única não conseguem lidar efetivamente com o amplo espectro de rigor de prazos encontrado em ambientes de nuvem reais.
• Adaptabilidade é a chave: Ao selecionar dinamicamente especialistas especializados com base na estrutura do fluxo de trabalho em tempo real e na urgência do prazo, o DEFT alcança um nível de flexibilidade e precisão que políticas estáticas não podem igualar.
• Impacto Prático: O método oferece uma abordagem fundamentada para o escalonamento estruturado e orientado por prazos que reduz significativamente os custos de execução e as violações de prazos, tornando-o adequado para ambientes de nuvem complexos e dinâmicos.

Os autores concluem que o DEFT representa uma mudança das políticas de escalonamento estáticas de "tamanho único" para sistemas adaptativos e conscientes do contexto, capazes de raciocinar sobre restrições diversas e em evolução. Sugere-se como trabalho futuro estender esta abordagem para ambientes multi-inquilino (multi-tenant) e explorar a explicabilidade no roteamento de especialistas.