Resumo Técnico: Outcome-as-a-Service para Processamento de Observação da Terra Baseado em Dask com Múltiplos Objetivos

Declaração do Problema

Fluxos de trabalho distribuídos de Observação da Terra (EO) exigem recursos computacionais e de memória significativos, necessitando frequentemente do uso de frameworks como o Dask em infraestruturas de nuvem ou de Computação de Alto Desempenho (HPC). No entanto, selecionar uma configuração de cluster ideal permanece um desafio combinatório complexo. Os profissionais dependem tipicamente de heurísticas fixas (por exemplo, provisionar o maior cluster disponível ou um mínimo viável), que falham em equilibrar objetivos concorrentes: tempo de execução, custo monetário, consumo de energia e eficiência no uso de recursos (frugalidade).

O espaço de busca para configurações de cluster é vasto, definido pelo número de nós de trabalho ($n$), tipo de nó ($t$) e governadores de frequência de CPU. Expandir a capacidade computacional para reduzir o tempo de execução frequentemente aumenta o custo e o consumo de energia, enquanto medidas de economia de energia podem estender o tempo de execução. Além disso, o desempenho das tarefas de EO é altamente sensível às características dos dados de entrada (tamanho, resolução), complexidade do algoritmo e variáveis de infraestrutura, como os governadores de frequência da CPU e a granularidade do worker (a razão entre vCPUs e memória por worker). As soluções existentes muitas vezes otimizam apenas um ou dois objetivos (tipicamente tempo e custo), visam frameworks diferentes (Spark/Hadoop) ou falham em expor a seleção de configuração como um serviço implantável.

Metodologia

Os autores propõem um framework de Outcome-as-a-Service (OaaS) que desloca a interface do usuário de solicitações explícitas de recursos para solicitações de resultados (outcomes). Os usuários especificam suas prioridades via um vetor de pesos através de quatro objetivos, e o sistema recomenda autonomamente a configuração de cluster ideal.

1. Infraestrutura Experimental e Coleta de Dados

A base do framework é um conjunto abrangente de dados históricos ($H$) gerado através de uma campanha de medição sistemática em infraestrutura bare-metal homogênea (servidores CloudLab xl170 com processadores Intel Xeon E5-2640 v4).

• Cargas de Trabalho: Três índices de vegetação espectral foram usados como operadores de EO: Índice de Vegetação de Diferença Normalizada (NDVI), Índice de Vegetação Ajustado ao Solo (SAVI) e Índice de Vegetação Melhorado (EVI). Estes representam diferentes níveis de intensidade aritmética e dependências de I/O.
• Espaço de Configuração: O estudo avaliou 15 configurações de cluster (combinações de contagem de workers $n \in \{4, \dots, 256\}$ e contagens de vCPU $cput \in \{2, 4, 8\}$) através de cinco tamanhos de dados de entrada (64 GB a 1024 GB) e três governadores de frequência de CPU (powersave, schedutil, performance).
• Métricas: O sistema mediu o tempo de execução ($T$), custo monetário ($C$, derivado do preço on-demand da AWS c5 como um proxy), consumo de energia ($E$, medido via Intel RAPL para domínios de CPU e DRAM) e frugalidade ($F$). A frugalidade é uma métrica composta de tempo de nó ocioso e desperdício de memória.
• Tamanho do Dataset: A campanha resultou em 675 células de configuração únicas (calculadas em média sobre 3 repetições cada), totalizando 2.025 experimentos.

2. Modelagem de Surrogato e Otimização

O framework opera em dois estágios: treinamento offline e serviço online.

• Modelos de Surrogato: Modelos de regressão independentes foram treinados utilizando Árvores de Regressão de Gradiente Impulsionado Baseadas em Histogramas (HistGBM) para prever tempo de execução, custo, energia, tempo ocioso e desperdício de memória. O escore de frugalidade é derivado algebricamente das métias de ociosidade e desperdício previstas para evitar overfitting.
• Formulação de Otimização: O problema é formulado como uma otimização multiobjetivo ponderada. Os usuários fornecem um vetor de pesos $W = (w_T, w_C, w_E, w_F)$ cuja soma é 1. O sistema normaliza os objetivos previstos dentro do conjunto de candidatos viáveis e calcula um escore agregado escalar $J$.
• Arquitetura de Serviço: Um serviço FastAPI leve enumera todas as configurações viáveis (até 63 candidatos por requisição), aplica os modelos de surrogato, calcula o escore ponderado e retorna as configurações de melhor classificação com latência inferior a um segundo.

Principais Contribuições

1. Framework de Quatro Objetivos: O artigo apresenta um framework de otimização conjunta para processamento de EO baseado em Dask que considera simultaneamente o tempo de execução, o custo monetário, a energia de processador+DRAM e a eficiência no uso de recursos (frugalidade).
2. Campanha de Medição Abrangente: Um dataset de larga escala foi gerado em hardware bare-metal cobrindo três operadores, cinco tamanhos de dados, quinze formas de cluster e três governadores de CPU, capturando interações complexas entre essas variáveis.
3. OaaS Assistido por Surrogato: Os autores desenvolveram modelos de surrogato de quantis para prever com precisão métricas de desempenho para cargas de trabalho não vistas e implementaram a lógica de otimização como um serviço HTTP implantável.
4. Validação Empírica: O serviço foi avaliado contra três baselines implantáveis (maior tier, menor tier e o padrão ingênuo do Dask) e um "best-in-H" oracle de configuração.

Resultados

A avaliação empírica demonstra que o framework OaaS supera significativamente as estratégias comuns de provisionamento:

• Tempo de Execução: Ao priorizar o tempo (pesos pesados em T), o serviço alcançou uma redução de 39% no tempo de execução em comparação com o baseline de cluster de maior escala (B1) e foi 3,5x mais rápido que os baselines de clusters pequenos.
• Custo Monetário: Para usuários que priorizam custo (pesos pesados em C), o serviço reduziu os custos em 29% em relação ao padrão ingênuo (B3) e em 22% em relação ao baseline de maior escala.
• Eficiência Energética: Sob pesos focados em energia (pesos pesados em E), o serviço reduziu o consumo de energia em 37% em relação ao padrão ingênuo e em 16% em relação ao baseline de maior escala.
• Frugalidade: O serviço melhorou os escores de frugalidade em 20% em comparação com o baseline mais forte, reduzindo efetivamente o sobreprovisionamento de recursos.
• Precisão: Os modelos de surrogato alcançaram alta precisão preditiva, com valores de $R^2$ variando de 0,851 (tempo ocioso) a 0,977 (custo) e correlações de Spearman acima de 0,91 para todos os alvos.
• Regret (Arrependimento): O "regret" médio contra a configuração teórica "best-in-H" foi de 0,015, com correspondências exatas para a configuração ótima em 50% dos casos de teste.

Significância e Alegações

O artigo afirma que nenhuma heurística de provisionamento única performa bem em todos os objetivos e condições de carga de trabalho. Ao mudar de um provisionamento centrado em recursos para um centrado em resultados, o framework OaaS proposto permite que os usuários negociem explicitamente objetivos concorrentes sem exigir expertise em gerenciamento de clusters.

Os autores enfatizam que seu trabalho é o primeiro a abordar a interseção entre provisão de serviço, otimização multiobjetivo (incluindo energia e frugalidade) e processamento de EO baseado em Dask. O framework é projetado para ser modular, permitindo que os modelos de surrogato sejam reentrenados independentemente conforme novos hardwares ou operadores são introduzidos. Embora o escopo atual seja limitado a hardware Intel Broadwell homogêneo e operadores de EO específicos, a arquitetura do serviço fornece um proxy reproduzível para custo e um método rigoroso para medição de energia que pode ser adaptado para outros ambientes. Os resultados sugerem que a seleção automatizada de configuração baseada em pesos pode gerar ganhos substanciais de eficiência sobre as estratégias de provisionamento manuais ou baseadas em heurísticas.