🤖 machine learning

An Auto-Scaling Approach for Serverless Environments Based on a Multi-Expert Consensus Mechanism

Este artigo propõe um framework de escalonamento automático serverless consciente de dependências que integra identificação de gargalos baseada em grafos, um mecanismo de previsão de consenso multimodelo e controle consciente de custos para alcançar alta precisão de previsão, redução de erros e menores custos de infraestrutura, mantendo simultaneamente as metas de desempenho.

Autores originais: Mobina Kashaniyan, Mehrdad Ashtiani, Amirhossein Ghassemi

Publicado 2026-07-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Mobina Kashaniyan, Mehrdad Ashtiani, Amirhossein Ghassemi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a internet como uma cidade massiva e movimentada, onde milhões de pequenos trabalhadores invisíveis — chamados de "funções" — correm para completar tarefas no momento em que você clica em um botão. Nos velhos tempos, esses trabalhadores viviam em grandes escritórios permanentes (servidores) que precisavam ser mantidos com pessoal 24 horas por dia, 7 dias por semana, estivessem eles ocupados ou dormindo. Mas uma maneira mais nova e inteligente de construir a internet, chamada "computação serverless" (sem servidor), permite que esses trabalhadores surjam apenas quando necessários e desapareçam quando terminam o trabalho, economizando uma fortuna em aluguel. No entanto, este sistema tem um problema complicado: às vezes a cidade é atingida por uma corrida súbita e caótica de solicitações, como um flash mob. Se o sistema esperar para ver a multidão antes de contratar mais trabalhadores, as primeiras pessoas ficam presas na fila (um "cold start" ou início a frio). Se contratar muitos rápido demais, desperdiça dinheiro. O verdadeiro quebra-cabeça é que esses trabalhadores frequentemente dependem uns dos outros; se um ficar preso, toda a cadeia de trabalho para. Pesquisadores estão tentando descobrir como prever essas corridas e contratar o número certo de trabalhadores no momento certo, sem desperdiçar dinheiro ou fazer as pessoas esperarem.

Este artigo apresenta um novo e inteligente "controlador de tráfego" para essas cidades serverless. Em vez de observar cada trabalhador individualmente, os autores sugerem olhar para o mapa da cidade para encontrar os cruzamentos mais importantes. Eles tratam a aplicação como uma teia de conexões, usando um truque matemático chamado "centralidade de grau" para identificar as poucas funções que estão conectadas à maior parte do sistema. Estes são os "gargalos" — os cruzamentos movimentados onde engarrafamentos têm maior probabilidade de começar. Uma vez identificados esses pontos críticos, o sistema não apenas adivinha o que acontecerá a seguir; ele consulta três "especialistas" diferentes (modelos computacionais chamados MLP, LSTM e CNN) para prever o tráfego. Cada especialista vê os dados de forma diferente: um observa padrões, outro sequências temporais e o terceiro detalhes locais. Em vez de confiar em apenas um, o sistema utiliza um método de "consenso", semelhante a um júri, onde os especialistas votam com base no desempenho que tiveram no passado. Isso cria uma previsão estável e confiável. Finalmente, antes de fazer um movimento, o sistema verifica a etiqueta de preço, garantindo que contratar mais trabalhadores não custará caro demais e que demitir trabalhadores não causará um atraso frio e dispendioso.

Os pesquisadores testaram essa ideia usando rastros de dados do mundo real e descobriram que sua abordagem de "múltiplos especialistas" funciona significativamente melhor do que métodos antigos. Eles descobriram que confiar em um único modelo de previsão é arriscado, tal como confiar em apenas um meteorologista. Ao combinar os três modelos diferentes, eles alcançaram uma precisão de previsão de cerca de 99,06% com seu melhor modelo (LSTM), o que é uma enorme melhoria em relação aos métodos não supervisionados antigos, que conseguiam gerenciar apenas cerca de 49,5%. O estudo descarta explicitamente a ideia de que o simples agrupamento não supervisionado (agrupar dados sem um professor) é suficiente para tomar boas decisões de escalonamento; os dados mostraram que esses métodos falharam em capturar a direção necessária para saber quando escalar para cima ou para baixo. Além disso, o sistema provou que, ao focar apenas nas funções críticas de "gargalo" em vez de em cada função individual, ele pode tomar decisões mais inteligentes.

Em termos de dinheiro, os resultados foram bastante tangíveis. Quando os pesquisadores simularam seu sistema em diferentes plataformas de nuvem, economizaram dinheiro real. Por exemplo, no AWS Lambda, o custo caiu de US$ 0,70 para US$ 0,47, e no Google Cloud Run, caiu de US$ 9,48 para US$ 6,36. Em todo o espectro, o sistema economizou um total de US$ 5,55 em comparação com um sistema reativo padrão que apenas espera os problemas acontecerem. Os autores sugerem que esta abordagem é uma forma prática de equilibrar velocidade e custo, mas são cuidadosos ao notar que estes resultados vêm de simulações e experimentos em conjuntos de dados específicos, não sendo uma solução permanente para todos os cenários possíveis. Eles também apontam que, embora seu método seja robusto, ele ainda depende da qualidade dos dados que recebe. O artigo conclui que, embora este sistema "consciente de dependência" seja um passo forte à frente, ainda há espaço para crescer, talvez utilizando matemática ainda mais avançada, como redes neurais de grafos, ou testando-o em plataformas reais e vivas no futuro.

Resumo Técnico: Uma Abordagem de Autoescalonamento para Ambientes Serverless Baseada em um Mecanismo de Consenso de Múltiplos Especialistas

Declaração do Problema

A computação serverless oferece gerenciamento automático de recursos e faturamento por uso, mas o autoescalonamento eficaz continua sendo um desafio devido às cargas de trabalho intermitentes (bursty), latência de cold-start e dependências complexas entre funções. As abordagens existentes frequentemente escalam as funções de forma independente ou dependem de um único preditor, o que pode levar à redução da robustez, ineficiência de custos e à negligência de gargalos estruturalmente críticos. Quando ocorre uma congestão em uma única função dentro de uma cadeia de dependência, ela se propaga ao longo dos camódos de execução, degradando a latência de ponta a ponta e aumentando os custos operacionais. Além disso, ações agressivas de redução de escala (scale-down) podem desencadear cold starts, enquanto preditores de modelo único podem carecer de estabilidade sob variabilidade de carga de trabalho.

Metodologia

Os autores propõem um framework de autoescalonamento consciente de dependências que unifica a identificação de gargalos, a previsão de demanda de curto horizonte e o controle consciente de custos em um pipeline de ponta a ponta. O sistema opera através dos seguintes componentes:

1. Identificação de Gargalos Consciente de Dependências

As aplicações são modeladas como grafos de dependência direcionados, onde os nós representam funções (classes/arquivos) e as arestas representam relacionamentos de invocação.

Construção do Grafo: Um grafo bipartido ponderado é construído usando métricas de fan-in e fan-out para quantificar a intensidade da dependência.
Classificação de Gargalos: O framework computa a centralidade de grau ponderada para cada nó. Funções com alta centralidade são identificadas como gargalos estruturalmente influentes, propensos a amplificar a pressão da carga de trabalho.
Conjunto de Observação (Watch Set): Um "conjunto de observação" de funções de alto impacto top- $k$ é construído. O monitoramento, a previsão e as decisões de escalonamento são priorizados para este subconjunto em vez de tratar todas as funções de forma igual.

2. Previsão de Demanda de Múltiplos Modelos

Para as funções de gargalo identificadas, a demanda de recursos a curto prazo é prevista usando um ensemble de múltiplos modelos leve.

Modelos Supervisionados: Três arquiteturas de redes neurais complementares são empregadas:
- MLP (Perceptron Multicamadas): Captura relações não lineares em características agregadas.
- LSTM (Long Short-Term Memory): Modela dependências temporais em dados sequenciais de carga de trabalho.
- CNN (Rede Neural Convolucional): Extrai padrões locais de janelas deslizantes de entradas de séries temporais.
Baselines Não Supervisionados: Para avaliação comparativa, métodos não supervisionados (K-Means, SOM, PCA) são implementados, mas mostram-se insuficientes para gerar decisões de escalonamento estáveis sem supervisão.

3. Tomada de Decisão por Consenso Inspirada em Bayes

Para mitigar o viés de qualquer preditor único e melhorar a estabilidade sob deriva de carga de trabalho, o framework emprega um ensemble probabilístico ponderado pelo desempenho, inspirado na Média de Modelos Bayesianos (BMA).

Ponderação: Os pesos dos modelos são derivados do desempenho de validação (acurácia) e normalizados usando uma transformação softmax.
Agregação: A previsão de consenso final é uma média ponderada das saídas dos modelos individuais. Isso reduz a dependência de um único modelo e suaviza desvios extremos.

4. Controle Consciente de Custo e de Cold-Start

O controlador incorpora um mecanismo de comparação de custos para filtrar ações de escalonamento candidatas antes da execução.

Modelagem de Custo: O custo operacional é modelado como a soma dos custos de recursos base, custos de desperdício (over-provisioning) e custos de sobrecarga (under-provisioning/violações de SLA).
Consciência de Cold-Start: Ações de redução de escala (scale-down) que preveem um aumento na latência além dos limites de SLA (potencialmente desencadeando cold starts) incorrem em penalidades de sobrecarga mais altas, desencorajando o desprovisionamento agressivo.
Lógica de Decisão: Uma ação de escalonamento candidata (aumento de escala, redução de escala ou manutenção) é aceita apenas se o custo projetado estiver dentro de uma margem de tolerância do custo atual, garantindo justificativa econômica junto com a estabilidade de desempenho.

Principais Contribuições

O artigo descreve cinco contribuições primárias:

Pipeline Consciente de Dependências: Um controlador de ponta a ponta que acopla análise estrutural, previsão e atuação consciente de custo, indo além do escalonamento independente de funções.
Identificação de Gargalos Baseada em Grafos: Um método usando centralidade de grau em grafos de dependência direcionados para construir um conjunto de observação de funções de alto impacto para controle direcionado.
Previsão de Múltiplos Modelos Leves: O uso de modelos complementares MLP, LSTM e CNN para capturar diversos padrões de carga de trabalho mantendo baixo overhead de inferência.
Consenso Inspirado em Bayes: Um mecanismo de ensemble probabilístico que funde previsões baseadas no desempenho de validação para melhorar a robustez contra o viés específico do modelo.
Integração de Custo e Cold-Start: Uma política de escalonamento que equilibra explicitamente garantias de latência com eficiência operacional ao filtrar ações através de um passo de comparação de custos.

Resultados Experimentais

O framework foi avaliado usando traços de carga de trabalho reais e um conjunto de dados de dependência de software para simular grafos de invocação serverless.

Supervisionado vs. Não Supervisionado: Modelos de aprendizado supervisionado superaram significativamente o agrupamento não supervisionado. O modelo LSTM alcançou a maior acurácia (99,06%), seguido por MLP (98,75%) e CNN (98,50%). Em contraste, o melhor baseline não supervisionado (K-Means com t-SNE) alcançou apenas 49,5% de acurácia, demonstrando que a descoberta de padrões sozinha não pode recuperar confiavelmente a lógica de decisão de autoescalonamento.
Desempenho do Ensemble: O ensemble proposto, ponderado pelo desempenho, alcançou uma acurácia de 0,9988 (99,88%), superando baselines híbridos representativos (ex: MLP-LSTM, CNN-LSTM) e modelos de ML tradicionais. Também demonstrou menor Erro Absoluto Médio (MAE) e Erro Quadrático Médio (MSE) em comparação com esses baselines.
Eficiência de Custo: O controlador preditivo reduziu os custos totais de infraestrutura em várias plataformas comparado a um baseline reativo baseado em limiares:
- AWS Lambda: $\$ 0,70 \rightarrow $0,47$
- Google Cloud Run: $\$ 9,48 \rightarrow $6,36$
- Azure Functions: $\$ 0,68 \rightarrow $0,45$
- Container Genérico: $\$ 6,01 \rightarrow $4,03$
- Economia Total Agregada: $\$ 5,55$ em relação ao baseline.

Significância e Alegações

O artigo alega que a principal significância deste trabalho reside em seu design de sistema prático que integra três dimensões críticas frequentemente tratadas separadamente: análise de dependência, previsão baseada em ensemble e tomada de decisão consciente de custo.

Os autores afirmam que:

A Consciência Estrutural é Crítica: Ignorar as dependências entre funções leva a um escalonamento suboptimal; priorizar gargalos estruturalmente críticos produz um controle mais estável e eficiente.
Robustez do Ensemble: Um mecanismo de consenso de múltiplos especialistas, ponderado pelo desempenho, fornece estabilidade e acurácia superiores em comparação com arquiteturas híbridas monolíticas ou preditores de modelo único, particularmente sob variabilidade de carga de trabalho.
Viabilidade Econômica: Ao integrar a consciência de cold-start no modelo de custo, o framework alcança reduções de custo significativas sem comprometer as metas de SLA, provando que o escalonamento proativo e consciente de dependências é economicamente superior às abordagens reativas.

O estudo conclui que a previsão supervisionada supera substancialmente o agrupamento não supervisionado para gerar ações de autoescalonamento e que o framework proposto oferece uma solução robusta e economicamente eficiente para ambientes serverless práticos.