🤖 machine learning

An Auto-Scaling Approach for Serverless Environments Based on a Multi-Expert Consensus Mechanism

Este artículo propone un marco de autoescalado de servidor sin servidor consciente de las dependencias que integra la identificación de cuellos de botella basada en grafos, un mecanismo de pronóstico de consenso de modelos múltiples y un control consciente del costo para lograr una alta precisión de predicción, errores reducidos y menores costos de infraestructura mientras se mantienen los objetivos de rendimiento.

Autores originales: Mobina Kashaniyan, Mehrdad Ashtiani, Amirhossein Ghassemi

Publicado 2026-07-20

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Mobina Kashaniyan, Mehrdad Ashtiani, Amirhossein Ghassemi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el internet como una ciudad enorme y bulliciosa donde millones de diminutos e invisibles trabajadores —llamados "funciones"— corren para completar tareas en el momento en que haces clic en un botón. En los viejos tiempos, estos trabajadores vivían en grandes oficinas permanentes (servidores) que tenían que estar dotadas de personal las 24 horas del día, los 7 días de la semana, estuvieran ocupados o durmiendo. Pero una forma más nueva y astuta de construir el internet, llamada "computación sin servidor" (serverless computing), permite que estos trabajadores aparezcan solo cuando se necesitan y desaparezcan cuando terminan, ahorrando una fortuna en alquiler. Sin embargo, este sistema tiene un problema complicado: a veces la ciudad es golpeada por una oleada repentina y caótica de peticiones, como un flash mob. Si el sistema espera a ver a la multitud antes de contratar a más trabajadores, las primeras personas se quedan atrapadas esperando en la fila (un "arranque en frío" o "cold start"). Si contrata a demasiados muy rápido, desperdicia dinero. El verdadero rompecabezas es que estos trabajadores a menudo dependen unos de otros; si uno se queda atascado, toda la cadena de trabajo se detiene. Los investigadores están tratando de descubrir cómo predecir estas oleadas y contratar el número adecuado de trabajadores en el momento justo, sin desperdiciar dinero ni hacer esperar a la gente.

Este artículo presenta un nuevo y astuto "controlador de tráfico" para estas ciudades sin servidor. En lugar de observar cada trabajador individualmente, los autores sugieren mirar el mapa de la ciudad para encontrar las intersecciones más importantes. Tratan la aplicación como una red de conexiones, utilizando un truco matemático llamado "centralidad de grado" para detectar las pocas funciones que están conectadas con la mayor parte del sistema. Estos son los "cuellos de botella": las intersecciones concurridas donde es más probable que se produzcan atascos de tráfico. Una vez que identifican estos puntos críticos, el sistema no se limita a adivinar qué pasará después; le pide a tres "expertos" diferentes (modelos computacionales llamados MLP, LSTM y CNN) que predigan el tráfico. Cada experto ve los datos de manera diferente: uno observa patrones, otro secuencias temporales y el tercero detalles locales. En lugar de confiar en uno solo, el sistema utiliza un método de "consenso", similar a un jurado, donde los expertos votan basándose en qué tan bien se han desempeñado en el pasado. Esto crea una predicción estable y fiable. Finalmente, antes de realizar un movimiento, el sistema verifica el precio, asegurándose de que contratar a más trabajadores no costará demasiado y que despedir a los trabajadores no causará un retraso frío y costoso.

Los investigadores probaron esta idea utilizando trazas de datos del mundo real y descubrieron que su enfoque de "múltiples expertos" funciona significativamente mejor que los métodos anteriores. Descubrieron que confiar en un solo modelo de predicción es arriesgado, muy parecido a confiar en un solo pronosticador meteorológico. Al combinar los tres modelos diferentes, lograron una precisión de predicción de aproximadamente el 99.06% con su mejor modelo (LSTM), lo cual es una mejora enorme respecto a los métodos no supervisados anteriores que solo lograban una precisión del 49.5%. El estudio descarta explícitamente la idea de que el simple agrupamiento no supervisado (agrupar datos sin un maestro) sea suficiente para tomar buenas decisiones de escalado; los datos mostraron que estos métodos fallaron al capturar la dirección necesaria para saber cuándo escalar hacia arriba o hacia abajo. Además, el sistema demostró que, al centrarse solo en las funciones críticas de "cuello de botella" en lugar de en cada una de las funciones, podía tomar decisiones más inteligentes.

En términos de dinero, los resultados fueron bastante tangibles. Cuando los investigadores simularon su sistema en diferentes plataformas en la nube, ahorraron efectivo real. Por ejemplo, en AWS Lambda, el costo bajó de $0.70 a$ 0.47, y en Google Cloud Run, cayó de $9.48 a$ 6.36. En todos los casos, el sistema ahorró un total de $5.55 en comparación con un sistema reactivo estándar que simplemente espera a que ocurran los problemas. Los autores sugieren que este enfoque es una forma práctica de equilibrar la velocidad y el costo, pero advierten cuidadosamente que estos resultados provienen de simulaciones y experimentos en conjuntos de datos específicos, no de una solución permanente para cada escenario posible. También señalan que, aunque su método es robusto, todavía depende de la calidad de los datos con los que se alimenta. El artículo concluye que, si bien este sistema "consciente de las dependencias" es un paso firme hacia adelante, todavía hay espacio para crecer, quizás utilizando matemáticas aún más avanzadas como las redes neuronales de grafos o probándolo en plataformas reales y en vivo en el futuro.

Resumen Técnico: Un enfoque de escalado automático para entornos sin servidor basado en un mecanismo de consenso de múltiples expertos

Planteamiento del problema

La computación sin servidor (serverless) ofrece gestión automática de recursos y facturación por uso, pero el escalado automático efectivo sigue siendo un desafío debido a las cargas de trabajo con ráfagas, la latencia de arranque en frío (cold-start) y las complejas dependencias entre funciones. Los enfoques existentes suelen escalar las funciones de forma independiente o dependen de un único predictor, lo que puede derivar en una reducción de la robustez, ineficiencia de costos y la omisión de cuellos de botella estructuralmente críticos. Cuando ocurre una congestión en una sola función dentro de una cadena de dependencia, esta se propaga a lo largo de las rutas de ejecución, degradando la latencia de extremo a extremo y aumentando los costos operativos. Además, las acciones agresivas de reducción de escala pueden desencadenar arranques en frío, mientras que los predictores de modelo único pueden carecer de estabilidad ante la variabilidad de la carga de trabajo.

Metodología

Los autores proponen un marco de escalado automático consciente de las dependencias que unifica la identificación de cuellos de botella, el pronóstico de demanda de corto horizonte y el control consciente del costo en un flujo de trabajo de extremo a extremo. El sistema opera a través de los siguientes componentes:

1. Identificación de cuellos de botella consciente de las dependencias

Las aplicaciones se modelan como grafos de dependencia dirigidos donde los nodos representan funciones (clases/archivos) y las aristas representan relaciones de invocación.

Construcción del grafo: Se construye un grafo bipartito ponderado utilizando métricas de fan-in y fan-out para cuantificar la intensidad de la dependencia.
Clasificación de cuellos de botella: El marco calcula la centralidad de grado ponderada para cada nodo. Las funciones con alta centralidad se identifican como cuellos de botella estructuralmente influyentes que probablemente amplifiquen la presión de la carga de trabajo.
Conjunto de vigilancia (Watch Set): Se construye un "conjunto de vigilancia" de las $k$ funciones de alto impacto, priorizando la monitorización, el pronóstico y las decisiones de escalado para este subconjunto en lugar de tratar todas las funciones por igual.

2. Pronóstico de demanda multi-modelo

Para las funciones de cuello de botella identificadas, se predice la demanda de recursos a corto plazo utilizando un ensamble multi-modelo ligero.

Modelos supervisados: Se emplean tres arquitecturas de redes neuronales complementarias:
- MLP (Perceptrón Multicapa): Captura relaciones no lineales en características agregadas.
- LSTM (Memoria de Largo Corto Plazo): Modela dependencias temporales en datos secuenciales de carga de trabajo.
- CNN (Red Neuronal Convolucional): Extrae patrones locales de ventanas de tiempo deslizantes de entradas de series temporales.
Líneas base no supervisadas: Para la evaluación comparativa, se implementaron métodos no supervisados (K-Means, SOM, PCA), los cuales demostraron ser insuficientes para generar decisiones de escalado estables sin supervisión.

3. Toma de decisiones por consenso inspirado en el teorema de Bayes

Para mitigar el sesgo de cualquier predictor individual y mejorar la estabilidad bajo la deriva de la carga de trabajo, el marco emplea un ensamble probabilístico ponderado por rendimiento inspirado en el Promedio de Modelos Bayesianos (BMA).

Ponderación: Los pesos de los modelos se derivan del rendimiento de validación (precisión) y se normalizan mediante una transformación softmax.
Agregación: La predicción de consenso final es un promedio ponderado de las salidas de los modelos individuales. Esto reduce la dependencia de un solo modelo y suaviza las desviaciones extremas.

4. Control consciente del costo y del arranque en frío

El controlador incorpora un mecanismo de comparación de costos para filtrar las acciones de escalado candidatas antes de su ejecución.

Modelado de costos: El costo operativo se modela como la suma de los costos de recursos base, los costos de desperdicio (sobre-aprovisionamiento) y los costos de sobrecarga (sub-aprovisionamiento/violaciones de SLA).
Conciencia del arranque en frío: Las acciones de reducción de escala que predicen un aumento en la latencia más allá de los umbrales de SLA (lo que podría desencadenar arranques en frío) incurren en penalizaciones de sobrecarga más altas, desalentando el desaprovisionamiento agresivo.
Lógica de decisión: Una acción de escalado candidata (escalar hacia arriba, escalar hacia abajo o mantener) se acepta solo si el costo proyectado está dentro de un margen de tolerancia del costo actual, asegurando la justificación económica junto con la estabilidad del rendimiento.

Contribuciones clave

El artículo describe cinco contribuciones principales:

Pipeline consciente de las dependencias: Un controlador de extremo a extremo que acopla el análisis estructural, el pronóstico y la actuación consciente del costo, yendo más allá del escalado de funciones independientes.
Identificación de cuellos de botella basada en grafos: Un método que utiliza la centralidad de grado en grafos de dependencia dirigidos para construir un conjunto de vigilancia de funciones de alto impacto para un control dirigido.
Pronóstico multi-modelo ligero: El uso de modelos complementarios MLP, LSTM y CNN para capturar diversos patrones de carga de trabajo manteniendo un bajo costo de inferencia.
Consenso inspirado en el teorema de Bayes: Un mecanismo de ensamble probabilístico que fusiona predicciones basadas en el rendimiento de validación para mejorar la robustez contra el sesgo específico de los modelos.
Integración de costo y arranque en frío: Una política de escalado que equilibra explícitamente las garantías de latencia con la eficiencia operativa mediante el filtrado de acciones a través de un paso de comparación de costos.

Resultados experimentales

El marco fue evaluado utilizando trazas de carga de trabajo reales y un conjunto de datos de dependencias de software para simular grafos de invocación sin servidor.

Supervisado vs. No supervisado: Los modelos de aprendizaje supervisado superaron significativamente al agrupamiento (clustering) no supervisado. El modelo LSTM logró la mayor precisión (99.06%), seguido de MLP (98.75%) y CNN (98.50%). En contraste, la mejor línea base no supervisada (K-Means con t-SNE) logró solo un 49.5% de precisión, demostando que el descubrimiento de patrones por sí solo no puede recuperar de manera confiable la lógica de decisión de escalado automático.
Rendimiento del ensamble: El ensamble de rendimiento ponderado propuesto alcanzó una precisión de 0.9988 (99.88%), superando a las líneas base híbridas representativas (por ejemplo, MLP-LSTM, CNN-LSTM) y a los modelos de ML tradicionales. También demostró un Error Absoluto Medio (MAE) y un Error Cuadrático Medio (MSE) más bajos en comparación con estas líneas base.
Eficiencia de costos: El controlador predictivo redujo los costos totales de infraestructura en múltiples plataformas en comparación con una línea base reactiva basada en umbrales:
- AWS Lambda: $\$ 0.70 \rightarrow $0.47$
- Google Cloud Run: $\$ 9.48 \rightarrow $6.36$
- Azure Functions: $\$ 0.68 \rightarrow $0.45$
- Contenedor genérico: $\$ 6.01 \rightarrow $4.03$
- Ahorro agregado total: $\$ 5.55$ respecto a la línea base.

Significado y afirmaciones

El artículo afirma que la principal significancia de este trabajo reside en su diseño de sistema práctico que integra tres dimensiones críticas que a menudo se tratan por separado: el análisis de dependencias, el pronóstico basado en ensambles y la toma de decisiones consciente del costo.

Los autores sostienen que:

La conciencia estructural es crítica: Ignorar las dependencias entre funciones conduce a un escalado subóptimo; priorizar los cuellos de botella estructuralmente críticos produce un control más estable y eficiente.
Robustez del ensamble: Un mecanismo de consenso multi-experto, ponderado por rendimiento, proporciona una estabilidad y precisión superiores en comparación con las arquitecturas híbridas monolíticas o los predictores de modelo único, particularmente bajo la variabilidad de la carga de trabajo.
Viabilidad económica: Al integrar la conciencia del arranque en frío en el modelo de costo, el marco logra reducciones de costos significativas sin comprometer los objetivos de SLA, demostando que el escalado proactivo y consciente de las dependencias es económicamente superior a los enfoques reactivos.

El estudio concluye que el pronóstico supervisado supera sustancialmente al agrupamiento no supervisado para generar acciones de escalado automático y que el marco propuesto ofrece una solución robusta y económicamente eficiente para entornos prácticos sin servidor.