Resumen Técnico: ¿Cuándo supera el RL profundo a las líneas base calibradas?

Enunciado del Problema

El control adaptativo de recursos —asignar recursos de computación a cargas de trabajo dinámicas mientras se adhieren a objetivos de costo y nivel de servicio (SLO)— es un problema crítico de toma de decisiones en la computación en la nube. Aunque el Aprendizaje por Refuerzo Profundo (DRL) se ha aplicado cada vez más a este dominio, la literatura existente presenta conclusiones contradictorias sobre su eficacia en comparación con los controladores basados en reglas tradicionales. Algunos estudios afirman reducciones significativas de costos, mientras que otros encuentran que los métodos basados en reglas siguen siendo competitivos.

Los autores atribuyen esta inconsistencia a tres brechas sistémicas en las prácticas de investigación actuales:

1. Líneas base no calibradas: Las comparaciones a menudo utilizan controladores basados en reglas mal ajustados (por ejemplo, escaladores automáticos de umbral simple), donde las ganancias aparentes del RL reflejan la debilidad de la línea base y no la superioridad algorítmica.
2. Informes de una sola semilla: El entrenamiento de DRL exhibe una alta varianza entre semillas aleatorias. Las evaluaciones basadas en ejecuciones individuales a menudo caen dentro del margen de ruido, lo que hace que las clasificaciones de referencia sean poco fiables.
3. Cobertura estrecha de cargas de trabajo: La mayoría de los estudios evalúan uno o dos patrones de tráfico (por ejemplo, diurnos o explosivos), generando conclusiones que no se generalizan a entornos de producción diversos o a cambios de distribución.

Metodología: RLSCALE-BENCH

Para abordar estas brechas, los autores introducen RLSCALE-BENCH, un protocolo de referencia y evaluación reproducible instanciado en el Escalamiento Automático Horizontal de Pods (HPA) de Kubernetes. La referencia evalúa seis algoritmos principales de DRL frente a una línea base basada en reglas rigurosamente calibrada a través de seis patrones de carga de trabajo distintos y cinco semillas aleatorias (un total de 240 ejecuciones de evaluación).

Entorno y Configuración

• Tarea: El agente gestiona la cantidad de réplicas de pods para un servicio que maneja flujos de solicitudes dinámicos.
• Espacio de estados: Un vector de 6 dimensiones que incluye utilización de CPU, uso de memoria, tasa de solicitudes, latencia p95, tasa de errores y cantidad actual de réplicas.
• Espacio de acciones: Cambios discretos en la cantidad de réplicas $\{-2, -1, 0, +1, +2\}$. Los algoritmos de acción continua (SAC, TD3, DDPG) se envuelven para mapear salidas continuas a estos contenedores discretos.
• Función de recompensa: Una composición del costo de infraestructura (USD por réplica) y una penalización por violaciones de SLO (umbral de latencia o tasa de errores > 5%).
• Cargas de trabajo: Seis patrones que abarcan la diversidad de producción: Constante, Periódico, Variable (paseo aleatorio), Explosivo (picos de Poisson), Ascenso (aumento lineal) y Flash (pico repentino de 3x).

Algoritmos y Líneas Base

• Agentes DRL: PPO, DQN, A2C (acción discreta); SAC, TD3, DDPG (acción continua). Todos comparten arquitecturas MLP idénticas ($[256, 256]$) y un presupuesto de entrenamiento coincidente de 50.000 pasos de tiempo.
• Línea base calibrada: Un HPA de Kubernetes fiel a la producción ajustado a un objetivo de utilización de CPU del 70% con límites de sujeción realistas e intervalos de decisión.
• Línea base aleatoria: Una política aleatoria uniforme que establece un límite inferior de rendimiento.

Protocolo de Evaluación

Los modelos se evalúan en los seis tipos de cargas de trabajo durante 240 pasos de decisión. Las métricas incluyen el costo total de infraestructura, las violaciones totales de SLO y la cantidad media de réplicas, informadas con media $\pm$ desviación estándar a través de cinco semillas. Un estudio de cambio de distribución entrena agentes en la carga de trabajo "Variable" y los despliega en las otras cinco sin reentrenamiento.

Resultados Clave

1. Las líneas base calibradas superan al RL en costo

Contrariamente a la suposición de que el DRL reduce inherentemente los costos, la línea base HPA calibrada logró el costo de infraestructura más bajo en las seis cargas de trabajo. Mantuvo menos réplicas en promedio (2,0–3,0) en comparación con los agentes de RL (2,7–3,8) mientras lograba un cumplimiento razonable de los SLO.

2. Desajuste entre acciones discretas y continuas

Existe una brecha de rendimiento dramática entre las familias de algoritmos debido al desajuste del espacio de acciones:

• Los algoritmos discretos (PPO, DQN, A2C) superaron significativamente a los algoritmos continuos (SAC, TD3, DDPG) en términos de violaciones de SLO, a menudo por uno o dos órdenes de magnitud.
• Los algoritmos continuos sufrieron de "aliasing de recompensa" causado por el envoltorio de discretización: mesetas de recompensa planas dentro de los contenedores llevaron a gradientes cercanos a cero, mientras que los bordes de los contenedores causaron saltos de alta varianza.
• DDPG específicamente convergió a una política degenerada de réplica única, minimizando el costo pero incurriendo en violaciones catastróficas de SLO (300–989 por carga de trabajo).

3. Ningún algoritmo único domina

Las clasificaciones de algoritmos dependen altamente de la carga de trabajo. Ningún algoritmo DRL único mantuvo una clasificación consistente en todos los patrones. Por ejemplo, SAC destacó en cargas de trabajo variables pero tuvo un rendimiento deficiente en tráfico de ascenso, mientras que PPO mostró la clasificación más estable (2.º–3.º).

4. Cambio de distribución y el "impuesto de transferencia"

Cuando se entrenaron en la carga de trabajo "Variable" y se desplegaron en distribuciones desplazadas:

• PPO se generalizó bien a patrones de estado estable (Constante, Periódico, Ascenso) con cero violaciones, pero tuvo dificultades con el tráfico de cola pesada (Explosivo, Flash), mostrando una reducción del 54% en violaciones en comparación con HPA en tráfico explosivo, pero a un costo un 24% más alto.
• SAC demostró robustez en cargas de trabajo dinámicas, pero a costa de un uso de recursos sistemáticamente más alto.
• El HPA calibrado incurrió en ningún impuesto de transferencia porque su política es una función fija de la utilización actual, evitando el sobreajuste a una distribución de entrenamiento específica.

Significado y Contribuciones

El artículo desafía la narrativa predominante de que el RL profundo supera de manera directa al control basado en reglas en la gestión de recursos. Los autores argumentan que el cuello de botella en el control de recursos basado en RL no es la selección de algoritmos, sino más bien:

1. Calibración de la línea base: Los controladores basados en reglas debidamente ajustados son competidores sorprendentemente fuertes y no deben tratarse como hombres de paja.
2. Ingeniería de recompensas: La elección del espacio de acciones (discreto vs. continuo) y el diseño de recompensas es crítica; los espacios de acciones desajustados pueden llevar a fallos catastróficos.
3. Protocolos de evaluación: Las referencias deben incluir evaluación de cambio de distribución e informes de múltiples semillas para reflejar los desafíos de implementación en el mundo real.

Contribuciones Clave:

• C1: Un protocolo de referencia de múltiples algoritmos con presupuesto coincidente que elimina confusores de implementación.
• C2: Una línea base HPA calibrada que sirve como comparador fuerte y realista.
• C3: Una evaluación estadísticamente rigurosa (240 ejecuciones, 5 semillas, 6 cargas de trabajo) con barras de error.
• C4: Un estudio de generalización de cambio de distribución que revela la inestabilidad del algoritmo bajo desplazamientos de implementación.
• C5: Tres hallazgos contra intuitivos que demuestran que las líneas base calibradas a menudo ganan en costos, las acciones discretas son superiores para recursos indivisibles y ningún algoritmo de RL único domina todas las cargas de trabajo.

Los autores concluyen que el progreso en este campo requiere ir más allá de la novedad del algoritmo hacia una mejor ingeniería de recompensas, calibración del entorno y protocolos de evaluación que reflejen las restricciones del mundo real. Liberan la suite completa de referencia, los modelos entrenados y los datos de evaluación para apoyar estos objetivos.