Adaptive constrained reinforcement learning for energy-aware scheduling under changing load

Resumen Técnico: Aprendizaje por Refuerzo Adaptativo con Restricciones para la Programación Consciente de la Energía

Planteamiento del Problema
Los programadores conscientes de la energía deben equilibrar dos objetivos conflictivos: minimizar el consumo de energía y mantener la capacidad de respuesta (cumplir con los objetivos de latencia o los Objetivos de Nivel de Servicio, SLO). El enfoque dominante en la literatura reciente utiliza el Aprendizaje por Refuerzo (RL) para aprender este compromiso mediante la escalarización de los objetivos en una única recompensa ponderada (por ejemplo, una suma ponderada de la energía y la penalización por latencia).

Los autores identifican un fallo estructural crítico en este enfoque escalarizado: la deriva del punto de operación. Un peso de recompensa fijo corresponde a un compromiso específico, pero el punto de operación resultante (el equilibrio real entre energía y latencia) no es estable; se desplaza a medida que cambia la carga de trabajo.

• Bajo carga: Un peso fijo a menudo deja al procesador funcionando más rápido de lo necesario, desperdiciando energía porque el presupuesto de latencia está infrautilizado.
• Bajo carga pesada: El mismo peso no logra proporcionar la velocidad suficiente, causando que el sistema se desvíe silenciosamente más allá del objetivo de latencia, acumulando violaciones.
  En consecuencia, ningún peso fijo único puede mantener un objetivo de violación específico a través de un rango de cargas cambiantes.

Metodología: CLASP
El artículo presenta CLASP (Constrained Lagrangian Adaptive Scheduling Policy), un programador que trata la tasa de violación de latencia como una restricción explícita en lugar de un componente de la recompensa. El método aborda dos desafíos principales al aplicar RL con restricciones a la programación: la sensibilidad de las actualizaciones de las variables duales y la no estacionariedad de las cargas de trabajo.

1. Formulación con Restricciones: El problema se modela como un Proceso de Decisión de Markov con Restricciones (CMDP). El objetivo es minimizar la potencia esperada sujeto a una restricción de que la tasa de violación a largo plazo permanezca por debajo de un objetivo $\epsilon$ (por ejemplo, 5%).
2. Control Dual Adaptativo (PID): En lugar de utilizar el ascenso de gradiente estándar para actualizar el multiplicador de Lagrange (el "precio" de las violaciones), CLASP emplea un controlador Proporcional-Integral-Derivativo (PID). Este controlador ajusta el precio $\lambda$ basándose en el error entre la tasa de violación observada y el objetivo. Esto estabiliza la variable dual, evitando las oscilaciones comunes en las actualizaciones ingenuas y permitiendo que el precio se asiente en el valor requerido por la carga actual.
3. Condicionamiento del Precio: Para manejar cargas de trabajo no estacionarias, la política aprendida se condiciona a la presión de la restricción actual (el precio $\lambda$) y a una estimación de la carga. El espacio de estados se aumenta con un contenedor discretizado del precio actual. Esto permite que una única política adapte su comportamiento (por ejemplo, volviéndose más conservadora o agresiva) basándose en la señal de precio, abarcando efectivamente todo el rango de puntos de operación requeridos por diferentes cargas.

Contribuciones Clave

• Identificación de la Deriva: Los autores cuantifican la deriva del punto de operación de los programadores escalarizados, demostrando que ningún peso de recompza fijo en un barrido probado puede mantener un objetivo de violación del 5% a través de cargas que van desde niveles ligeros hasta la saturación cercana.
• Actualizaciones Duales Estabilizadas: La integración de un controlador PID para el multiplicador de Lagrange logra amortiguar las oscilaciones y permite que el precio converja al nivel necesario para la carga actual.
• Condicionamiento de la Política: El artículo demuestra que condicionar la política al valor dual es esencial para que una única política funcione correctamente a través de diversas cargas, resolviendo el problema de la no estacionariedad sin necesidad de reentrenamiento.

Resultados
Los experimentos se realizaron en un entorno simulado de un solo servidor con velocidad ajustable (modelando DVFS) y llegadas de trabajos distribuidas según Poisson.

• Seguimiento de Objetivos: CLASP rastreó con éxito un objetivo de violación del 5% a través de cargas de llegada de 1.5 a 3.0 trabajos/paso. Incluso cerca de la saturación (carga 3.5), donde el objetivo es difícil de satisfacer, CLASP se degradó gradualmente a ~6.9%, mientras que las políticas de peso fijo derivaron significativamente (por ejemplo, un peso equilibrado derivó de un 3% a un 31% de violaciones).
• Eficiencia Energética: Comparado con una línea base de "correr a la máxima velocidad" (que siempre cumple, pero es ineficiente energéticamente), CLASP utilizó aproximadamente un 50% menos de potencia modelada en promedio. Con cargas ligeras, los ahorros fueron de hasta un 70%; con cargas pesadas, los ahorros fueron de alrededor del 20%.
• Adaptación No Estacionaria: En experimentos con cambios abruptos en la carga de trabajo, el controlador PID ajustó el precio en línea, devolviendo la tasa de violación al objetivo tras breves transitorios.
• Estudios de Ablación: Eliminar el controlador PID (fijando el precio) resultó en un comportamiento excesivamente conservador con cargas bajas y violaciones de restricciones con cargas altas. Eliminar el condicionamiento del precio causó que la política no pudiera adaptarse a diferentes niveles de precio, provocando una deriva significativa. Ambos componentes fueron confirmados como necesarios.

Significancia y Reivindicaciones
El artículo argumenta que la dificultad central al aprender programadores conscientes de la energía no es encontrar un buen compromiso, sino mantener ese compromiso estable a medida que las condiciones cambian.

• Cambio de Enfoque: El trabajo propone un cambio de "ajustar un peso" (que codifica un compromiso frágil) a "rastrear un resultado" (una tasa de violación acotada).
• Controlabilidad: Al convertir el objetivo de servicio en una restricción explícita y controlar su precio mediante retroalimentación, el punto de operación se convierte en una cantidad controlada en lugar de una emergente y errante.
• Generalizabilidad: Los autores sugieren que este patrón —reemplazar recompensas escalarizadas con formulaciones basadas en restricciones utilizando precios controlados por retroalimentación— es aplicable dondequiera que una política aprendida deba honrar un objetivo de servicio bajo condiciones cambiantes, como el control de admisión de red o la gestión de energía de dispositivos periféricos (edge).

Limitaciones
Los autores señalan que los resultados se basan en una simulación de un solo servidor en tiempo discreto con un agente de Q-learning tabular. Los valores de potencia son modelados, no medidos en hardware. El estudio aísla el mecanismo de restricción, y se requiere trabajo futuro para validar estos hallazgos en bancos de pruebas de hardware y para extender el enfoque a RL profundo, trabajos heterogéneos y entornos de múltiples servidores.