💻 computer science

Joint Scheduling and Resource Allocation in Heterogeneous Queuing Systems with Bursty Traffic: A Constrained Soft Actor-Critic Approach

Este artículo propone un enfoque de Actor-Crítico Suave Restringido (CSAC) que desacopla las restricciones estrictas de retardo de la función de recompensa y emplea un mecanismo de mapeo de dos etapas para maximizar eficazmente la utilidad del rendimiento mientras minimiza las violaciones de retardo en sistemas de colas heterogéneos con tráfico de ráfagas, superando tanto al aprendizaje no restringido como a los modelos heurísticos de referencia.

Autores originales: Ao Fang, Jianyu Cao, Weihua Qian

Publicado 2026-09-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ao Fang, Jianyu Cao, Weihua Qian

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En las autopistas invisibles de la comunicación moderna, los datos viajan en paquetes, esperando en filas para cruzar un puente compartido. Este puente, un enlace de red, tiene un límite sobre cuánto puede transportar en un solo momento. Cuando llegan demasiados paquetes a la vez, deben formar una cola, y si la fila crece demasiado o espera demasiado tiempo, los datos se vuelven inútiles. Este es el problema fundamental de la programación de redes: cómo decidir qué paquete tiene prioridad para cruzar el puente cuando múltiples filas compiten por el espacio. El desafío se intensifica cuando el tráfico es impredecible, surgiendo en ráfagas repentinas, y cuando diferentes tipos de datos tienen diferentes necesidades. Algunos datos, como una videollamada en vivo o una alarma de emergencia, no pueden tolerar ni un momento de retraso, mientras que otros datos, como la descarga de un archivo, pueden esperar un poco más. El objetivo para los ingenieros de redes es mantener el puente lo suficientemente ocupado para ser eficiente, pero lo suficientemente organizado para asegurar que los mensajes más urgentes nunca se queden atrapados en una larga fila.

Investigadores de la Universidad de Tecnología Electrónica de Guilin han abordado este problema diseñando una nueva forma de gestionar estas filas de datos en competencia. Se centraron en un sistema donde varias colas, cada una con su propio nivel de prioridad, comparten un único enlace de salida. En su configuración, una cola transporta un tipo especial de tráfico que llega en ráfagas impredecibles y tiene una regla estricta: sus paquetes no deben esperar más de un tiempo específico. Las otras colas transportan tráfico menos urgente que puede esperar más tiempo, pero el sistema aún necesita mantenerlos en movimiento. La dificultad radica en que la capacidad del enlace cambia constantemente, y el tráfico por ráfagas puede abrumar al sistema en un instante. Los métodos tradicionales, que dependen de reglas fijas, a menudo no reaccionan con la rapidez suficiente ante estos cambios repentinos. Mientras tanto, los métodos más nuevos que utilizan inteligencia artificial para aprender a gestionar el tráfico suelen hacer un compromiso peligroso: podrían dejar que los paquetes urgentes esperen demasiado tiempo solo para mantener el sistema general moviéndose más rápido.

Para resolver esto, el equipo desarrolló un nuevo enfoque basado en un tipo de inteligencia artificial llamada actor-crítico suave restringido (constrained soft actor-critic). En lugar de simplemente decirle a la IA que maximice la cantidad total de datos enviados, le dieron un presupuesto estricto y separado para cuántas veces la cola urgente podría violar su límite de tiempo. Piense en esto como darle a un conductor una regla estricta sobre cuántas veces puede pasarse un semáforo en rojo, separada de su objetivo de llegar al destino rápidamente. La IA aprende a equilibrar la necesidad de velocidad con el límite estricto de retrasos. Una parte clave de su diseño es un proceso de dos pasos que traduce las decisiones continuas y fluidas de la IA en números enteros concretos de paquetes para enviar. Esto asegura que el sistema pueda realmente ejecutar el plan sin quedarse estancado en cálculos teóricos. Los investigadores probaron este método en un entorno simulado que imitaba las condiciones del mundo real, incluyendo una cola de alta prioridad con tráfico por ráfagas y dos colas de menor prioridad con tráfico constante.

Los resultados mostraron una clara ventaja para el nuevo método. En sus simulaciones, los métodos tradicionales de reglas fijas no lograron proteger el tráfico urgente, permitiendo que el límite de retraso se rompiera casi el 18 por ciento del tiempo con un método y más del 34 por ciento con otro. Incluso un enfoque de IA estándar sin la restricción estricta rompió la regla casi el 8 por ciento de las veces. En contraste, el nuevo enfoque restringido mantuvo la tasa de violación para la cola urgente en una fracción minúscula, promediando solo el 0.05 por ciento, con muy poca variación entre las diferentes ejecuciones de prueba. Crucialmente, esta protección estricta no se produjo a expensas del otro tráfico. El sistema mantuvo una alta eficiencia, enviando casi la misma cantidad de datos que los otros métodos, y de hecho redujo el número de paquetes que se descartaban porque las líneas estaban demasiado llenas. Las colas de menor prioridad también experimentaron tiempos de espera más cortos en comparación con el método de IA estándar.

El estudio demuestra que, al separar las reglas de seguridad estrictas del objetivo general de eficiencia, un sistema de IA puede aprender a gestionar el tráfico complejo e impredecible de manera mucho más efectiva que los métodos anteriores. Los investigadores encontraron que su enfoque logró prevenir que los datos más críticos se retrasaran, manteniendo al mismo tiempo todo el sistema funcionando sin problemas. Esto sugiere que para las redes que manejan tráfico mixto, donde algunos datos son vitales y otros no, el uso de un modelo de aprendizaje restringido es un camino viable hacia el futuro. El trabajo confirma que es posible tener tanto alta velocidad como una fiabilidad estricta, siempre que el sistema esté diseñado para tratar los límites de seguridad como un presupuesto separado y no negociable, en lugar de solo otro factor a equilibrar.

Resumen Técnico: Programación Conjunta y Asignación de Recursos en Sistemas de Colas Heterogéneos con Tráfico de Ráfagas (Bursty Traffic)

Planteamiento del Problema
El artículo aborda el desafío de la programación conjunta y la asignación de recursos en sistemas de colas heterogéneos donde múltiples colas con distintas prioridades y requisitos de retardo compiten por un único enlace de salida variable en el tiempo. El sistema se caracteriza por llegadas estocásticas de paquetes (incluyendo tráfico de ráfagas modelado mediante procesos de Poisson modulados por Markov) y una capacidad de enlace fluctuante. El objetivo central es maximizar la utilidad del rendimiento (throughput) del sistema cumpliendo estrictamente con las restricciones de retardo por cola.

Existe una tensión fundamental en este problema: priorizar el tráfico de alta prioridad reduce su retardo pero corre el riesgo de dejar sin recursos (starvation) a las colas de menor prioridad, mientras que la programación orientada al rendimiento puede permitir que los paquetes de alta prioridad excedan su retardo máximo permitido. Los métodos heurísticos convencionales (por ejemplo, reglas de peso fijo o basadas en el backlog) carecen de reactividad en tiempo real ante transiciones abruptas de modo de tráfico o fluctuaciones en la capacidad del enlace. Por el contrario, los métodos de aprendizaje no restringidos que codifican los requisitos de retardo en una recompensa escalar tienden a sacrificar el cumplimiento de los plazos por obtener mayores recompensas acumuladas, fallando en garantizar límites de retardo estrictos durante los periodos de ráfagas.

Metodología: Actor-Crítico Suave Restringido (CSAC)
Los autores proponen un enfoque de Actor-Crítico Suave Restringido (CSAC), diseñado específicamente para sistemas de colas heterogéneos (CSAC-HQS), para abordar estas limitaciones. La metodología se basa en dos innovaciones de diseño primarias:

Formulación de Restricción Desacoplada:
A diferencia de los enfoques estándar que integran las violaciones de retardo en la función de recompensa mediante pesos ajustados manualmente, el método propuesto trata la restricción de retardo de la cola de mayor prioridad como una señal de restricción independiente.

Función de Recompensa: Se enfoca en maximizar la utilidad del rendimiento y penalizar las violaciones para las colas de menor prioridad (best-effort) y las pérdidas de paquetes.
Señal de Restricción: La violación de retardo de la cola de alta prioridad se trata como una señal de costo ( $c_t$ ) separada de la recompensa. La política se optimiza para satisfacer un presupuesto de violación a largo plazo ( $J_C^{ep} \leq d_c$ ) utilizando un multiplicador de Lagrange ( $\lambda$ ).
Arquitectura: El sistema emplea una red de crítico de recompensa doble para estimar las recompensas acumuladas y una red de crítico de restricción separada para estimar el riesgo esperado de violación de retardo acumulado. La red del actor se actualiza mediante una pérdida de Lagrange que equilibra la maximización de la recompensa frente a la penalización de la restricción.

Mapeo de Acción Continuo-a-Discreto en Dos Etapas:
Dado que el algoritmo Soft Actor-Critic (SAC) subyacente opera en espacios de acción continuos, pero el sistema de colas requiere cuotas de transmisión enteras, se introduce un mecanismo de mapeo específico:

Etapa 1 (Logits a Pesos): El actor genera logits continuos, que son agudizados por un factor $\beta$ y pasan a través de una función softmax con máscara para generar pesos de asignación normalizados. La máscara asegura que las colas vacías reciban un peso de cero.
Etapa 2 (Pesos a Cuotas): Estos pesos se convierten en cuotas de transmisión enteras. El proceso implica calcular las asignaciones ideales, aplicar la función suelo (floor) y distribuir la capacidad residual basándose en la regla del mayor remanente, priorizada por el índice de la cola. Un mecanismo de recorte recursivo asegura que las cuotas nunca excedan el backlog actual de ninguna cola.

Configuración Experimental
El enfoque fue evaluado en un sistema con tres colas:

Cola 0: Prioridad más alta, que transporta tráfico de ráfagas (MMPP) con un requisito estricto de tasa de violación de retardo (máximo 1% de violación).
Colas 1 y 2: Menor prioridad, que transportan tráfico Poisson independiente con requisitos de retardo de tipo "best-effort".
Líneas Base (Baselines): El método propuesto se comparó contra:
- Estático: Una heurística de round-robin de peso fijo.
- Dinámico: Una heurística que asigna recursos proporcionalmente a las longitudes de cola instantáneas.
- SAC sin restricciones: Un baseline estándar de SAC sin manejo explícito de restricciones (las penalizaciones de retardo se incluyeron en la recompensa escalar).

Resultados Clave
Los resultados experimentales demuestran mejoras significativas en el cumplimiento de las restricciones de retardo estrictas sin sacrificar el rendimiento general del sistema:

Tasa de Violación de Retardo (Cola 0): El CSAC-HQS propuesto (con factor de agudización $\beta=5$ ) redujo la tasa de violación de retardo a 0.05% ± 0.09%, muy por debajo del objetivo del 1%. En contraste, el SAC sin restricciones alcanzó un 7.87% ± 5.98%, mientras que las heurísticas Estática y Dinámica resultaron en 18.38% y 34.28% respectivamente. Aunque el CSAC-HQS ( $\beta=1$ ) logró una tasa de violación media del 0.91%, su desviación estándar de 1.30% resulta en un límite superior que excede el objetivo del 1%; solo la variante $\beta=5$ cumplió consistentemente la restricción en todas las semillas aleatorias (media + desviación < 1.0%).
Estabilidad: El enfoque CSAC mostró una varianza significativamente menor entre las semillas aleatorias en comparación con el SAC sin restricciones, lo que indica una optimización de política más estable.
Rendimiento (Throughput) y Desempeño de Prioridad Baja: El método propuesto mantuvo niveles de rendimiento comparables a los del SAC sin restricciones y las heurísticas. También logró menores retardos de cola promedio para las colas de mejor esfuerzo (1 y 2) en comparación con el SAC sin restricciones.
Pérdida de Paquetes: El enfoque CSAC redujo el conteo de paquetes desbordados para las colas de menor prioridad en comparación con el SAC sin restricciones y la línea base Estática.

Significancia y Reivindicaciones
El artículo sostiene que el enfoque CSAC propuesto resuelve eficazmente el compromiso entre maximizar el rendimiento y satisfacer las estrictas restricciones de retardo en entornos heterogéneos y de ráfagas. La significancia radica en:

Manejo Explícito de Restricciones: Al desacoplar la restricción de retardo de alta prioridad de la recompensa, el método asegura que el cumplimiento de los plazos no se sacrifique por la maximización de la recompensa agregada, un modo de fallo común en el aprendizaje por refuerzo sin restricciones.
Discretización de la Acción: El mecanismo de mapeo de dos etapas permite que las redes de política continua (SAC) ejecuten directamente decisiones de programación discretas e enteras sin artefactos de post-procesamiento, asegurando la realizabilidad física.
Robustez: El enfoque demuestra robustez frente a las ráfagas de tráfico estocástico y las fluctuaciones de capacidad del enlace, superando tanto a las heurísticas fijas como a las líneas base de aprendizaje estándar en el mantenimiento de las garantías de Calidad de Servicio (QoS).

Los autores concluyen que este marco proporciona una solución viable para la diferenciación de QoS en entornos de red complejos, tales como el slicing de red 5G e IoT industrial, donde coexisten el tráfico de ráfagas y los requisitos de latencia estrictos. Se sugiere como trabajo futuro extender esto a escenarios con múltiples colas de ráfagas e integrar el control de admisión.

Más como este