💻 computer science

Joint Scheduling and Resource Allocation in Heterogeneous Queuing Systems with Bursty Traffic: A Constrained Soft Actor-Critic Approach

Este artigo propõe uma abordagem de Soft Actor-Critic Restrito (CSAC) que desacopla restrições rigorosas de atraso da função de recompensa e emprega um mecanismo de mapeamento de dois estágios para maximizar efetivamente a utilidade de vazão enquanto minimiza violações de atraso em sistemas de filas heterogêneos com tráfego intermitente, superando tanto o aprendizado não restrito quanto as linhas de base heurísticas.

Autores originais: Ao Fang, Jianyu Cao, Weihua Qian

Publicado 2026-09-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ao Fang, Jianyu Cao, Weihua Qian

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Nas rodovias invisíveis da comunicação moderna, os dados viajam em pacotes, esperando em filas para atravessar uma ponte compartilhada. Esta ponte, um link de rede, tem um limite de quanto pode carregar em um único momento. Quando muitos pacotes chegam ao mesmo tempo, eles devem se enfileirar e, se a fila crescer demais ou esperar por muito tempo, os dados tornam-se inúteis. Este é o problema fundamental do escalonamento de rede: como decidir qual pacote atravessa a ponte primeiro quando múltiplas filas competem pelo espaço. O desafio intensifica-se quando o tráfego é imprevisível, surgindo em surtos repentinos, e quando diferentes tipos de dados têm necessidades diferentes. Alguns dados, como uma chamada de vídeo ao vivo ou um alarme de emergência, não podem tolerar nem mesmo um momento de atraso, enquanto outros dados, como o download de um arquivo, podem esperar um pouco mais. O objetivo para os engenheiros de rede é manter a ponte ocupada o suficiente para ser eficiente, mas organizada o suficiente para garantir que as mensagens mais urgentes nunca fiquem presas em uma longa fila.

Pesquisadores da Universidade de Tecnologia Eletrônica de Guilin abordaram este problema projetando uma nova maneira de gerenciar essas filas de dados concorrentes. Eles focaram em um sistema onde várias filas, cada uma com seu próprio nível de prioridade, compartilham um único link de saída. Em sua configuração, uma fila carrega um tipo especial de tráfego que chega em surtos imprevisíveis e tem uma regra estrita: seus pacotes não devem esperar mais do que um tempo específico. As outras filas carregam tráfego menos urgente que pode esperar mais, mas o sistema ainda precisa mantê-las em movimento. A dificuldade reside no fato de que a capacidade do link muda constantemente, e o tráfego de surtos pode sobrecarregar o sistema em um instante. Métodos tradicionais, que dependem de regras fixas, muitas vezes falham em reagir rapidamente a essas mudanças repentinas. Enquanto isso, métodos mais novos que usam inteligência artificial para aprender como gerenciar o tráfego frequentemente fazem uma troca perigosa: eles podem deixar os pacotes urgentes esperarem demais apenas para manter o sistema geral movendo-se mais rápido.

Para resolver isso, a equipe desenvolveu uma nova abordagem baseada em um tipo de inteligência artificial chamado ator-crítico suave restrito (constrained soft actor-critic). Em vez de simplesmente dizer à IA para maximizar a quantidade total de dados enviados, eles deram a ela um orçamento rigoroso e separado para o quão frequentemente a fila urgente poderia violar seu limite de tempo. Pense nisso como dar a um motorista uma regra estrita sobre quantas vezes ele pode avançar um sinal vermelho, separada do seu objetivo de chegar ao destino rapidamente. A IA aprende a equilibrar a necessidade de velocidade com o limite rígido de atrasos. Uma parte fundamental de seu design é um processo de duas etapas que traduz as decisões contínuas e fluidas da IA em números inteiros concretos de pacotes a serem enviados. Isso garante que o sistema possa realmente executar o plano sem ficar preso em cálculos teóricos. Os pesquisadores testaram este método em um ambiente simulado que imitava condições do mundo real, incluindo uma fila de alta prioridade com tráfego de surtos e duas filas de menor prioridade com tráfego constante.

Os resultados mostraram uma vantagem clara para o novo método. Em suas simulações, os métodos tradicionais de regra fixa falharam em proteger o tráfego urgente, permitindo que o limite de atraso fosse quebrado quase 18 por cento das vezes com um método e mais de 34 por cento com outro. Mesmo uma abordagem de IA padrão sem a restrição estrita quebrou a regra quase 8 por cento das vezes. Em contraste, a nova abordagem restrita manteve a taxa de violação para a fila urgente em uma fração minúscula, com média de apenas 0,05 por cento, com pouca variação entre as diferentes execuções de teste. Crucialmente, essa proteção estrita não veio à custa do outro tráfego. O sistema manteve alta eficiência, enviando quase a mesma quantidade de dados que os outros métodos, e na verdade reduziu o número de pacotes que eram descartados porque as linhas estavam muito cheias. As filas de menor prioridade também experimentaram tempos de espera mais curtos em comparação com o método de IA padrão.

O estudo demonstra que, ao separar as regras de segurança estritas do objetivo geral de eficiência, um sistema de IA pode aprender a gerenciar o tráfego complexo e imprevisível de forma muito mais eficaz do que os métodos anteriores. Os pesquisadores descobriram que sua abordagem conseguiu evitar que os dados mais críticos fossem atrasados, mantendo todo o sistema funcionando suavemente. Isso sugere que, para redes que lidam com tráfego misto, onde alguns dados são críticos para a vida e outros não, o uso de um modelo de aprendizado restrito é um caminho viável a seguir. O trabalho confirma que é possível ter tanto alta velocidade quanto confiabilidade estrita, desde que o sistema seja projetado para tratar os limites de segurança como um orçamento separado e não negociável, em vez de apenas mais um fator para equilibrar.

Resumo Técnico: Agendamento Conjunto e Alocação de Recursos em Sistemas de Filas Heterogêneos com Tráfego de Rajadas (Bursty Traffic)

Definição do Problema
O artigo aborda o desafio do agendamento conjunto e da alocação de recursos em sistemas de filas heterogêneos, onde múltiplas filas com diferentes prioridades e requisitos de atraso competem por um único link de saída variável no tempo. O sistema é caracterizado por chegadas estocásticas de pacotes (incluindo tráfego de rajadas modelado por processos de Poisson modulados por Markov) e flutuações na capacidade do link. O objetivo central é maximizar a utilidade do throughput do sistema enquanto se adere estritamente às restrições de atraso por fila.

Existe uma tensão fundamental neste problema: priorizar o tráfego de alta prioridade reduz seu atraso, mas corre o risco de causar inanição (starvation) para as filas de menor prioridade, ao passo que um agendamento orientado ao throughput pode permitir que os pacotes de alta prioridade excedam seu atraso máximo permitido. Métodos heurísticos convencionais (por exemplo, regras de peso fixo ou baseadas em backlog) carecem de reatividade em tempo real a transições abruptas de modo de tráfego ou flutuações de capacidade do link. Por outro lado, métodos baseados em aprendizado sem restrições, que codificam os requisitos de atraso em uma recompensa escalar, tendem a trocar a conformidade com o prazo por recompensas cumulativas mais altas, falhando em garantir limites de atraso estritos durante períodos de rajadas.

Metodologia: Soft Actor-Critic com Restrições (CSAC)
Os autores propõem uma abordagem de Soft Actor-Critic com Restrições (CSAC), especificamente adaptada para sistemas de filas heterogêneas (CSAC-HQS), para enfrentar essas limitações. A metodologia é construída sobre duas principais inovações de design:

Formulação de Restrição Desacoplada:
Ao contrário das abordagens padrão que integram a violação de atraso na função de recompensa com pesos ajustados manualmente, o método proposto trata a restrição de atraso da fila de maior prioridade como uma restina de restrição independente.
- Função de Recompensa: A recompensa foca em maximizar a utilidade do throughput e penalizar violações para as filas de menor prioridade (best-effort) e descartes de pacotes.
- Sinal de Restrição: A violação de atraso da fila de alta prioridade é tratada como um sinal de custo ( $c_t$ ) separado da recompensa. A política é otimizada para satisfazer um orçamento de violação de longo prazo ( $J_C^{ep} \leq d_c$ ) usando um multiplicador de Lagrange ( $\lambda$ ).
- Arquitetura: O sistema emprega uma rede de crítico de recompensa dupla para estimar as recompensas cumulativas e uma rede de crítico de restrição separada para estimar o risco esperado de violação de atraso cumulativo. A rede do ator é atualizada usando uma perda de Lagrange que equilibra a maximização da recompensa contra a penalidade da restrição.
Mapeamento de Ação Contínua-para-Discreta em Dois Estágios:
Como o algoritmo Soft Actor-Critic (SAC) subjacente opera em espaços de ação contínuos, mas o sistema de filas exige cotas de transmissão inteiras, um mecanismo de mapeamento específico é introduzido:
- Estágio 1 (Logits para Pesos): O ator produz logits contínuos, que são refinados por um fator $\beta$ e passados por uma função softmax mascarada para gerar pesos de alocação normalizados. O mascaramento garante que filas vazias recebam peso zero.
- Estágio 2 (Pesos para Cotas): Esses pesos são convertidos em cotas de transmissão inteiras. O processo envolve o cálculo de alocações ideais, o arredondamento para baixo (flooring) e a distribuição da capacidade residual com base na regra do maior resto, priorizada pelo índice da fila. Um mecanismo de corte recursivo garante que as cotas nunca excedam o backlog atual de qualquer fila.

Configuração Experimental
A abordagem foi avaliada em um sistema com três filas:

Fila 0: Maior prioridade, transportando tráfego de rajadas (MMPP) com um requisito rigoroso de taxa de violação de atraso (taxa máxima de violação de 1%).
Filas 1 e 2: Menor prioridade, transportando tráfego Poisson independente com requisitos de atraso do tipo best-effort.
Baselines: O método proposto foi comparado contra:
- Estático: Uma heurística de round-robin de peso fixo.
- Dinâmico: Uma heurística que aloca recursos proporcionalmente aos comprimentos de fila instantâneos.
- SAC sem restrições: Um baseline SAC padrão sem tratamento explícito de restrições (penalidades de atraso incluídas na recompensa escalar).

Principais Resultados
Os resultados experimentais demonstram melhorias significativas no cumprimento das restrições de atraso estritas sem sacrificar o desempenho geral do sistema:

Taxa de Violação de Atraso (Fila 0): O CSAC-HQS proposto (com fator de refinamento $\beta=5$ ) reduziu a taxa de violação de atraso para 0,05% ± 0,09%, bem dentro do alvo de 1%. Em contraste, o SAC sem restrições alcançou 7,87% ± 5,98%, enquanto as heurísticas Estática e Dinâmica resultaram em 18,38% e 34,28%, respectivamente. Embora o CSAC-HQS ( $\beta=1$ ) tenha alcançado uma taxa média de violação de 0,91%, seu desvio padrão de 1,30% resulta em um limite superior que excede o alvo de 1%; apenas a variante $\beta=5$ satisfez consistentemente a restrição em todas as sementes aleatórias (média + desvio padrão < 1,0%).
Estabilidade: O método CSAC apresentou uma variância significativamente menor entre as sementes aleatórias em comparação com o SAC sem restrições, indicando uma otimização de política mais estável.
Throughput e Desempenho de Baixa Prioridade: O método proposto manteve níveis de throughput comparáveis ao SAC sem restrições e às heurísticas. Também alcançou atrasos médios de fila menores para as filas de best-effort (1 e 2) em comparação com o SAC sem restrições.
Perda de Pacotes: O CSAC reduziu a contagem de transbordamento de pacotes para as filas de menor prioridade em comparação com o SAC sem restrições e o baseline Estático.

Significância e Alegações
O artigo afirma que a abordagem CSAC proposta resolve efetivamente o compromisso entre maximizar o throughput e satisfazer restrições de atraso rigorosas em ambientes heterogêneos e de rajadas. A significância reside em:

Tratamento Explícito de Restrições: Ao desacoplar a restrição de atraso de alta prioridade da recompensa, o método garante que a conformidade com o prazo não seja sacrificada pela maximização da recompensa agregada, um modo de falha comum no aprendizado por reforço sem restrições.
Discretização de Ação: O mecanismo de mapeamento em dois estágios permite que redes de política contínuas (SAC) executem diretamente decisões de agendamento discretas e inteiras sem artefatos de pós-processamento, garantindo a realizabilidade física.
Robustez: A abordagem demonstra robustez contra rajadas de tráfego estocásticas e flutuações de capacidade de link, superando tanto heurísticas fixas quanto baselines de aprendizado padrão na manutenção de garantias de Qualidade de Serviço (QoS).

Os autores concluem que este framework fornece uma solução viável para QoS diferenciada em ambientes de rede complexos, como o fatiamento de rede (network slicing) 5G e o IoT industrial, onde tráfego de rajadas e requisitos de latência estritos coexistem. Sugere-se como trabalho futuro a extensão para cenários com múltiplas filas de rajadas e a integração de controle de admissão.

Mais como este