💻 computer science

Deep Reinforcement Learning-Based Dynamic Mode Selection and Power allocation for Clustered Vehicular Networks

Este artigo propõe uma estrutura de Otimização de Política Próxima (PPO) de múltiplos agentes com compartilhamento de parâmetros para seleção dinâmica de modo e alocação de potência em redes veiculares agrupadas, a qual supera significativamente as linhas de base tradicionais ao melhorar a confiabilidade, reduzir a latência e diminuir a potência de transmissão por meio do aprendizado adaptativo das condições locais da rede.

Autores originais: Eugenia Rudo Nyanhete, Elijah Mwangi, Karim Djouani

Publicado 2026-08-03

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Eugenia Rudo Nyanhete, Elijah Mwangi, Karim Djouani

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde o seu carro não apenas dirige sozinho, mas também fala com todos os outros carros, semáforos e placas de sinalização ao seu redor. Este é o futuro das "Redes Veiculares", uma conversa digital de alta velocidade acontecendo em nossas estradas para prevenir acidentes e gerenciar o tráfego. Mas aqui está a parte complicada: esses carros estão se movendo rápido, as estradas estão congestionadas e as "ondas de rádio" que eles usam para conversar são como uma rodovia movimentada com apenas algumas faixas. Se todos gritarem ao mesmo tempo, ninguém ouvirá nada. Para resolver isso, os engenheiros usam o "agrupamento" (clustering), que é como agrupar carros em pequenas equipes lideradas por um "capitão da equipe" (o Cabeça do Agrupamento ou Cluster Head) para organizar a conversa. A grande questão que os pesquisadores estão tentando responder é: como esse capitão decide a melhor maneira de falar? Ele deve fazer o time gritar diretamente uns para os outros (um modo de curto alcance "sidelink" ou D2D) ou deve ligar para uma torre central (um modo celular ou C-V2X)? E o quão alto eles devem gritar? Grite alto demais e você abafará os vizinhos; grite baixo demais e sua mensagem se perderá.

Este artigo mergulha exatamente nesse problema, perguntando como esses capitães de carros podem tomar decisões inteligentes e de frações de segundo para manter a rede confiável sem desperdiçar energia. Os autores propõem uma solução usando "Aprendizado por Reforço Profundo" (Deep Reinforcement Learning), que é essencialmente um programa de computador que aprende por tentativa e erro, muito parecido com um personagem de videogame que fica melhor em um nível ao jogá-lo milhares de vezes. Em vez de seguir um livro de regras rígido, esta IA aprende a se adaptar ao caos do tráfego, da interferência e das distâncias em constante mudança. O estudo sugere que, ao permitir que esses capitães de IA aprendam com seu ambiente, eles podem fazer escolhas melhores do que os métodos tradicionais baseados em regras, garantindo que as mensagens de segurança cheguem de forma rápida e confiável, enquanto economizam a potência da bateria.

Os Capitães Inteligentes das Estradas

No estudo, os pesquisadores configuraram uma simulação de rodovia virtual para testar sua ideia. Eles imaginaram um trecho de estrada de 2 quilômetros de comprimento com carros acelerando a velocidades de até 31 metros por segundo (cerca de 70 mph). Neste mundo digital, os carros não estão apenas dirigindo; eles estão constantemente formando e se desfazendo em grupos, ou "agrupamentos" (clusters), baseados em quem está perto de quem. Cada agrupamento tem um líder, o "Cabeça do Agrupamento" (Cluster Head), cujo trabalho é decidir como o grupo se comunica.

Os pesquisadores ensinaram esses líderes uma nova maneira de pensar usando um tipo específico de IA chamado Otimização de Política Próxima (PPO - Proximal Policy Optimization). Pense na PPO como um aluno muito disciplinado que aprende tentando diferentes estratégias e recebendo feedback. Neste caso, o "aluno" é o Cabeça do Agrupamento. Toda vez que ele toma uma decisão, recebe uma pontuação (uma "recompensa"). Se ele escolher o modo de comunicação e o nível de potência corretos para transmitir uma mensagem de forma rápida e confiável, recebe uma pontuação alta. Se causar um atraso ou desperdiçar energia, recebe uma pontuação baixa. Com o tempo, a IA aprende o equilíbrio perfeito, adaptando-se ao fato de que os carros estão sempre se movendo e o "ruído" de outros veículos está constantemente mudando.

O Grande Confronto de Comunicação

Para ver se este método de aprendizado de IA realmente funciona, os pesquisadores colocaram seu "aluno" PPO contra cinco outras estratégias, ou "linhas de base" (baselines), que representam como poderíamos resolver o problema sem um cérebro de aprendizado:

Os Adivinhos de Distância: Estas estratégias apenas observam a que distância os carros estão. Se a distância média for inferior a 400 metros, eles gritam diretamente uns para os outros; caso contrário, ligam para a torre. Eles não se importam com a qualidade real da conexão ou com a interferência.
Os Programadores de Potência: Estes são semelhantes aos adivinhos de distância, mas tentam ser um pouco mais espertos sobre o quão alto devem gritar com base na distância.
A Equipe do "Sempre Ligar para a Torre": Esta estratégia ignora a comunicação direta inteiramente e sempre roteia as mensagens através da rede celular.
O Falatório Aleatório: Esta estratégia escolhe um modo de comunicação e um nível de potência completamente aleatórios, apenas para ver o que acontece.

Os resultados desta corrida digital foram bastante reveladores. A IA PPO não apenas venceu; ela mostrou uma maneira completamente diferente de jogar o jogo.

Confiabilidade: A Rede de Segurança
O trabalho mais importante dessas redes é a segurança. O artigo mediu a "confiabilidade", que é a porcentagem de mensagens que chegam com sucesso. A IA PPO foi uma campeã aqui. Em simulações com 25 carros, ela alcançou 100,0% de confiabilidade. Mesmo com 100 carros na estrada, ela se manteve incrivelmente alta, em 99,750%.
Em contraste, os "Adivinhos de Distância" (os métodos não baseados em aprendizado) tiveram dificuldades. Com 50 carros, sua confiabilidade caiu para 87,297%, e com 100 carros, ficou em torno de 94,971%. A estratégia "Sempre Ligar para a Torre" foi ainda pior, caindo para 67,469% com 100 carros. A estratégia aleatória foi a pior de todas, falhando em entregar mensagens de forma consistente. O artigo sugere que a IA aprendeu a evitar as "zonas mortas" onde o grito direto falha e a "congestão" onde ligar para a torre é muito lento, encontrando um ponto ideal que as regras simples perderam.

Potência: O Economizador de Bateria
É aqui que a história fica realmente interessante. Normalmente, para obter melhor confiabilidade, você precisa gritar mais alto (usar mais potência). As estratégias dos "Adivinhos de Distância" e do "Sempre Ligar para a Torre" gritaram em um volume fixo e alto de 18 dBm (uma unidade específica de potência) para tentar forçar suas mensagens através.
A IA PPO, no entanto, aprendeu a sussurrar. Ela alcançou sua confiabilidade quase perfeita usando significativamente menos potência. Para 25 carros, usou uma média de 10,013 dBm. Para 100 carros, caiu para 9,612 dBm. Isso é uma economia massiva — até 8,39 dB menos potência do que as linhas de base de potência fixa. O artigo mostra que a IA não apenas teve sorte; ela aprendeu que gritar mais alto nem sempre é a resposta. Ao escolher o modo certo no momento certo, ela economizou energia sem sacrificar a segurança.

Velocidade e Eficiência: O Equilíbrio (Trade-off)
O artigo também analisou a "latência" (quanto tempo leva para uma mensagem chegar) e a "eficiência espectral" (quanta informação pode ser espremida nas ondas de rádio). Aqui, as regras simples tiveram uma ligeira vantagem. As estratégias baseadas em distância foram às vezes um pouco mais rápidas (cerca de 7,45 ms contra os 8,702 ms da IA com 100 carros) e espremeram um pouco mais de dados.
No entanto, os autores apontam que essa velocidade veio com um custo terrível: confiabilidade muito menor e uso de potência muito maior. As regras simples eram como um velocista que corre rápido, mas tropeça nos próprios pés, enquanto a IA era um maratonista que mantinha um ritmo constante e confiável. O artigo conclui que, para aplicações críticas de segurança, a capacidade da IA de garantir que a mensagem chegue (confiabilidade) enquanto economiza energia é muito mais valiosa do que ganhar uma fração de milissegundo em velocidade.

O Que Isso Significa para o Futuro das Estradas

O estudo sugere que o futuro do tráfego inteligente não é sobre seguir regras rígidas como "se você estiver perto, grite; se estiver longe, ligue". Em vez disso, trata-se de dar à rede um cérebro que possa sentir o ambiente. A IA PPO aprendeu a lidar com o caos bagunçado do mundo real de carros em movimento e interferência de uma forma que fórmulas matemáticas simples não conseguiram.

Embora os resultados sejam baseados em simulações de computador e não em testes de condução no mundo real ainda, as descobertas são fortes. O artigo demonstra que políticas adaptativas baseadas em aprendizado podem superar os métodos tradicionais baseados apenas em distância. Prova que, ao ensinar a rede a equilibrar confiabilidade, velocidade e potência, podemos construir um futuro mais seguro e eficiente para nossas estradas. Os autores observam que, embora seu método seja um grande passo à frente, trabalhos futuros precisarão testar essas ideias em cenários ainda mais complexos, como redes de múltiplas cidades e com informações imperfeitas, para garantir que estejam prontos para o mundo real. Mas, por enquanto, a abordagem do "capitão de equipe inteligente" parece ser uma estratégia vencedora para manter nossos carros conectados conversando de forma segura e eficiente.

Problema

As redes veiculares enfrentam desafios significativos para atender aos rigorosos requisitos de confiabilidade e latência devido à alta mobilidade, condições de canal que variam rapidamente e opções de comunicação heterogêneas. Em ambientes urbanos densos e rodovias, a interferência de outros veículos e da infraestrutura, combinada com recursos de rádio escassos, impede a transmissão eficiente de informações. Além disso, a natureza dinâmica do movimento dos veículos leva a mudanças frequentes na topologia, tornando difícil a previsão da Informação de Estado do Canal (CSI).

Embora existam técnicas de Gerenciamento de Recursos de Rádio (RRM), como alocação de potência, alocação de espectro e seleção de modo, elas são frequentemente abordadas separadamente ou dependem de regras heurísticas estáticas. As abordagens existentes frequentemente carecem da capacidade de otimizar conjuntamente os modos de comunicação (Sidelink Direto/D2D vs. C-V2X assistido por Celular) e os níveis de potência em um ambiente agrupado (clustered) e variante no tempo. Existe uma lacuna específica em frameworks de aprendizado unificados que possam realizar a tomada de decisão integrada e adaptativa para redes veiculares agrupadas enquanto satisfazem diversos requisitos de Qualidade de Serviço (QoS).

Metodologia

Os autores propõem uma solução que formula a seleção dinâmica de modo em redes veiculares agrupadas como um problema de decisão sequencial multiagente. O sistema opera em um cenário de rodovia onde os veículos trocam Mensagens de Consciência Cooperativa (CAMs) e se comunicam com Unidades de Estrada (RSUs).

Modelo de Sistema:

Agrupamento (Clustering): Um algoritmo de agrupamento de veículos baseado em DBSCAN é empregado. Os veículos são agrupados em clusters, e um Cabeça de Cluster (CH) é selecionado com base na proximidade e velocidade relativa para coordenar as comunicações.
Modos de Comunicação: Cada par de veículos dentro de um cluster pode escolher entre comunicação direta Veículo-para-Veículo (V2V) ( $\sigma=0$ ) ou comunicação Cellular Vehicle-to-Everything (C-V2X) ( $\sigma=1$ ).
Alocação de Recursos: O sistema suporta fatiamento de rede (network slicing) para Comunicação de Baixa Latência e Ultra Confiabilidade (URLLC) e Banda Larga Móvel Aprimorada (eMBB). Subcanais (Blocos de Recursos) são alocados com base nos requisitos de cada fatia.
Objetivo de Otimização: O objetivo é maximizar as taxas de dados para C-V2X, minimizar a potência de transmissão e maximizar a probabilidade de transmissão bem-sucedida de CAMs, sujeito a restrições de taxas de dados mínimas, probabilidade de interrupção (outage) e limites de potência.

Algoritmo Proposto:
O estudo introduz um framework de Otimização de Política de Proximidade (PPO) com Compartilhamento de Parâmetros Multiagente.

Agentes: Os Cabeças de Cluster atuam como agentes.
Espaço de Estados ( $S$ ): Inclui posicionamento físico (faixa, velocidade, posição), status do canal (ganhos de grande escala entre CH-RSU e CH-Membros do Cluster), potência de interferência anterior, carga atual e tempo restante para cumprir os limites de latência.
Espaço de Ações ( $A$ ): Inclui atualizações físicas (ajuste de velocidade, ultrapassagem, mudança de faixa) e atualizações de canal (seleção de fatia, seleção de modo e seleção de potência de transmissão).
Design de Recompensa: Uma função de recompensa orientada por QoS é projetada para considerar conjuntamente latência, confiabilidade, eficiência espectral e potência de transmissão. Crucialmente, a recompensa penaliza explicitamente soluções de alta potência desnecessárias para incentivar a eficiência energética. A recompensa inclui termos para manter a estabilidade da velocidade, cumprir orçamentos de latência, satisfazer limiares de capacidade e garantir que o SINR permaneça acima dos limiares de interrupção eficazes.

Principais Contribuições

O artigo descreve quatro contribuições primárias:

Formulação do Problema: A seleção dinâmica de modo em redes veiculares agrupadas com opções heterogêneas de V2X é formulada como um problema de decisão sequencial multiagente sob mobilidade, interferência e restrições de QoS.
Desenvolvimento do Algoritmo: Um framework PPO com compartilhamento de parâmetros é desenvolvido, permitindo que os agentes Cabeça de Cluster aprendam políticas de comunicação adaptativas para ambientes com topologias variantes no tempo.
Design de Recompensa: Um design de recompensa inovador orientado por QoS é introduzido, que equilibra latência, confiabilidade, eficiência espectral e potência, desencorajando explicitamente soluções de alta potência que alcançam a confiabilidade de forma ineficiente.
Avaliação de Desempenho: O método proposto é avaliado contra heurísticas conscientes de mobilidade e baselines fixos, demonstrando um trade-off superior entre confiabilidade e potência em diferentes densidades de tráfego.

Resultados

O método PPO proposto foi avaliado em uma simulação de rodovia com modelagem realista de canal e interferência, comparando-o com cinco baselines:

Limiar de distância (distância média).
Limiar de distância (distância máxima).
Limiar de distância com agendamento de potência.
Sempre V2I (modo fixo).
Seleção aleatória.

Principais Descobertas:

Seleção de Algoritmo: Entre os algoritmos de Aprendizado por Reforço Profundo (DDPG, MADDPG, PPO), o PPO demonstrou a convergência de aprendizado mais rápida e estável através de várias densidades de tráfego (25 a 100 veículos).
Confiabilidade: A política PPO alcançou uma confiabilidade quase perfeita (99,3% a 100%) em todas as densidades de tráfego. Isso representa uma melhoria de aproximadamente 4 a 12 pontos percentuais sobre o baseline não-aprendizado mais forte (métodos de limiar de distância).
Latência: Comparado à política aleatória, o PPO reduziu a latência em pelo menos 69,4%.
Eficiência de Potência: A política PPO reduziu significativamente a potência de transmissão, alcançando reduções de até 8,39 dB em relação aos baselines de potência fixa (que operavam em 18 dBm). O PPO operou em níveis de potência média entre 9,6 e 11,2 dBm.
Trade-offs: Embora alguns baselines heurísticos tenham alcançado latência ligeiramente menor e maior eficiência espectral em altas densidades (ex: N=100), eles o fizeram ao custo de um consumo de potência significativamente maior e uma confiabilidade visivelmente menor. A política PPO priorizou um ponto de operação orientado à confiabilidade, sacrificando parte da eficiência espectral para garantir o desempenho consistente de entrega com muito menos potência.

Significância e Alegações

O artigo afirma que a seleção de modo adaptativa baseada em aprendizado proposta oferece um trade-off entre confiabilidade e potência superior em comparação com estratégias tradicionais baseadas em geometria ou de modo fixo. A significância reside em demonstrar que os agentes podem aprender a se adaptar à interferência e mobilidade variáveis sem depender de modelos de canal precisos.

Os autores concluem que, embora os baselines heurísticos possam favorecer o uso agressivo de V2V e a transmissão de potência total para maximizar métricas de throughput instantâneo, eles falham em fornecer as mesmas garantias de confiabilidade. Em contraste, o agente PPO aprende a explorar informações contextuais mais ricas (condições de interferência e dinâmica de cluster) para tomar decisões de comunicação eficazes. O estudo sugere que tais políticas baseadas em aprendizado são essenciais para melhorar a resiliência em condições de tráfego e rede que mudam rapidamente, embora trabalhos futuros sejam necessários para abordar a informação de estado de canal imperfeita e cenários multi-célula para implantação no mundo real.