💻 computer science

Deep Reinforcement Learning-Based Dynamic Mode Selection and Power allocation for Clustered Vehicular Networks

Este artículo propone un marco de Optimización de Política Próxima (PPO) de agentes múltiples con intercambio de parámetros para la selección dinámica de modos y la asignación de potencia en redes vehiculares agrupadas, el cual supera significativamente a las líneas base tradicionales al mejorar la fiabilidad, reducir la latencia y disminuir la potencia de transmisión mediante el aprendizaje adaptativo de las condiciones locales de la red.

Autores originales: Eugenia Rudo Nyanhete, Elijah Mwangi, Karim Djouani

Publicado 2026-08-03

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Eugenia Rudo Nyanhete, Elijah Mwangi, Karim Djouani

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde tu coche no solo se conduce solo, sino que también habla con cada otro coche, semáforo y señal de tráfico a su alrededor. Este es el futuro de las "Redes Vehiculares", una conversación digital de alta velocidad que ocurre en nuestras carreteras para prevenir accidentes y gestionar el tráfico. Pero aquí está la parte difícil: estos coches se mueven rápido, las carreteras están congestionadas y las "ondas de radio" que usan para hablar son como una autopista concurrida que tiene solo unos pocos carriles. Si todo el mundo grita a la vez, nadie oye nada. Para resolver esto, los ingenieros utilizan el "clustering" (agrupamiento), que es como formar equipos de coches pequeños liderados por un "capitán de equipo" (el Jefe del Clúster) para organizar la conversación. La gran pregunta que los investigadores intentan responder es: ¿Cómo decide este capitán la mejor manera de hablar? ¿Debería el equipo gritar directamente entre sí (un modo de enlace directo o "sidelink" de corto alcance o D2D) o debería llamar a una torre central (un modo celular o C-V2X) para transmitir el mensaje? ¿Y qué tan fuerte deben gritar? Si gritan demasiado fuerte, ahogan a los vecinos; si gritan demasiado suave, su mensaje se pierde.

Este artículo profundiza en ese problema exacto, preguntándose cómo estos capitanes de coches pueden tomar decisiones inteligentes en fracciones de segundo para mantener la red fiable sin desperdiciar energía. Los autores proponen una solución utilizando el "Aprendizaje por Refuerzo Profundo" (Deep Reinforcement Learning), que es esencialmente un programa informático que aprende mediante ensayo y error, de forma muy parecida a cómo un personaje de un videojuego mejora en un nivel jugando miles de veces. En lugar de seguir un libro de reglas rígido, esta IA aprende a adaptarse al caos del tráfico, la interferencia y los cambios de distancia. El estudio sugiere que, al permitir que estos capitanes de IA aprendan de su entorno, pueden tomar mejores decisiones que los métodos tradicionales basados en reglas, garantizando que los mensajes de seguridad lleguen de forma rápida y fiable mientras ahorran energía de la batería.

Los Capitanes de Equipo Inteligentes de la Carretera

En el estudio, los investigadores configuraron una simulación de una autopista virtual para probar su idea. Imaginaron un tramo de carretera de 2 kilómetros de largo con coches acelerando a velocidades de hasta 31 metros por segundo (unos 70 mph). En este mundo digital, los coches no solo conducen; están constantemente formándose y rompiéndose en grupos, o "clústeres", basándose en quién está cerca de quién. Cada clúster tiene un líder, el "Jefe del Clúster", cuya función es decidir cómo se comunica el grupo.

Los investigadores enseñaron a estos líderes una nueva forma de pensar utilizando un tipo específico de IA llamado Optimización de Política Próxima (PPO, por sus siglas en inglés). Piensa en PPO como un estudiante muy disciplinado que aprende probando diferentes estrategias y recibiendo retroalimentación. En este caso, el "estudiante" es el Jefe del Clúster. Cada vez que toma una decisión, recibe una puntuación (una "recompensa"). Si elige el modo de comunicación y el nivel de potencia adecuados para transmitir un mensaje de forma rápida y fiable, obtiene una puntuación alta. Si causa un retraso o desperdicia energía, obtiene una puntuación baja. Con el tiempo, la IA aprende el equilibrio perfecto, adaptándose al hecho de que los coches siempre se están movendo y el "ruido" de otros vehículos cambia constantemente.

El Gran Enfrentamiento de Comunicación

Para ver si este método de aprendizaje por IA realmente funciona, los investigadores enfrentaron a su "estudiante" PPO contra otras cinco estrategias, o "líneas de base", que representan cómo podríamos resolver el problema sin un cerebro de aprendizaje:

Los Adivinos de la Distancia: Estas estrategias solo observan qué tan lejos están los coches. Si la distancia promedio es inferior a 400 metros, gritan directamente entre ellos; de lo contrario, llaman a la torre. No les importa la calidad real de la conexión o la interferencia.
Los Programadores de Potencia: Son similares a los adivinadores de la distancia, pero intentan ser un poco más inteligentes sobre qué tan fuerte gritan basándose en la distancia.
El Equipo de "Siempre Llamar a la Torre": Esta estrategia ignora la comunicación directa por completo y siempre enruta los mensajes a través de la red celular.
El Charlatán Aleatorio: Esta estrategia elige un modo de comunicación y un nivel de potencia de forma completamente aleatoria, solo para ver qué sucede.

Los resultados de esta carrera digital fueron bastante reveladores. La IA PPO no solo ganó; mostró una forma completamente diferente de jugar el juego.

Fiabilidad: La Red de Seguridad
El trabajo más importante de estas redes es la seguridad. El artículo midió la "fiabilidad", que es el porcentaje de mensajes que llegan con éxito. La IA PPO fue una campeona aquí. En simulaciones con 25 coches, logró una fiabilidad del 100.0%. Incluso con 100 coches en la carretera, se mantuvo increíblemente alta en un 99.750%.
En contraste, los "Adivinos de la Distancia" (los métodos no basados en aprendizaje) tuvieron dificultades. Con 50 coches, su fiabilidad cayó al 87.297%, y con 100 coches, era de alrededor del 94.971%. La estrategia de "Siempre Llamar a la Torre" fue aún peor, cayendo al 67.469% con 100 coches. La estrategia aleatoria fue la peor de todas, fallando en la entrega constante de mensajes. El artículo sugiere que la IA aprendió a evitar las "zonas muertas" donde el grito directo falla y la "congestión" donde llamar a la torre es demasiado lento, encontrando un punto ideal que las reglas simples pasaron por alto.

Potencia: El Ahorrador de Batería
Aquí es donde la historia se pone realmente interesante. Normalmente, para obtener una mejor fiabilidad, hay que gritar más fuerte (usar más potencia). Los "Adivinos de la Distancia" y las estrategias de "Siempre Llamar a la Torre" gritaron a un volumen fijo y alto de 18 dBm (una unidad específica de potencia) para intentar forzar sus mensajes.
Sin embargo, la IA PPO aprendió a susurrar. Logró su fiabilidad casi perfecta utilizando significativamente menos potencia. Para 25 coches, utilizó un promedio de 10.013 dBm. Para 100 coches, bajó a 9.612 dBm. Ese es un ahorro masivo, de hasta 8.39 dB menos de potencia que las líneas de base de potencia fija. El artículo muestra que la IA no solo tuvo suerte; aprendió que gritar más fuerte no siempre es la respuesta. Al elegir el modo adecuado en el momento adecuado, ahorró energía sin sacrificar la seguridad.

Velocidad y Eficiencia: El Compromiso
El artículo también analizó la "latencia" (cuánto tiempo tarda en llegar un mensaje) y la "eficiencia espectral" (cuántos datos se pueden exprimir en las ondas de radio). Aquí, las reglas simples tuvieron una ligera ventaja. Las estrategias basadas en la distancia fueron a veces un poco más rápidas (alrededor de 7.45 ms frente a los 8.702 ms de la IA con 100 coches) y exprimieron un poco más de datos.
Sin embargo, los autores señalan que esta velocidad tuvo un costo terrible: una fiabilidad mucho menor y un uso de potencia mucho mayor. Las reglas simples eran como un velocista que corre rápido pero tropieza con sus propios pies, mientras que la IA era un corredor de maratón que mantenía un ritmo constante y fiable. El artículo concluye que para aplicaciones críticas de seguridad, la capacidad de la IA para garantizar que el mensaje llegue (fiabilidad) mientras ahorra energía es mucho más valiosa que recortar una fracción de milisegundo en velocidad.

Lo Que Esto Significa para el Camino por Delante

El estudio sugiere que el futuro del tráfico inteligente no consiste en seguir reglas rígidas como "si estás cerca, grita; si estás lejos, llama". En cambio, se trata de darle a la red un cerebro que pueda sentir el entorno. La IA PPO aprendió a manejar el caos desordenado del mundo real de los coches en movimiento y la interferencia de una manera que las fórmulas matemáticas simples no pudieron.

Aunque los resultados se basan en simulaciones por computadora y no en pruebas de conducción en el mundo real todavía, los hallazgos son sólidos. El artículo demuestra que las políticas adaptativas basadas en el aprendizaje pueden superar a los métodos tradicionales que solo consideran la distancia. Demuestra que, al enseñar a la red a equilibrar la fiabilidad, la velocidad y la potencia, podemos construir un futuro más seguro y eficiente para nuestras carreteras. Los autores señalan que, aunque su método es un gran paso adelante, el trabajo futuro deberá probar estas ideas en escenarios aún más complejos, como redes de múltiples ciudades y con información imperfecta, para asegurar que estén listas para el mundo real. Pero por ahora, el enfoque del "capitán de equipo inteligente" parece una estrategia ganadora para mantener nuestros coches conectados comunicándose de forma segura y eficiente.

Planteamiento del problema

Las redes vehiculares enfrentan desafíos significativos para cumplir con los estrictos requisitos de fiabilidad y latencia debido a la alta movilidad, las condiciones de canal que varían rápidamente y las opciones de comunicación heterogéneas. En entornos urbanos densos y de autopista, la interferencia de otros vehículos e infraestructura, combinada con recursos de radio escasos, inhibe la transmisión eficiente de información. Además, la naturaleza dinámica del movimiento de los vehículos provoca cambios frecuentes en la topología, lo que dificulta la predicción de la Información del Estado del Canal (CSI, por sus siglas en inglés).

Si bien existen técnicas de Gestión de Recursos de Radio (RRM) como la asignación de potencia, la asignación de espectro y la selección de modo, estas suelen abordarse por separado o dependen de reglas heurísticas estáticas. Los enfoques existentes carecen frecuentemente de la capacidad de optimizar conjuntamente los modos de comunicación (enlace directo Sidelink/D2D frente a C-V2X asistido por celular) y los niveles de potencia en un entorno agrupado y variable en el tiempo. Existe una brecha específica en los marcos de aprendizaje unificados que puedan realizar una toma de decisiones integrada y adaptativa para redes vehiculares agrupadas, satisfaciendo al mismo tiempo diversas restricciones de Calidad de Servicio (QoS).

Metodología

Los autores proponen una solución que formula la selección dinámica de modo en redes vehiculares agrupadas como un problema de decisión secuencial multi-agente. El sistema opera en un escenario de autopista donde los vehículos intercambian Mensajes de Conciencia Cooperativa (CAMs) y se comunican con Unidades de Carretera (RSUs).

Modelo del sistema:

Agrupación (Clustering): Se emplea un algoritmo de agrupación de vehículos basado en DBSCAN. Los vehículos se agrupan en clústeres, y se selecciona un Jefe de Clúster (CH) basado en la proximidad y la velocidad relativa para coordinar las comunicaciones.
Modos de comunicación: Cada par de vehículos dentro de un clúster puede elegir entre comunicación directa Vehículo-a-Vehículo (V2V) ( $\sigma=0$ ) o comunicación Vehículo-a-Todo mediante Celular (C-V2X) ( $\sigma=1$ ).
Asignación de recursos: El sistema soporta el fraccionamiento de red (network slicing) para Comunicaciones Ultra Confiables y de Baja Latencia (URLLC) y Banda Ancha Móvil Mejorada (eMBB). Los subcanales (Bloques de Recursos) se asignan según los requisitos de cada segmento.
Objetivo de optimización: El objetivo es maximizar las tasas de datos para C-V2X, minimizar la potencia de transmisión y maximizar la probabilidad de transmisión exitosa de los CAM, sujeto a restricciones de tasas de datos mínimas, probabilidad de interrupción y límites de potencia.

Algoritmo propuesto:
El estudio introduce un marco de Optimización de Política de Proximidad (PPO) con intercambio de parámetros multi-agente.

Agentes: Los Jefes de Clúster actúan como agentes.
Espacio de Estados ( $S$ ): Incluye posicionamiento físico (carril, velocidad, posición), estado del canal (ganancias de gran escala entre el CH-RSU y los miembros del clúster del CH), potencia de interferencia previa, carga actual y tiempo restante para cumplir con los umbrales de latencia.
Espacio de Acciones ( $A$ ): Incluye actualizaciones físicas (ajuste de velocidad, adelantamiento, cambio de carril) y actualizaciones de canal (selección de segmento, selección de modo y selección de potencia de transmisión).
Diseño de Recompensa: Se diseña una función de recompensa impulsada por la QoS que considera conjuntamente la latencia, la fiabilidad, la eficiencia espectral y la potencia de transmisión. Crucialmente, la recompensa penaliza explícitamente las soluciones de potencia innecesariamente alta para fomentar la eficiencia energética. La recompensa incluye términos para mantener la estabilidad de la velocidad, cumplir con los presupuestos de latencia, satisfacer los umbrales de capacidad y asegurar que la SINR se mantenga por encima de los umbrales de interrupción efectivos.

Contribuciones clave

El artículo describe cuatro contribuciones principales:

Formulación del problema: La selección dinámica de modo en redes vehiculares agrupadas con opciones V2X heterogéneas se formula como un problema de decisión secuencial multi-agente bajo condiciones de movilidad, interferencia y restricciones de QoS.
Desarrollo del algoritmo: Se desarrolla un marco PPO con intercambio de parámetros, que permite a los agentes de los Jefes de Clúster aprender políticas de comunicación adaptativas para entornos con topologías variables en el tiempo.
Diseño de la recompensa: Se introduce un novedoso diseño de recompensa impulsado por la QoS que equilibra latencia, fiabilidad, eficiencia espectral y potencia, desalentando explícitamente las soluciones de alta potencia que logran la fiabilidad de manera ineficiente.
Evaluación del desempeño: El método propuesto se evalúa frente a heurísticas conscientes de la movilidad y líneas de base fijas, demostrando un compromiso superior entre fiabilidad y potencia a través de diferentes densidades de tráfico.

Resultados

El enfoque PPO propuesto fue evaluado en una simulación de autopista con modelado realista de canal e interferencia, comparándolo con cinco líneas de base:

Umbral de distancia (distancia promedio).
Umbral de distancia (distancia máxima).
Umbral de distancia con programación de potencia.
Siempre V2I (modo fijo).
Selección aleatoria.

Hallazgos clave:

Selección de Algoritmo: Entre los algoritmos de Aprendizaje por Refuerzo Profundo (DDPG, MADDPG, PPO), el PPO demostró la convergencia de aprendizaje más rápida y estable a través de diversas densidades de tráfico (de 25 a 100 vehículos).
Fiabilidad: La política PPO logró una fiabilidad casi perfecta (99.3% a 100%) en todas las densidades de tráfico. Esto representa una mejora de aproximadamente 4 a 12 puntos porcentuales sobre la línea de base no basada en aprendizaje más fuerte (métodos de umbral de distancia).
Latencia: En comparación con la política aleatoria, el PPO redujo la latencia al menos en un 69.4%.
Eficiencia de Potencia: La política PPO redujo significativamente la potencia de transmisión, logrando reducciones de hasta 8.39 dB respecto a las líneas de base de potencia fija (que operaban a 18 dBm). El PPO operó en niveles de potencia promedio entre 9.6 y 11.2 dBm.
Compromisos (Trade-offs): Aunque algunas líneas de base heurísticas lograron una latencia y eficiencia espectral ligeramente menores a altas densidades (por ejemplo, N=100), lo hicieron a costa de un consumo de potencia significativamente mayor y una fiabilidad notablemente menor. La política PPO priorizó un punto de operación orientado a la fiabilidad, sacrificando algo de eficiencia espectral para asegurar un rendimiento de entrega constante a una potencia mucho menor.

Significancia y Afirmaciones

El artículo afirma que la selección de modo adaptativa basada en aprendizaje propuesta ofrece un compromiso fiabilidad-potencia superior en comparación con las estrategias tradicionales basadas en geometría o de modo fijo. La significancia radica en demostrar que los agentes pueden aprender a adaptarse a la interferencia variable en el tiempo y a la movilidad sin depender de modelos de canal precisos.

Los autores concluyen que, si bien las líneas de base heurísticas pueden favorecer el uso agresivo de V2V y la transmisión de potencia completa para maximizar las métricas de rendimiento instantáneo, estas no logran proporcionar las mismas garantías de fiabilidad. En contraste, el agente PPO aprende a explotar información contextual más rica (condiciones de interferencia y dinámica de clúster) para tomar decisiones de comunicación efectivas. El estudio sugiere que tales políticas basadas en aprendizaje son esenciales para mejorar la resiliencia en condiciones de tráfico y red que cambian rápidamente, aunque se requiere trabajo futuro para abordar la información de estado de canal imperfecta y escenarios multi-celda para el despliegue en el mundo real.