💻 computer science

A Linear Mapping-Enhanced PPO Framework for Dynamic Load Balancing in Smart City Edge Systems

Este artículo propone un marco de Optimización de Política Próxima Mejorada por Mapeo Lineal (LME-PPO) que aprovecha el aprendizaje por refuerzo profundo para optimizar el equilibrio de carga dinámico y reducir la latencia del sistema en entornos de computación perimetral de ciudades inteligentes mediante el mapeo efectivo de espacios de tareas complejos y la garantía de equilibrio computacional entre los servidores perimetrales.

Autores originales: Fenghui Zhang, Yuhang Jiang, Yuhao Xu, Huaqiang Xi, Qiu Xu, Shijian Zheng, Maosheng Fu

Publicado 2026-07-09

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Fenghui Zhang, Yuhang Jiang, Yuhao Xu, Huaqiang Xi, Qiu Xu, Shijian Zheng, Maosheng Fu

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El panorama general: El atasco de tráfico de una Ciudad Inteligente

Imagina una Ciudad Inteligente como una metrópolis enorme y bulliciosa. En esta ciudad, miles de dispositivos (como cámaras de tráfico, medidores inteligentes y sensores) generan datos constantemente. Estos datos son como una inundación de coches intentando llegar a un destino.

En el pasado, todos estos "coches" tenían que conducir hasta una gigantesca y central "Ciudad de la Nube" (el centro de datos principal) para ser procesados. Esto causaba atascos masivos y largos retrasos.

Para solucionar esto, la ciudad construyó Servidores de Borde (Edge Servers). Piensa en ellos como estaciones de servicio locales de barrio repartidas por toda la ciudad. Están mucho más cerca de los dispositivos, por lo que pueden solucionar los problemas más rápido.

El problema: La carga de trabajo desigual

Aquí está el truco: Los "coches" (tareas de datos) no llegan de forma uniforme.

A veces, un accidente de tráfico repentino envía una gran ola de datos al Servidor de Borde A.
Al mismo tiempo, el Servidor de Borde B, en un barrio tranquilo, casi no tiene nada que hacer.

Si la ciudad no gestiona esto, el Servidor A se satura y se ralentiza (causando retrasos), mientras que el Servidor B se queda inactivo, desperdiciando dinero. Esto se llama Desequilibrio de Carga (Load Imbalance).

La ciudad necesita un Despachador Central (un programador inteligente) que observe todos los servidores y diga: "El Servidor A está demasiado ocupado; enviemos algunos de esos coches al Servidor B".

Las formas antiguas vs. La nueva forma

El artículo analiza cómo construir este Despachador:

Reglas Estáticas (La forma antigua): Como un semáforo que cambia de rojo a verde en un tiempo fijo. Es simple, pero no puede manejar un accidente repentino o un desfile. A menudo deja a algunos servidores sobrecargados.
Algoritmos de Optimización (El camino intermedio): Como un GPS que calcula la ruta perfecta cada vez. Es inteligente, pero tarda mucho tiempo en calcular la ruta. Para cuando termina de calcularla, la situación del tráfico ya ha cambiado.
Aprendizaje por Refuerzo Profundo (La nueva forma): Esto es como entrenar a un policía de tráfico superinteligente que aprende de la experiencia. En lugar de seguir un libro de reglas, el policía observa el tráfico, prueba diferentes estrategias y aprende qué movimientos hacen que los coches circulen más rápido con el tiempo.

La solución del artículo: El marco "LME-PPO"

Los autores proponen un tipo específico de "policía superinteligente" llamado LME-PPO. Así es como funciona, dividido en tres partes sencillas:

1. El "Mapeo Lineal" (El Traductor)

El mayor problema de entrenar una IA inteligente para este trabajo es que el número de coches (tareas) cambia cada segundo.

El problema: Imagina que estás enseñando a un robot a repartir galletas. Si le dices al robot: "Reparte 5 galletas", pero de repente hay 500 galletas, el robot se confunde. Si le dices: "Reparte 500", pero solo hay 5, se rompe. El cerebro del robot (el modelo de IA) suele esperar un número fijo, pero el mundo real es caótico y cambiante.
La solución: Los autores añadieron una Capa de Mapeo Lineal. Piensa en esto como un traductor o una escala.
- El cerebro de la IA dice: "Creo que el Servidor A debería recibir el 30% del trabajo y el Servidor B el 70%". (Estos son solo proporciones).
- El Traductor observa cuántas tareas reales han llegado en este momento. Si llegaron 100 tareas, el traductor dice: "Bien, el 30% de 100 son 30 tareas para el Servidor A".
- Esto permite que la IA aprenda la estrategia (los porcentajes) sin confundirse por el volumen (el número total de tareas).

2. El "PPO" (El Entrenador Inteligente)

PPO (Optimización de Política Próxima) es el método de entrenamiento.

Imagina que estás enseñando a un perro a traer la pelota. Si le gritas demasiado fuerte cuando comete un error, el perro se asusta y deja de aprender. Si eres demasiado suave, no aprende el truco.
PPO es un entrenador "justo en el punto medio" (Goldilocks). Se asegura de que la IA aprenda paso a paso sin cometer errores enormes y alarmantes que arruinen su progreso. Mantiene el aprendizaje estable y constante.

3. El "Equilibrador Interno" (El Gerente Local)

Una vez que el Despachador Central envía las tareas a un Servidor de Borde específico, ese servidor aún tiene que realizar el trabajo.

Dentro de cada Servidor de Borde, hay trabajadores más pequeños llamados Máquinas Virtuales (VMs).
El artículo incluye una regla especial para asegurar que las tareas se dividan equitativamente entre estos trabajadores internos. Es como un capataz que se asegura de que, si un trabajador es rápido (alta velocidad de CPU), reciba la carga pesada, mientras que los trabajadores más lentos reciban tareas más ligeras, para que todos terminen al mismo tiempo.

Los Resultados: ¿Qué pasó?

Los autores probaron su nuevo sistema contra los métodos antiguos (como los algoritmos "Greedy", que simplemente toman el primer servidor disponible, y "PSO", un tipo de optimización).

Mayor Velocidad: Su sistema redujo el tiempo promedio necesario para procesar las tareas.
Mejor Equilibrio: El trabajo se distribuyó de forma mucho más equitativa. Ningún servidor se quedó ahogándose en trabajo mientras otros estaban inactivos.
Estabilidad: Incluso cuando la ciudad se volvía caótica (tráfico alto, picos repentinos de datos), su sistema siguió funcionando sin problemas ni confusión.

Resumen

En resumen, este artículo presenta una nueva forma de gestionar los datos en las Ciudades Inteligentes. Utiliza una IA inteligente que aprende a equilibrar las cargas de trabajo de forma dinámica. El ingrediente secreto es una capa de traducción que ayuda a la IA a manejar cantidades cambiantes de datos, y un método de entrenamiento estable que asegura que la IA aprenda correctamente sin volverse loca. El resultado es una ciudad donde los datos fluyen más rápido y los servicios (como el control del tráfico o la respuesta a emergencias) funcionan mejor.

Resumen Técnico: Un Marco de PPO Mejorado con Mapeo Lineal para el Equilibrio Dinámico de Carga en Sistemas de Borde de Ciudades Inteligentes

Planteamiento del Problema
La integración de la Computación de Borde Móvil (MEC, por sus siglas en inglés) en las infraestructuras de ciudades inteligentes tiene como objetivo reducir la latencia y mejorar la eficiencia del ancho de banda mediante el procesamiento de datos más cerca de las fuentes de IoT. Sin embargo, la naturaleza estocástica y heterogénea de la descarga de tareas de los dispositivos IoT urbanos (por ejemplo, cámaras de tráfico, redes eléctricas inteligentes) crea desequilibrios de carga significativos entre los Servidores de Borde (ES). En un despliegue típico donde cada ES aloja múltiples Máquinas Virtuales (VM), las llegadas aleatorias de tareas pueden causar que algunos servidores se saturen mientras otros permanecen subutilizados. Este desequilibrio degrada la calidad del servicio y aumenta la latencia del sistema. Las soluciones existentes enfrentan limitaciones: los algoritmos de programación estática carecen de adaptabilidad ante cargas de trabajo dinámicas; los métodos de optimización tradicionales (por ejemplo, Optimización de Enjambre de Partículas) sufren retrasos iterativos no aptos para restricciones de tiempo real; y los enfoques estándar de Aprendizaje por Refuerzo Profundo (DRL) tienen dificultades con el desajuste entre las variaciones continuas de los estados y los espacios de acción fijos, particularmente cuando el recuento de tareas fluctúa significamente.

Metodología
Los autores proponen un marco de Optimización de Política Próxima mejorada con Mapeo Lineal (LME-PPO) para abordar estos desafíos. El enfoque se estructura de la siguiente manera:

Modelado del Sistema: El sistema de gestión de recursos de la ciudad inteligente se modela como un Proceso de Decisión de Markov (MDP).
- Espacio de Estados ( $S$ ): Definido por el número de tareas pendientes en las colas de $M$ servidores de borde.
- Espacio de Acciones ( $A$ ): Representa la matriz de programación de tareas a través de todos los ES.
- Función de Recompensa: Diseñada para minimizar la varianza entre los tiempos de ejecución individuales de cada ES y el tiempo de ejecución promedio de todo el sistema, promoviendo así el equilibrio de carga.
- Restricciones: El modelo tiene en cuenta los límites de capacidad de la cola, las variaciones de frecuencia de CPU entre las VM y los tiempos de ejecución máximos permitidos.
Marco LME-PPO:
- Arquitectura Actor-Crítico: El sistema utiliza un algoritmo PPO estándar con redes Actor y Crítico (redes totalmente conectadas de dos capas).
- Capa de Mapeo Lineal: Una innovación central de este trabajo. Dado que PPO típicamente produce valores continuos, pero la asignación de tareas requiere enteros discretos, los autores introducen una capa de mapeo lineal. La red Actor produce un vector de proporciones de asignación relativa ( $m_t$ ). Este vector se mapea a recuentos de tareas enteros reales ( $N_t$ ) basados en el número total de tareas que llegan en el intervalo de tiempo actual ( $n$ ) utilizando la fórmula: $N_i = n \times \frac{m_i}{\sum m_i}$ . Este mecanismo asegura que el espacio de acciones se adapte dinámicamente a la carga de trabajo actual, evitando la inestabilidad en el entrenamiento causada por espacios de acción fijos.
- Programación Interna de Tareas: Dentro de cada ES, se emplea un Algoritmo de Asignación de Tareas con Equilibrio de Carga para distribuir las tareas entre múltiples VM. Basándose en el Teorema 1 y el Teorema 2, el algoritmo prioriza la asignación de tareas a las VM con menores frecuencias de CPU primero para igualar los tiempos de ejecución, asegurando el tiempo de finalización mínimo posible para la cola.
Utilidad a Largo Plazo: El marco optimiza la utilidad descontada a largo plazo en lugar del rendimiento de un solo intervalo, utilizando la Estimación de Ventaja Generalizada (GAE) para equilibrar las recompensas inmediatas con los estados futuros del sistema.

Contribuciones Clave

Modelado de Sistema Estocástico: El artículo modela el proceso de asignación de tareas como un sistema estocástico con un marco de DRL que incorpora la programación a nivel de VM dentro de cada ES, capturando características computacionales clave para un equilibrio de carga preciso.
Mejora de Mapeo Lineal: Los autores introducen una capa de mapeo lineal dentro del marco PPO para resolver el conflicto entre la salida continua de la red de política y la naturaleza discreta y variable en el tiempo del recuento de llegada de tareas. Esto asegura un aprendizaje estable y asignaciones de tareas enteras factibles.
Algoritmo de Asignación con Equilibrio de Carga: Se diseña un algoritmo específico para la programación interna del ES que minimiza el tiempo de finalización asignando inteligentemente las tareas a las VM basándose en sus frecuencias de CPU y el estado actual de la cola.
Evaluación Exhaustiva: El estudio proporciona una comparación rigurosa contra la Optimización de Enjambre de Partículas (PSO) y líneas base codiciosas (Greedy), demostrando la efectividad del marco en entornos dinámicos.

Resultados Experimentales
El marco LME-PPO propuesto fue evaluado utilizando un simulador en Python/PyTorch con 20 servidores de borde. Los hallazgos clave incluyen:

Convergencia: El algoritmo converge más rápido con menos ES (200 episodios para 20 ES) y demuestra una estabilidad superior comparada con los algoritmos SAC y TD3.
Reducción de Latencia: El enfoque LME-PPO logró un tiempo de ejecución de sistema promedio significativamente menor (aprox. 3.7 ms) en comparación con los algoritmos PSO (4.5 ms) y Greedy (5.7 ms) a lo largo de 100 episodios.
Equilibrio de Carga: Bajo diversas condiciones de carga de trabajo (baja, normal, alta), LME-PPO mantuvo consistentemente el tiempo de computación promedio más bajo y la distribución de tiempo de ejecución más equilibrada entre los ES. En contraste, los algoritmos Greedy y PSO exhibieron tiempos de ejecución más altos y mayores fluctuaciones debido a la acumulación de tareas.
Escalabilidad: El marco mantuvo un rendimiento estable a través de diferentes configuraciones de red (300, 400, 500 neuronas) y factores de descuento, siendo un factor de descuento de 0.99 el que proporcionó el mejor rendimiento a largo plazo.

Significancia y Reivindicaciones
El artículo afirma que el marco LME-PPO proporciona una solución robusta y escalable para los entornos de próxima generación de ciudades inteligentes. Al cerrar la brecha entre las políticas de control continuo y los requisitos de ejecución discretos mediante el mapeo lineal, el enfoque maneja eficazmente la alta variabilidad de la descarga de tareas de IoT. Los autores aseguran que su método no solo logra un equilibrio de carga superior, sino que también reduce significativamente la latencia promedio del sistema, ofreciendo una alternativa práctica a los métodos heurísticos y de optimización tradicional en escenarios de computación de borde dinámicos. El trabajo destaca la necesidad de abordar tanto el equilibrio de carga entre servidores como la programación de tareas interna (a nivel de VM) para maximizar la utilización de los recursos. Se sugiere como trabajo futuro explorar arquitecturas descentralizadas y patrones de carga de trabajo más heterogéneos.