💻 computer science

Agentic CAMA-DRL: A Context-Aware Multi-Agent Deep Reinforcement Learning Framework for Multi-Stakeholder Charging Coordination of Last-Mile Delivery E-Bikes

Este artículo propone Agentic CAMA-DRL, un marco de aprendizaje por refuerzo profundo multiagente sensible al contexto que coordina a operadores de entrega, estaciones de carga, planificadores de flotas y reguladores ambientales para optimizar la carga de bicicletas eléctricas en la logística de última milla urbana, logrando mejoras significativas en la utilización de la flota, la puntualidad, la reducción de la congestión y las emisiones de CO2 en comparación con los enfoques tradicionales basados en reglas.

Autores originales: Muddsair Sharif, Huseyin Seker

Publicado 2026-08-06

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Muddsair Sharif, Huseyin Seker

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una ciudad como un juego de persecución gigante y bullicioso donde los jugadores son bicicletas de reparto y las "bases" son estaciones de carga. En el pasado, estas bicicletas funcionaban con diésel, pero ahora, como muchos de nosotros al cambiar nuestros teléfonos por modelos más nuevos, se están cambiando a la electricidad. Esto es genial para el aire que respiramos, pero introduce una nueva y complicada regla: las bicicletas tienen que detenerse y conectarse para seguir jugando. Si todos intentan conectarse al mismo tiempo, o si una bicicleta se detiene a cargar justo cuando se supone que debe entregar un paquete, todo el juego se detiene. Este es el mundo de la "entrega de última milla": el tramo final, a menudo caótico, de llevar un paquete desde un almacén hasta tu puerta. Los científicos que estudian este campo utilizan una herramienta llamada Aprendizaje por Refuerzo Profundo (Deep Reinforcement Learning). Piensa en esto como una IA de videojuegos súper inteligente que aprende jugando millones de rondas, probando diferentes movimientos y recordando cuáles obtienen las puntuaciones más altas. Cuando tienes muchos jugadores diferentes (como la empresa de mensajería, los dueños de las estaciones de carga y los reguladores de la ciudad) todos tratando de ganar al mismo tiempo, se convierte en un problema Multi-Agente. La gran pregunta que los investigadores se plantean es: ¿Podemos enseñar a estos jugadores de IA a trabajar juntos como un equipo, en lugar de luchar entre sí, mientras también prestan atención al clima cambiante, el tráfico y los precios de la electricidad?

Este artículo presenta un sistema nuevo y astuto llamado Agentic CAMA-DRL para resolver exactamente ese rompecabezas. Los autores, Muddsair Sharif y Huseyin Seker, construyeron una simulación digital de una mañana concurrida en Londres para probar su idea. En lugar de tener un único jefe que le diga a cada bicicleta qué hacer, crearon cuatro "agentes de IA" diferentes, cada uno con un trabajo específico y una perspectiva distinta. Un agente es el Operador de Entrega, cuyo único objetivo es asegurar que los paquetes lleguen a tiempo. Otro es el Operador de la Estación de Carga, que quiere asegurar que ninguna estación esté demasiado llena. Un tercero es el Planificador de Flotas, que intenta ahorrar dinero cargando cuando la electricidad es barata. El cuarto es el Planificador Ambiental, que quiere utilizar energía verde proveniente del sol siempre que sea posible.

La magia de este sistema es cómo estos cuatro agentes se comunican entre sí. No se envían mensajes de texto de ida y vuelta; en su lugar, todos observan el mismo "contexto": una transmisión de datos en vivo que incluye atascos de tráfico, cuánta batería le queda a cada bicicleta y cuándo brilla el sol. Todos comparten un marcador común. Si un agente realiza un movimiento que le ayuda a él pero perjudica a los demás (como enviar una bicicleta a un cargador que ya está lleno), la puntuación de todo el equipo baja. Esto los obliga a aprender una estrategia donde todos ganan juntos. El sistema es "agéntico", lo que significa que no solo reacciona a una batería baja; sino que anticipa los problemas. Es como un jugador de ajedrez que no solo mueve una pieza para salvarla de ser capturada, sino que mueve una pieza tres turnos por delante para preparar una posición ganadora.

Cuando los investigadores ejecutaron su simulación, los resultados fueron impresionosos. Comparado con las reglas antiguas y simples (como "cargar siempre que la batería esté baja") o sistemas que solo tenían un jefe de IA, este nuevo enfoque basado en el trabajo en equipo hizo que la flota trabajara un 28% más eficientemente. Redujo los atascos en las estaciones de carga en un 35% y ayudó a que las entregas llegaran a tiempo un 32% más de las veces. Quizás lo más importante para nuestro planeta, redujo las emisiones de dióxido de carbono en un 42%. Los autores también realizaron una prueba especial para ver cuánto de este éxito se debía al trabajo en equipo frente al "contexto" (los datos en tiempo real). Encontraron que, si bien el trabajo en equipo fue enorme, la capacidad de ver el contexto futuro añadió un impulso adicional del 5 al 8%, demostando que ambas ideas funcionan mejor juntas que separadas.

Es importante recordar que estas cifras provienen de una simulación informática altamente realista de Londres, no de una prueba en el mundo real en calles reales todavía. Los autores advierten cuidadosamente que esta es una solución "lista para el despliegue", lo que significa que el software está construido y probado en el laboratorio, pero aún necesita ser probado en el mundo real para ver cómo maneja a los repartidores humanos impredecibles o a los sensores averiados. Sin embargo, el estudio sugiere que, al tratar la logística de entrega como un deporte de equipo cooperativo en lugar de una carrera individual, podemos hacer que nuestras ciudades sean más limpias, rápidas y mucho menos frustrantes para todos los involucrados.

Resumen Técnico: CAMA-DRL Agéntico para la Carga de E-Bikes de Última Milla

1. Planteamiento del Problema

La rápida electrificación de la logística urbana de última milla ha introducido un cuello de botella crítico: la coordinación de la carga para las bicicletas eléctricas (e-bikes) de reparto. A diferencia de la micromovilidad para conmutadores, las operaciones de reparto enfrentan restricciones estrictas de ventanas temporales, un consumo de energía variable dependiente de la carga útil y requisitos de coordinación de múltiples depósitos. Las estrategias de carga actuales suelen ser reactivas o basadas en reglas, lo que conduce a resultados subóptimos como el incumplimiento de las ventanas de entrega, la congestión de las estaciones y emisiones de carbono evitables.

Las soluciones existentes no logran abordar simultáneamente tres desafíos específicos:

Restricciones específicas de reparto: Adherencia a las ventanas temporales y presupuestos de energía ajustados por la carga útil.
Conflicto de múltiples partes interesadas: La necesidad de coordinar partes interesadas heterogéneas (operadores de reparto, operadores de estaciones, planificadores de flotas y reguladores ambientales) con objetivos potencialmente conflictivos.
Integración de contexto agéntico: La falta de sistemas que puedan anticipar condiciones futuras (demanda, clima, intensidad de carbono de la red) en lugar de simplemente reaccionar a los estados actuales.

2. Metodología: CAMA-DRL Agéntico

Los autores proponen CAMA-DRL Agéntico (Aprendizaje por Refuerzo Profundo Multi-Agente Consciente del Contexto), un marco diseñado para optimizar la infraestructura de carga mediante una toma de decisiones cooperativa y proactiva.

2.1 Arquitectura del Sistema

El marco opera como un sistema de ciclo cerrado continuo que comprende cuatro columnas funcionales:

Fuentes de Datos: Flujos de datos en tiempo real que incluyen datos de GPS/viajes, metadatos de estaciones de carga (ocupación, tipo de cargador, fuente de energía), pronósticos de demanda/clima y restricciones de ruta.
Motor de Contexto Agéntico: Un pipeline de cinco etapas que transforma los datos brutos en un vector de estado aumentado ( $\tilde{s}_t$ $\tilde{s}_{t}$ ):
1. Codificación de Estado: Normalización y embebido temporal del momento del día y el día de la semana.
2. Pronóstico: Generación de pronósticos de demanda de 30 a 60 minutos y trayectorias de Estado de Carga (SoC).
3. Fusión de Características: Concatenación de observaciones y pronósticos en una representación latente.
4. Inyección de Señales Ambientales: Superposición de tarifas por uso de tiempo, intensidad de carbono de la red y disponibilidad solar.
5. Ensamblaje de Estado: Transmisión del vector de contexto aumentado a todos los agentes.
Agentes CAMA-DRL: Cuatro agentes especializados de Red Q-Deep (DQN), cada uno mapeado a una parte interesada distinta:
- Operador de Reparto: Prioriza la entrega puntual y las ventanas de carga oportunistas.
- Operador de Estación: Equilibra la demanda entrante para mantener una ocupación del 60–80%.
- Planificador de Flota: Programa recargas proactivas de bajo costo tarifario y gestiona la distribución del SoC de la flota.
- Planificador Ambiental: Dirige la carga hacia estaciones suplementadas con energía solar para minimizar el CO2.
Salidas de Partes Interesadas y Retroalimentación: Los agentes reciben recompensas basadas en los resultados de todo el sistema (utilización, congestión, puntualidad, CO2), cerrando el ciclo.

2.2 Mecanismo de Coordinación

El marco utiliza una variante de Entrenamiento Centralizado, Ejecución Descentralizada (CTDE).

Estructura de Recompensa Compartida: Los cuatro agentes optimizan una función de recompensa escalarizada común:
$R_k(t) = w_1 \Delta U_t - w_2 C^{cong}_t + w_3 D^{on-time}_t - w_4 CO_2^t$
Donde $\Delta U_t$ es la utilización de la flota, $C^{cong}_t$ es la penalización por congestión, $D^{on-time}_t$ es la entrega puntual y $CO_2^t$ es el costo de carbono.
Coordinación Implícita: Los agentes no intercambian mensajes explícitos. En su lugar, la estructura de recompensa compartida asegura que una acción que beneficie a una parte interesada a expensas de otra (por ejemplo, causar congestión) reduzca la señal de recompensa total, desalentando dicho comportamiento mediante actualizaciones de gradiente.
Algoritmo de Entrenamiento: Los agentes utilizan buffers de experiencia independientes pero comparten un backbone DQN común. El entrenamiento emplea estabilizadores estándar de DQN: experiencia de replay, redes objetivo (actualizadas cada 10 episodios) y exploración $\epsilon$ -greedy con decaimiento geométrico.

2.3 Configuración de Entrenamiento

Factor de Descuento ( $\gamma$ ): Establecido en 0.9 para permitir una planificación prospectiva y anticipatoria (optimización de largo horizonte).
Hiperparámetros: Tamaño de lote de 128, 3 capas ocultas de 256 unidades y un conjunto de pesos de recompensa de $\{0.2, 0.3, 0.4, 0.1\}$ que prioriza la entrega puntual y la evitación de la congestión durante las horas pico.

3. Contribuciones Clave

El artículo identifica tres contribuciones principales:

Arquitectura Novedosa (C1): Una arquitectura DQN de cuatro agentes que operan cooperativamente sobre un entorno urbano compartido con una representación de estado totalmente contextualizada, permitiendo decisiones proactivas en lugar de reactivas.
Recompensa Multi-Stakeholder (C2): Una función de recompensa que equilibra la utilización de la flota, la puntualidad, la ocupación de la estación y el costo de CO2 sin requerir protocolos de comunicación explícitos entre agentes, permitiendo una coordinación que mejora el Pareto.
Superioridad Empírica (C3): Validación en una simulación de alta fidelidad de Londres que muestra ganancias significativas sobre los enfoques basados en reglas, el DQN de un solo agente y las líneas base multi-agente sin contexto, con estudios de ablación que aíslan el valor específico de la codificación de contexto.

4. Resultados Experimentales

El marco fue evaluado en una simulación de alta fidelidad de la hora punta de la mañana en Londres (06:00–10:00) involucrando 50 e-bikes, 20 estaciones de carga y demanda estocástica.

4.1 Métricas de Desempeño

En comparación con la línea base de Reglas (RB), el marco completo de Agentic CAMA-DRL logró:

Tasa de Utilización de la Flota (FUR): Incremento del +28% (alcanzando el 97%).
Congestión de Estaciones de Carga: Reducción del 35% en la ocupación máxima (cayendo al 40%).
Tasa de Puntualidad de Entrega (DPR): Mejora del +32% (alcanzando el 95%).
Emisiones de CO2: Reducción del 42% (de 0.48 a 0.28 kg/entrega).

4.2 Análisis de Ablación

Multi-Agente vs. Un Solo Agente: Pasar de un DQN de un solo agente a la coordinación Multi-Agente mejoró la FUR en un 5% y redujo la congestión en un 10%.
Conciencia de Contexto: Comparar "CAMA-DRL (sin contexto)" contra el modelo completo reveló que la codificación de contexto en tiempo real (pronósticos de demanda, tarifas, disponibilidad solar) contribuyó con una mejora adicional del 5–8% en las métricas de desempeño (específicamente en FUR, DPR y CO2). Esto confirma que el contexto y la coordinación son sinérgicos, no meramente aditivos.

4.3 Beneficios para las Partes Interesadas

Operadores de Reparto: Ganancia de ingresos del 27%, reducción de costos del 16%.
Operadores de Estación: Reducción de costos del 24% debido a la menor necesidad de mantenimiento por congestión.
Planificadores de Flota: Ganancia de ingresos del 21%, reducción de costos del 18% mediante la distribución uniforme del SoC.
Planificadores Ambientales: Reducción de CO2 del 32% impulsada por el enrutamiento con prioridad solar.

5. Significado y Reivindicaciones

El artículo posiciona a Agentic CAMA-DRL como una solución escalable y lista para el despliegue para la logística sostenible de última milla urbana. Su importancia radica en:

Sinergia de Mecanismos: Demostrar que combinar la coordinación multi-agente con la codificación de contexto en tiempo real produce resultados superiores a la suma de sus partes.
Anticipatorio vs. Reactivo: Establecer que el comportamiento "agéntico" (planificación a través de horizontes extendidos) es crítico para manejar la variabilidad temporal de la demanda de reparto y el suministro de energía renovable.
Despliegue Práctico: El marco no requiere comunicación explícita entre agentes y ejecuta la inferencia en menos de 1 milisegundo por paso de decisión, lo que lo hace adecuado para el control en tiempo real de grandes flotas.
Modularidad: La arquitectura soporta un camino claro de migración hacia flotas mixtas (e-bikes y furgonetas eléctricas) que comparten centros de carga comunes.

Los autores mantienen una postura modesta respecto a las limitaciones, señalando que los resultados se basan en simulaciones (aunque calibradas con parámetros realistas) y que las ganancias reportadas son relativas a las líneas base específicas probadas. Reconocen que la transferencia de simulación a la realidad puede enfrentar desafíos debido al ruido de los sensores y el comportamiento humano de los repartidores, y que los pesos de recompensa requieren un ajuste cuidadoso para evitar sesgar a partes interesadas específicas. Se propone trabajo futuro que incluya aprendizaje federado, agentes jerárquicos para flotas mixtas e integración de red en vivo.