💻 computer science

Agentic CAMA-DRL: A Context-Aware Multi-Agent Deep Reinforcement Learning Framework for Multi-Stakeholder Charging Coordination of Last-Mile Delivery E-Bikes

Dit artikel stelt Agentic CAMA-DRL voor, een contextbewust multi-agent deep reinforcement learning-framework dat bezorgoperators, laadstations, vlootplanners en milieuregulatoren coördineert om het opladen van e-bikes in de stedelijke last-mile logistiek te optimaliseren, waarbij significante verbeteringen worden bereikt in vlootbenutting, punctualiteit, congestiereductie en CO2-emissies vergeleken met traditionele regelgebaseerde benaderingen.

Oorspronkelijke auteurs: Muddsair Sharif, Huseyin Seker

Gepubliceerd 2026-08-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Muddsair Sharif, Huseyin Seker

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een stad voor als een gigantisch, bruisend spelletje tikkertje waarbij de spelers bezorgfietsen zijn en de "bases" laadstations zijn. In het verleden reden deze fietsen op diesel, maar nu, net zoals velen van ons hun oude telefoons inruilen voor nieuwere modellen, stappen ze over op elektriciteit. Dit is geweldig voor de lucht die we inademen, maar het introduceert een lastige nieuwe regel: de fietsen moeten stoppen om op te laden om door te kunnen spelen. Als iedereen tegelijk probeert op te laden, of als een fiets stopt om te laden precies wanneer hij een pakketje moet afleveren, komt het hele spel tot stilstand. Dit is de wereld van "last-mile delivery"—het laatste, vaak chaotische traject van het krijgen van een pakketje van een magazijn naar jouw voordeur. Wetenschappers die dit veld bestuderen, gebruiken een hulpmiddel genaamd Deep Reinforcement Learning. Denk hierbij aan een superintelligente AI voor videogames die leert door miljoenen rondes te spelen, verschillende zetten uit te proberen en te onthouden welke zetten de hoogste score opleveren. Wanneer je veel verschillende spelers hebt (zoals de bezorgdienst, de eigenaren van de laadstations en de stedelijke regelgevers) die allemaal tegelijkertijd willen winnen, wordt het een Multi-Agent probleem. De grote vraag die onderzoekers stellen is: kunnen we deze AI-spelers leren om als een team samen te werken, in plaats van tegen elkaar te vechten, terwijl ze ook rekening houden met veranderend weer, verkeer en elektriciteitsprijzen?

Dit artikel introduceert een nieuw, slim systeem genaamd Agentic CAMA-DRL om precies dat puzzelstukje op te lossen. De auteurs, Muddsair Sharif en Huseyin Seker, bouwden een digitale simulatie van een drukke ochtend in Londen om hun idee te testen. In plaats van één baas die elke fiets vertelt wat hij moet doen, creëerden ze vier verschillende "AI-agents", elk met een specifieke taak en een ander perspectief. Eén agent is de Delivery Operator, wiens enige doel is om ervoor te zorgen dat pakketjes op tijd aankomen. Een andere is de Charging Station Operator, die wil zorgen dat geen enkel station te vol raakt. Een derde is de Fleet Planner, die probeert geld te besparen door op te laden wanneer de elektriciteit goedkoop is. De vierde is de Environmental Planner, die zoveel mogelijk groene energie van de zon wil gebruiken wanneer dat mogelijk is.

De magie van dit systeem is hoe deze vier agents met elkaar communiceren. Ze sturen geen tekstberichten heen en weer; in plaats daarvan kijken ze allemaal naar dezelfde "context"—een live datastroom die onder meer verkeersopstoppingen, de batterijstatus van elke fiets en de zonnestraling bevat. Ze delen een gemeenschappelijke scorelijst. Als een agent een zet doet die hemzelf helpt maar anderen schaadt (zoals een fiets naar een lader sturen die al vol zit), gaat de score van het hele team omlaag. Dit dwingt hen om een strategie te leren waarbij iedereen samen wint. Het systeem is "agentic", wat betekent dat het niet alleen reageert op een lage batterij, maar problemen anticipeert. Het is als een schaker die een stuk niet alleen beweegt om te voorkomen dat het wordt geslagen, maar drie zetten vooruit denkt om een winnende positie op te zetten.

Toen de onderzoekers hun simulatie draaiden, waren de resultaten indrukwekkend. Vergeleken met de oude, simpele regels (zoals "laad op wanneer de batterij laag is") of systemen die slechts één AI-baas hadden, maakte deze nieuwe teamgerichte aanpak het wagenpark 28% efficiënter. Het verminderde verkeersopstoppingen bij laadstations met 35% en zorgde ervoor dat leveringen 32% vaker op tijd aankwamen. Misschien wel het belangrijkste voor onze planeet: het verminderde de CO2-uitstoot met 42%. De auteurs voerden ook een speciale test uit om te zien hoeveel van dit succes voortkwam uit teamwork versus de "context" (real-time data). Ze ontdekten dat hoewel teamwork enorm belangrijk was, het vermogen om de toekomstige context te zien nog eens een extra boost van 5–8% gaf, wat bewijst dat de twee ideeën beter samenwerken dan apart.

Het is belangrijk om te onthouden dat deze cijfers afkomstig zijn van een zeer realistische computersimulatie van Londen, en niet van een test in de echte wereld op echte straten. De auteurs benadrukken voorzichtig dat dit een "deployment-ready" oplossing is, wat betekent dat de software gebouwd en getest is in het lab, maar dat het nog steeds in de echte wereld getest moet worden om te zien hoe het omgaat met onvoorspelbare menselijke rijders of defecte sensoren. De studie suggereert echter dat door logistiek te behandelen als een coöperatieve teamsport in plaats van een individuele race, we onze steden schoner, sneller en veel minder frustrerend kunnen maken voor iedereen die erbij betrokken is.

Technische Samenvatting: Agentic CAMA-DRL voor Last-Mile E-Bike Laden

1. Probleemstelling

De snelle elektrificatie van de stedelijke last-mile logistiek heeft een kritieke flessenhals geïntroduceerd: de coördinatie van het laden van bezorg-e-bikes. In tegenstelling tot pendelverkeer voor micro-mobiliteit, kampen bezorgoperaties met strikte tijdvensterbeperkingen, variabele energieconsumptie afhankelijk van de lading en vereisten voor multi-depot coördinatie. Huidige laadstrategieën zijn vaak reactief of op regels gebaseerd, wat leidt tot suboptimale uitkomsten zoals gemiste bezorgtijdvensters, congestie bij laadstations en vermijdbare CO2-emissies.

Bestaande oplossingen slagen er niet in om gelijktijdig drie specifieke uitdagingen aan te pakken:

Bezorgspecifieke beperkingen: Het naleven van tijdvensters en energiebudgetten aangepast aan de lading.
Multi-stakeholder conflict: De noodzaak om heterogene belanghebbenden (bezorgoperators, stationoperators, vlootplanners en milieuregulatoren) te coördineren met potentieel conflicterende doelstellingen.
Agentic context integratie: Het gebrek aan systemen die toekomstige condities kunnen anticiperen (vraag, weer, koolstofintensiteit van het elektriciteitsnet) in plaats van enkel te reageren op de huidige staat.

2. Methodologie: Agentic CAMA-DRL

De auteurs stellen Agentic CAMA-DRL (Context-Aware Multi-Agent Deep Reinforcement Learning) voor, een framework dat ontworpen is om laadinfrastructuur te optimaliseren door middel van coöperatieve, proactieve besluitvorming.

2.1 Systeemarchitectuur

Het framework werkt als een continu gesloten feedbacksysteem bestaande uit vier functionele kolommen:

Databronnen: Real-time stromen inclusief GPS/tripdata, metadata van laadstations (bezetting, type lader, energiebron), vraag-/weervoorspellingen en routebeperkingen.
Agentic Context Engine: Een vijffasen pijplijn die ruwe data transformeert naar een uitgebreide staat-vector ( $\tilde{s}_t$ $\tilde{s}_{t}$ ):
1. State Encoding: Normalisatie en temporele embedding van tijdstip en dag van de week.
2. Forecasting: Generatie van 30–60 minuten vraagvoorspellingen en State-of-Charge (SoC) trajecten.
3. Feature Fusion: Concatenatie van observaties en voorspellingen in een latente representatie.
4. Environmental Signal Injection: Overlay van time-of-use tarieven, koolstofintensiteit van het net en beschikbaarheid van zonne-energie.
5. State Assembly: Broadcasten van de uitgebreide context-vector naar alle agents.
CAMA-DRL Agents: Vier gespecialiseerde Deep Q-Network (DQN) agents, elk gekoppeld aan een specifieke stakeholder:
- Delivery Operator: Prioriteert tijdige levering en opportunistische laadvensters.
- Station Operator: Balanceert binnenkomende vraag om een bezettingsgraad van 60–80% te behouden.
- Fleet Planner: Plant proactieve top-ups tijdens lage tarieven en beheert de SoC-distributie van de vloot.
- Environmental Planner: Stuurt het laden naar stations die worden aangevuld met zonenergie om CO2 te minimaliseren.
Stakeholder Outputs & Feedback: Agents ontvangen beloningen op basis van systeembrede uitkomsten (benutting, congestie, punctualiteit, CO2), waardoor de lus wordt gesloten.

2.2 Coördinatiemechanisme

Het framework maakt gebruik van een Centralized Training, Decentralized Execution (CTDE) variant.

Gedeelde Beloningsstructuur: Alle vier de agents optimaliseren een gemeenschappelijke gescalariseerde beloningsfunctie:
$R_k(t) = w_1 \Delta U_t - w_2 C^{cong}_t + w_3 D^{on-time}_t - w_4 CO_2^t$
Waarbij $\Delta U_t$ de vlootbenutting is, $C^{cong}_t$ de congestiestraf, $D^{on-time}_t$ de tijdige levering en $CO_2^t$ de koolstofkosten.
Impliciete Coördinatie: Agents wisselen geen expliciete berichten uit. In plaats daarvan zorgt de gedeelde beloningsstructuur ervoor dat een actie die één stakeholder bevoordeelt ten koste van een andere (bijv. het veroorzaken van congestie) het totale beloningssignaal verlaagt, wat dergelijk gedrag ontmoedigt via gradiëntupdates.
Trainingsalgoritme: Agents gebruiken onafhankelijke replay buffers maar delen een gemeenschappelijke DQN-backbone. Training maakt gebruik van standaard DQN-stabilisatoren: experience replay, target networks (bijgewerkt elke 10 episodes) en $\epsilon$ -greedy exploratie met geometrische decay.

2.3 Trainingsconfiguratie

Discount Factor ( $\gamma$ ): Ingezet op 0.9 om verregaand, anticiperend plannen mogelijk te maken (optimalisatie op lange termijn).
Hyperparameters: Batchgrootte van 128, 3 verborgen lagen van 256 eenheden, en een beloningsgewicht-set van $\{0.2, 0.3, 0.4, 0.1\}$ die prioriteit geeft aan tijdige levering en het vermijden van congestie tijdens piekuren.

3. Belangrijkste Bijdragen

Het artikel identificeert drie hoofd bijdragen:

Nieuwe Architectuur (C1): Een vier-agent DQN-architectuur die coöperatief opereert over een gedeelde stedelijke omgeving met een volledig gecontextualiseerde staat-representatie, wat proactieve in plaats van reactieve beslissingen mogelijk maakt.
Multi-Stakeholder Beloning (C2): Een beloningsfunctie die vlootbenutting, punctualiteit, stationbezetting en CO2-kosten balanceert zonder expliciete inter-agent communicatieprotocollen te vereisen, wat Pareto-verbeterende coördinatie mogelijk maakt.
Empirische Superieuriteit (C3): Validatie in een high-fidelity Londense simulatie die significante winsten laat zien ten opzien van regelgebaseerde, single-agent DQN en contextloze multi-agent baselines, inclusief ablatie-studies die de specifieke waarde van context-encoding isoleren.

4. Experimentele Resultaten

Het framework werd geëvalueerd in een high-fidelity simulatie van de ochtendpiek in Londen (06:00–10:00) met 50 e-bikes, 20 laadstations en stochastische vraag.

4.1 Prestatie-indicatoren

Vergeleken met een Rule-Based (RB) baseline bereikte het volledige Agentic CAMA-DRL framework:

Fleet Utilisation Rate (FUR): +28% toename (bereikt 97%).
Charging Station Congestion: 35% reductie in piekbezetting (daalt naar 40%).
Delivery Punctuality Rate (DPR): +32% verbetering (bereikt 95%).
CO2-emissies: 42% reductie (van 0.48 naar 0.28 kg/levering).

4.2 Ablatie-analyse

Multi-Agent vs. Single-Agent: De overstap van Single-Agent DQN naar Multi-Agent coördinatie verbeterde de FUR met 5% en verminderde de congestie met 10%.
Context-bewustzijn: Het vergelijken van "CAMA-DRL (zonder context)" met het volledige model toonde aan dat real-time context-encoding (vraagvoorspellingen, tarieven, beschikbaarheid van zonenergie) een extra verbetering van 5–8% opleverde in prestatie-indicatoren (specifiek FUR, DPR en CO2). Dit bevestigt dat context en coördinatie synergetisch zijn, en niet slechts additief.

4.3 Voordelen voor Stakeholders

Delivery Operators: 27% omzetwinst, 16% kostenreductie.
Station Operators: 24% kostenreductie door verminderde onderhoudslast door congestie.
Fleet Planners: 21% omzetwinst, 18% kostenreductie via uniforme SoC-distributie.
Environmental Planners: 32% CO2-reductie gedreven door solar-priority routing.

5. Betekenis en Claims

Het artikel positioneert Agentic CAMA-DRL als een schaalbare, klaar voor implementatie oplossing voor duurzame last-mile logistiek in stedelijke gebieden. De betekenis ligt in:

Synergie van Mechanismen: Het aantonen dat het combineren van multi-agent coördinatie met real-time context-encoding resultaten oplevert die superieur zijn aan de som der delen.
Anticipatief vs. Reactief: Het vaststellen dat "agentic" gedrag (plannen over uitgebreide horizonten) cruciaal is voor het afhandelen van de temporele variabiliteit van bezorgvraag en de aanbod van hernieuwbare energie.
Praktische Implementatie: Het framework vereist geen expliciete inter-agent communicatie en voert inferentie uit in minder dan 1 milliseconde per beslissingsstap, wat het geschikt maakt voor real-time controle van grote vloten.
Modulariteit: De architectuur ondersteunt een duidelijk migratiepad naar gemengde vloten (e-bikes en elektrische bestelwagens) die dezelfde laadhubs delen.

De auteurs hanteren een bescheiden standpunt met betrekking tot beperkingen, waarbij zij opmerken dat de resultaten gebaseerd zijn op simulatie (hoewel gekalibreerd naar realistische parameters) en dat de gerapporteerde winsten relatief zijn aan de specifiek geteste baselines. Zij erkennen dat sim-to-real transfer uitdagingen kan kennen door sensorgruis en menselijk rijgedrag, en dat beloningsgewichten zorgvuldige afstemming vereisen om bias bij specifieke stakeholders te voorkomen. Toekomstig werk richt zich op federated learning, hiërarchische agents voor gemengde vloten en live grid-integratie.