Reinforcement Learning with Distributed MPC for Fuel-Efficient Platoon Control with Discrete Gear Transitions

Technische Samenvatting: Reinforcement Learning met Gedistribueerde MPC voor Brandstofefficiënt Platoonbeheer met Discrete Versnellingsbakovergangen

Probleemstelling
Coöperatieve controle van autonome voertuig(AV) platoenen biedt aanzienlijk potentieel voor het verbeteren van transportefficiëntie en brandstofverbruik door gecoördineerd snelheids- en aandrijflijnbeheer. Hoewel Model Predictive Control (MPC) een gangbare aanpak is voor het optimaliseren van voertuigtrajecten onder beperkingen, transformeert de inclusie van discrete versnellingsbakkeuzes het optimalisatieprobleem van een continu Nietlineair Programma (NLP) naar een Mixed-Integer Nonlinear Program (MINLP). Het oplossen van MINLP's in realtime is computationeel intensief en vereist vaak excessieve bemonsteringsperioden of hoogwaardige hardware, wat online implementatie van platoenen belemmert. Bestaande alternatieven, zoals het benaderen van het probleem als een Mixed-Integer Quadratic Program (MIQP) of het ontkoppelen van versnellingskeuze van snelheidscontrole, introduceren vaak aanzienlijke suboptimaliteit of kunnen de naleving van beperkingen niet garanderen. Bovendien waren eerdere op leren gebaseerde benaderingen beperkt tot scenario's met één voertuig of vertrouwden ze op supervised learning, wat computationeel dure datageneratie vereist van precies die MINLP-problemen die ze juist willen vervangen.

Methodologie
De auteurs stellen een Reinforcement Learning (RL)-gebaseerd gedistribueerd MPC-framework voor dat de discrete selectie van het versnellingsschema ontkoppelt van de continue snelheid- en koppeloptimalisatie. De kern van de methodologie bestaat uit twee hoofdcomponenten:

1. Geparametriseerde Gedistribueerde MPC: Voor elk voertuig in het platoon lost een lokale MPC-controller een continu NLP op over een voorspellingshorizon. Het discrete versnellingsschema over deze horizon wordt niet online geoptimaliseerd, maar is vastgesteld door een geleerd beleid (policy). Dit reduceert het online optimalisatieprobleem van een onhandelbare MINLP naar een hanteerbare NLP. Om haalbaarheid te garanderen, wordt het geleerde beleid gecombineerd met een heuristisch versnellingsschema (gebaseerd op constante versnellingselectie) in een parallel oplosschema; de controller past de oplossing toe die de laagste kosten oplevert, waardoor gegarandeerd een haalbare oplossing beschikbaar is.

2. Reinforcement Learning Beleidsarchitectuur:

   • Single-Agent Training voor Multi-Agent Generalisatie: Om de complexiteit en niet-stationariteit van Multi-Agent Reinforcement Learning (MARL) te vermijden, wordt het beleid getraind in een scenario met één voertuig dat een referentietraject volgt. De input van het beleid is geparametriseerd met behulp van "verschoven" variabelen (verleden voorspelde toestanden, inputs en gewenste trajecten), die impliciet informatie over de dynamica van het omliggende platoon coderen. Dit stelt een beleid dat op één voertuig is getraind in staat om te generaliseren naar platoenen van verschillende groottes.
   • Recurrent Neural Network (RNN): Het beleid maakt gebruik van een sequence-to-sequence RNN-architectuur. In plaats van een volledige sequentie van versnellingen uit te voeren (wat zou leiden tot een exponentiële groei van de actieruimte met de voorspellingshorizon), geeft de RNN iteratief een sequentie van schakelcommando's (down, geen-schakeling, up-shift) uit. Deze structuur zorgt ervoor dat de input- en outputdimensies constant blijven, ongeacht de lengte van de voorspellingshorizon.
   • Twee-fasen Training: De RL-training maakt gebruik van een twee-fasen kostenfunctie. De eerste fase richt zich op het leren van haalbare versnellingssequenties om onhaalbare NLP-oplossingen te voorkomen. De tweede fase verfijnt het beleid om de heuristische baseline te overtreffen, waarbij geoptimaliseerd wordt voor brandstofefficiëntie en nauwkeurigheid van het volgen van het traject.

Belangrijkste Bijdragen

• Computationele Efficiëntie: Door de computationele last van het optimaliseren van versnellingsschema's offline via RL te verschuiven, lost de online controller alleen nog NLP's op. Dit levert een aanzienlijk lagere online computationele last op vergeleken met benaderingen die mixed-integer problemen oplossen.
• Prestaties via Co-optimalisatie: In tegen tegenstelling tot ontkoppelde benaderingen waar de versnellingskeuze onafhankelijk is van de snelheidscontrole, leert het RL-beleid om optimale versnellingsschema's te selecteren over de gehele MPC-voorspellingswindow. Dit behoudt de voordelen van co-optimalisatie terwijl de MINLP-complexiteit wordt vermeden.
• Schaalbare Beleidsparametrisering: De voorgestelde architectuur maakt het mogelijk om in een single-vehicle scenario te trainen terwijl interacties tussen voertuigen worden gevangen via verschoven toestandsvariabelen. Dit maakt generalisatie naar grote platoenen mogelijk zonder hertraining of het vergroten van de netwerkomvang, en staat parametersharing toe in homogene voertuigvloten.
• Afhandeling van Exponentiële Actieruimte: Het gebruik van een recurrente architectuur adresseert de exponentiële groei van de actieruimte met de voorspellingshorizon, waardoor het beleid kan generaliseren over verschillende horizonlengtes zodra het getraind is.

Resultaten
De aanpak is gevalideerd in snelweg-rijsimulaties met platoenen van maximaal vijf homogene voertuigen. De voorgestelde Learning Co-optimization (LC) controllers werden vergeleken met een MINLP-gebaseerde MPC (baseline), MIQP-gebaseerde MPC en diverse heuristische ontkoppelde of co-optimalisatiestrategieën.

• Prestaties: De LC-controller getraind met beide fasen (LC-2) bereikte prestaties die zeer dicht bij de computationeel intensieve MINLP-baseline lagen, met een relatieve kostenstijging van ongeveer 1,7% tot 2,8% in single- en vijf-voertuigscenario's respectievelijk. Dit presteerde aanzienlijk beter dan ontkoppelde heuristieken (HD) en vertoonde een superieure consistentie (lagere standaarddeviatie) vergeleken met MIQP en andere heuristieken.
• Computatietijd: De voorgestelde aanpak demonstreerde een versnelling van één tot twee ordes van grootte ten opzichte van mixed-integer benaderingen. Voor een vijf-voertuig plateau lost de LC-2 controller het probleem op in ongeveer 0,63 seconden per tijdstap, terwijl de MINLP-benadering meer dan 2200 seconden vereiste (en vaak onhaalbaar was binnen redelijke tijdlimieten voor langere horizonten).
• Generalisatie: Het beleid getraind op één voertuig generaliseerde succesvol naar een vijf-voertuig plateau. Bovendien behield de aanpak zijn prestaties wanneer de voorspellingshorizon werd vergroot van 15 naar 30 tijdstappen, terwijl mixed-integer benaderingen computationeel onhandelbaar werden.

Betekenis
Het artikel stelt dat dit werk een nieuw, op leren gebaseerd MPC-schema presenteert dat effectief de computationele onhandelbaarheid van brandstofefficiënt platoonbeheer met discrete versnellingsbakovergangen aanpakt. Door het discrete component te isoleren via RL en de continue co-optimalisatie te behouden via gedistribueerde NLP, bereikt de aanpak een evenwicht tussen optimaliteit en realtime haalbaarheid. De betekenis ligt in het aantonen dat RL-beleid getraind in vereenvoudigde single-agent omgevingen kan generaliseren naar complexe multi-agent coöperatieve controle-taken, wat een schaalbare oplossing biedt die de online computationele last aanzienlijk vermindert terwijl een hoge brandstofefficiëntie en tracking-prestaties worden behouden die vergelijkbaar zijn met het theoretische MINLP-optimum.