Reinforcement Learning with Distributed MPC for Fuel-Efficient Platoon Control with Discrete Gear Transitions

Technische Zusammenfassung: Reinforcement Learning mit verteiltem MPC für die treibstoffeffiziente Platoon-Steuerung mit diskreten Gangwechseln

Problemstellung
Die kooperative Steuerung von autonomen Fahrzeug-Platoons (AV) bietet erhebliches Potenzial zur Verbesserung der Transporteffizienz und des Kraftstoffverbrauchs durch koordinierte Geschwindigkeits- und Antriebsstrangsteuerung. Während die Modellprädiktive Regelung (Model Predictive Control, MPC) ein verbreiteter Ansatz zur Optimierung von Fahrzeugtrajektorien unter Nebenbedingungen ist, verwandelt die Einbeziehung diskreter Gangwechsel-Entscheidungen das Optimierungsproblem von einem kontinuierlichen nichtlinearen Programm (NLP) in ein gemischt-ganzzahliges nichtlineares Programm (MINLP). Das Lösen von MINLPs in Echtzeit ist rechenintensiv und erfordert oft übermäßige Abtastzeiten oder Hochleistungs-Hardware, was die Online-Implementierung für Platoons erschwert. Bestehende Alternativen, wie die Annäherung des Problems an ein gemischt-ganzzahliges quadratisches Programm (MIQP) oder die Entkopplung der Gangwahl von der Geschwindigkeitssteuerung, führen oft zu erheblicher Suboptimalität oder können die Einhaltung von Nebenbedingungen nicht garantieren. Darüber hinaus waren bisherige lernbasierte Ansätze auf Szenarien mit einzelnen Fahrzeugen beschränkt oder basieren auf überwachtem Lernen, was eine rechenintensive Datengenerierung aus genau den MINLP-Problemen erfordert, die sie eigentlich ersetzen sollen.

Methodik
Die Autoren schlagen einen auf Reinforcement Learning (RL) basierenden, verteilten MPC-Rahmen vor, der die Auswahl des diskreten Gangwechsel-Schemas von der kontinuierlichen Geschwindigkeits- und Drehmomentoptimierung entkoppelt. Die Kernmethodik umfasst zwei Hauptkomponenten:

1. Parametrisierter verteilter MPC: Für jedes Fahrzeug im Platoon löst ein lokaler MPC-Controller ein kontinuierliches NLP über einen Vorhersagehorizont. Das diskrete Gangwechsel-Schema über diesen Horizont wird nicht online optimiert, sondern stattdelt durch eine gelernte Policy festgelegt. Dies reduziert das Online-Optimierungsproblem von einem unlösbaren MINLP zu einem handhabbaren NLP. Um die Durchführbarkeit zu gewährleisten, wird die gelernte Policy in einem parallelen Lösungsverfahren mit einem heuristischen Gangwechsel-Schema (basierend auf konstanter Gangwahl) kombiniert; der Controller wendet die Lösung an, die die geringsten Kosten liefert, wodurch sichergestellt wird, dass immer eine zulässige Lösung verfügbar ist.

2. Architektur der Reinforcement Learning Policy:

   • Single-Agent Training für Multi-Agent Generalisierung: Um die Komplexität und Nichtstationarität von Multi-Agent Reinforcement Learning (MARL) zu vermeiden, wird die Policy in einem Ein-Fahrzeug-Szenario beim Verfolgen einer Referenztrajektorie trainiert. Der Input der Policy ist mittels „verschobener“ Variablen (vergangene prädizierte Zustände, Eingaben und gewünschte Trajektorien) parametrisiert, welche die Informationen über die Dynamik des umgebenden Platoons implizit kodieren. Dies ermöglicht es einer auf einem einzelnen Fahrzeug trainierten Policy, auf Platoons unterschiedlicher Größe zu generalisieren.
   • Rekurrentes Neuronales Netz (RNN): Die Policy nutzt eine Sequence-to-Sequence-RNN-Architektur. Anstatt eine vollständige Gangsequenz auszugeben (was den Aktionsraum mit dem Vorhersidehorizont exponentiell anwachsen ließe), gibt das RNN iterativ eine Sequenz von Schaltbefehlen (runterschalten, kein Schalten, hochschalten) aus. Diese Struktur stellt sicher, dass die Input- und Output-Dimensionen unabhängig von der Länge des Vorhersidehorizonts konstant bleiben.
   • Zweistufiges Training: Das RL-Training verwendet eine zweistufige Kostenfunktion. Die erste Stufe konzentriert sich darauf, zulässige Gangwechsel-Sequenzen zu lernen, um unzulässige NLP-Lösungen zu vermeiden. Die zweite Stufe verfeinert die Policy, um die heuristische Baseline zu übertreffen, indem sie auf Kraftstoffeffizienz und Tracking-Genauigkeit optimiert.

Wesentliche Beiträge

• Recheneffizienz: Durch die Verlagerung der Rechenlast der Optimierung von Gangwechsel-Schemata mittels RL in die Offline-Phase löst der Online-Controller nur noch NLPs. Dies führt zu einer signifikant geringeren Online-Rechenlast im Vergleich zu Ansätzen, die gemischt-ganzzahlige Probleme lösen.
• Leistung durch Kooptimierung: Im Gegensatz zu entkoppelten Ansätzen, bei denen die Gangwahl unabhängig von der Geschwindigkeitssteuerung erfolgt, lernt die RL-Policy, optimale Gangwechsel-Schemata über das gesamte MPC-Vorhersiefenster hinweg auszuwählen. Dies bewahrt die Vorteile der Kooptimierung bei gleichzeitiger Vermeidung der MINLP-Komplexität.
• Skalierbare Policy-Parametrisierung: Die vorgeschlagene Architektur ermöglicht es, die Policy in einem Ein-Fahrzeug-Szenario zu trainieren und gleichzeitig Interaktionen zwischen Fahrzeugen durch verschobene Zustandsvariablen zu erfassen. Dies ermöglicht die Generalisierung auf große Platoons ohne erneutes Training oder Vergrößerung der Netzwerkgröße und erlaubt das Parameter-Sharing in homogenen Fahrzeugflotten.
• Umgang mit exponentiellem Aktionsraum: Die Verwendung einer rekurrenten Architektur adressiert das exponentielle Wachstum des Aktionsraums mit dem Vorhersidehorizont, was es der Policy ermöglicht, nach dem Training über verschiedene Horizontlängen hinweg zu generalisieren.

Ergebnisse
Der Ansatz wurde in Autobahn-Fahrsimulationen mit Platoons von bis zu fünf homogenen Fahrzeugen validiert. Die vorgeschlagenen Learning Co-optimization (LC) Controller wurden mit einem MINLP-basierten MPC (Baseline), einem MIQP-basierten MPC sowie verschiedenen heuristischen entkoppelten oder kooptimierenden Strategien verglichen.

• Leistung: Der LC-Controller, der mit beiden Stufen trainiert wurde (LC-2), erreichte eine Leistung, die sehr nah an der rechenintensiven MINLP-Baseline liegt, mit einer relativen Kostensteigerung von etwa 1,7 % bis 2,8 % in Ein- bzw. Fünf-Fahrzeug-Szenarien. Dies übertraf die entkoppelten Heuristiken (HD) deutlich und zeigte eine überlegene Konsistenz (geringere Standardabweichung) im Vergleich zu MIQP und anderen Heuristiken.
• Rechenzeit: Der vorgeschlagene Ansatz demonstrierte eine Beschleunigung der Rechenzeit um den Faktor eins bis zwei Größenordnungen gegenüber gemischt-ganzzahligen Ansätzen. Für einen Fünf-Fahrzeug-Platoon löste der LC-2 Controller das Problem in etwa 0,63 Sekunden pro Zeitschritt, während der MINLP-Ansatz über 2200 Sekunden benötigte (und bei längeren Horizonten oft zeitlich nicht realisierbar war).
• Generalisierung: Die auf ein einzelnes Fahrzeug trainierte Policy generalisierte erfolgreich auf einen Fünf-Fahrzeug-Platoon. Darüber hinaus behielt der Ansatz seine Leistung bei, wenn der Vorhersidehorizont von 15 auf 30 Zeitschritte erhöht wurde, während gemischt-ganzzahlige Ansätze rechentechnisch nicht mehr handhabbar wurden.

Bedeutung
Das Paper behauptet, dass diese Arbeit ein neuartiges lernbasiertes MPC-Schema präsentiert, das das rechentechnische Problem der kraftstoffeffizienten Platoon-Steuerung mit diskreten Gangwechseln effektiv adressiert. Durch die Isolierung der diskreten Komponente via RL und die Beibehaltung der kontinuierlichen Kooptimierung via verteiltem NLP erreicht der Ansatz ein Gleichgewicht zwischen Optimalität und Echtzeit-Machbarkeit. Die Bedeutung liegt in der Demonstration, dass RL-Policies, die in vereinfachten Single-Agent-Umgebungen trainiert wurden, erfolgreich auf komplexe Multi-Agent-Kooperationsaufgaben in Platoons generalisieren können, was eine skalierbare Lösung bietet, die die Online-Rechenlast signifikant reduziert und gleichzeitig eine hohe Kraftstoffeffizienz und Tracking-Leistung nahe am theoretischen MINLP-Optimum gewährleistet.