Reinforcement Learning with Distributed MPC for Fuel-Efficient Platoon Control with Discrete Gear Transitions

Sintesi Tecnica: Apprendimento per Rinforzo con MPC Distribuito per il Controllo di Convogli a Consumo Efficiente con Transizioni di Marcia Discrete

Definizione del Problema
Il controllo cooperativo di convogli di veicoli autonomi (AV) offre un potenziale significativo per migliorare l'efficienza del trasporto e il risparmio di carburante attraverso la gestione coordinata di velocità e propulsione. Sebbene il Controllo Predittivo basato su Modello (MPC) sia un approccio prevalente per ottimizzare le traiettorie dei veicoli sotto vincoli, l'inclusione delle decisioni discrete di cambio marcia trasforma il problema di ottimizzazione da un Programma Non Lineare (NLP) continuo a un Programma Non Lineare a Variabili Intere Miste (MINLP). Risolvere i MINLP in tempo reale è computazionalmente intensivo, richiedendo spesso tempi di campionamento eccessivi o hardware di fascia alta, il che ne ostacola l'implementazione online per i convogli. Le alternative esistenti, come l'approssimazione del problema come un Programma Quadratico a Variabili Intere Miste (MIQP) o il disaccoppiamento della selezione della marcia dal controllo della velocità, introducono spesso una significativa subottimalità o non riescono a garantire la soddisfazione dei vincoli. Inoltre, gli approcci basati sull'apprendimento precedenti sono stati limitati a scenari a veicolo singolo o si affidano all'apprendimento supervisionato, che richiede una generazione di dati computazionalmente costosa proprio dai problemi MINLP che mirano a sostituire.

Metodologia
Gli autori propongono un framework di MPC distribuito basato sull'Apprendimento per Rinforzo (RL) che disaccoppia la selezione dello schema di cambio marcia discreto dall'ottimizzazione continua di velocità e coppia. La metodologia principale prevede due componenti principali:

1. MPC Distribuito Parametrizzato: Per ogni veicolo nel convoglio, un controllore MPC locale risolve un NLP continuo su un orizzonte di predizione. Lo schema di cambio marcia discreto lungo questo orizzonte non è ottimizzato online, ma è invece fissato da una politica appresa. Ciò riduce il problema di ottimizzazione online da un MINLP intrattabile a un NLP trattabile. Per garantire la fattibilità, la politica appresa viene combinata con uno schema di cambio marcia euristico (basato sulla selezione di una marcia costante) in uno schema di risoluzione parallelo; il controllore applica la soluzione che produce il costo minore, garantendo che una soluzione fattibile sia sempre disponibile.

2. Architettura della Politica di Apprendimento per Rinforzo (RL):

   • Addestramento Single-Agent per la Generalizzazione Multi-Agent: Per evitare la complessità e la non-stazionarietà dell'Apprendimento per Rinforzo Multi-Agente (MARL), la politica viene addestrata in uno scenario a veicolo singolo che segue una traiettoria di riferimento. L'input della politica è parametrizzato utilizzando variabili "traslate" (stati predetti passati, input e traiettorie desiderate) che codificano implicitamente informazioni sulle dinamiche del convoglio circostante. Ciò consente a una politica addestrata su un singolo veicolo di generalizzare a convogli di varie dimensioni.
   • Rete Neurale Ricorrente (RNN): La politica utilizza un'architettura RNN sequence-to-sequence. Invece di produrre una sequenza completa di marce (il che causerebbe una crescita esponenziale dello spazio delle azioni rispetto all'orizzonte di predizione), la RNN produce una sequenza di comandi di cambio (down, nessuna marcia, up-shift) in modo iterativo. Questa struttura assicura che le dimensioni di input e output rimangano costanti indipendentemente dalla lunghezza dell'orizzonte di predizione.
   • Addestramento a Due Stadi: L'addestramento RL impiega una funzione di costo a due stadi. Il primo stadio si concentra sull'apprendimento di sequenze di cambio marcia fattibili per evitare soluzioni NLP non fattibili. Il secondo stadio affina la politica per superare la baseline euristica, ottimizzando l'efficienza del carburante e la precisione del tracking.

Contributi Chiave

• Efficienza Computazionale: Spostando l'onere computazionale dell'ottimizzazione degli schemi di cambio marcia offline tramite RL, il controllore online risolve solo NLP. Ciò produce un carico computazionale online significativamente inferiore rispetto agli approcci che risolvono problemi a variabili intere miste.
• Prestazioni tramite Co-ottimizzazione: A differenza degli approcci disaccoppiati dove la selezione della marcia è indipendente dal controllo della velocità, la politica RL impara a selezionare schemi di cambio marcia ottimali attraverso l'intero orizzonte di predizione dell'MPC. Ciò mantiene i benefici della co-ottimizzazione evitando la complessità del MINLP.
• Parametrizzazione Scalabile della Politica: L'architettura proposta consente di addestrare la politica in uno scenario a veicolo singolo pur catturando le interazioni inter-veicolari attraverso variabili di stato traslate. Ciò consente di generalizzare a grandi convoi senza riaddestramento o aumento della dimensione della rete, e permette la condivisione dei parametri in flotte di veicoli omogenei.
• Gestione dello Spazio delle Azioni Esponenziale: L'uso di un'architettura ricorrente affronta la crescita esponenziale dello spazio delle azioni con l'orizzonte di predizione, consentendo alla politica di generalizzare su diverse lunghezze di orizzonte una volta addestrata.

Risultati
L'approccio è stato validato in simulazioni di guida autostradale coinvolgendo convogli fino a cinque veicoli omogenei. I controllori di Learning Co-optimization (LC) proposti sono stati confrontati con l'MPC basato su MINLP (baseline), l'MPC basato su MIQP e varie strategie di disaccoppiamento euristico o di co-ottimizzazione.

• Prestazioni: Il controllore LC addestrato con entrambi gli stadi (LC-2) ha ottenuto prestazioni molto vicine alla baseline MINLP computazionalmente intensiva, con un aumento del costo relativo di circa l'1,7% e il 2,8% rispettivamente negli scenari a veicolo singolo e a cinque veicoli. Questo ha superato significativamente le euristiche disaccoppiate (HD) e ha mostrato una maggiore consistenza (deviazione standard inferiore) rispetto a MIQP e altre euristiche.
• Tempo di Calcolo: L'approccio proposto ha dimostrato un'accelerazione computazionale di uno o due ordini di grandezza rispetto agli approoli a variabili intere miste. Per un convoglio di cinque veicoli, il controllore LC-2 ha risolto il problema in circa 0,63 secondi per passo temporale, mentre l'approccio MINLP richiedeva oltre 2200 secondi (ed era spesso non fattibile entro limiti di tempo ragionevoli per orizzonti più lunghi).
• Generalizzazione: La politica addestrata su un singolo veicolo si è generalizzata con successo a un convoglio di cinque veicoli. Inoltre, l'approccio ha mantenuto le prestazioni quando l'orizzonte di predizione è stato aumentato da 15 a 30 passi temporali, mentre gli approcci a variabili intere miste sono diventati computazionalmente intrattabili.

Significatività
Il lavoro sostiene che questa ricerca presenta un nuovo schema di MPC basato sull'apprendimento che affronta efficacemente l'intrattabilità computazionale del controllo di convogli con transizioni di marcia discrete per l'efficienza del carburante. Isolando la componente discreta tramite RL e mantenendo la co-ottimizzazione continua tramite NLP distribuito, l'approccio raggiunge un equilibrio tra ottimalità e fattibilità in tempo reale. La significatività risiede nel dimostrare che le politiche RL addestrate in ambienti semplificati a singolo agente possono generalizzare a complessi compiti di controllo cooperativo multi-agente, offrendo una soluzione scalabile che riduce significativamente l'onere computazionale online mantenendo un'elevata efficienza del carburante e prestazioni di tracking comparabili all'ottimo teorico MINLP.