Reinforcement Learning with Distributed MPC for Fuel-Efficient Platoon Control with Discrete Gear Transitions

Resumo Técnico: Aprendizado por Reforço com MPC Distribuído para Controle de Comboio com Eficiência de Combustível e Transições de Marcha Discretas

Definição do Problema
O controle cooperativo de comboios de veículos autônomos (VA) oferece um potencial significativo para melhorar a eficiência do transporte e a economia de combustível por meio da coordenação de velocidade e gerenciamento de potência. Embora o Controle Preditivo Baseado em Modelo (MPC) seja uma abordagem prevalente para otimizar trajetórias de veículos sob restrições, a inclusão de decisões discretas de troca de marcha transforma o problema de otimização de um Programa Não Linear (NLP) contínuo em um Programa Não Linear de Inteiros Mistos (MINLP). Resolver MINLPs em tempo real é computacionalmente intensivo, muitas vezes exigindo tempos de amostragem excessivos ou hardware de alto desempenho, o que dificulta a implementação online para comboios. Alternativas existentes, como aproximar o problema como um Programa Quadrático de Inteiros Mistos (MIQP) ou desacoplar a seleção de marcha do controle de velocidade, frequentemente introduzem subotimalidade significativa ou falham em garantir a satisfação das restrições. Além disso, abordagens de aprendizado anteriores foram limitadas a cenários de veículo único ou dependem de aprendizado supervisionado, o que requer a geração de dados computacionalmente caros a partir dos próprios problemas MINLP que visam substituir.

Metodologia
Os autores propõem uma estrutura de MPC distribuído baseada em Aprendizado por Reforço (RL) que desacopla a seleção do cronograma discreto de troca de marchas da otimização contínua de velocidade e torque. A metodologia central envolve dois componentes principais:

1. MPC Distribuído Parametrizado: Para cada veículo no comboio, um controlador MPC local resolve um NLP contínuo sobre um horizonte de predição. O cronograma de troca de marchas discretas ao longo deste horizonte não é otimizado online, mas é fixado por uma política aprendida. Isso reduz o problema de otimização online de um MINLP intratável para um NLP tratável. Para garantir a viabilidade, a política aprendida é combinada com um cronograma de troca de marcha heurístico (baseado na seleção de marcha constante) em um esquema de resolução paralelo; o controlador aplica a solução que produz o menor custo, garantindo que uma solução viável esteja sempre disponível.

2. Arquitetura de Política de Aprendizado por Reforço:

   • Treinamento de Agente Único para Generalização Multiagente: Para evitar a complexidade e a não-estacionaridade do Aprendizado por Reforço Multiagente (MARL), a política é treinada em um cenário de veículo único rastreando uma trajetória de referência. A entrada da política é parametrizada usando variáveis "deslocadas" (estados preditos passados, entradas e trajetórias desejadas) que codificam implicitamente informações sobre a dinâmica do comboio circundante. Isso permite que uma política treinada em um único veículo se generalize para comboios de tamanhos variados.
   • Rede Neural Recorrente (RNN): A política utiliza uma arquitetura de rede recorrente sequência-para-sequência. Em vez de produzir uma sequência completa de marchas (o que faria o espaço de ações crescer exponencialmente com o horizonte de predição), a RNN produz uma sequência de comandos de troca (redução, sem troca, aumento de marcha) iterativamente. Esta estrutura garante que as dimensões de entrada e saída permaneçam constantes, independentemente do comprimento do horizonte de predição.
   • Treinamento em Duas Etapas: O treinamento de RL emprega uma função de custo de duas etapas. A primeira etapa foca em aprender sequências de troca de marcha viáveis para evitar soluções NLP inviáveis. A segunda etapa refina a política para superar a linha de base heurística, otimizando a eficiência de combustível e a precisão de rastreamento.

Principais Contribuições

• Eficiência Computacional: Ao deslocar o fardo computacional da otimização de cronogramas de troca de marcha para o modo offline via RL, o controlador online resolve apenas NLPs. Isso resulta em um fardo computacional online significativamente menor em comparação com abordagens que resolvem problemas de inteiros mistos.
• Desempenho via Co-otimização: Diferente de abordagens desacopladas onde a seleção de marcha é independente do controle de velocidade, a política de RL aprende a selecionar cronogramas de troca de marcha ideais através de toda a janela de predição do MPC. Isso retém os benefícios da co-otimização enquanto evita a complexidade do MINLP.
• Parametrização de Política Escalável: A arquitetura proposta permite o treinamento em um cenário de veículo único enquanto captura interações entre veículos através de variáveis de estado deslocadas. Isso permite a generalização para grandes comboios sem necessidade de retreinamento ou aumento do tamanho da rede, além de permitir o compartilhamento de parâmetros em frotas de veículos homogêneos.
• Tratamento de Espaço de Ações Exponencial: O uso de uma arquitetia recorrente aborda o crescimento exponencial do espaço de ações com o horizonte de predição, permitindo que a política se generalize para diferentes comprimentos de horizonte após o treinamento.

Resultados
A abordagem foi validada em simulações de condução em rodovia envolvendo comboios de até cinco veículos homogêneos. Os controladores de Co-otimização de Aprendizado (LC) propostos foram comparados contra o MPC baseado em MINLP (linha de base), MPC baseado em MIQP e várias estratégias de heurística desacoplada ou co-otimização.

• Desempenho: O controlador LC treinado com ambas as etapas (LC-2) alcançou um desempenho muito próximo da linha de base MINLP computacionalmente intensiva, com um aumento de custo relativo de aproximadamente 1,7% a 2,8% nos cenários de um e cinco veículos, respectivamente. Isso superou significativamente as heurísticas desacopladas (HD) e mostrou maior consistência (menor desvio padrão) em comparação ao MIQP e outras heurísticas.
• Tempo de Computação: A abordagem proposta demonstrou uma aceleração de um a dois ordens de magnitude sobre as abordagens de inteiros mistos. Para um comboio de cinco veículos, o controlador LC-2 resolveu o problema em aproximadamente 0,63 segundos por passo de tempo, enquanto a abordagem MINLP exigiu mais de 2200 segundos (e frequentemente era inviável dentro de limites de tempo razoáveis para horizontes mais longos).
• Generalização: A política treinada em um único veículo generalizou-se com sucesso para um comboio de cinco veículos. Além disso, a abordagem manteve o desempenho quando o horizonte de predição foi aumentado de 15 para 30 passos de tempo, enquanto as abordagens de inteiros mistos tornaram-se computacionalmente intratáveis.

Significância
O artigo afirma que este trabalho apresenta um novo esquema de MPC baseado em aprendizado que aborda efetivamente a intratabilidade computacional do controle de comboio com transições de marcha discretas para eficiência de combustível. Ao isolar o componente discreto via RL e manter a co-otimização contínua via NLP distribuído, a abordagem alcança um equilíbrio entre otimalidade e viabilidade em tempo real. A significância reside em demonstrar que políticas de RL treinadas em ambientes simplificados de agente único podem se generalizar para tarefas complexas de controle cooperativo multiagente, oferecendo uma solução escalável que reduz significativamente o fardo computacional online, mantendo alta eficiência de combustível e desempenho de rastreamento comparável ao ótimo teórico do MINLP.