Reinforcement Learning with Distributed MPC for Fuel-Efficient Platoon Control with Discrete Gear Transitions

기술 요약: 이산적 기어 변속을 포함한 연료 효율적 군집 주행 제어를 위한 분산형 MPC 기반 강화 학습

문제 정의
자율주행 차량(AV) 군집의 협력 제어는 조정된 속도 및 파워트레인 관리를 통해 교통 효율성과 연료 경제성을 향상시킬 수 있는 중요한 잠재력을 가지고 있습니다. 모델 예측 제어(MPC)는 제약 조건 하에서 차량 궤적을 최적화하기 위해 널리 사용되는 접근 방식이지만, 이산적인 기어 변속 결정의 포함은 최적화 문제를 연속적 비선형 계획법(NLP)에서 혼합 정수 비선형 계획법(MINLP)으로 변화시킵니다. 실시간으로 MINLP를 해결하는 것은 계산 집약적이어서 과도한 샘플 시간이나 고성능 하드웨어를 요구하며, 이는 군집 주행의 온라인 구현을 저해합니다. 혼합 정수 이차 계획법(MIQP)으로 문제를 근사하거나 기어 선택과 속도 제어를 분리하는 기존의 대안들은 상당한 부적절한 최적성(suboptimality)을 초래하거나 제약 조건 충족을 보장하지 못하는 경우가 많습니다. 또한, 기존의 학습 기반 접근 방식은 단일 차량 시나리오에 국한되거나, 자신이 대체하고자 하는 바로 그 MINLP 문제로부터 발생하는 값비싼 데이터 생성을 필요로 하는 지도 학습에 의존해 왔습니다.

방법론
저자들은 이산적인 기어 변속 스케줄 선택을 연속적인 속도 및 토크 최적화로부터 분리하는 강화 학습(RL) 기반의 분산형 MPC 프레임워크를 제안합니다. 핵심 방법론은 두 가지 주요 구성 요소로 이루어집니다:

1. 매개변수화된 분산형 MPC: 군집 내 각 차량에 대해, 로컬 MPC 컨트롤러는 예측 지평(prediction horizon) 동안 연속적인 NLP를 해결합니다. 이 지평 동안의 이산적인 기어 변속 스케줄은 온라인에서 최적화되지 않고, 학습된 정책에 의해 고정됩니다. 이는 온라인 최적화 문제를 다루기 힘든 MINLP에서 다룰 수 있는 NLP로 감소시킵니다. 실행 가능성(feasibility)을 보장하기 위해, 학습된 정책은 휴리스틱 기어 변환 스케줄(일정한 기어 선택 기반)과 결합된 병렬 솔빙 체계와 결합됩니다. 컨트롤러는 가장 낮은 비용을 산출하는 해를 적용하여 항상 실행 가능한 해가 존재하도록 보장합니다.

2. 강화 학습 정책 아키텍처:

   • 다중 에이전트 일반화를 위한 단일 에이전트 학습: 다중 에이전트 강화 학습(MARL)의 복잡성과 비정상성(non-stationarity)을 피하기 위해, 정책은 참조 궤적을 추적하는 단일 차량 시나리오에서 학습됩니다. 정책 입력은 "시프트된(shifted)" 변수들(과거의 예측된 상태, 입력 및 원하는 궤적)을 사용하여 매개변수화되며, 이는 주변 군집 역학에 대한 정보를 암시적으로 인코딩합니다. 이를 통해 단일 차량에서 학습된 정책이 다양한 크기의 군집으로 일반화될 수 있습니다.
   • 순환 신경망(RNN): 정책은 시퀀스-투-시퀀스(sequence-to-sequence) RNN 아키텍처를 활용합니다. 전체 기어 시퀀스를 출력하는 대신(이는 예측 지평에 따라 액션 공간을 기하급수적으로 증가시킴), RNN은 시퀀스 형태의 변속 명령(감속, 유지, 가속)을 반복적으로 출력합니다. 이 구조는 예측 지평의 길이에 관계없이 입력 및 출력 차원을 일정하게 유지합니다.
   • 2단계 학습: RL 학습은 2단계 비용 함수를 채택합니다. 첫 번째 단계는 실행 불가능한 NLP 솔루션을 피하기 위해 실행 가능한 기어 변속 시퀀스를 학습하는 데 집중합니다. 두 번째 단계는 휴리스틱 베이스라인을 능가하도록 정책을 정교화하여, 연료 효율성과 추종 정확도를 최적화합니다.

주요 기여

• 계산 효율성: RL을 통해 기어 변속 스케줄 최적화의 계산 부담을 오프라인으로 전환함으로써, 온라인 컨트롤러는 NLP만을 해결합니다. 이는 혼합 정수 문제를 해결하는 방식에 비해 현저히 낮은 온라인 계산 부담을 제공합니다.
• 공동 최적화를 통한 성능: 기어 선택이 속도 제어와 독립적인 분리형 접근 방식과 달리, RL 정책은 전체 MPC 예측 창 전체에 걸쳐 최적의 기어 변속 스케줄을 선택하는 법을 학습합니다. 이는 MINLP의 복잡성을 피하면서도 공동 최적화의 이점을 유지합니다.
• 확장 가능한 정책 매개변수화: 제안된 아키텍처는 시프트된 상태 변수를 통해 차량 간 상호작용을 포착하면서 단일 차량 시나리오에서 학습할 수 있게 합니다. 이를 통해 재학습이나 네트워크 크기 증가 없이 대규모 군집으로 일반화할 수 있으며, 동종 차량 플릿 간의 파라미터 공유를 가능하게 합니다.
• 지수적 액션 공간 처리: 순환 아키텍처의 사용은 예측 지평에 따른 액션 공간의 기하급수적 증가 문제를 해결하여, 학습 후 다양한 지평 길이에 걸쳐 일반화할 수 있게 합니다.

결과
본 접근 방식은 최대 5대의 동종 차량으로 구성된 군집을 포함하는 고속도로 주행 시뮬레이션에서 검증되었습니다. 제안된 학습 공동 최적화(LC) 컨트롤러는 MINLP 기반 MPC(베이스라인), MIQP 기반 MPC, 그리고 다양한 휴리스틱 분리 또는 공동 최적화 전략과 비교되었습니다.

• 성능: 두 단계 모두로 학습된 LC-2 컨트롤러는 계산 집약적인 MINLP 베이스라인에 매우 근접한 성능을 달졌으며, 단일 및 5대 차량 시나리오에서 각각 약 1.7% ~ 2.8%의 상대적 비용 증가를 보였습니다. 이는 분리형 휴리스틱(HD)보다 훨씬 뛰어난 성능을 보였으며, MIQP 및 기타 휴리스틱에 비해 더 높은 일관성(낮은 표준 편차)을 보여주었습니다.
• 계산 시간: 제안된 방식은 혼합 정수 방식에 비해 1~2 자릿수(orders of magnitude)의 계산 속도 향상을 입증했습니다. 5대 차량 군집의 경우, LC-2 컨트롤러는 타임 스텝당 약 0.63초가 소요된 반면, MINLP 방식은 2200초 이상이 소요되었으며(더 긴 지평에서는 종종 실행 불가능함), 현실적인 시간 제한 내에 해결하는 것이 어려웠습니다.
• 일반화: 단일 차량에서 학습된 정책은 5대 차량 군집으로 성공적으로 일반화되었습니다. 또한, 예측 지평을 15에서 30 타임 스텝으로 늘려도 성능을 유지하였으나, 혼합 정수 방식은 계산적으로 불가능해졌습니다.

의의
본 논문은 이산적 기어 변속을 포함한 연료 효율적 군집 제어의 계산적 난해함을 효과적으로 해결하는 새로운 학습 기반 MPC 기법을 제시한다고 주장합니다. RL을 통해 이산적 요소를 격리하고, 분산형 NLP를 통해 연속적 공동 최적화를 유지함으로써, 본 연구는 최적성과 실시간 실행 가능성 사이의 균형을 달성했습니다. 본 연구의 의의는 단순화된 단일 에이전트 환경에서 학습된 RL 정책이 복잡한 다중 에이전트 협력 제어 작업으로 일반화될 수 있음을 입증하여, 높은 연료 효율과 이론적 MINLP 최적값에 필적하는 추종 성능을 유지하면서도 온라인 계산 부담을 크게 줄이는 확장 가능한 솔루션을 제공했다는 점에 있습니다.