⚡ electrical engineering

A Hybrid End-to-End and Modular Control Architecture Toward Safe Vehicle Lateral Control: Combining Soft Actor-Critic with Model Predictive Control

본 논문은 단조 블렌딩 계수(monotone blending coefficient)를 통해 Soft Actor-Critic 강화 학습 정책과 제약 조건이 있는 모델 예측 제어기를 통합함으로써, 엔드 투 엔드 학습의 적응성과 모델 기반 제어의 안전성 보장 및 해석 가능성을 동시에 달성하는 하이브리드 차량 횡방향 제어 아키텍처를 제안한다.

원저자: Farzaneh Tatari

게시일 2026-08-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Farzaneh Tatari

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

자동차를 운전하는 것은 도로와 기계 사이의 끊임없고 미묘한 협상 과정입니다. 차선을 유지하기 위해 차량은 곡선, 바람, 타이어의 불균일한 접지력에 반응하며 끊임없이 조향을 조절해야 합니다. 수십 년 동안 엔지니어들은 컴퓨터에게 이 방법을 가르치기 위해 두 가지 주요 방식에 의존해 왔습니다. 첫 번째는 규칙 기반(rule-based) 접근법으로, 자동차가 엄격한 물리 방정식과 미리 프로그래밍된 제한 사항을 따르게 하는 방식입니다. 이 방법은 예측 가능하고 안전하지만, 경직될 수 있다는 단점이 있습니다. 만약 도로 상황이 정해진 규칙이 예상하지 못한 방식으로 변한다면, 자동차는 어려움을 겪을 수 있습니다. 두 번째는 학습 기반(learning-based) 접근법으로, 컴퓨터 프로그램이 수천 개의 운전 사례를 관찰하여 스스로 최선의 움직임을 찾아내는 방식입니다. 이 방법은 매우 유연하여 복잡하고 무질서한 상황도 처리할 수 있지만, '블랙박스'와 같다는 문제가 있습니다. 즉, 왜 특정한 선택을 내렸는지 알기 어렵고, 학습하지 못한 상황이 닥쳤을 때 위험한 실수를 하지 않을 것이라는 보장이 없습니다.

자율 주행의 미래를 향한 과제는 이 두 세계의 장점을 결합하는 것입니다. 우리는 인간 학습자처럼 적응력이 뛰어나면서도, 규칙 기반 엔지니어처럼 신뢰할 수 있고 이해 가능한 시스템을 필요로 합니다. 독립 연구자인 파르자네 타타리(Farzaneh Tatari)의 새로운 연구는 자동차의 좌우 움직임을 제어하기 위한 하이브리드 컨트롤러를 제작함으로써 바로 이 문제를 다룹니다. 이 연구는 단일 방식에 의존하는 대신, 학습 기반 정책과 규칙 기반 안전망을 융합합니다. 목표는 자동차가 물리적 한계를 초과하거나 불규칙한 움직임을 보이지 않도록 제어하는 안전 시스템에 묶여 있으면서도, 부드럽고 정확하게 운전하는 법을 배울 수 있는지 확인하는 것입니다.

이 아이디어를 테스트하기 위해, 연구자는 15m/s의 일정한 속도로 이동하는 자동차의 디지털 시뮬레이션을 구축했습니다. 이 가상 세계에서 그녀는 성능을 확인하기 위해 네 가지 서로 다른 '운전자'를 설정했습니다. 첫 번째는 오랫동안 자동차에 사용되어 온 표준적이고 단순한 컨트롤러입니다. 두 번째는 스티어링 휠을 얼마나 빨리 돌릴 수 있는지에 대한 엄격한 제한을 준수하면서 최적의 경로를 지속적으로 계산하는 정교한 규칙 기반 시스템입니다. 세 번째는 사전 작성된 규칙 없이 오차를 최소화하도록 처음부터 훈련된 순수 학습 시스템입니다. 네 번째이자 가장 중요한 것은 새로운 하이브리드 시스템입니다. 이 시스템은 학습형 AI의 조향 명령과 규칙 기반 계산기의 조향 명령을 가져와 이를 하나의 명령으로 혼합합니다. 이 시스템은 하나의 '다이얼'을 사용하여 혼합 비율을 조절합니다. 다이얼을 한쪽으로 돌리면 유연한 학습형 AI에 더 많은 비중을 두게 되고, 반대쪽으로 돌리면 안전한 규칙 기반 계산기에 더 많은 비중을 두게 됩니다.

시뮬레이션 결과, 학습형 AI는 차선 중앙을 유지하는 데 있어 가장 정확했으며 전통적인 규칙 기반 시스템보다 오류가 적었습니다. 그러나 순수 학습형 AI에는 약점이 있었습니다. 훈련 데이터와 매우 다른 몇몇 극단적인 상황에서, 가끔 오류를 일으켜 자동차가 경로를 너무 크게 벗어나게 만들었습니다. 하이브리드 시스템은 학습형 AI의 높은 정확도를 유지하면서도, 모든 조향 명령이 자동차의 안전한 물리적 한계 내에 머물도록 보장했습니다. 대다수의 테스트에서 하이브리드 자동차는 순수 학습형 AI만큼 우수한 성능을 보였습니다. 하지만 순수 학습형 AI가 실패했던 그 드문 극단적인 경우들에서, 하이브리드 시스템 역시 동일한 실패를 물려받았습니다. 학습형 AI가 혼합 과정에서 너무 지배적이었기 때문에, 규칙 기반 안전 구성 요소가 해당 특정 사례에서 오류를 방지할 만큼 빠르게 개입하여 제어할 수 없었기 때문입니다.

또한 이 연구는 자동차가 훈련받지 않은 조건, 예를 들어 미끄러운 도로를 만나거나 갑작스럽고 큰 초기 위치 오차가 발생하는 상황을 탐구했습니다. 하이브리드 시스템은 타이어 접지력이 예상보다 약하거나 자동차가 측면으로 크게 밀려난 상태에서 시작하더라도 정확도를 유지하며 견고함을 입증했습니다. 그러나 연구자는 이 안전성에 명확한 한계가 있음을 발견했습니다. 자동차가 큰 오차를 가진 상태로 시작하고 학습형 AI가 이미 물리적 최대치에 도달한 방향으로 조향을 시도하는 아주 드문 '코너 케이스(corner case)'에서는, 혼합 방식이 실수를 바로잡기에 충분히 빠르지 못했습니다. 이는 학습형 AI가 혼합 과정에서 너무 압도적이었기 때문에, 규칙 기반 안전 구성 요소가 이를 억제하여 충돌을 막을 수 없었기 때문입니다.

이 발견은 이러한 시스템이 실제 세상에서 어떻게 작동해야 하는지에 대한 결정적인 통찰을 제공했습니다. 연구자는 혼합 비율을 조절하는 '다이얼'이 고정되어 있어서는 안 된다고 제안했습니다. 대신, 이 다이얼은 다른 차량이나 도로 센서와 같은 외부 정보와 연결되어야 합니다. 시스템이 자동차가 본 적 없는 상황에 진입하고 있거나 도로 상황이 위험하다고 감지하면, 다이얼은 자동으로 이동하여 안전한 규칙 기반 계산기에 더 많은 힘을 실어주어야 합니다. 이를 통해 자동차는 일반적인 도로에서는 유연하고 효율적으로 운행하면서도, 상황이 불확실해지면 즉각적으로 더 보수적이고 예측 가능한 상태가 될 수 있습니다.

이 연구는 경험으로부터 배우면서도 전통적인 공학의 안전 보장을 잃지 않는 차량 컨트롤러를 구축하는 것이 가능하다는 것을 보여줍니다. 하이브리드 접근 방식은 학습 시스템의 매끄럽고 정확한 추적 능력을 유지하면서 자동차를 물리적 경계 내에 머물게 하는 데 성공했습니다. 현재 버전은 두 신호를 단순하게 혼합한 형태이지만, 이 연구는 더 발전된 버전이 남은 희귀한 실패 사례들을 해결할 수 있다는 방향을 제시합니다. 컨트롤러를 차량 네트워크 및 도로 인프라와 연결함으로써, 시스템은 역동적으로 행동을 조정하여 도로가 예상치 못한 변수를 던지더라도 자동차가 안전을 유지할 수 있도록 할 수 있습니다. 이는 단순히 똑똑하게 배우는 것을 넘어, 언제 자신의 안전 규칙에 의존해야 하는지를 아는 '지혜로운' 차량으로 나아가는 중요한 진전입니다.

기술 요약: 안전한 차량 횡방향 제어를 향한 하이브리드 엔드 투 엔드 및 모듈형 제어 아키텍처

문제 정의
커넥티드 및 자율주행 차량(CAV)은 모델 오차, 센서 노이즈, 미모델링된 외란 조건에서도 정확도, 낮은 제어 노력, 그리고 안전성 사이의 균형을 맞추는 횡방향 제어기가 필요하다. 현재 문헌은 각각 상당한 한계를 지닌 두 가지 뚜렷한 접근 방식에 의해 지배되고 있다:

모듈형 제어기 (예: MPC, PID): 이들은 물리 기반 모델과 명시적 제약 조건에 의존하며, 해석 가능성과 안전 보장을 제공한다. 그러나 모델 부정확성에 민로하며 광범위한 수동 튜닝을 요구한다.
엔드 투 엔드 학습 정책 (예: Deep RL): 이들은 수동으로 설계된 제어 법칙 없이도 비선형성과 미모델링된 역학에 적응할 수 있지만, 내재적인 안전 보장, 해석 가능성, 그리고 분포 변화(distribution shifts)에 대한 강건성이 부족하다.

본 논문은 학습된 정책의 적응성과 모듈형 제어의 안전성 및 예측 가능성을 희생하지 않으면서 이 둘을 결합하는 과제를 다룬다.

방법론
저자는 훈련된 Soft Actor-Critic (SAC) 정책과 제약 조건이 있는 선형 모델 예측 제어(MPC) 제어기를 선형적으로 혼합하는 하이브리드 아키텍처를 제안한다.

차량 모델: 실험에는 일정한 종방향 속도 15 m/s에서의 4상태 선형화 바이시클 모델을 활용한다.
모듈형 구성 요소 (MPC): 선형 MPC는 15단계 호라이즌을 갖는 이차 계획법(QP)으로 정식화되며, 명시적인 입력( $|\delta| \leq 0.4$ rad) 및 입력 변화율( $|\dot{\delta}| \leq 3$ rad/s) 제약 조건을 포함한다. 이는 243개의 가중치 구성에 대한 그리드 서치를 통해 튜닝되었다.
엔드 투 엔드 구성 요소 (SAC): SAC 정책은 동일한 플랜트 상에서 횡방향 오차, 헤딩 오차, 조향 크기, 조향 변화율을 벌점화하는 보상 함수를 사용하여 처음부터 학습된다. 학습은 무작위 초기 조건을 가진 에피소드 시뮬레이터에서 수행된다.
하이브리드 아키텍처: 각 타임스텝 $k$ 에서 제어기는 MPC의 첫 번째 단계 최적값( $\delta_{MPC}$ )과 SAC 정책의 출력( $\delta_{SAC}$ )의 볼록 결합(convex combination)을 계산한다. 최종 조향 명령은 다음과 같다:
$\delta_k = \text{sat}_{\delta_{max}} \left( (1 - \alpha(\lambda)) \delta_{MPC} + \alpha(\lambda) \delta_{SAC} \right)$
여기서 $\alpha(\lambda) = \lambda / (1 + \lambda)$ 는 단조 증가하는 혼합 계수이다. 결과값은 MPC에서 사용된 것과 동일한 액추에이터 한계치로 포화(saturation)된다.
평가: 시스템은 명목 조건, 강건성 케이스(큰 초기 오차, 프로세스 노이즈, 타이어 강성 불일치), 그리고 다중 초기 조건 앙상블(5x5 그리드와 5개 훈련 시드의 교차 조합)에 대해 PID, 튜닝된 선형 MPC, 단독 SAC와 벤치마킹된다.

주요 기여

벤치마킹: 공유된 지표(RMSE, 피크 오차, 평균 절대 조향, 최종 오차)를 사용하여 선형화된 바이시클 모델에 대해 네 가지 제어기(PID, MPC, SAC, 하이브리드)를 종합적으로 비교하였다.
하이브리드 정식화: 제약이 있는 모델 기반 앵커와 학습된 정책 사이를 보간하여 출력이 액추에이터 범위를 벗어나지 않도록 하는 폐쇄형(closed-form) 혼합 메커니즘을 제안하였다.
강건성 분석: 프로세스 노이즈 및 타이어 강성 불일치를 포함한 상당한 섭동 하에서의 하이브리드 성능을 평가하였다.
한계 및 확장 분석: 현재 구현 방식이 재귀적 가용성(recursive feasibility)을 보장하거나 모든 코너 케이스의 발산을 방지할 수 없음을 상세히 논의하며, 이를 통해 V2X 신호에 따라 스케줄링되는 연결성 인지형 확장의 필요성을 제시하였다.

결과

명목 성능: SAC 정책은 PID보다 48%, 선형 MPC보다 41% 우수한 가장 낮은 횡방향 오차 RMSE(0.0167 m)를 달려냈다. 하이브리드 제어기( $\lambda=12$ )는 MPC의 액추에이터 범위를 유지하면서 SAC의 추종 품질(RMSE 0.0171 m)에 근접하였으며, 매 명령에 결정론적이고 모델 기반적인 기여를 제공하였다.
강건성: 네 가지 강건성 케이스(큰 횡방향 오차, 큰 헤딩 오차, 프로세스 노이즈, 타이어 강성 불일치) 모두에서 SAC와 하이브리드가 가장 낮은 RMSE를 기록하였으며, PID 및 MPC에 비해 오차를 32~49% 감소시켰다.
코너 케이스 발산: 다중 초기 조건 앙상블(125쌍)에서 PID와 MPC는 모든 시험에서 수렴하였다. 반면 SAC와 하이브리드는 125개 중 3개(2.4%)의 사례, 즉 훈련 분포의 극단적 경계(예: $\pm 0.4$ m 횡방향 오차, $\pm 0.10$ rad 헤딩 오차)에서 발산하였다.
실패 모드: 분석 결과, 선택된 혼합 가중치( $\alpha \approx 0.92$ )에서 모델 기반 기여도는 $\approx 0.031$ rad로 제한된다. 이는 단일 샘플 내에서 잘못된 방향으로 포화된 SAC 명령을 상쇄하기에 불충분하며, 이것이 발산의 원인이 된다.

의의 및 주장
본 논문은 하이브리드 아키텍처가 단독 SAC의 추종 품질을 유지하면서도 모델링된 MPC의 안전 제약 조건과 해석 가능성을 보존한다고 주장한다. 하이브리드의 주요 가치는 반드시 (이미 SAC가 탁월한 성능을 보이는) 명목 RMSE를 줄이는 데 있는 것이 아니라, 시스템 통합자가 적응성과 안전성 사이의 균형을 조절할 수 있는 조절 가능한 인터페이스(혼합 계수 $\lambda$ )를 제공하는 데 있다.

저자는 현재의 구현이 **폐쇄형 볼록 혼합(closed-form convex blend)**이며 완전한 예측 안전 필터가 아님을 겸허히 밝힌다. 따라서 재귀적 가용성이나 종단 불변성(terminal invariance)을 보장하지 못하며, 심각한 분포 변화 하에서의 실패를 완전히 방지할 수는 없고 단지 그 규모를 완화할 수 있을 뿐이다.

본 논문은 이 아키텍처가 더 엄격한 안전 필터를 향한 디딤돌이라고 결론짓는다. 제안된 향후 연구 방향은 다음과 같다:

폐쇄형 혼합을 완전한 제약 기반 QP 예측 안전 필터(SAC 액션이 MPC 목적 함수의 소프트 선호도로 들어가는 방식)로 대체한다.
차량이 훈련 분포 외부에서 작동할 때 모델 기반 제어기로 권한을 전환할 수 있도록, V2X 신호(예: 노면 마찰력, 날씨)에 따라 $\lambda$ 를 동적으로 스케줄링하는 연결성 인지형 확장을 구현한다.

본 연구는 고충실도 비선형 모델 및 실제 차량 검증을 포함한 향후 연구를 위한 토대로서 독립적인 연구로 제시되었다.

유사한 논문