⚡ electrical engineering

Knowledge-Data-Dual-Driven Reinforcement Learning for Autonomous Vehicle Control in Mixed Traffic

본 논문은 의도 인지 궤적을 합성하고 확률적 데이터와 물리적 제약을 융합하여 비동기적 다중 타임스케일 최적화를 가능하게 함으로써 혼합 교통 상황에서 자율주행 차량 제어의 안전성, 효율성 및 편안함을 향상시키는 지식-데이터 이중 구동 강화 학습(KDDRL) 프레임워크를 제안한다.

원저자: Jie Fang, Wei Zheng, Mengyun Xu, Eui-Jin Kim

게시일 2026-08-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jie Fang, Wei Zheng, Mengyun Xu, Eui-Jin Kim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 복잡한 도시에서 자동차를 운전하는 법을 가르치고 있다고 상상해 보세요. 이것은 단순히 지도를 따라가는 것이 아닙니다. 갑자기 방향을 틀거나, 브레이크를 밟거나, 마음을 바꿀 수도 있는 실제 사람들이라는 다른 체스 말들과 함께 고속으로 체스 게임을 하는 것과 같습니다. 이것이 바로 컴퓨터 과학자들이 스스로 생각하고 반응할 수 있는 자동차를 만들기 위해 노력하는 분야인 **자율주행 자동차(AV)**의 세계입니다. 이를 위해 그들은 종로 **강화 학습(Reinforcement Learning, RL)**이라는 기법을 자주 사용합니다. RL을 강아지를 훈련시키는 것에 비유해 보세요. 컴퓨터 "강아지"는 다양한 행동을 시도하고, 차선을 잘 유지하는 것과 같은 좋은 행동을 하면 "간식"(보상)을 받고, 충돌하는 것과 같은 나쁜 행동을 하면 "꾸중"(벌점)을 받습니다. 시간이 지나면서 강아지는 가장 많은 간식을 얻기 위한 최고의 기술을 배우게 됩니다. 하지만 여기에는 함정이 있습니다. 실제 운전자들은 무질서하고 예측 불가능하다는 점입니다. 그들은 항상 규칙을 따르지 않으며, 그들의 의도는 숨겨져 있습니다. 만약 로봇 자동차가 오직 지금 당장 일어나고 있는 일만 본다면, 인간 운전자가 갑자기 끼어들 때 대응하기에 너무 느릴 수 있습니다. 이 논문은 이러한 로봇 자동차가 인간과 도로를 공유할 때 더 똑똑하고, 안전하며, 편안한 운전자가 되도록 가르치는 문제를 다룹니다.

이 연구를 진행한 제이 팡(Jie Fang)과 그 팀은 현재의 로봇 운전자들이 세 가지 큰 골칫거리를 겪고 있다는 점을 깨달았습니다. 첫째, 그들은 종종 너무 수동적입니다. 그들은 눈에 보이는 것에 반응하지만, 인간 운전자가 다음에 무엇을 하려는 의도인지 추측하지 못합니다. 둘째, 그들은 "롱테일(long-tail)" 이벤트, 즉 갑작스러운 끼어들기와 같이 너무 드물게 발생하여 로봇이 어떻게 대처해야 할지 배울 기회가 없는 희귀하고 무서운 순간들을 다루는 데 어려움을 겪습니다. 셋째, 운전에는 조향(steering) 및 차선 변경(드물게 발생하며 큰 결정임)과 가속 또는 감속(끊임없이 발생하며 부드러움이 필요함)이라는 서로 다른 속도로 일어나는 두 가지 매우 다른 유형의 행동이 포함됩니다. 로봇에게 이 두 가지를 동시에 수행하도록 가르치려 하면 종종 학습 과정이 혼란스러워집니다.

이 문제를 해결하기 위해, 팀은 **지식-데이터 이중 구동 강화 학습(Knowledge-Data Dual-driven Reinforcement Learning, KDDRL)**이라는 새로운 시스템을 구축했습니다. KDDRL을 로봇 자동차에게 "수정구슬"과 "규칙책"을 동시에 주는 것이라고 생각하면 됩니다. 로봇은 단지 앞차만을 보는 대신, 특수한 AI 도구(일종의 생성 모델)를 사용하여 여러 가지 가능한 미래를 상상합니다. 로봇은 "저 차가 계속 직진한다면 어디에 있을까? 만약 저 차가 겁을 먹고 경로를 이탈한다면 어떻게 될까?"라고 자문합니다. 이는 로봇을 수동적인 관찰자에서 능동적인 예측자로 변화시킵니다.

추측하는 것만으로는 충분하지 않습니다. 로봇은 또한 안전해야 합니다. 그래서 이 시스템은 이러한 추측들을 물리적 법칙(예: "앞차와 충돌하지 마라") 및 인간이 실제로 운전하는 방식에 대한 실제 데이터와 결합합니다. 이는 마치 숙련된 운전 강사(물리 법칙)가 수백만 개의 운전 이야기(데이터)를 읽은 학생 옆에 앉아 있는 것과 같습니다. 강사는 학생이 위험한 행동을 하지 않도록 보장하고, 이야기는 사람들이 때때로 이상하게 행동할 수 있다는 점을 학생이 이해하도록 돕습니다.

또한, 이 논문은 "두 가지 속도" 문제를 해결합니다. 로봇은 함께 작동하는 두 개의 서로 다른 뇌를 사용합니다. 매우 빠르게 작동하는 한 쪽 뇌(0.1초마다)는 앞차를 따라가기 위한 부드러운 가속 페달과 브레이크 페달을 담당합니다. 다른 한 쪽 뇌(2초마다)는 차선 변경과 같은 큰 결정을 담당합니다. 이 두 뇌는 서로 소통하며 일어나고 있는 일에 대한 "공통 언어"를 공유하여, 자동차가 혼란을 겪지 않도록 합니다.

연구진은 독일 고속도로의 실제 주행 데이터를 사용하여 교통 상황을 현실적으로 구현한 컴퓨터 시뮬레이션에서 이 시스템을 테스트했습니다. 그들은 새로운 방식인 KDDRL이 기존 방식보다 로봇 자동차가 더 빠르게 학습하고 더 안전하게 운전한다는 것을 발견했습니다. 이 시뮬레이션에서 로봇은 다른 운전자가 무엇을 할지 더 잘 예측했고, 드물게 발생하는 무서운 상황을 더 효과적으로 처리했으며, 승차감을 더 부드럽고 편안하게 유지했습니다. 저자들은 인간의 의도를 예측하는 능력과 엄격한 안전 규칙을 결합함으로써, 우리가 혼합 교통 상황의 무질서하고 예측 불가능한 현실에 대비할 수 있는 자율주행 자동차를 구축할 수 있다고 제안합니다.

기술 요약: 혼합 교통 환경 내 자율주행 차량 제어를 위한 지식-데이터 이중 구동 강화 학습

문제 정의
본 논문은 혼합 교통 환경(자율주행 차량(AV)과 인간 운전 차량(HDV) 간의 상호작용) 내 자율주행 차량의 의사결정에서 발생하는 세 가지 상호 연관된 과제를 다룹니다:

물리 기반 사전 지식의 한계: 기존의 물리 정보 강화 학습(Physics-informed RL) 모델은 결정론적인 물리 모델(예: 운동학 방정식, MOBIL)에 의존하므로, 잠재적인 상호작용 의도와 다양한 운전자 행동을 포착하지 못합니다. 이는 에이전트가 미래의 차량 진화에 대해 선제적으로 추론하는 능력을 제한합니다.
비정상성(Non-Stationarity) 및 롱테일 이벤트: 주변 차량의 급격한 기동과 같은 안전에 치명적인 시나리오는 분포 변화를 야기합니다. 표준 RL은 이러한 비정상적 조건에서 어려움을 겪으며, 이로 인해 드물지만 중요한 안전 이벤트(롱테일 이벤트)에 대한 탐색이 부족해집니다.
하이브리드 액션 공간의 불안정성: 자율주행 제어에는 연속적인 차간 거리 유지(종방향)와 이산적인 차선 변경(횡방향) 기동을 관리하는 것이 필요합니다. 이들은 근본적으로 서로 다른 시간 척도에서 작동합니다. 이를 동기화된 업데이트로 강제하면 학습이 불안정해지며, 단순히 분리할 경우 상호 의존적인 결정 맥락이 고립됩니다.

방법론: KDDRL 프레임워크
저자들은 수동적인 인지-반응 방식에서 벗어나 선제적인 예측-추론으로 전환하는 지식-데이터 이중 구동 강화 학습(Knowledge-Data Dual-driven Reinforcement Learning, KDDRL) 프레임워크를 제안합니다. 이 아키텍처는 세 가지 시너지 구성 요소로 이루어져 있습니다:

의도 인지 궤적 생성 서브모듈:
- 시스템은 가공되지 않은 관측값 대신, 상호작용 의도를 인코딩하는 선행 차량의 미래 궤적을 생성합니다.
- 이를 위해 trajGAN이라 불리는 **조건부 생성적 적대 신경망(Conditional Generative Adversarial Network, cGAN)**을 채택합니다.
- 프로세스: 먼저 지능형 운전자 모델(IDM)이 결정론적인 물리 기반 사전 궤적을 생성합니다. 이는 실세계 데이터 분포로부터 학습하여, 이를 더욱 정교하고 의도가 반영된 여러 개의 물리적으로 타당한 궤적( $T_{GT}$ )으로 정제하는 trajGAN의 조건부 시퀀스( $T_{CT}$ ) 역할을 합니다.
- 출력: 상태 차원의 폭발 없이 구조화된 예견을 제공하기 위해 특정 미래 시점(10번째 및 20번째 단계)의 핵심 상대 거리를 추출합니다.
차선 변경 행동 생성 서브모듈:
- 이 모듈은 데이터 기반 통찰력과 물리적 제약을 융합하여 차선 변경 결정을 유도합니다.
- 데이터 기반 구성 요소: lcGAN은 실세계 데이터셋으로부터 경험적인 차선 변경 패턴을 학습하여, 교통 상태와 의도 인지 궤적에 조건화된 확률 분포( $P_{lcGAN}$ )를 출력합니다. 이는 빈번한 차선 유지와 드문 차선 변경 기동 사이의 클래스 불균형 문제를 해결하기 위해 Focal loss를 활용합니다.
- 지식 기반 구성 요소: MOBIL 모델은 엄격한 안전 거리 제약을 강제하고 효율성 및 안전 기준에 따라 효용을 계산함으로써 물리 기반 사전 확률( $P_{MOBil}$ )을 제공합니다.
- 융합: 임베딩 레이어는 $P_{lcGAN}$ 과 $P_{MOBIL}$ 을 압축된 공유 사전 분포( $P_{lc}$ )로 변환하며, 이는 RL 에이전트의 귀납적 편향(Inductive bias) 역할을 합니다.
차량 제어 모듈 (계층적 강화 학습):
- 프레임워크는 가공되지 않은 관측값, 의도 인지 궤적, 융합된 차선 변경 사전 확률을 통합하는 통일된 예측-지식 상태 기반을 사용합니다.
- 비동기 다중 시간 척도 최적화:
  - 이산 차선 변경: 저주파수(2초 간격)로 작동하는 D3QN(Dueling Double Deep Q-Network) 에이전트가 처리합니다. 이 에이전트는 통일된 상태를 바탕으로 액션(좌측, 유지, 우측)을 선택합니다.
  - 연속 차간 거리 유지: 고주파수(0.1초 간격)로 작동하는 TD3(Twin Delayed Deep Deterministic Policy Gradient) 에이전트가 처리합니다. 이 에이전트는 연속적인 가속 명령을 출력합니다.
- 두 에이전트는 동일한 상태 표현을 공유하지만 비동기적으로 업데이트되어, 이질적인 액션 공간에 대한 상호 정보를 보존하면서도 학습을 안정화합니다.

주요 기여

개선된 의도 인지 궤적 생성: 저자들은 상호작용 의도를 인코딩하여 물리적으로 타당한 여러 미래 궤적을 합성하는 cGAN 기반 모델을 도입함으로써, 수동적 인지를 선제적 예측 상태로 전환했습니다.
지식-데이터 이중 구동 패러다임: 예측 상태에 대해 데이터 기반의 확률적 통찰력(lcGAN)과 해석 가능한 물리적 경계(MOBIL)를 융합하는 새로운 학습 접근 방식을 제시했습니다. 이는 비정상적 환경에서 정책 최적화를 안정화하고 희귀한 안전 임계 이벤트에서의 탐색 효율성을 향상시킵니다.
공유 예측-지식 상태 기반: 의도 인지 궤적과 물리적 제약을 공유 임베딩으로 압축하는 결합 모듈을 제안합니다. 이를 통해 연속 및 이산 액션의 비동기 최적화를 가능하게 하여, 협응 제어를 유지하면서도 하이브리드 액션 공간의 불안정성 문제를 해결합니다.

결과
평가는 HighD 데이터셋(실제 독일 고속도로 궤적)을 SUMO 교통 시뮬레이터에 통합하여 캘리브레이션된 시뮬레이션 환경에서 수행되었습니다. KDDRL 프레임워크를 기존의 베이스라인 방법들과 비교한 결과, KDDRL은 다음과 같은 성과를 보였습니다:

의도 불확실성을 효과적으로 처리함.
학습 수렴을 가속화함.
안전성(충돌 감소), 효율성(속도 유지), 승차감(저크 및 불필요한 기동 감소) 측면에서 베이스라인보다 우수한 성능을 입증함.

의의 및 주장
본 논문은 KDDRL이 예측, 안전 제약, 제어 빈도의 구조적 결합 문제를 해결함으로써 중요한 진전을 이루었다고 주장합니다. "수동적 인지-반응"에서 "선제적 예측-추론"으로 패러다임을 전환함으로써, 이 프레임워크는 자율주행 차량이 단순히 반응하는 것을 넘어 인간 운전자의 행동을 예측할 수 있게 합니다. 저자들은 통합된 접근 방식이 데이터 기반의 적응성과 물리 기반의 안전 보장을 성공적으로 연결하여, 혼합 교통 흐름의 복잡하고 확률적인 의사결정 문제에 대한 견고한 솔루션을 제공한다고 단언합니다.

유사한 논문