Replicating the behaviour of electric vehicle drivers using an agent-based reinforcement learning model

기술 요약: 에이전트 기반 강화 학습 모델을 이용한 전기차 운전자의 행동 재현

문제 정의
전기차(EV) 보급의 급격한 확대, 특히 개인 주택 충전 시설을 이용할 수 없는 대중 시장의 확산은 정확한 공용 충전 수요 추정에 대한 결정적인 필요성을 창출했다. 기존의 접근 방식은 상당한 한계에 직면해 있다. 데이터 기반 방식은 개인 정보 보호 문제로 인해 개인 EV 데이터 대신 편향된 프록시(예: 일반 차량 GPS 또는 상업용 플릿)에 의존하는 경우가 많다. 반면, 전통적인 시뮬레이션 기반 에이전트 기반 모델(ABM)은 일반적으로 정적인 행동 규칙에 의존한다. 이러한 정적 규칙은 경험을 통해 학습하고 시간이 지남에 따라 충전 습 습관을 조정하는 인간 운전자의 적응적 특성을 포착하지 못한다. 또한, 교통 분야에서의 기존 강화 학습(RL) 응용은 주로 플릿 운영 최적화에 집중하거나 완벽한 합리성과 정보 공유를 가정하는데, 이는 제한된 통신 환경에서 유한한 합리성(bounded rationality) 하에 운영되는 개인 전기차 운전자의 현실을 반영하지 못한다. 국가적 규모에서 개인 운전자의 적응적이고 이질적인 의사결정을 시뮬레이션할 수 있는 견고하고 검증된 프레임-워크가 부족한 실정이다.

방법론
저자들은 영국(GB) 전역의 개인 전기차 운전자 행동을 시뮬레이션하기 위해 심층 Q-네트워크(DQN)를 사용하는 다단계 에이전트 기반 강화 학습(RL) 프레임워크를 제안한다.

• 데이터 및 환경: 본 연구는 이동 일정(기점, 종점, 목적, 거리)을 위해 국가 여행 조사(NTS)를 활용하고, 도로 네트워크를 위해 오던스 서베이(Ordnance Survey) 데이터를 사용한다. EV 속성(배터리 크기, 소비량)은 EV 데이터베이스에서 가져온다. 시뮬레이션 환경은 2024년 4월 기준 59,125개의 공용 충전기와 ChargePoint에서 스크래핑한 실시간 가용 상태를 통합한다.
• 에이전트 클러스터링: 운전자는 이동 거리, 초기 충전 상태(SOC), 여정 공존 밀도(TCD), 충전기 밀도(CD)를 기준으로 클러스터링된다. 각 클러스터는 다시 이동 목적(업무용 vs 레저용)에 따라 세분화된다.
• 다단계 학습-시뮬레이션 프레임워크:
  1. 학습(Training): 각 클러스터의 대표 에이전트들이 DQN을 사용하여 학습된다. 에이전트는 SOC, 목적지까지의 거리, 시간대, 남은 여정, 그리고 범위 내 가용 스테이션의 비율로 구성된 상태 벡터 $S_t$를 관찰한다.
  2. 행동 공간(Action Space): 에이전트는 충전 없이 이동하거나, 특정 백분율($n\%$)만큼 충전하기 위해 도달 가능한 스테이션으로 경로를 재설정할지 선택한다.
  3. 보상 함수(Reward Function): 보상($R_t$)은 네 가지 요소의 복합체이다: SOC 임계값 영향(심리적 안도감), 충전 긴급성(시기 및 기회), 비용 영향(재정 및 시간 페널티), 여정 완료 상태(충전 방전에 대한 페널티).
  4. 시뮬레이션 루프: 학습된 정책은 공유된 환경 내에서 더 큰 규모의 에이전트 집단을 안내하며, 여기서 충전기 가용성은 동적으로 변한다. 에이전트들은 충전기 상태(사용 가능/사용 중)를 업데이트하며 상호작용하고, 잠재적으로 대기열(queue)을 형성하지만, 대기열 길이는 에이전트에게 명시적으로 보이지 않아 경험을 바탕으로 대기 시간을 추정하게 한다.
  5. 검증 전략: 최적의 성능을 보이는 에피소드를 찾는 표준 RL 연구와 달리, 본 모델은 21일간의 실제 충전 세션 데이터와 대조하여 검증한다. 저자들은 시뮬레이션된 공간적 및 시간적 충전 패턴이 관측된 현실과 가장 높은 상관관계를 보이는 특정 학습 에피소드를 식별한다. 이 "최적 매칭" 에피소드는 균일하게 최적화된 결과가 아닌, 운전자의 경험 수준이 혼합된 인구 집단 수준의 상태를 나타낸다.
• 주요 결과
• 모델 타당성: 모델은 실제 공간적 및 시간적 충전 패턴과 밀접하게 일치하는 학습 단계(특히 703번째 에피소드)를 성공적으로 식별하였으며, 공간 상관관계 0.740.75, 시간 상관관계 0.650.70을 달성했다. 이 성능은 이전의 정적 ABM 접근법을 능가했다.
• 창발적 행동(Emergent Behaviours): 시뮬레이션은 직관적인 운전자 행동을 포착했다: 레저 운전자는 통근자에 비해 더 유연한 충전 패턴을 보였으며, 장거리 도시 간 이동은 더 높은 경로 중 충전 수요를 생성했다. 에이전트들은 범위 불안(range anxiety)과 우회 및 대기 비용 사이의 균형을 맞추는 법을 학습했다.
• 충전 사막(Charging Deserts): 도로 네트워크를 따른 평균 SOC 분포를 분석하고 이를 충전기 가용성과 교차 참조함으로써, 낮은 SOC와 제한된 인프라가 공존하는 "충전 사막" 지역을 식별했다. 이러한 고위험 지역은 주로 런던 외곽, M4 동부 회랑, 그레이터 맨체스터, 뉴캐슬 남부에서 발견되었다.
• 인프라 통찰: 분석 결과, 일부 고속도로 회랑(예: M4, M1)은 낮은 SOC를 빈번하게 보이지만, 실제 방전 위험을 완화할 수 있는 충분한 충전기 밀도를 보유하고 있음을 밝혔다. 반면, 식별된 "사막" 지역은 인프라 확장이 가장 시급한 격차를 보여준다.

의의 및 기여
본 논문은 세 가지 주요 기여를 주장한다:

1. 방법론적 혁신: 합리적인 에이전트의 최적 전략을 도출하기 위해서가 아니라, 유한한 합리성 하에서 운영되는 개인 운전자의 적응적 학습 과정을 재현하기 위해 RL을 사용하는 새로운 프레임워크를 도입했다. 이는 실증 데이터와의 검증을 통해 정적 시뮬레이션과 데이터 기반 방식의 한계 사이의 간극을 메운다.
2. 확장성 및 검증: 국가적 규모의 도로 네트워크 전역에서 이질적인 운전자 집단을 시뮬레이션하기 위한 확장 가능한 접근 방식을 입증하였으며, 대규모 RL과 관련된 계산적 문제를 극복했다. 실제 세션 데이터에 대한 검증은 시뮬레이션 연구에서 흔히 결여되는 신뢰성을 제공한다.
3. 정책적 관련성: 본 연구의 결과는 고속도로 회랑 및 도시 경계부를 따라 급속 충전 허브를 확장하려는 최근의 정책 변화를 뒷받침한다. 낮은 SOC가 인프라 부족과 공존하는 특정 고위험 위치를 식별함으로써, 본 모델은 공평하고 효과적인 공용 충전기 배치 계획을 위한 검증된 도구를 제공한다.

저자들은 기존 여행 패턴이 전기차 도입 후에도 지속된다고 가정하는 여행 조사 데이터에 대한 의존성, 초기 SOC 계산 시 가정/직장 충전 접근성을 제외한 점, 그리고 현재 1,000명의 에이전트를 동시에 시뮬레이션하는 데 따르는 계산적 한계 등을 포함한 제한 사항을 인정한다. 그러나 본 프레임워크는 적응형 전기차 운전자 행동 및 인프라 계획에 관한 향후 연구를 위한 견고한 토대를 제공한다.