Path Planning Using Deep Deterministic Policy Gradient: A Reinforcement Learning Approach

기술 요약: 심층 결정론적 정책 경사(DDPG)를 이용한 경로 계획

문제 정의
본 논문은 장애물이 존재하는 위협적인 환경에서 운용되는 자율 주행 차량의 경로 계획 문제를 다룹니다. 저자들은 이 문제를 단순한 시나리오에서도 본질적으로 비선형적이고 비볼록(nonconvex)한 문제로 규정합니다. 의사 스펙트럼(pseudo-spectral) 및 모델 예측 제어(MPC)와 같은 전통적인 최적 제어 방식은 이론적으로 최적의 경로를 찾을 수 있지만, 실시간 의사결정에 부적합할 정도로 높은 계산 비용이 발생하곤 합니다. 반대로, 유전 알고리즘(Genetic Algorithms)이나 보로노이 다이어그램(Voronoi diagrams)과 같은 휴리스틱 방법은 고충실도(high-fidelity) 모델을 필요로 하지 않지만, 실시간 적용을 위한 계산 병목 현상에 직면합니다. 본 논문은 복잡한 환경 모델에 의존하지 않으면서도 연속적인 상태 및 행동 공간을 처리할 수 있는 능력과 계산 효율성 사이의 균형을 맞추는 해결책을 모색합니다.

방법론
제안된 솔루션은 모델 프리(model-free) 강화 학습(RL) 알고리즘인 **심층 결정론적 정책 경사(Deep Deterministic Policy Gradient, DDPG)**를 활용합니다. 이 접근 방식은 위협을 하나 또는 여러 개의 원형 "금지 구역(no-go zones)"으로 모델링합니다. 미션은 차량이 제한 구역에 진입하거나 목적지의 근방에 도달하지 못할 경우 실패한 것으로 정의됩니다.

방법론의 핵심 구성 요소는 다음과 같습니다:

1. 에이전트 구조: 시스템은 두 개의 신경망을 사용합니다.

   • 액터 네트워크(Actor Network): 현재 상태(좌표 $x, y$, 이전 헤딩, 타임 스텝)를 연속적인 행동(새로운 헤딩)으로 직접 매핑합니다.
   • 크리틱 네트워크(Critic Network): 주어진 상태-행동 쌍에 대한 Q-값(기대되는 장기 할인 보상)을 추정합니다.
   • 탐사 전략(Exploration Strategy): 탐사와 활용의 균형을 맞추기 위해 액터의 출력에 가우시안 또는 오른슈타인-우울렌벡(Ornstein-Uhlenbeck) 노이즈를 추가합니다. 이 노이즈의 표준 편차는 초기 훈련 단계에서는 높게 설정하고, 성능을 정교화하기 위한 재학습 단계에서는 낮추도록 조정됩니다.

2. 보상 함수 설계: 보상 함수는 인공 퍼텐셜 필드(artificial potential fields)를 사용하여 구축되며 세 가지 뚜렷한 구성 요소를 갖습니다.

   • 인력장(Attractive Field): 목적지($P_f$)를 중심으로 하는 가우시안 기반 퍼텐셜로, 에이전트가 목표에 가까워질 때 보상을 줍니다.
   • 척력장(Repulsive Field): 원형 장애물의 중심($P_c$)을 중심으로 하는 가우시안 기반 퍼텐셜로, 에이전트가 제한 구역에 진입하거나 접근할 때 벌점을 부여합니다.
   • 제어 에너지 페널티(Control Energy Penalty): 헤딩 변화량의 제곱($|A|^2$)에 비례하는 항으로, 간접적으로 더 곧은 경로를 유도하고 연료 소비를 최소화합니다.
   • 시간 페널티(Time Penalty): 총 이동 시간을 최소화하기 위해 목적지에 도달하지 못한 매 스텝마다 -10의 이산적 벌칙을 적용합니다.

3. 스마트 초기 헤딩(Smart Initial Heading): 본 연구에서 도입된 핵심 휴리스틱은 각 에피소드의 시작 시점에 "스마트"한 초기 헤딩을 계산하는 것입니다. 만약 목적지로 향하는 직선 경로가 장애물과 교차한다면, 에이전트는 출발 위치에서 장애물에 대한 접점(tangent points)을 계산합니다. 그 후 최종 목적지까지의 거리를 최소화하는 접점을 선택하여, 해당 지점을 향해 초기 헤딩을 설정합니다. 이 전략은 궤적의 초기 단계에서 에이전트가 장애물을 향해 움직이는 것을 방지하는 데 목적이 있습니다.

4. 훈련 과정: 에이전트는 시뮬레이션 환경(MATLAB으로 구현)에서 시행착오를 통해 훈련됩니다. 훈련은 높은 탐사 노이즈를 동반하는 초기 단계와, 정책을 정교화하기 위해 노이즈를 줄인 재학습 단계로 구성됩니다.

주요 기여
본 논문은 경로 계획에 DDPG를 적용함에 있어 다음과 같은 구체적인 기여를 제시합니다:

• 스마트 초기 헤딩의 통합: 저자들은 장애물에 대한 기하학적 접점을 기반으로 최적의 초기 헤딩을 계산하는 휴리스틱을 제안하고 검증했습니다. 이는 궤적 초기에 장애물을 회피하는 에이전트의 능력을 크게 향상시킵니다.
• 정교화된 보상 함수: 본 연구는 단순히 절대값을 사용하는 대신, 절대적인 값과 함께 목적지를 향해 이동하는 것에 대한 단계별 보상(타임 스텝 간의 정규화된 가우시안 분포 차이 기반)을 포함하도록 보상 함수를 수정했습니다.
• 가용성 매핑(Feasibility Mapping): 훈련된 에이전트는 "가용 집합(feasible set)"의 시작점들을 생성하는 데 사용됩니다. 이 지도는 목적지까지 안전한 경로가 보장되는 위치를 나타내며, 이는 중요한 사전 미션 계획 정보를 제공합니다.
• 다중 장애물 확장: 본 방법은 단일 장애물 시나리오에서 반지름과 위치가 서로 다른 세 개의 장애물이 있는 복잡한 시나리오로 성공적으로 확장되었습니다. 이는 접근 방식의 확장성을 입증합니다.

결과
본 접근 방식은 DDP-기반 방법과 전통적인 최적 제어 방법(의사 스펙트럼)을 비교하는 시뮬레이션을 통해 검증되었습니다.

• 단일 장애물 시나리오: 스마트 초기 헤딩과 수정된 보상 함수를 포함함으로써, 이러한 기능이 없는 베이스라인 에이전트에 비해 가용 시작점의 집합이 크게 확장되었습니다.
• 다중 장애물 시나리오: 특화된 에이전트는 세 개의 장애물 사이의 좁은 통로를 성공적으로 통과하여 목적지에 도달했습니다. 결과는 "최적성의 원리(principle of optimality)"가 유효함을 확인시켜 주었는데, 복잡한 시나리오를 위한 최적 정책이 최적의 부분 정책들을 포함하고 있었기 때문입니다.
• 성능 비교: 학습 기반 에이전트는 효과적인 경로를 생성하는 동시에, 전통적인 의사 스펙트럼 방법보다 계산 시간이 현저히 빨랐습니다. 이러한 속도 우위는 DDPG 방식이 실시간 애플리케이션에 더 적합함을 보여줍니다.

의의 및 주장
본 논문은 제안된 DDPG 기반 접근 방식이 비선형, 비볼록 환경에서의 실시간 경로 계획을 위한 실용적인 솔루션을 제공한다고 주장합니다. 강화 학습을 활용함으로써, 이 방법은 고충실도 환경 모델의 필요성을 피하고 전통적인 최적 제어의 계산 지연 문제를 극복합니다. "가용 집합"의 시작점을 사전 계산할 수 있는 능력은 미션 계획의 핵심 도구로 강조되며, 운영자가 특정 위치에서 작업이 달성 가능한지 사전에 판단할 수 있게 해줍니다. 저자들은 이 방법이 효과적이지만, 성능을 더욱 향상시키기 위해 머신 러닝을 다른 최적화 기법과 결합하는 후속 연구가 필요할 수 있다고 결론짓습니다.