Enhanced Deep Q-Learning for 2D Self-Driving Cars: Implementation and Evaluation on a Custom Track Environment

이 논문은 메모리스 대학교 지도 기반의 2D 커스텀 트랙 환경에서 7 개 센서 데이터를 활용하여 우선순위 기반 행동 선택 메커니즘을 도입한 개선된 심층 Q-학습 (DQN) 모델을 구현하고, 기존 DQN 및 일반 신경망 대비 평균 보상이 각각 약 60% 와 50% 향상된 것을 확인했다고 요약할 수 있습니다.

핵심

🚗 1. 이야기의 배경: "실제 도로에서 연습하면 너무 위험해!"

자율주행차를 실제 도로에서 가르치려면 차가 수천 번이나 사고를 내야 배울 수 있을지도 모릅니다. 이건 너무 위험하고 비싸죠. 그래서 연구자들은 **가상의 게임 세계 (시뮬레이션)**를 만들었습니다. 마치 비디오 게임처럼, 여기서 AI 가 수백 번씩 추락하고 부딪히며 '운전 실력'을 키우는 거예요.

👁️ 2. AI 의 눈: "7 개의 초능력 센서"

이 AI 자동차는 카메라 대신 앞쪽에 7 개의 레이저 센서를 달고 있습니다.

• 비유: 마치 고양이 수염이나 박쥐의 초음파처럼요.
• 이 센서들은 앞쪽을 향해 20 도 간격으로 퍼져 있어서, 차 앞의 장애물 (도로 가장자리) 까지 거리를 재줍니다.
• AI 는 이 7 개의 숫자 (거리 정보) 만 보고 "왼쪽으로 꺾어야 해?", "오른쪽으로 가야 해?", "그냥 직진할까?"를 결정합니다.

🧠 3. 학습 방법: "시행착오 (Trial and Error)"

이 AI 는 처음에는 아무것도 모릅니다. 그냥 무작위로 핸들을 돌리다가 벽에 들이받으면 "아이고, 아파!"라고 생각하며 **벌점 (-20 점)**을 받고, 잘 지나가면 **보상 (+5 점)**을 받습니다.

• DQN (딥 큐 네트워크): 이 AI 의 두뇌입니다. "어떤 상황에서 어떤 행동을 하면 나중에 가장 많은 점수를 딸 수 있을까?"를 계산하는 거대한 계산기 역할을 합니다.
• 기존 DQN 의 문제: 처음에는 AI 가 너무 멍청해서 길을 잃거나, 너무 욕심내서 (탐욕스러워서) 급커브에서 벽에 들이받는 경우가 많았습니다.

🚀 4. 핵심 혁신: "우선순위 부여 (Modified DQN)"

연구자들은 기존 DQN 에 한 가지 특별한 규칙을 추가했습니다. 이를 **'수정된 DQN'**이라고 부릅니다.

• 비유: 마치 운전 교습소 선생님이 옆에서 "왼쪽 센서 거리가 더 가까우니까, 무조건 왼쪽으로 핸들을 돌려!"라고 알려주는 것과 같습니다.
• 원리: AI 가 스스로 판단할 때, 센서 데이터가 "왼쪽이 위험하다"고 말하면, AI 가 계산한 점수보다 왼쪽으로 돌리는 행동을 더 우선시하도록 강제로 조정해 줍니다.
• 결과: 이 작은 규칙 덕분에 AI 는 길을 훨씬 더 빨리, 그리고 정확하게 찾았습니다.

📊 5. 실험 결과: "누가 더 잘했을까?"

1000 번의 연습 (에피소드) 을 시켰을 때의 성적표입니다.

모델	평균 점수	비유
기존 DQN	25 점	초보 운전사. 자주 벽에 부딪히고 길을 잃음.
일반 신경망	23 점	조금 더 느리게 배우는 초보.
수정된 DQN (우선순위 추가)	40 점	숙련된 운전사! 60% 더 높은 점수를 받으며 트랙을 완주함.

• 시간: 컴퓨터 성능 (GPU) 을 쓰니 1000 번 연습을 4 시간 만에 끝냈습니다 (CPU 로 하면 12 시간 걸림).

💡 6. 결론 및 앞으로의 계획

이 연구는 **"AI 에게 단순히 계산만 시키는 게 아니라, 상황에 맞는 '우선순위'를 알려주면 훨씬 더 똑똑하게 운전할 수 있다"**는 것을 증명했습니다.

• 미래 계획: 아직은 2D 평면 게임만 했지만, 앞으로는 SUMO라는 더 정교한 교통 시뮬레이터를 써서 실제 메모리스 대학 주변의 복잡한 교통 상황 (다른 차들이 달리는 상황) 에서도 이 기술을 테스트해 볼 예정입니다.

---

📝 한 줄 요약

"이 논문은 AI 자동차에게 **'센서 데이터를 보고 위험한 쪽으로 먼저 핸들을 돌리는 습관'**을 가르쳐서, 기존 방식보다 훨씬 빠르고 안전하게 자율주행을 성공시켰다는 이야기입니다."

기술 요약

논문 요약: 2D 자율주행차를 위한 향상된 심층 Q-학습 (DQN) 구현 및 평가

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 자율주행 기술은 제어 알고리즘, 센서 퓨전, 의사결정 전략을 결합하여 인간 개입 없이 목적지까지 이동하는 것을 목표로 합니다. 강화학습 (Reinforcement Learning, RL) 은 이러한 동적이고 예측 불가능한 환경에서 에이전트가 학습하는 데 유망한 접근법입니다.
• 문제점:
  • 기존 Q-learning 은 상태 공간이 클 경우 저장 공간 부족과 새로운 상태에 대한 추론 불가로 인해 비효율적입니다.
  • 심층 Q-학습 (DQN) 은 이를 해결하지만, 복잡한 환경 (예: 급격한 커브, 좁은 트랙) 에서 에이전트가 수렴하기 어렵거나 불안정할 수 있습니다.
  • 실제 도로에서의 학습은 시간과 비용이 많이 들고 위험하므로, 고품질의 시뮬레이션 환경과 효율적인 학습 알고리즘이 필요합니다.
• 목표: 메모리 대학교 (University of Memphis) 주변 지도를 기반으로 한 2D 트랙 환경에서 DQN 을 구현하고, 이를 개선하여 자율주행 에이전트의 성능을 향상시키는 것입니다.

2. 방법론 (Methodology)

가. 시뮬레이션 환경 (Custom Track Environment)

• 도구: Pygame 라이브러리를 사용하여 2D 게임 환경 구축.
• 지도: OpenStreetMap 데이터를 기반으로 메모리 대학교 주변 지도를 Photoshop 으로 제작하여 트랙 (투명 영역) 과 장애물 (불투명 영역) 로 정의.
• 차량 제어:
  • 차량은 일정한 속도로 전진하며, 가속/감속 제어는 제거됨.
  • 행동 공간 (Action Space): 3 가지 이산 행동 (좌회전, 우회전, 직진/무작위).
• 센서 시스템:
  • 차량 전방에 7 개의 레이저 센서가 20 도 간격으로 배치됨.
  • 각 센서는 차량과 장애물 사이의 거리를 측정하며, 최대 거리 (1000 단위) 로 정규화되어 상태 (State) 로 입력됨.
  • 충돌 감지는 Sprite 객체의 오버랩을 통해 실시간으로 수행됨.

나. 알고리즘 구현 (Algorithms)

1. 기본 DQN (Deep Q-Network):
   • 구조: 3 개의 밀집 레이어 (Dense Layer) 를 가진 신경망 (입력: 7, 은닉: 64x2, 출력: 3).
   • 학습 요소: 경험 재플레이 버퍼 (Replay Buffer), 타겟 네트워크 (Target Network), $\epsilon$-greedy 탐험 전략 사용.
   • 보상 함수 (Reward Function): 충돌 없음 시 +5, 충돌 시 -20.
2. 수정된 DQN (Modified DQN - 제안된 방법):
   • 우선순위 기반 행동 선택 (Priority-based Action Selection): 모델의 예측값에 센서 데이터를 기반으로 한 우선순위 요소를 추가.
   • 로직: 왼쪽 센서 데이터가 오른쪽보다 크면 '좌회전'을 우선시하고, 반대의 경우 '우회전'을 우선시하며, 차이가 없으면 직진을 선택하는 로직을 적용하여 탐험 (Exploration) 과 활용 (Exploitation) 의 균형을 개선.

다. 실험 설정

• 하드웨어: Lenovo Thinkpad (CPU) 및 Macbook Pro M1 (GPU) 환경에서 학습 수행.
• 학습 조건: 총 1,000 에피소드 학습.
• 비교 대상: 기본 DQN, 수정된 DQN, 그리고 베이스라인인 바닐라 신경망 (Vanilla Neural Network).

3. 주요 기여 (Key Contributions)

1. 맞춤형 2D 자율주행 시뮬레이터 개발: Pygame 을 활용하여 메모리 대학교 지도를 모사한 효율적인 학습 환경을 구축하고, 7 개의 센서를 통한 거리 기반 상태 관측 시스템을 구현함.
2. 우선순위 기반 행동 선택 메커니즘 도입: 기존 DQN 의 탐험 전략에 센서 데이터를 반영한 우선순위 로직을 추가하여, 에이전트가 트랙을 이탈하거나 충돌하는 것을 방지하고 학습 효율성을 높임.
3. 성능 비교 분석: 기본 DQN, 수정 DQN, 그리고 바닐라 NN 간의 학습 시간과 보상 수렴 성능을 정량적으로 비교 분석함.

4. 실험 결과 (Results)

• 학습 시간:
  • GPU 사용 시 1,000 에피소드 학습 완료에 약 4 시간 소요 (CPU 기준 12 시간 대비 3 배 빠른 학습).
• 성능 지표 (평균 보상):
  • 수정된 DQN: 에피소드당 평균 보상 약 40 (가장 우수).
  • 바닐라 NN: 에피소드당 평균 보상 약 23.
  • 기존 DQN: 에피소드당 평균 보상 약 25.
• 성능 향상:
  • 수정된 DQN 은 기존 DQN 대비 약 60% 높은 보상을 기록.
  • 바닐라 신경망 대비 약 50% 높은 보상을 기록.
  • 기존 DQN 은 트랙 완주에 실패하거나 학습이 불안정했으나, 수정된 DQN 은 트랙을 완주하고 안정적인 주행이 가능해짐.

5. 의의 및 결론 (Significance & Conclusion)

• 의의: 본 연구는 2D 자율주행 환경에서 DQN 의 성능이 행동 선택 메커니즘에 크게 의존함을 입증했습니다. 단순한 신경망 구조 변경이 아닌, 환경 센서 데이터를 반영한 우선순위 기반 행동 선택을 통해 에이전트의 학습 속도와 안정성을 획기적으로 개선할 수 있음을 보였습니다.
• 한계 및 향후 과제:
  • 현재는 단일 차량 시뮬레이션에 국한됨.
  • SUMO(교통 시뮬레이션 프레임워크) 를 활용한 복잡한 교통 상황 및 다중 차량 시뮬레이션은 시간 제약으로 인해 미구현됨.
  • 향후 하이퍼파라미터 튜닝, 신경망 아키텍처 최적화, 그리고 SUMO 를 통한 실제 도로 환경에 가까운 다중 에이전트 학습으로 확장할 계획입니다.

이 논문은 강화학습 기반 자율주행 시스템의 개발 과정에서 시뮬레이션 환경의 중요성과, 알고리즘에 도메인 지식 (센서 데이터 기반 우선순위) 을 통합함으로써 성능을 극대화할 수 있음을 보여주는 실증적인 사례입니다.