Automatic Curriculum Learning for Driving Scenarios: Towards Robust and Efficient Reinforcement Learning

이 논문은 강화학습 기반 자율주행 에이전트의 훈련 효율성과 일반화 능력을 향상시키기 위해, 에이전트의 현재 능력에 기반하여 학습 잠재력이 높은 시나리오를 자동으로 생성하고 적응적으로 복잡도를 조절하는 자동 커리큘럼 학습 프레임워크를 제안하고 그 우수성을 입증합니다.

핵심

🚗 핵심 비유: "운전 면허 시험을 위한 맞춤형 교습"

자율주행 AI 를 **운전 면허를 따려는 초보 운전생 (학생)**이라고 상상해 보세요. 이 학생은 실제 도로에 나가기 전에 시뮬레이션 (가상 현실) 에서 수만 번을 연습해야 합니다.

1. 기존 방식의 문제점: "무작위 연습"과 "고정된 연습"

기존에는 두 가지 방식으로 학생을 훈련시켰는데, 둘 다 문제가 있었습니다.

• 방법 A (고정된 시나리오): 학생이 항상 똑같은 길, 똑같은 차들만 마주치는 연습을 합니다.
  • 결과: 학생은 그 특정 길은 완벽하게 달립니다. 하지만 시험장에서 조금만 길이 바뀌거나, 갑자기 다른 차가 튀어나오면 당황해서 사고를 냅니다. (과적합 문제)
• 방법 B (도메인 랜덤화 - Domain Randomization): 학생에게 무작위로 생성된 길과 차들을 보여줍니다. 아주 쉬운 길부터 아주 위험한 길까지 섞어서요.
  • 결과: 학생은 다양한 상황을 겪지만, 너무 어려운 상황을 먼저 만나면 좌절하고, 너무 쉬운 상황을 계속 반복하면 시간이 낭비됩니다. 마치 초보 운전자가 처음부터 고속도로를 달리거나, 반대로 주차 연습만 100 번 하는 것과 비슷합니다. (비효율성 문제)

2. 이 논문의 해결책: "똑똑한 스승 (Teacher) 이 있는 자동 커리큘럼"

이 논문은 **"자동 커리큘럼 학습 (Automatic Curriculum Learning)"**이라는 새로운 방식을 제안합니다. 여기서 핵심은 **AI 스승 (Teacher)**입니다.

• 스승의 역할: 이 스승은 학생이 현재 얼마나 잘하는지 실시간으로 파악합니다.
  • 학생이 너무 쉬워하면, 스승은 "조금 더 어려운 문제"를 만들어 줍니다.
  • 학생이 너무 어려워해서 포기할 것 같으면, 스승은 "조금 더 쉬운 문제"로 바꿔줍니다.
  • 핵심: 이 스승은 인간이 미리 정해둔 규칙이 아니라, 학생의 실력 변화에 맞춰 자동으로 문제를 만들어냅니다.

3. 어떻게 작동할까요? (두 가지 모드)

이 시스템은 두 가지 모드를 오가며 작동합니다.

1. 탐색 모드 (새로운 문제 만들기):
   • 스승이 무작위로 새로운 도로와 교통 상황을 만들어봅니다.
   • 이때, 학생이 배울 가치가 있는 (적당히 도전적인) 문제만 선별해서 '문제 은행'에 저장합니다. 너무 쉬운 건 버리고, 너무 어려운 건 버립니다.
2. 활용 모드 (문제 은행에서 연습):
   • 학생은 '문제 은행'에 저장된 문제들을 풀며 연습합니다.
   • 변형 (Mutation): 스승은 학생이 잘 풀었던 문제를 조금씩 변형합니다. 예를 들어, "차 한 대를 더 추가한다"거나 "속도를 조금 더 빠르게 한다"는 식으로요. 이렇게 하면 학생은 새로운 변형된 상황에서도 유연하게 대처하는 법을 배우게 됩니다.

4. 실험 결과: "실전에서의 압도적인 성과"

연구진은 이 방식을 CARLA(자율주행 시뮬레이션) 에서 테스트했습니다.

• 결과: 이 방식을 쓴 학생은 교통량이 적은 길에서는 성공률이 9% 높아졌고, 교통량이 매우 붐비는 길에서는 성공률이 21%나 높아졌습니다.
• 이유: 기존 방식들은 막히는 길에서 당황해서 멈추거나 사고를 냈지만, 이 방식은 "점점 더 어려운 상황"을 단계별로 겪으며 훈련했기 때문에, 실제 복잡한 도로에서도 침착하게 대처할 수 있었습니다.

---

💡 한 줄 요약

"자율주행 AI 를 훈련시킬 때, 무작위로 어려운 문제를 던지거나 똑같은 문제만 반복시키는 대신, AI 스승이 학생의 실력에 맞춰 '적당한 난이도'의 문제를 자동으로 만들어주면, 훨씬 더 빠르고 안전하게 운전하는 법을 배울 수 있다."

이 연구는 자율주행 기술이 실제 도로에 적용될 때, 예상치 못한 상황에서도 사고 없이 안전하게 달릴 수 있는 강력한 기반을 마련해 줍니다. 마치 훌륭한 운전 강사가 학생의 눈높이에 맞춰 차근차근 가르쳐 주는 것과 같습니다.

기술 요약

1. 문제 제기 (Problem Statement)

• 배경: 종단 간 (End-to-End, E2E) 자율 주행은 강화 학습 (RL) 을 통해 센서 데이터 (이미지 등) 를 직접 주행 행동으로 매핑하는 유망한 접근법입니다.
• 현재의 한계:
  • 고정된 시나리오: 기존 RL 에이전트는 시뮬레이션 내의 고정된 시나리오와 주변 차량의 단순한 행동 (예: 일정한 속도 주행) 으로만 훈련됩니다. 이는 에이전트가 훈련 데이터에 과적합 (Overfitting) 되어 새로운 환경이나 복잡한 상황에 대한 일반화 능력이 떨어지는 결과를 초래합니다.
  • 도메인 랜덤화 (Domain Randomization, DR) 의 비효율성: 다양한 시나리오를 무작위로 생성하여 훈련하는 DR 은 일반화 능력을 향상시키지만, 훈련 데이터의 분산이 너무 커서 학습 효율성이 낮고 (Sample Inefficiency), 최적의 정책을 찾는 데 실패하거나 수렴 속도가 느린 문제가 있습니다.
  • 수동 커리큘럼의 비 Scalability: 기존 커리큘럼 학습 (Curriculum Learning, CL) 은 전문가가 난이도 단계를 수동으로 설계합니다. 이는 인간의 편향을 도입하고 새로운 환경에 적용하기 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 자동 커리큘럼 학습 (Automatic Curriculum Learning, ACL) 프레임워크를 제안하며, 이는 에이전트의 현재 능력에 기반하여 시나리오의 복잡성을 동적으로 조절합니다.

A. 그래프 기반 환경 표현 (Graph-Based Environment Representation)

• 기존 이미지 기반 표현 대신, **방향성 그래프 (Directed Graph)**를 사용하여 주행 환경을 모델링합니다.
• 노드 (Nodes): 도로를 따라 등간격으로 샘플링되며, 학생 에이전트, NPC(비플레이어 캐릭터), 장애물, 또는 빈 공간으로 채워질 수 있습니다.
• 에지 (Edges): 노드 간의 연결성을 정의하며, 도로 토폴로지와 목적지 도달 가능성을 표현합니다.
• 장점: 이 표현 방식은 에이전트의 행동 공간 (Actor placement) 을 효율적으로 제어하고, 도로 구조를 명확하게 정의하여 시나리오 생성의 유연성을 높입니다.

B. 교사 - 학생 (Teacher-Student) 프레임워크

• 학습 잠재력 (Learning Potential): 에이전트의 현재 정책 (Policy) 에 기반하여 시나리오가 학습에 얼마나 기여할지 평가하는 지표로 '양수 가치 손실 (Positive Value Loss)'을 사용합니다. 이는 에이전트가 아직 해결하지 못하지만 충분히 도전적인 시나리오를 식별합니다.
• 두 가지 모드 (Two Modes):
  1. 탐색 (Exploration, $d=0$): 무작위 생성기 (Random Generator) 가 새로운 시나리오를 생성합니다. 학습 잠재력이 높은 시나리오만 **시나리오 버퍼 ($\Lambda$)**에 추가됩니다.
  2. 활용 (Exploitation, $d=1$): 버퍼에서 샘플링된 시나리오로 에이전트를 훈련시킨 후, **편집기 (Editor)**가 해당 시나리오를 변형 (Mutation) 합니다. 변형된 시나리오도 학습 잠재력이 높으면 버퍼에 추가됩니다.
• 동적 적응: 이 과정은 에이전트가 시나리오를 마스터하거나 너무 어렵다고 판단되면 해당 시나리오를 제외하거나 수정함으로써, 훈련 효율성을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 유연한 그래프 기반 환경 표현: 노드와 에지를 자유 매개변수로 사용하여 동적으로 다양한 주행 시나리오를 생성할 수 있는 표현 방식을 도입했습니다.
2. 전문가 개입 없는 자동 시나리오 생성: 에이전트 중심의 '학습 잠재력' 지표를 기반으로 교사가 시나리오를 생성하고 변형하는 프레임워크를 제안하여, 수동 커리큘럼 설계의 필요성과 편향을 제거했습니다.
3. 포괄적인 평가: 고정된 시나리오 훈련 및 도메인 랜덤화 (DR) 와의 비교를 통해 제안된 프레임워크의 훈련 효율성, 정책 일반화 능력, 시나리오 복잡성 진화를 입증했습니다.

4. 실험 결과 (Results)

실험은 CARLA 시뮬레이터 내의 신호등이 없는 교차로 (Unsignalized Intersections) 환경에서 수행되었으며, 학생 에이전트는 카메라 이미지와 차량 상태 정보를 입력받아 PPO 알고리즘으로 훈련되었습니다.

• 일반화 성능 향상:
  • 저밀도 교통 (Traffic Density 0.5): 성공률이 9% 향상 (71% $\rightarrow$ 80%).
  • 고밀도 교통 (Traffic Density 1.0): 성공률이 21% 향상 (35% $\rightarrow$ 56%).
  • 충돌 발생률은 DR 및 고정 시나리오 대비 현저히 감소했습니다.
• 훈련 효율성:
  • 제안된 ACL 프레임워크는 DR 보다 더 빠른 수렴을 보였습니다.
  • 동일한 훈련 단계 (100 만 ~200 만 업데이트) 에서 DR 보다 높은 누적 보상 (Cumulative Reward) 과 성공률을 기록했습니다.
• 커리큘럼의 질:
  • 훈련 과정에서 시나리오의 복잡성 (NPC 수 등) 이 에이전트의 능력에 맞춰 점진적으로 증가하는 것을 확인했습니다. 반면, DR 은 무작위성으로 인해 복잡도 변이가 크고 비효율적이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 견고한 자율 주행 에이전트: 제안된 방법은 RL 기반 자율 주행 에이전트가 다양한 도로 구조와 교통 상황에 대해 더 **견고 (Robust)**하고 **효율적 (Efficient)**으로 학습할 수 있도록 합니다.
• 확장성: 전문가의 수동 설계 없이 에이전트의 학습 상태에 맞춰 커리큘럼이 자동 생성되므로, 새로운 환경이나 복잡한 도로 상황으로의 확장이 용이합니다.
• 미래 전망: 향후 보행자나 자전거와 같은 비도로 구속 (Non-road-bound) NPC 를 포함하여 시나리오의 복잡성을 더욱 높이고, 딥러닝 기반의 고급 시나리오 편집 기술을 탐구할 계획입니다.

이 논문은 강화 학습을 통한 자율 주행의 핵심 과제인 '일반화'와 '훈련 효율성'을 동시에 해결하기 위한 자동화된 커리큘럼 학습의 유효성을 강력하게 입증했습니다.