Balancing Progress and Safety: A Novel Risk-Aware Objective for RL in Autonomous Driving

이 논문은 자율주행 강화학습의 안전성과 진전성을 균형 있게 확보하기 위해 계층적 목표 구조와 책임감 있는 안전 (RSS) 개념을 확장한 새로운 위험 인식 보상 함수를 제안하고, 무신호 교차로 시뮬레이션에서 기존 방법 대비 충돌률을 21% 감소시키면서 주행 효율성을 향상시켰음을 입증합니다.

핵심

🚗 핵심 주제: "운전하는 AI 에게 무엇을 '칭찬'해 줄 것인가?"

자율주행 AI 는 마치 어린아이와 같습니다. 이 아이에게 "잘했어!"라고 칭찬해주면 (보상), 그 행동을 반복하고, "나쁜 거야!"라고 혼내면 (벌점), 그 행동을 피하게 됩니다.

기존의 연구들은 AI 에게 너무 단순하게만 칭찬하거나 혼냈습니다.

• 기존 방식: "목적지에 도착하면 100 점!" (성공), "차에 부딪히면 -1000 점!" (실패).
• 문제점: AI 는 "부딪히기 직전까지 속도를 내다가, 막판에 급정거해서 부딪히지 않으면 100 점 받을 수 있겠네?"라고 생각할 수 있습니다. 혹은 "목적지에 빨리 가려면 차에 살짝 부딪히는 게 나을 수도 있겠다"라고 착각할 수도 있습니다. (논문 Fig. 1 에서 보여주는 비이성적인 행동)

이 논문은 **"부딪히기 직전의 위험한 상황도 미리 감지해서 벌점을 주자"**고 제안합니다.

---

🏗️ 새로운 방법: "운전 규칙의 위계 (Hierarchy) 를 만든다"

저자들은 AI 에게 주는 점수 시스템을 층층이 쌓아 올린 건물처럼 설계했습니다. 아래층 (중요한 것) 을 먼저 지키고, 위층 (부수적인 것) 을 챙기는 방식입니다.

1. 지하실 (가장 중요): 생명과 안전
   • 충돌, 길 잃음, 목적지 도달: 이 부분만 실패하면 게임이 끝납니다. 가장 큰 벌점이나 상금을 줍니다.
2. 1 층 (안전의 핵심): "위험한가?" (이 논문의 가장 큰 기여)
   • 기존: "차에 부딪히면 안 돼." (부딪힌 후의 처벌)
   • 새로운 방식: "차에 부딪히기 직전, 위험한 거리에 들어오면 이미 벌점을 줘."
   • 비유: 운전할 때 앞차와 너무 가까워지면 경보음이 울리는 것처럼, AI 가 **위험한 영역 (Risk Field)**에 들어가는 순간부터 점수를 깎아줍니다. 부딪히기 전에 "조심해!"라고 미리 경고하는 셈입니다.
3. 2 층 (진행 상황): "목적지로 가고 있나?"
   • 길을 잘 가고 있는지, 제자리에 멈춰 있지 않고 움직이는지 점수를 줍니다.
4. 3 층 (운전 스타일): "편안한가?"
   • 급정거, 급핸들, 흔들림 없이 부드럽게 운전하는지 점수를 줍니다.

🛡️ 핵심 기술: "타원형 위험 감지망 (Risk Field)"

이 논문에서 가장 혁신적인 부분은 안전 거리를 계산하는 방식입니다.

• 기존 방식: "앞차까지 50 미터 남았으니 안전해." (단순한 거리 계산)
• 새로운 방식: **"타원형 (Ellipsoid) 감지망"**을 씌웁니다.
  • AI 차량 주변에 보이지 않는 타원형의 안전 구역을 상상해 보세요.
  • 이 구역의 모양은 상황에 따라 달라집니다.
    • 앞차와 같은 방향: 앞뒤로 길쭉한 타원 (앞차와의 거리가 중요).
    • 맞은편 차량: 옆으로 넓은 타원 (옆으로 피할 공간이 중요).
    • 교차로: 둥근 원 (모든 방향이 중요).
  • 만약 다른 차가 이 타원형 구역 안으로 들어오면, 부딪히지 않았더라도 AI 는 "위험하다!"고 느끼고 점수를 깎아받습니다. 마치 보이지 않는 방패가 다른 차와 닿으면 진동하는 것과 같습니다.

🧪 실험 결과: "더 안전하고, 더 똑똑해졌다"

저자들은 이 방식을 신호 없는 교차로에서 테스트했습니다. 차가 많을수록 (교통량 증가) 난이도가 높아집니다.

• 기존 AI: 차가 많으면 충돌이 자주 발생하거나, 길을 못 찾았습니다.
• 새로운 AI (이 논문의 방법):
  • 충돌률 21% 감소: 다른 차와 부딪히는 경우가 훨씬 줄었습니다.
  • 목적지 도달률 증가: 위험을 미리 피하니까, 길을 더 잘 찾아갔습니다.
  • 부드러운 운전: 급하게 멈추거나 출발하는 일이 줄어 승객이 덜 멀미했습니다.

💡 한 줄 요약

이 논문은 **"자율주행 AI 에게 '부딪히지 않는 것'만 가르치는 게 아니라, '부딪힐 뻔한 위험한 상황'을 미리 감지하고 피하도록 훈련시키는 새로운 점수 시스템을 개발했다"**는 것입니다.

마치 운전 면허를 딸 때, 사고가 나기 전에 위험을 감지하고 대처하는 능력을 평가하는 것과 같습니다. 덕분에 AI 는 더 안전하고, 인간처럼 유연하게 운전할 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

자율주행 분야에서 강화학습 (RL) 은 환경과 직접 상호작용하며 의사결정 정책을 학습하는 유망한 접근법입니다. 그러나 RL 의 성능은 **보상 함수 (Reward Function)**의 설계에 크게 의존합니다. 기존 연구들은 다음과 같은 한계를 가지고 있습니다.

• 안전성 정의의 단순화: 안전을 단순히 '충돌 발생 시'에 부여되는 희소 (sparse) 한 패널티로만 정의합니다. 이는 충돌 직전의 위험한 행동 (예: 급제동, 과속, 위험한 근접 주행) 을 고려하지 않아, 에이전트가 충돌을 피하기 위해 비합리적으로 정지하거나 오히려 충돌을 선택하는 등의 이상 행동을 유발할 수 있습니다.
• 목표 간 상충 관계: '진전 (Progress)'과 '안전 (Safety)'은 종종 상충됩니다. 기존 보상 함수는 이러한 상충 관계를 명확히 계층화하거나 위험을 정량화하지 못해, 에이전트가 안전을 희생하고 진전을 추구하거나 그 반대의 비효율적인 행동을 학습하게 됩니다.
• 비합리적 행동 사례: 논문에서는 정적 장애물이 길을 막고 있을 때, 인간 운전자는 기다리지만 RL 에이전트는 충돌을 감수하고 장애물을 뚫고 가는 비합리적 행동을 보이는 사례를 지적하며, 이는 안전 목표의 희소성과 진전 목표 간의 균형 실패에서 기인한다고 설명합니다.

2. 방법론 (Methodology)

저자들은 RL 에이전트의 의사결정을 개선하기 위해 **계층적 보상 구조 (Hierarchical Reward Structure)**와 **새로운 위험 인식 목적 함수 (Risk-Aware Objective)**를 제안합니다.

A. 계층적 보상 구조 및 가중치 할당

• 방향 그래프 기반 구조: 규칙서 (Rulebook) 개념을 차용하여 보상을 4 가지 핵심 목적 (안전, 진전, 편안함, 교통법규 준수) 으로 분해하고, 이를 우선순위에 따라 계층적으로 조직화합니다.
• 계층 레벨 정의:
  • Terminal Conditions (최상위): 충돌, 도로 이탈, 목적지 도달 등 시나리오 종료 조건.
  • Level 0 (교통법규 준수): 속도 제한, 신호 준수 등.
  • Level 1 (진전): 목적지 방향 이동 거리.
  • Level 1 (위험 인식 - 핵심 제안):* 기존 연구에서 간과되거나 단순화된 '주행 위험'을 체계적으로 정의한 새로운 계층.
  • Level 2 (주행 스타일): 차선 유지 및 목표 속도 유지.
  • Level 3 (편안함): 조향, 가속, 저크 (Jerk) 최소화.
• 정규화 및 가중치: 각 목적 함수를 0~1 사이로 정규화하여 비교 가능성을 높이고, 계층의 우선순위에 따라 기하급수적으로 감소하는 가중치 ($w_{L_i} = \beta^{i-1}$) 를 부여하여 상위 계층의 안전이 하위 계층의 진전보다 우선시되도록 설계합니다.

B. 위험 인식 목적 함수 (Risk-Aware Objective)

이 논문이 제안하는 핵심 기술로, 기하학적 (Geometric) 및 동역학적 (Dynamic) 위험을 통합한 2 차원 타원체 (Ellipsoid) 함수를 기반으로 합니다.

• RSS (Responsibility-Sensitive Safety) 기반 확장: 기존 TTC(충돌까지 시간) 나 헤드웨이 (Headway) 와 같은 단순 지표를 넘어, RSS 프레임워크를 확장하여 적용합니다.
• 2 차원 타원체 위험 필드 (Risk Field): 상호작용하는 차량 및 장애물 간의 거리 ($d_x, d_y$) 를 기반으로 비선형 타원체 함수를 사용하여 패널티를 계산합니다.
  • 기하학적 위험 ($P_{risk}^{geom}$): 차량의 물리적 크기 (길이, 너비) 를 반영한 고정된 안전 거리를 기반으로 합니다.
  • 동역학적 위험 ($P_{risk}^{dyn}$): 차량의 속도, 가속도, 반응 시간 ($\rho$), 최대 감속/가속 능력을 고려한 '최악의 경우 (Worst-case)' 분석을 포함합니다.
    • 동일 방향: 선행 차량의 급정거 시 후행 차량이 멈출 수 있는 거리 계산.
    • 상대 방향: 양측 차량이 가속 후 정지하는 시나리오 고려.
    • 교차로: TTC(충돌까지 시간) 를 로그 스케일로 변환하여 위험도를 산출.
• 상호작용 유형별 파라미터 조정: 진행 방향, 상대 방향, 교차로, 정적 장애물 등 상황에 따라 타원체의 장축/단축 ($r_x, r_y$) 및 가중치 ($P_x, P_y$) 를 동적으로 조정하여 상황에 맞는 안전 거리를 정의합니다.

3. 주요 기여 (Key Contributions)

1. 계층적 목적 함수 구조화: 주행 목적을 방향 그래프 형태의 계층 구조로 체계화하여, 안전과 진전 간의 상충 관계를 명확히 관리하고 투명하게 가중치를 부여할 수 있는 프레임워크를 제시했습니다.
2. 정규화된 목적 함수 설계: 각 목적 함수를 정규화하여 서로 다른 척도의 목적을 통합된 보상 값으로 투명하게 결합하는 방법을 제안했습니다.
3. 새로운 위험 인식 목적 함수 개발: RSS 개념을 확장하고 2 차원 타원체 모델을 도입하여, 정적/동적 요소와 다양한 상호작용 시나리오 (동일 방향, 상대 방향, 교차로) 를 포괄하는 정교한 위험 평가 모델을 개발했습니다. 이는 충돌 직전의 위험 행동을 사전에 예방하도록 에이전트를 유도합니다.

4. 실험 결과 (Results)

• 실험 환경: CARLA 시뮬레이터 내 무신호 교차로 (Unsignalized Intersection) 환경에서 다양한 교통 밀도 (0.5, 0.75, 1.0) 를 적용하여 평가했습니다.
• 비교 대상:
  • $L_{0-1}$: 법규 준수 + 진전 (기존 방식).
  • $L_{0-3}$: 법규 + 진전 + 주행 스타일 + 편안함.
  • $L_{complete}$: 제안된 전체 구조 (위험 인식 포함).
• 성과:
  • 충돌율 감소: 제안된 $L_{complete}$는 $L_{0-1}$ 대비 평균 21% 감소된 충돌율을 보였습니다. 특히 교통 밀도가 1.0 인 복잡한 환경에서 충돌율이 61.9% ($L_{0-1}$) 에서 38.8% ($L_{complete}$) 로 크게 개선되었습니다.
  • 진전 및 누적 보상: 충돌을 줄이면서도 목적지 도달률 (Success Rate) 과 누적 보상 (Cumulative Reward) 에서 모든 조건에서 다른 모델들을 상회했습니다. (예: 밀도 0.5 에서 성공률 73.1%, 누적 보상 0.78).
  • 안전한 주행 행동: 위험 인식 목적 함수가 도입됨으로써 에이전트는 불필요한 정지를 피하면서도 충돌 위험이 높은 상황에서는 적극적으로 속도를 줄이거나 대기하는 등 더 합리적인 행동을 학습했습니다.

5. 의의 및 결론 (Significance)

이 논문은 자율주행 RL 의 핵심인 보상 함수 설계의 중요성을 재조명했습니다. 단순히 충돌을 패널티로 부과하는 것을 넘어, 충돌로 이어지는 과정의 위험을 정량화하고 계층적으로 관리하는 체계를 도입함으로써, RL 에이전트가 실제 도로 환경에서 요구되는 '안전하면서도 효율적인' 주행 행동을 학습할 수 있음을 입증했습니다.

특히, RSS 기반의 동적 위험 모델과 계층적 보상 구조의 결합은 자율주행 시스템이 복잡한 교통 상황에서 상충되는 목표 (안전 vs 진전) 를 균형 있게 처리할 수 있는 강력한 프레임워크를 제공하며, 실제 자율주행 기술의 상용화와 안전성 향상에 중요한 기여를 할 것으로 기대됩니다.