A Review of Reward Functions for Reinforcement Learning in the context of Autonomous Driving

본 논문은 자율주행 강화학습의 핵심 요소인 보상 함수의 설계 격차를 안전, 편안함, 진행, 교통법규 준수라는 네 가지 범주로 분석하여 기존 연구의 한계를 지적하고, 맥락을 고려한 구조화된 보상 및 검증 프레임워크와 같은 향후 연구 방향을 제안합니다.

핵심

이 논문은 자율주행 자동차가 어떻게 '스스로' 운전 기술을 배울 수 있는지, 특히 그 핵심인 **'보상 시스템 (Reward Function)'**에 대해 깊이 있게 분석하고 있습니다.

마치 **자율주행 AI 를 가르치는 '스승'**이 있다고 상상해 보세요. 이 스승은 학생 (AI) 이 좋은 행동을 하면 칭찬 (보상) 을 주고, 나쁜 행동을 하면 꾸짖음 (벌점) 을 줍니다. 이 논문은 바로 **"어떤 기준으로 칭찬하고 꾸짖어야 가장 안전하고 편안한 운전이 가능한가?"**에 대한 문제점을 지적하고, 더 나은 방법을 제안합니다.

이 논문의 핵심 내용을 일상적인 비유로 설명해 드리겠습니다.

---

1. 문제: "선생님, 무엇을 기준으로 점수를 매기나요?"

현재 자율주행 AI 를 가르치는 많은 연구자들이 **점수판 (보상 함수)**을 만들 때 혼란을 겪고 있습니다. 운전에는 여러 가지 목표가 있는데, 서로 충돌하기도 하기 때문입니다.

• 안전 (Safety): 사고를 내지 않는 것 (가장 중요).
• 진행 (Progress): 목적지에 빨리 가는 것.
• 편안함 (Comfort): 승객이 멀미하지 않게 부드럽게 운전하는 것.
• 법규 준수 (Traffic Rules): 신호등과 차선을 지키는 것.

현재의 문제점:
대부분의 연구는 이 네 가지 목표를 **단순히 더하기 (+)**만 합니다.

"안전 점수 + 진행 점수 + 편안함 점수 = 최종 점수"

이 방식의 치명적인 결함은 상충되는 목표를 어떻게 조율할지 모른다는 것입니다.

• 비유: 만약 "빨리 가라 (진행)"는 점수가 "안전하게 가라 (안전)"는 점수보다 조금이라도 높게 설정되면, AI 는 사고를 낼 위험이 있더라도 차를 세우지 않고 계속 달릴 수 있습니다. 마치 "점수만 잘 받으면, 넘어져도 상관없어"라고 가르치는 것과 같습니다.

2. 세부 분석: 네 가지 목표의 함정

논문은 각 목표별로 현재 어떤 문제점이 있는지 구체적으로 짚어줍니다.

🛑 안전 (Safety): "사고 나면 0 점"은 부족해

• 현재: 차가 부딪히기만 하면 큰 벌점을 주고, 안 부딪히면 0 점입니다.
• 문제: 사람과 차를 구분하지 못합니다. "저속으로 살짝 긁는 것"과 "보행자를 치는 것"이 똑같이 벌점입니다. 또한, **아직 안 부딪혔지만 위험한 상황 (TTC, 충돌 예상 시간)**은 전혀 고려하지 않아 AI 가 위험한 상황을 모르고 지나갈 수 있습니다.
• 해결책: 사고가 나기 직전의 위험한 행동에도 벌점을 주고, 사고의 심각성 (속도, 상대 물체) 에 따라 벌점을 다르게 매겨야 합니다.

🚀 진행 (Progress): "빨리 가라"는 함정

• 현재: 목적지에 가까워지거나 속도를 내면 점수를 줍니다.
• 문제: AI 가 목적지를 향해 직진하다 정지한 장애물을 만나면, "기다리면 점수가 깎이니까 차라리 부딪히는 게 나을지도?"라고 계산할 수 있습니다.
• 해결책: 단순히 거리만 재는 게 아니라, 도로의 상황 (교통 체증, 날씨) 을 고려해 목표 속도를 유동적으로 정해야 합니다.

🛋️ 편안함 (Comfort): "승객은 잊혀졌다"

• 현재: 많은 연구에서 승객이 멀미하지 않게 하는 '부드러운 운전'을 아예 점수판에 넣지 않습니다.
• 문제: AI 가 급정거나 급핸들을 자주 돌릴 수 있어 승객이 불편해할 수 있습니다.
• 해결책: 가속도 변화 (저크) 와 핸들링의 부드러움을 점수 체계에 반드시 포함해야 합니다.

🚦 법규 준수 (Traffic Rules): "규칙은 유연해야 한다"

• 현재: 속도 제한을 1km/h 만 넘겨도 벌점을 줍니다.
• 문제: 실제 상황에서는 긴급 상황이나 교통 체증 때문에 규칙을 유연하게 적용해야 할 때도 있습니다. 하지만 현재 시스템은 너무 경직되어 있습니다.

3. 근본적인 한계: "상황을 모르는 AI"

현재의 점수판은 **상황 (Context)**을 모릅니다.

• 비유: 같은 '속도 제한 60km'라는 규칙이라도, 비 오는 밤길과 맑은 낮의 고속도로에서는 적용 방식이 달라야 합니다. 하지만 현재 AI 는 두 상황 모두 똑같은 점수 규칙을 적용받습니다.
• 결과: AI 는 특정 상황 (예: 도시 주행) 에만 특화되어 있고, 다른 상황 (예: 고속도로 합류) 에서는 엉뚱한 행동을 할 수 있습니다.

4. 미래 제안: 더 똑똑한 점수판 만들기

저자는 이 문제들을 해결하기 위해 세 가지 혁신적인 아이디어를 제안합니다.

① 규칙 장부 (Rulebooks) 활용하기

• 아이디어: 단순한 점수 합계가 아니라, 우선순위 장부를 만듭니다.
• 비유: "안전 > 법규 > 편안함 > 진행" 순서로 엄격하게 정해두는 것입니다.
  • 예: "안전에 위협이 되면, 아무리 빨리 가도 안 된다."
  • 이렇게 하면 "안전"과 "진행"이 충돌할 때, AI 가 혼란스러워하지 않고 명확한 우선순위를 따릅니다.

② 상황 인지형 보상 기계 (Reward Machines)

• 아이디어: 운전 상황을 단계별로 나누어, 상황에 따라 다른 점수 규칙을 적용합니다.
• 비유: 마치 게임의 스테이지처럼, "도시 주행 모드", "고속도로 합류 모드", "비상 상황 모드"로 나누어 각 모드에 맞는 점수판을 자동으로 바꿔주는 것입니다.

③ 검증 프레임워크 (Validation Framework)

• 아이디어: AI 를 실제 도로에 내보내기 전에, 가상 시뮬레이션에서 "이 점수판이 안전한가?"를 자동으로 테스트하는 시스템이 필요합니다.
• 현재: 연구자들이 직접 눈으로 확인하거나 간단한 테스트만 합니다.
• 제안: AI 가 위험한 행동을 하도록 유도하는 '악의적인 상황 (Adversarial examples)'을 자동으로 만들어내어, 점수판이 그 상황에서 AI 를 올바르게 제어하는지 검증해야 합니다.

요약

이 논문은 **"자율주행 AI 를 가르칠 때, 단순히 '점수 합계'로만 평가하는 것은 위험하다"**고 경고합니다. 대신 안전 우선의 규칙 장부, 상황에 맞는 유연한 점수판, 그리고 엄격한 검증 시스템을 도입해야만, 우리가 믿고 탈 수 있는 진정한 자율주행 자동차를 만들 수 있다고 결론 내립니다.

마치 운전면허 시험을 볼 때, 단순히 "빨리 도착한 사람"이 합격하는 게 아니라, **"안전하고 규칙을 지키며 승객을 편안하게 태운 사람"**이 합격해야 하듯이, AI 교육 시스템도 그렇게 진화해야 한다는 것입니다.

기술 요약

1. 문제 정의 (Problem)

자율주행은 안전성, 편안함, 진행 효율성, 교통법규 준수 등 상충되는 다중 목적 (Multi-objective) 을 동시에 만족해야 하는 복잡한 도메인입니다. 강화학습 (RL) 은 이러한 복잡한 의사결정 문제를 해결하는 유망한 접근법으로 부상했으나, 적합한 보상 함수 (Reward Function) 를 설계하는 것이 근본적인 난제입니다.

현재 연구에서 다음과 같은 주요 문제들이 지적됩니다:

• 목표 간 상충 및 우선순위 부재: 안전과 진행 (Efficiency) 과 같은 상충되는 목표를 어떻게 조화롭게 결합할지에 대한 표준화된 방법이 부족합니다.
• 맥락 무관성 (Context Indifference): 도시 주행, 고속도로, 악천후 등 다양한 주행 환경에 따라 요구되는 행동이 달라지지만, 대부분의 보상 함수는 이러한 맥락을 고려하지 않고 고정된 형태로 설계됩니다.
• 비표준화된 정의: 안전, 편안함, 진행 등 각 목적에 대한 산업 표준이 부재하여 연구마다 임의적이고 일관성 없는 수식화가 이루어지고 있습니다.
• 검증 프레임워크 부재: 설계된 보상 함수가 의도치 않은 위험한 행동을 유도하는지 평가할 수 있는 체계적인 검증 프레임워크가 존재하지 않습니다.

2. 방법론 (Methodology)

이 논문은 최신 (State-of-the-art) 자율주행 RL 연구에 사용된 보상 함수들을 체계적으로 분석하기 위해 다음과 같은 방법론을 적용했습니다:

1. 범주화 (Categorization): 문헌에 제안된 다양한 보상 함수를 구성하는 개별 목적 (Objectives) 을 추출하여 다음 4 가지 주요 범주로 분류했습니다:
   • 안전 (Safety): 충돌 방지, 위험 회피.
   • 진행 (Progress): 목적지 도달, 효율성.
   • 편안함 (Comfort): 승차감, 가속도/조향 각도 변화율.
   • 교통법규 준수 (Traffic Rules): 차선 유지, 속도 제한, 우선권 등.
2. 심층 분석: 각 범주 내에서 기존 연구들이 사용한 수식화 방식 (조건부 함수, 연속 밀집 보상 등) 을 검토하고, 그 강점과 한계를 평가했습니다.
3. 구조적 한계 분석: 개별 보상 항의 설계뿐만 아니라, 이러한 항들을 어떻게 결합 (Aggregation) 하는지 (단순 합, 가중 합, 사전적 순서 등) 와 주행 맥락을 반영하는지 여부를 분석했습니다.
4. 미래 방향 제안: 분석된 한계를 극복하기 위한 새로운 프레임워크와 접근법을 제안했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 보상 함수 범주별 분석 결과

• 안전 (Safety): 대부분의 연구가 충돌 발생 시에만 패널티를 주는 희소 (Sparse) 보상 방식을 사용합니다. 이는 충돌의 심각도 (속도, 대상물 유형) 를 반영하지 못하며, '충돌 직전'과 '안전한 주행'을 구분하지 못해 위험한 행동을 장려할 수 있습니다. TTC(충돌까지의 시간) 와 같은 연속 밀집 보상이 제안되었으나, 표준화된 정의는 부재합니다.
• 진행 (Progress): 목적지 도달 시 보상을 주거나 이동 거리를 기반으로 보상을 주는 방식이 일반적입니다. 그러나 이는 장애물을 피하기보다 충돌을 선택하는 비합리적인 행동 (예: 정지 상태보다 충돌이 더 큰 보상을 받는 경우) 을 초래할 수 있으며, 도로 토폴로지를 고려하지 않은 직선 거리 기반 보상의 한계가 있습니다.
• 편안함 (Comfort): 가속도, 제로크 (Jerk), 조향 각도 등을 패널티로 부과하는 연구가 있으나, 승객의 신체 조건이나 탑승 유무를 고려하지 않아 실제 적용에 한계가 있습니다. 많은 연구에서 편안함 요소를 아예 생략하기도 합니다.
• 교통법규: 차선 유지나 속도 제한 위반에 대한 패널티가 존재하지만, 여러 법규를 동시에 준수하거나 상황에 따라 법규를 완화 (Rule Relaxation) 하는 메커니즘은 부족합니다.

B. 구조적 한계 (General Limitations)

• 목표 집계 (Aggregation) 의 단순성: 대부분의 연구가 단순 합산 (Summation) 또는 고정 가중치 합산 (Weighted Summation) 을 사용합니다. 이는 목표 간 우선순위를 명확히 하지 못하며, 상충되는 목표 (예: 안전 vs 진행) 간의 갈등을 해결하지 못합니다.
• 맥락 인식 부족 (Lack of Context Awareness): 보상 함수가 특정 사용 사례 (Urban, Highway 등) 에만 최적화되어 있어, 다른 환경으로 전환될 때 일반화 (Generalization) 가 어렵습니다.
• 경제적 요소 무시: 연비나 비용 최적화와 같은 경제적 요소가 보상 함수 설계에서 거의 고려되지 않습니다.

C. 미래 연구 제안 (Proposals for Future Work)

논문의 가장 중요한 기여는 다음과 같은 해결책을 제시한 것입니다:

1. 규칙집 (Rulebooks) 도입: 가중치 조정이 아닌, 규칙의 우선순위 (Priority) 를 정의하는 '규칙집' 개념을 도입하여 목표 간 상충을 해결하고 수동 튜닝을 줄이는 것을 제안합니다.
2. 보상 머신 (Reward Machines) 활용: 주행 맥락 (Context) 을 상태 전이로 모델링하여, 상황에 따라 다른 보상 로직을 적용할 수 있도록 하는 '보상 머신'을 통해 맥락 인식형 보상 함수를 설계할 것을 제안합니다.
3. 보상 함수 검증 프레임워크 (Validation Framework): 현재 부재한 자동화된 검증 프레임워크의 필요성을 강조하며, 적대적 시나리오 생성 (Adversarial Scenario Generation) 기술을 활용하여 보상 함수가 안전하고 의도한 대로 작동하는지 자동으로 검증하는 체계 마련을 촉구합니다.

4. 의의 (Significance)

이 논문은 자율주행 강화학습 분야에서 보상 함수 설계의 표준화와 체계적 접근의 필요성을 강력하게 주장합니다.

• 이론적 기여: 기존 연구들의 보상 함수를 체계적으로 분류하고, 각 범주의 수식화 한계와 구조적 결함을 명확히 규명했습니다.
• 실용적 기여: 단순한 가중치 합산을 넘어, Rulebooks와 Reward Machines와 같은 고급 기법을 통해 안전성과 효율성, 맥락 적응성을 동시에 확보할 수 있는 구체적인 방향성을 제시했습니다.
• 안전성 확보: 검증 프레임워크의 부재를 지적함으로써, RL 기반 자율주행 시스템의 상용화를 위해 필수적인 '안전성 검증' 단계의 중요성을 부각시켰습니다.

결론적으로, 본 논문은 자율주행 RL 시스템의 성능과 안전성을 획기적으로 개선하기 위해서는 보상 함수의 설계 방식이 단순한 수식 조합을 넘어, 맥락을 이해하고, 우선순위를 명확히 하며, 체계적으로 검증될 수 있는 구조로 진화해야 함을 시사합니다.