Offline Reinforcement Learning using Human-Aligned Reward Labeling for Autonomous Emergency Braking in Occluded Pedestrian Crossing

기술 요약: 폐쇄된 보행자 횡단보도 시나리오에서의 자율 비상 제동을 위한 인간 정렬 보상 레이블링 기반 오프라인 강화 학습

문제 정의

본 논문은 자율 주행(AD) 시스템 배포의 핵심적인 병목 현상인, 오프라인 강화 학습(Offline RL)에 필요한 실세계 데이터셋 내 유의미한 보상 레이블의 부족 문제를 다룹니다. Waymo, nuSEC, A2D2와 같은 실세계 데이터셋은 풍부하고 고충실도의 데이터를 제공하지만, 에이전트가 바람직한 행동과 바람직하지 않은 행동을 구분하도록 훈련하는 데 필요한 보상 신호는 일반적으로 결여되어 있습니다. 기존 솔루션들은 종종 "심투리얼(sim-to-real)" 격차로 인해 발생하는 시뮬레이션에 의존하거나, 이미지 기반 관측의 지각적 풍부함을 무시하는 저차원 상태 표현을 사용합니다.

조사된 구체적인 과제는 폐쇄된 보행자 횡단보도 시나리오 내에서의 차량 종방향 제어입니다. 이 고위험 환경에서 자율 주행 차량(AV)은 보행자가 다른 차량에 의해 가려져 있거나(폐쇄) 갑자기 나타날 수 있는 횡단보도를 통과해야 합니다. 핵심 과제는 모든 프레임에 대한 직접적인 인간의 주석 작업 없이도, 정적인 데이터셋으로부터 직접 인지 기반 오프라인 RL 에이전트를 훈련할 수 있도록 인간의 안전 가치(충돌 가능 시나리오에서 효율성보다 안전을 우선시함)와 일치하는 보상 레이블을 생성하는 것입니다.

방법론

제안된 솔루션은 레이블이 없는 AD 데이터셋을 오프라인 RL을 위한 훈련 가능 데이터로 변환하는 새로운 보상 레이블링 파이프라인을 도입합니다. 이 방법론은 세 가지 주요 단계로 구성됩니다:

1. 시맨틱 세그멘테이션 및 위험 평가:

   • 시맨틱 매핑: 원본 카메라 이미지는 ResNet18 UNet 모델을 통해 처리되어 보행자, 차량, 횡단보도, 도로 표식 등 28개 클래스를 식별하는 픽셀 수준의 시맨틱 세그멘테이션 맵을 생성합니다.
   • 적응형 안전 구성 요소 ($c_t$): 시스템은 시맨틱 맵의 특정 레이어를 분석하여 적응형 안전 플래그($c_t$)를 계산합니다. 이 플래그는 세 가지 위험 요인에 의해 결정됩니다:
     • 보행자 존재 여부 ($F_p$): 보행자가 도로 위에 있는지 아니면 인도에 있는지를 감지합니다.
     • 횡단보도 폐쇄 ($F_c$): 횡단보도가 교통 상황에 의해 부분적으로 가려져 불확실성을 유발하는지 평가합니다.
     • 보행자 이력 ($F_h$): 나타났다가 사라지는(폐쇄를 의미함) 보행자를 추적하기 위해 메모리 뱅크를 사용하여 이들을 중간 위험군으로 플래그를 지정합니다.
   • 의사결정 로직: 이러한 요인들은 합산되어 스케일링된 시그모이드 함수를 통과합니다. 결과 확률이 임계값($\psi = 0.75$)을 초과하면 $c_t$가 1로 설정되어 안전 보상 구성 요소를 활성화하고 효율성 구성 요소를 비활성화합니다.

2. 보상 함수 구축:
   최종 보상 신호($R_{final}$)는 $c_t$에 따라 동적으로 전환되는 세 가지 구성 요소의 가중 합입니다:

   • 안전 ($g_{safe}$): 보행자 근처에서의 고속 주행 및 충돌에 대해 벌점을 부여합니다. $c_t=1$일 때 활성화됩니다.
   • 효율성 ($g_{efficient}$): 충돌 위험이 없을 때 더 높은 속도를 장려합니다. $c_t=0$일 때 활성화됩니다.
   • 매끄러움 ($g_{smooth}$): 급격한 가속에 대해 벌점을 부여하며, 항상 활성화됩니다.
   • 센서 통합: 실세계 데이터의 경우, 핀홀 카메라 모델과 시맨틱 세그멘테이션을 결합하여 보행자까지의 거리를 추론하며, 속도와 가속도는 차량 CAN 버스 및 IMU 데이터로부터 도출됩니다.

3. 공간 주의 집중(Spatial Attention)을 이용한 오프라인 RL 훈련:
   에이전트를 훈련하기 위해, 본 논문은 시맨틱 맵을 활용하여 특징 추출을 유도하는 인지 기반 파이프라인을 제안합니다:

   • 특징 추출: 카메라 이미지는 ResNet18 오토인코더를 통과하여 잠재 특징 임베딩을 생성합니다.
   • 공간 주의 집중: 작업 관련 시맨틱 레이어(보행자, 횡단보도, 차량)를 격리하여 잠재 특징에 공간 주의 집중을 적용합니다. 이는 가중치 교차 곱셈(weighted cross-wise multiplication)을 통해 수행되며, 보행자 특징이 가장 높은 가중치($\omega_{ped}=1.0$)를 받고, 횡단보도($\omega_{cross}=0.75$), 차량($\omega_{veh}=0.50$) 순으로 이어집니다. 이 메커니즘은 에이전트가 충돌 회피와 관련된 핵심 객체에 집중하도록 강제합니다.

주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 인간 정렬 보상 레이블링: 기존 AD 데이터셋을 활용하여 새로운 데이터 수집 없이 엔드 투 엔드 오프라인 RL을 가능하게 하는, 인간의 의도와 일치하는 보상 레이블을 생성하는 새로운 접근 방식입니다.
2. 적응형 안전 메커니즘: 시맨틱 세그멘테이션 맵에서 도출된 적응형 안전 구성 요소를 포함하는 보상 함수입니다. 이를 통해 에이전트는 보행자 위치 및 폐쇄와 같은 실시간 위험 요인에 따라 효율성보다 안전을 동적으로 우선시할 수 있습니다.
3. 시맨틱 맵을 통한 공간 주의 집중: 시맨틱 세그멘테이션 레이어를 활용하여 이미지 관측 내의 서로 다른 객체 클래스에 다양한 수준의 공간 주의 집중을 제공함으로써, 핵심 장면 요소에 집중하여 에이전트의 의사결정을 개선하는 방법입니다.

실험 결과

방법론은 CARLA 시뮬레이션과 실세계 **Audi Autonomous Driving Dataset (A2D2)**의 일부 데이터셋을 대상으로 두 가지 환경에서 평가되었습니다.

• 시뮬레이션 (CARLA):

  • 테스트된 알고리즘: 레이블링된 데이터는 CQL, IQL, BPPO를 훈련하는 데 사용되었습니다.
  • 베이스라인: 제안된 방법("Gen")은 Unlabeled Data Sharing (UDS) (보상을 0으로 할당) 및 Vision Language Model (VLM) 접근 방식과 비교되었습니다.
  • 성능: IQL (Gen) 설정이 부분 폐쇄 시나리오에서 98-100%의 성공률을 기록하며 가장 높은 성능을 달ity했습니다. 제안된 방법은 일반적으로 UDS 또는 VLM 베이스라인보다 더 안정적이고 신뢰할 수 있는 동작을 생성했습니다.
  • 한계점: 매우 혼잡하거나 완전히 폐쇄된 시나리오에서는 특히 CQL 및 BPPO의 성능이 저하되었으며, 이는 전방 카메라 뷰의 한계를 시사합니다.

• 실세계 (A2D2):

  • 비교: 생성된 보상 레이블을 인간이 직접 작성한 주석과 비교하였습니다.
  • 결과: 전체적인 보상 분포는 유사했으나, 특정 안전 분류에서 상당한 차이가 있었습니다. 특히, 본 방법은 인간 주석가가 놓친 특정 위험 상태(예: 심하게 폐쇄된 보행자)를 감지해냈습니다. 반대로, 특정 위험 요인(예: 도로 표식과 도로 표면 사이의 혼동)의 한계로 인해 명확히 보이는 보행자를 식별하지 못하는 경우도 있었습니다.

의의 및 주장

본 논문은 자신의 주요 의의가 대규모의 레이블 없는 실세계 AD 데이터셋과 오프라인 RL의 요구 사항 사이의 간극을 메우는 데 있다고 주장합니다. 인간 정렬 보상 레이블 생성을 자동화함으로써, 이 방법은 수동 주석의 막대한 비용이나 시뮬레이션의 충실도 문제 없이 인지 기반 에이전트를 훈련할 수 있게 합니다.

저자들은 본 방법이 유의미한 보상 신호를 생성하고 시뮬레이션에서 정책 성능을 향상시키는 데 성공했지만, 인간의 판단을 완벽하게 대체할 수는 없다는 점을 강조합니다. A2D2 결과는 이 방법이 시맨틱 맵의 체계적인 분석을 통해 인간이 놓치는 위험을 감지할 수 있지만, 인간 운전자의 미묘한 맥락적 추론 능력은 부족하다는 점을 보여줍니다. 결론적으로, 본 논문은 이 접근 방식이 복잡한 시나리오에서 오프라인 RL을 위한 실행 가능한 출발점을 제공하지만, 향후 연구에서는 밀집된 교통 환경을 더욱 견고하게 처리하기 위해 시간적 추론 및 다중 뷰 통합을 다루어야 한다고 밝히고 있습니다.