MTA-RL: Robust Urban Driving via Multi-modal Transformer-based 3D Affordances and Reinforcement Learning

기술 요약: MTA-RL

문제 정의
견고한 도시 자율주행은 밀집되고 역동적인 상호작용 하에서 신뢰할 수 있는 3D 장면 이해와 안정적인 의사결정을 요구합니다. 기존 접근법은 이분법에 직면해 있습니다: 모듈식 파이프라인은 해석 가능성을 제공하지만 취약한 인터페이스를 통한 오류 전파로 고통받는 반면, 엔드투엔드 학습 모델은 종종 해석 가능성이 부족하고 고차원 원시 관측치를 처리할 때 샘플 효율성에서 어려움을 겪습니다. 또한, 기존 affordance 학습 방법들은 일반적으로 단안 카메라 입력에 의존하여 표현을 2D 이미지 평면으로 제한하고 기하학적 표현력을 제한함으로써 복잡한 교통 상황에서의 불안정한 정책을 초래합니다. 더 나아가, 순수 엔드투엔드 강화학습 (RL) 은 종종 명시적인 공간 추론이 부족하여 실패 분석이 어렵고 새로운 환경에서의 안전 보장을 어렵게 만듭니다.

방법론
본 논문은 멀티모달 Transformer 기반 3D affordance 와 강화학습을 결합하여 지각과 제어를 연결하는 통합 프레임워크인 MTA-RL을 제안합니다. 이 아키텍처는 두 가지 주요 단계로 구성됩니다:

1. Transformer 기반 멀티모달 Affordance 예측:

   • 입력 융합: 시스템은 이질적인 센서 입력을 융합합니다: 세 개의 전방 RGB 카메라 (신호등과 보행자와 같은 의미적 단서 제공) 와 LiDAR 포인트 클라우드 (정밀한 기하학적 측정 제공).
   • 아키텍처: Transformer 기반 융합 네트워크가 이러한 입력을 조류의 시점 (Bird's-Eye-View, BEV) 공간에서 처리합니다. RGB 이미지는 ResNet-34 백본을 통해 처리되는 반면, LiDAR 포인트는 32m × 32m BEV 그리드에 투영됩니다.
   • 출력: 네트워크는 구조화되고 기하학적 인식을 갖춘 3D affordance를 예측합니다. 이는 다음과 같이 분류됩니다:
     • 이산적 Affordance: 교통 규칙 및 안전에 대한 범주형 예측 (예: 적색 신호등, 정지 표지판, 위험 정지).
     • 연속적 Affordance: 기하학적 관계에 대한 회귀 예측 (예: 측면 거리, 상대 각도, 선행 차량, 신호등, 정지 표지판, 보행자까지의 거리).
   • 이러한 affordance 는 관측 공간으로 작용하는 컴팩트하고 의미적으로 구조화된 잠재 벡터를 형성합니다.

2. 지각 유도 강화학습 (SAC):

   • 정책: Soft Actor-Critic (SAC) 에이전트는 원시 센서 데이터 대신 예측된 affordance 와 자기 차량 상태만으로 작동합니다.
   • 행동 공간: 조향 및 종방향 명령 (가속/제동) 을 위한 연속 제어 출력.
   • 보상 형성: 보상 함수는 차선 유지, 속도 추적, 제어 부드러움, 경로 진행, 그리고 결정적으로 교통 규칙 준수를 최적화하도록 밀집되게 형성됩니다. 규칙 준수 항은 제약 조건 (신호등, 표지판) 근처에서의 늦은 제동을 명시적으로 벌점하고 완전 정지를 보상하여 안전 경계에 대한 엄격한 준수를 보장합니다.
   • 종료: 충돌, 규칙 위반 또는 진행 부재와 같은 안전 위반 시 에피소드가 종료되며, 이러한 사건에 대해 구체적인 벌점이 정의됩니다.

주요 기여

• 3D BEV Affordance 예측: 저자들은 카메라 전용 방법의 2D 한계를 극복하기 위해 BEV 공간에서 직접 컴팩트하고 기하학적 인식을 갖춘 affordance 를 예측하기 위해 명시적인 제약까지 거리 헤드가 있는 최초의 Transformer 기반 멀티모달 아키텍처를 제안합니다.
• 구조화된 Affordance 기반 RL: 이 프레임워크는 RL 정책 학습이 예측된 주행 의미론만으로 작동하도록 합니다. 이 분리는 원시 센서 입력에 비해 샘플 효율성, 안정성 및 해석 가능성을 향상시키는 구조화된 관측 공간을 제공합니다.
• 견고한 성능: 광범위한 평가를 통해 MTA-RL 이 다양한 도시 지역과 교통 밀도에서 affordance 예측 정확도와 주행 성능 모두에서 최첨단 베이스라인을 일관되게 능가함을 입증했습니다.

실험 결과
평가들은 다양한 교통 밀도 (20~60 대의 배경 차량) 를 가진 Town01, Town02, Town03 에서 CARLA 시뮬레이터에서 수행되었습니다.

• Affordance 예측: MTA-RL 은 베이스라인 (DeepDriving, CAL, Affordance-RL) 에 비해 우수한 정확도를 달성했습니다. 범주형 작업 (예: 적색 신호등의 경우 99.13%) 에서 가장 높은 교차율 (IoU) 을 달성했으며, 연속 거리 예측 (예: 대상 차량 거리의 경우 0.011m) 에서 가장 낮은 평균 절대 오차 (MAE) 를 기록했습니다. 신호등, 정지 표지판 및 보행자까지의 거리를 신뢰성 있게 추정한 유일한 방법입니다.
• 주행 성능:
  • 일반화: Town03 에서만 훈련된 모델은 Town01 및 Town02 로의 강력한 제로샷 일반화를 보여주었습니다.
  • 지표: 밀집 교통 (60 대 차량) 에서 MTA-RL 은 모든 지역에서 가장 높은 경로 완료 (RC) 및 총 주행 거리 (TD) 를 달성했습니다. 예를 들어, Town01 에서 RC 는 0.764 를 기록하여 VLM-RL 의 0.630 및 Roach 의 0.599 를 능가했습니다.
  • 안전: 이 방법은 안전 지표에서 상당한 개선을 보여주어, 특정 시나리오에서 베이스라인 대비 위반당 거리 (DPV) 를 83.7% 향상시켰습니다. 낮은 충돌 속도와 높은 DPV 를 유지하여 위반 횟수가 적고 심각도가 낮음을 나타냈습니다.
• 애블레이션 연구:
  • 멀티모달 융합: Transformer 를 기하학적 융합으로 대체하거나 명시적인 LiDAR 기하학을 제거 (Latent TransFuser) 한 경우 affordance 예측이 저하되어 어텐션 기반 멀티모달 융합과 명시적 기하학적 입력의 필요성을 확인했습니다.
  • 보상 형성: 밀집된 교통 규칙 형성을 제거하고 희소 종단 벌점에만 의존하면 수렴 속도가 느려지고 RC, TD 및 DPV 가 낮아져 정책 정제를 위한 중간 피드백의 결정적 역할을 강조했습니다.

의의
본 논문은 MTA-RL 이 도시 자율주행을 위한 엔드투엔드 학습과 모듈식 설계 사이의 원칙적인 균형을 제공한다고 주장합니다. 멀티모달 3D affordance 를 중간 표현으로 사용하여 프레임워크는 지각과 제어를 성공적으로 분리합니다. 이 접근법은 해석 가능성과 견고성을 향상시키면서 RL 정책이 명시적인 공간 추론과 교통 규칙을 활용할 수 있게 합니다. 결과는 이러한 구조화된 표현이 상호작용이 많고 불확실성이 높은 도시 환경에서 안정적이고 안전하며 효율적인 의사결정을 달성하는 데 필수적임을 시사하며, 기존 모듈식 파이프라인과 원시 엔드투엔드 RL 의 한계를 해결합니다.