기술 요약: REAP – 가우시안 스플래팅 시뮬레이터를 활용한 강화학습 기반 종단간 자율 주차

1. 문제 제기

자율 주차는 특히 기계식 주차 공간이나 막다른 공간과 같은 극단적인 시나리오에서 여전히 중요한 과제로 남아 있습니다. 전통적인 다단계 접근법 (지각 $\to$ 계획 $\to$ 제어) 은 오차 누적에 시달리며, 사전 지도가 없거나 실시간 지각이 부정확할 경우 종종 실패합니다. 종단간 (end-to-end) 방법은 공동 최적화를 제공하지만 다음과 같은 고유한 장애물에 직면합니다:

• 모방 학습 (Imitation Learning): 방대하고 고품질의 전문가 데이터가 필요하며, 이는 생성 비용이 높고 종종 모델이 다양하거나 복잡한 기동을 효과적으로 수행하지 못하는 "평균화 행동 (averaging behavior)"으로 이어집니다.
• 강화학습 (RL): 확장 가능하지만, 표준 강화학습은 비효율적인 탐색과 "Sim2Real(시뮬레이션에서 현실로)" 격차에 시달립니다. 시뮬레이터에서 훈련된 모델은 시각적 충실도와 물리적 역학의 차이로 인해 실제 세계에 배포될 때 종종 실패합니다.
• 시뮬레이션 한계: 기존 고정밀 시뮬레이터 (NeRF 또는 전통적인 CAD 에셋을 사용하는 것 등) 는 바퀴형 로봇에 필요한 시각적 사실성이나 물리적 정확성이 부족하거나, 확장 가능하지 않은 수동 모델링에 의존합니다.

2. 방법론

저자들은 주변 뷰 카메라 이미지에서 직접 차량 동작을 예측하는 비전 기반 시스템인 REAP(Reinforcement learning End-to-end Autonomous Parking) 를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소를 통합합니다:

A. BEV 보조 작업을 갖춘 종단간 네트워크

이 시스템은 통합된 상시조망 (Bird's-Eye View, BEV) 표현을 활용합니다. 주변 뷰 이미지는 BEV 특징으로 변환되며, 목표 주차 공간은 BEV 히트맵으로 표현됩니다.

• 아키텍처: 네트워크는 액터 (planner) 와 크리틱을 포함합니다.
• 보조 작업: 특징 표현을 강화하기 위해 네트워크는 세 가지 보조 지각 작업과 함께 공동 훈련됩니다:
  1. 점유 (OCC): 장애물을 피하기 위해 기하학적 점유를 예측합니다.
  2. 주차 공간 감지 (PSD): 이용 가능한 공간을 식별합니다.
  3. 목표 예측: PSD 와 사용자가 선택한 목표를 결합하여 안정적인 공간 위치 확인을 보장합니다.
• 모델링: 주차 공간은 인접 공간 간의 분리성을 유지하기 위해 2D 가우시안 분포로 모델링되며, 비대칭 게이팅 함수는 접근 가능한 주차 방향을 구분합니다.

B. 비대칭 하이브리드 강화학습 전략

순수 RL 의 비효율성과 모방 학습의 데이터 의존성을 해결하기 위해 REAP 는 동적 하이브리드 전략을 채택합니다:

• 행동 복제 (Behavior Cloning, BC): 탐색 동안 시스템은 규칙 기반 계획기 (Reed-Shepp 곡선) 를 쿼리하여 전문가 동작을 생성합니다. 이러한 동작은 사전 수집된 데이터셋 없이도 즉각적이고 상태에 맞는 지침을 제공하며, 행동 복제를 통해 액터 네트워크에 능력을 주입하는 데 사용됩니다.
• 비대칭 훈련: 액터는 실제 세계의 제약을 시뮬레이션하는 원시 주변 뷰 이미지에서 학습하는 반면, 크리틱은 시뮬레이션에서만 사용 가능한 "특권 (privileged)" 정보 (아티팩트가 없는 BEV 지도) 로 훈련됩니다. 이는 가치 추정을 안정화하고 계산 비용을 줄입니다.
• 소프트 액터-크리틱 (SAC): 알고리즘은 행동 가치와 정책 엔트로피를 모두 최대화하여 탐색을 장려하기 위해 SAC 를 사용합니다.
• 재생 버퍼 (Replay Buffers): 두 개의 버퍼가 사용됩니다: 모든 경험을 위한 주 버퍼와 충돌 없는 성공을 위한 "성공 경험" 버퍼로, 어려운 시나리오에서 희귀한 긍정적 샘플의 활용도를 높입니다.

C. 보상 설계 및 안전 메커니즘

보상 함수 ($R_{total}$) 는 희소 보상과 밀집 보상을 결합합니다:

• 희소 보상: 성공, 시간 초과, 경계 횡단, 그리고 새로운 **주차 앵커 보상 (Parking Anchor Reward)**을 포함합니다. 앵커 보상은 규칙 기반 계획기가 실현 가능한 궤적을 생성할 수 있는 상태에 차량이 도달했을 때 부여되어, 장기 작업에서 수렴을 가속화합니다.
• 밀집 보상 및 안전:
  • 예측 충돌 보상 ($R_{PC}$): 충돌 길이의 총 궤적 길이에 대한 비율을 기반으로 동작에 페널티를 부과하여, 에이전트가 실제 충돌 발생 전에 심각한 잠재적 충돌과 경미한 잠재적 충돌을 구분할 수 있게 합니다.
  • 연성 충돌 보상 ($R_{SC}$): 잘린 부호付き 거리 필드 (TSDF) 를 사용하여 차량이 장애물에 너무 가까워지는 동작에 페널티를 부과하여, 실제 충돌이 발생하지 않더라도 안전 마진을 장려합니다.

D. 3D 가우시안 스플래팅 (3DGS) 기반 Real2Sim2Real 시뮬레이터

Sim2Real 격차를 해소하기 위해 저자들은 폐쇄 루프 시뮬레이터를 구축했습니다:

• Real2Sim: 실제 세계 장면은 핸드헬드 LiDAR 와 카메라로 촬영됩니다. 3D 가우시안 스플래팅 (3DGS) 은 수동 CAD 모델링 없이 사실적인 렌더링과 스케일이 정확한 기하학을 제공하는 환경을 재구성하는 데 사용됩니다.
• Sim2Real: 시뮬레이터는 도메인 무작위화 (조명, 카메라 내부/외부 파라미터) 와 이중 계층 차량 모델을 갖춘 2.5D 고도 지도를 통합합니다. 이를 통해 경사, 속도 저감 장치, 그리고 차량이 낮은 장벽을 통과해야 하는 기계식 주차 공간의 특정 간격 제약 조건을 정확하게 시뮬레이션할 수 있습니다.

3. 주요 기여

1. REAP 알고리즘: 극단적인 시나리오에서 성능을 크게 향상시키는 비전 기반 종단간 주차 알고리즘입니다. 효율적인 초기화를 위한 행동 복제와 견고한 정책 학습을 위한 비대칭 RL 을 결합합니다.
2. 3DGS 기반 시뮬레이터: 3D 가우시안 스플래팅을 사용하여 고정밀 시각 및 물리 시뮬레이션을 생성하는 Real2Sim2Real 파이프라인입니다. 이는 시뮬레이션에서 훈련된 모델이 실제 차량으로 직접 전이될 수 있게 하여 도메인 격차를 효과적으로 줄입니다.
3. 연성 예측 충돌 페널티: 충돌률을 줄이고 안전 마진을 장려하기 위해 예측 충돌 평가와 연성 거리 필드 페널티를 결합한 새로운 안전 메커니즘입니다.
4. 실제 세계 배포: 매우 좁은 기계식 공간 (폭 2.1m, 약 10cm 간격) 에서 종단간 RL 주차의 실현 가능성을 입증하는 물리적 차량 플랫폼에서의 성공적인 배포.

4. 실험 결과

저자들은 네 개의 표준 주차장 (지하 및 지상) 과 하나 매우 제한된 기계식 주차 공간을 포함한 다섯 가지 시나리오에서 REAP 를 평가했습니다.

• 성능 지표:
  • 표준 공간: REAP-SAC 는 시뮬레이션에서 **83.5%**의 주차 성공률 (PSR) 을 달성했으며, 실제 세계 테스트에서는 **65–85%**를 달성했습니다.
  • 기계식 공간: 가장 도전적인 시나리오 (폭 2.1m) 에서 REAP-SAC 는 시뮬레이션에서 **70.0%**의 PSR 을 달성했으며, 실제 세계 테스트에서는 **55.0%**를 달성하여 평균 주차 시간은 89 초였습니다.
• 비교:
  • REAP 는 복잡한 기동에서 종종 실패하는 규칙 기반 계획기와 다른 RL/모방 베이스라인 (PPO, SAC, HOPE, ParkingE2E) 보다 성공률과 충돌 회피 측면에서 모두 우위를 보였습니다.
  • Ablation 연구: 3DGS 시뮬레이터를 제거하고 CAD 또는 메쉬 기반 시뮬레이터로 대체한 결과, 실제 세계 PSR 이 급격히 하락했습니다 (70% 에서 0% 또는 45% 로). 이는 시각적 충실도의 결정적 역할을 확인시켜 줍니다. 보조 작업이나 하이브리드 훈련 전략을 제거해도 성능이 크게 저하되었습니다.
• Sim2Real 격차: 시뮬레이션과 실제 세계 결과 간의 밀접한 상관관계 (예: 기계식 공간에서 70% 대 55%) 는 Real2Sim2Real 파이프라인의 효과를 검증합니다.

5. 의의 및 주장

이 논문은 REAP 가 다음과 같은 이유로 자율 주차 분야에서 중요한 진전을 나타낸다고 주장합니다:

• 극단적 시나리오 해결: 전통적인 방법들이 종종 실패하는 매우 좁은 기계식 공간에서 항해하고 주차하는 데 성공한 최초의 종단간 강화학습 접근법 중 하나입니다.
• 효율적인 Real2Sim2Real 전이: 3DGS 를 활용하여 저자들은 최소한의 데이터 수집 비용 (핸드헬드 스캐닝) 과 수동 모델링 없이 고정밀 시각 시뮬레이션을 달성할 수 있음을 입증했습니다. 이는 시뮬레이션에서 훈련된 모델이 실제 세계로 직접 일반화되도록 합니다.
• 안전성과 효율성: 연성 예측 충돌 페널티와 비대칭 RL 훈련의 통합은 비전 기반 RL 에 내재된 안전 및 탐색 효율성 문제를 해결합니다.

저자가 인정하는 한계:

• 부드러움: 미세 조정 (Fine-tuning) 은 성공률을 높이지만 기어 변속을 증가시켜 운동의 부드러움을 약간 저하시킬 수 있습니다.
• 훈련 의존성: 현재 파이프라인은 초기 훈련 안정성 및 앵커 보상 정의를 위해 규칙 기반 계획기 감독에 여전히 의존합니다.
• 일반화: 검증은 현재 구조화된 환경으로 제한되어 있으며, 보이지 않는 실외 환경이나 매우 동적인 장애물에 대한 일반화는 추가 연구가 필요합니다.
• 계산: 엣지 장치에 종단간 모델을 배포하면 계산 오버헤드가 발생하며, 현재 안전 설계는 형식적 보장 대신 경험적 보장을 제공합니다.