VideoGAN-based Trajectory Proposal for Automated Vehicles

기술 요약: 자율주행 차량을 위한 VideoGAN 기반 궤적 제안

문제 정의
본 연구에서 다루는 핵심 과제는 자율주행 차량(AV)을 위한 현실적이고 통계적으로 정확한 궤적 옵션을 생성하는 것입니다. 궤적 예측 및 계획은 고도의 자동화된 운행을 위해 매우 중요하지만, 기존 방식들은 한계에 직면해 있습니다. 고전적인 규칙 기반 접근 방식은 상호작용하는 환경 내 여러 에이전트의 결합된 행동을 지배하는 복잡하고 고차원적이며 다중 모드적인 분포를 모델링하는 데 어려움을 겪습니다. 반대로, 디퓨전 모델(Diffusion models)이나 생성적 적대 신경망(GANs)과 같은 생성 모델을 활용하여 다양한 미래를 포착하는 데 탁월한 딥러닝(DL) 모델들은, 공간적 근거를 갖춘 방식(레이아웃 제약 및 문맥적 단서를 잘 처리하는 방식)의 경우 분포 모델링의 이점을 충분히 활용하지 못하는 어텐션 기반 아키텍처에 의존하는 경향이 있습니다. 또한, 디퓨전 모델과 관련된 높은 계산 비용을 발생시키지 않으면서도 가변 길이의 궤적(장면에 진입하거나 나가는 에이전트)을 처리하고 안전 거리 및 교통 신호 준수와 관련된 물리적 실재성을 유지할 수 있는 방법론이 필요합니다.

방법론
저자들은 공간적 근거가 있는 표현 방식과 비디오 생성을 결합한 3단계 파이프라인을 제안합니다.

1. 추상 데이터의 래스터화(Rasterization):
   파이프라인은 Waymo Open Motion Dataset의 추상적인 교통 데이터를 저해상도 조감도(Bird's-Eye View, BEV) 점유 그리드 비디오로 변환합니다. 이 과정에는 다음이 포함됩니다:

• 도로 중심선, 시변 교통 신호 상태, 에이전트 데이터(중심 좌표, 헤딩, 바운딩 박스 크기) 추출.
• 이러한 요소들을 자율주행 차량(ego vehicle)을 중심으로 하는 이미지 좌표로 렌더링합니다. 도로 중심선은 회색 선으로, 교통 신호는 유색 원으로, 에이전트는 직사각형으로 렌더링됩니다.
• 자율주행 차량은 검은색으로 렌더링되며, 다른 에이전트들은 교통 신호나 도로 표식과 혼동되지 않도록 HSV 색 공간 내에서 무작위 색상이 할당됩니다.
• 출력물은 교통 장면을 나타내는 저해상도 BEV 비디오(예: 54 × 96 픽셀) 데이터셋입니다.

2. VideoGAN 학습:
   래스터화된 점유 그리드 비디오를 바탕으로 비디오 생성 모델, 구체적으로는 VideoGAN(LongVideoGAN 기반)을 학습시킵니다. 저자들은 디퓨전 모델보다 빠른 학습 및 추론 시간을 우선시하여 GAN을 선택했습니다. 이는 디퓨전 모델이 더 높은 시각적 충실도를 제공하지만, 궤적 제안에서는 물리적 타당성과 주행 가능성이 주요 지표이기 때문에 시각적 충실도가 그만큼 결정적이지 않다는 점을 고려한 것입니다. 이 모델은 임의의 길이를 가진 동적으로 일관된 장면을 생성하는 법을 학습합니다.

3. 궤적 추출:
   생성된 비디오로부터 후처리 파이프라인을 통해 추상 궤적 데이터를 추출합니다:

• 객체 탐지(Object Detection): 프레임을 HSV 색 공간으로 변환합니다. 마스크를 적용하여 교통 신호(빨강, 초록, 노랑)와 에이전트를 분리합니다. 특정 마스킹 기법을 사용하여 교통 신호 색상을 하단의 가려진 색상(예: 차량 또는 도로)으로 대체함으로써 신호 아래를 지나가는 에이전트의 탐지 성능을 개선합니다. 형태학적 열기(Morphological opening) 연산을 통해 윤곽선을 매끄럽게 하고, 공간적 특징(중심, 크기, 모양)을 추출합니다.
• 객체 매칭(Object Matching): 공간적 근접성, 색상 유사성, 종횡비 및 유형 일관성을 기반으로 한 비용 행렬을 사용하여 프레임 간 정체성을 추적합니다.
• 궤적 풍부화(Trajectory Enrichment): 지속적인 ID를 할당하고, 보간법을 통해 자율주행 차량에 대한 상대적인 순간 속도 및 가속도를 계산합니다.

주요 기여

• 생성적 및 공간적 근거 기반 파이프라인: 저자들은 생성 모델의 분포 모델링 능력을 활용하면서 BEV 표현의 공간적 레이아웃 제약을 유지하는 방법을 제시합니다.
• 커스터마이징 가능한 래스터화: 추상적인 교통 데이터를 저해상도 BEV 점유 그리드 비디오로 변환하는 파이프라인을 통해, 장면 구성(예: 회전 시나리오 빈도 증가)을 고도로 커스터마이징할 수 있게 합니다.
• 추출 절차: 프레임별 탐지 및 매칭을 사용하여 생성된 비디오 예측으로부터 교통 신호 및 도로 사용자에 관한 추상 데이터를 추출하는 절차를 개발했습니다.
• 효율성: 시스템은 15초 분량의 장면에 대해 약 20ms의 추론 시간을 달성하여 실시간 애플리케이션에 적합합니다. 학습은 100 GPU 시간 내에 완료되었습니다.

결과
저자들은 생성된 궤적을 Waymo Open Motion Dataset의 실제 데이터(Ground Truth)와 비교하여 정성적 및 정량적 지표로 평가했습니다.

• 정성적 분석: 생성된 장면은 현실적인 지도 선, 도로 사용자 역학, 교통 신호 상호작용을 보여주었습니다. 에이전트들이 빨간불에 멈추고, 초록불에 진행하며, 안전 거리를 유지하는 것이 관찰되었습니다. 모델은 교차로에서의 회전 및 에이전트의 장면 진입/퇴장과 같은 복잡한 행동을 성공적으로 모델링했으나, 교차로 부근에서 간혹 정체성 변형(분리 또는 병합)이 관찰되었습니다.
• 정량적 분석 (정적 파라미터):
  • 객체 크기: 생성된 비디오의 에이전트 크기 분포는 실제 데이터와 유사한 이봉 분포(Bimodal distribution)를 보였으나, 생성된 차량이 평균적으로 10% 더 컸습니다.
  • 거리 및 밀도: 에이전트 간의 평균 중심 간 거리와 교통 밀도(프레임당 객체 수)는 실제 장면과 매우 유사했습니다.
  • 미식별 객체: 식별되지 않은 객체의 분포가 일관되게 나타나 프레임의 시각적 실재성을 뒷받침했습니다.
• 정량적 분석 (역학):
  • 속도 및 가속도: 상대 속도 및 가속도의 통계적 분포가 학습 데이터와 일치하여, 추월, 동행, 대향 교통 행동을 포착했습니다.
  • 안전성: 최소 가장자리 간 거리를 통해 도로 사용자들이 적절한 간격을 유지함을 확인했습니다.
• 교통 신호 준수: 교통 신호에 따른 자율주행 차량의 속도 분석 결과, 모델이 빨간불에서 정지(속도 ~0 km/h)하고 초록불에서 적절한 속도로 진행하는 법을 학습하여 동적 교통 신호에 대한 준수 능력을 보여주었습니다.

의의 및 주장
본 논문은 비디오 생성 모델이 에이전트 간의 상호작용 및 동적 교통 신호 준수 측면에서 현실적이고 안전한 교통 장면과 궤적을 생성할 수 있음을 입증한다고 주장합니다. 20ms의 추론 속도를 달est함으로써, 저자들은 본 방법론을 자율주행 스택의 실시간 궤적 제안을 위한 유망한 후보로 포지셔닝합니다. 이 연구는 공간적 근거가 있는 표현 방식과 효율적인 생성 모델을 결합하여 규칙 기반 시스템과 계산 비용이 많이 드는 디퓨전 모델의 한계를 극복할 수 있는 잠재력을 강조합니다. 저자들은 향-후 연구에서 더 크고 복잡한 장면 및 보행자 양보와 같은 특정 행동을 처리하기 위한 아키텍처 수정이 필요하다고 언급했습니다.