기술 요약: VideoGAN 기반 궤적 생성을 위한 확장된 시야각(Field of View) 분석

문제 정의

현실적이고 다양한 궤적 생성은 예측, 계획 및 시뮬레이션과 같은 고차원 자율주행을 가능하게 하는 핵심 요소입니다. 규칙 기반 및 고전적 학습 방법은 교통 행동의 복잡성을 포착하는 데 어려움을 겪는 경우가 많지만, 딥러닝은 유망한 대안을 제시합니다. 그러나 기존 방식들은 다음과 같은 구체적인 과제에 직면해 있습니다:

• 이산적 모델링 vs 공간적 모델링: 전통적인 궤적 예측은 종종 문제를 이산적인 일련의 경로 세트를 예측하는 것으로 취급하며, 이는 가변 길이 시퀀스(에이전트 진입/퇴출)나 복잡한 공간적 상호작용을 처리하는 데 한계가 있을 수 있습니다. 반대로 점유 격자(Occupancy Grids)와 같은 공간적 접근 방식은 레이아웃 제약 조건은 잘 다루지만, 전체 데이터 분포를 포착하는 생성 모델링의 이점을 결여하는 경우가 많습니다.
• 계산 효율성: 확산 모델(Diffusion Models)은 높은 시각적 충실도와 다양성을 보여주었으나, 추론 시간(장면당 초 단위에서 분 단위)이 길어 실시간 궤적 제안에는 적합하지 않을 수 있습니다. 반면 GAN(Generative Adversarial Networks)은 더 효율적입니다.
• 확장성 및 환각(Hallucinations): 장거리 의존성을 포착하기 위해 생성 모델을 더 넓은 시야각(FOV)으로 확장하면, 객체 영속성 실패(에이전트의 사라짐 또는 분리)나 일관되지 않은 공간 관계와 같은 시각적 아티팩트(Artifacts)가 발생할 위험이 있으며, 이를 정량화하기 어렵습니다.

방법론

저자들은 이전 연구 [28]를 바탕으로 몇 가지 핵심적인 기술적 개선을 더하여, 시맨틱 조감도(Bird's-Eye-View, BEV) 비디오를 생성하고 여기서 궤적을 추출하는 엔드 투 엔드 파이프라인을 제안합니다.

1. 시맨틱 표현 (래스터화)

이전 연구에서 사용된 HSV 기반 인코딩 대신, 저자들은 궤적 데이터를 저해상도 BEV 시맨틱 비디오로 래스터화하기 위해 Lab 색 공간을 채택했습니다.

• 근거: Lab 색 공간(밝기, 녹색-적색, 청색-황색)은 RGB나 HSV에 비해 시맨틱 범주(도로 표식, 신호등, 자차, 타 차량) 간의 분리 능력이 뛰어납습니다.
• 인코딩:
  • 도로 중심선: 연속적인 회색 선($L \in [30, 90]$, $a, b \approx 0$)으로 렌더링됩니다.
  • 신호등: Lab 공간의 특정 타원형 범위를 기반으로 빨간색, 초록색 또는 노란색 원($2\times2$ m)으로 렌더링됩니다.
  • 차량: 자차는 검은색(낮은 $L$); 타 에이전트는 청색-분홍색 범위(음의 $b$, 양의 $L$)에서 샘플링됩니다.
• 입력: 시스템은 Waymo Open Motion Dataset의 데이터를 처리하여, 기준 에이전트를 중심으로 세계 좌표를 이미지 좌표로 변환합니다.

2. 생성 모델

본 프레임워크는 확산 모델 대신 VideoGAN(구체적으로 LongVideoGAN [3]의 저해상도 브랜치)을 활용합니다.

• 선택 근간: 확산 모델은 더 높은 시각적 충실도를 제공하지만, VideoGAN은 훨씬 빠른 추론 속도(단일 순전파)와 학습 안정성을 제공하며, 이는 실시간 애플리케이션에 매우 중요합니다. 선택된 아키텍처는 임의의 길이의 동적으로 일관된 장면을 생성하도록 설계되었습니다.
• 학습: 모델은 80GB A100 GPU에서 20만 스텝 동안 6만 개의 비디오 시퀀스(128 프레임, 약 12.8초)를 학습합니다.

3. 궤적 추출

새로운 그래프 기반 연관 방법이 기존의 비용 행렬 매칭 절차를 대체합니다.

• 객체 탐지: 프레임은 Lab 공간 색상 필터링을 통해 신호등과 차량의 마스크를 생성하는 방식으로 처리됩니다. 가려짐(예: 차량이 신호등 아래를 통과하는 경우)을 처리하기 위해 인페인팅(Inpainting) 단계가 적용됩니다.
• 그래프 구축: 각 프레임에서 탐지된 객체는 노드가 됩니다. 인접한 프레임의 노드 간에 동일한 객체 유형을 공유하고 공간적 중첩을 보이는 경우 에지가 형성됩니다. 에지의 강도는 중첩 정도에 비례합니다.
• 장점: 이 접근 방식은 고정된 트래킹 에이전트 집합을 가정하지 않고도 가변 길이 궤적과 장면을 드나드는 에이전트를 자연스럽게 처리합니다.

4. 평가 프레임워크

저자들은 "환각"과 물리적 타당성을 평가하기 위한 정량적 프레임워크를 도입했습니다.

• 환각 지표: 궤적 그래프를 분석하여 비정상적인 노드 차수(예: 병합을 나타내는 두 개의 부모 노드, 또는 분리를 나타내는 두 개의 자식 노드)를 탐지합니다.
• 통계적 지표: 생성된 데이터와 실제 데이터 간의 속도, 가속도, 차량 간 거리 및 충돌 시간(T-to-Collision, TTC) 분포를 비교합니다.
• 신호등 상호작용: 차량 행동(적색 신호 시 정지, 녹색 신호 시 통과)을 신호등 상태와 관련하여 평가합니다.

주요 기여

1. 개선된 시맨틱 인코딩: 생성된 비디오로부터 보다 정확한 객체 추출을 용이하게 하기 위해 Lab 색 공간 인코딩을 도입하여 시맨틱 범주의 분리 성능을 높였습니다.
2. 그래프 기반 궤적 추출: 시맨틱 비디오로부터 궤적 추출의 견고성을 향상시키는 그래프 기반 트래킹 방법을 개발하였으며, 최대 20초 장면의 추론 시간을 20ms 미만으로 유지했습니다.
3. 체계적인 FOV 분석: 세 가지 종방향 범위(15 m, 20 m, 25 m)에 걸친 장면 생성에 대한 포괄적인 조사를 수행하여, 더 크고 복잡한 교통 맥락으로 확장할 수 있는 모델의 능력을 입증했습니다.
4. 정량적 환각 평가: 추출된 궤적 그래프의 토폴로지를 분석함으로써 시각적 아티팩트(차량의 출현, 사라짐, 병합, 분리)를 측정하는 특정 지표를 제안했습니다.

결과

Waymo Open Motion Dataset을 사용하여 세 가지 FOV 설정(15 m, 20 m, 25 m)에 대해 실험을 수행했습니다.

• 시각적 품질 및 환각:
  • 생성된 장면은 부드러운 역동성과 정렬된 차량 경로를 보이며 학습 데이터와 질적으로 유사했습니다.
  • 객체 영속성: 모델은 에이전트가 프레임에서 나가거나 다시 들어오는 상황을 성공적으로 처리했습니다.
  • 환각 비율: 잘 학습된 체크포인트의 경우, 병합 및 분리 비율은 무시할 수 있는 수준이었습니다(15 m 및 20 m FOV에서 1% 미만). "경계 제외(Boundary-excluded)" 지표(프레임 가장자리 근처의 이벤트를 제외)는 인위적인 등장/사라짐 비율이 훨씬 더 낮음을 보여주었으며, 이는 모델이 에이전트를 생성하는 것이 아니라 현실적인 장면 가시성 변화를 학습했음을 시사합니다.
• 프레임 수준 통계:
  • 생성된 장면의 객체 풋프린트 면적, 차량 간 거리, 차량/신호등 개수의 분포는 모든 FOV에서 실제 데이터와 밀접하게 일치했습니다.
  • 생성된 장면은 에이전트 간에 적절한 안전 거리를 유지했습니다.
• 역동성:
  • 상대 속도 및 가속도 분포(로그 스케일 분석 포함)는 실제 데이터와 정확하게 일치했습니다.
  • 충돌 시간(TTC) 분포는 생성된 궤적이 통계적으로 실제만큼 안전하며, 저(低) TTC(고위험) 이벤트의 증가가 없음을 나타냈습니다.
• 신호등 상호작용:
  • 생성된 장면의 차량은 적색 신호에서 올바르게 감속/정지하고 녹색 신호에서 통과하며, 속도 분포가 실제 관측값과 일치했습니다.
• 효율성:
  • 15초 장면의 추론 시간은 약 20ms였으며, 시퀀스 길이에 따라 선형적으로 확장되었습니다(2분 장면의 경우 150ms 도달). 이 성능은 실시간 다운스트림 작업에 경쟁력이 있는 수준입니다.

의의 및 주장

본 논문은 비디오 기반 GAN이 더 큰 교통 장면(최대 25 m 종방향 FOV)으로 확장되더라도 현실적인 궤적 생성을 위한 효율적이고 확장 가능한 접근 방식임을 주장합니다.

• 확장성: 본 프레임워크는 통계적으로 현실적인 궤적과 일관된 공간 관계를 유지하면서 더 크고 복잡한 장면으로 일반화됩니다.
• 실용성: 최대 20초 장면의 추론 시간이 20ms 미만이므로, 계산 지연 시간이 제약 조건인 예측, 계획, 시뮬레이션과 같은 자율주행 다운스트림 작업에 적합합니다.
• 시각적 생성의 타당성: 결과는 명시적인 규칙이나 조건 없이 순수하게 시각적 시맨틱 비디오 학습을 통해 교통 역동성을 배우는 것이 복잡한 다중 에이전트 상호작용 및 장거리 의존성을 포착하기 위한 유효한 전략임을 뒷받침합니다.

저자들은 더 큰 FOV가 약간의 통계적 변동성(예: 객체 영속성 지표)을 유발할 수 있지만, 전체 시스템은 견고함을 입증하여 자율주행 시스템을 위한 다양하고 안전한 교통 시나리오를 생성하는 강력한 후보가 된다고 결론지었습니다.