1. 문제 정의 (Problem)

자율주행 차량 (AV) 의 운동 예측 (Motion Forecasting) 은 주변 에이전트 (차량, 보행자 등) 의 미래 궤적을 정확하고 견고하게 예측하는 것을 목표로 합니다. 그러나 기존 방법론들은 다음과 같은 현실적인 한계가 존재합니다.

• 이질적인 관측 길이 (Heterogeneous Observation Lengths): 실제 도로 환경에서는 에이전트가 카메라 시야에 들어오는 시점이 다릅니다. 어떤 차량은 오랫동안 관측되어 긴 역사적 맥락 (Long-context) 을 가지지만, 새로 진입한 차량은 짧은 관측 시간 (Short-context) 만 가집니다. 기존 모델들은 고정된 입력 크기에 최적화되어 있어, 관측 길이가 짧거나 변할 경우 성능이 급격히 저하됩니다.
• 연속적인 장면 변화 (Continuously Evolving Scenes): 실제 운전은 정적인 스냅샷이 아니라 연속적인 스트림입니다. 기존 스트리밍 기반 방법들 (예: RealMotion, DeMo) 은 고정된 크기의 입력 윈도우를 사용하거나, 스트리밍 단계 간 에이전트 간의 명시적인 대응 관계 (Instance Correspondence) 를 모델링하지 않아 시간적 일관성이 부족합니다.
• 지연 (Latency): 긴 관측 윈도우를 기다려야 예측이 가능하면 실시간성이 떨어집니다.

2. 제안 방법론: SHARP (Methodology)

저자들은 SHARP (Short-window Streaming for Accurate and Robust Prediction) 라는 새로운 스트리밍 기반 운동 예측 프레임워크를 제안합니다. 이는 짧은 관측 윈도우를 처리하면서도 맥락 정보를 효과적으로 전파하는 데 중점을 둡니다.

핵심 구성 요소

1. 인스턴스 인식 컨텍스트 스트리밍 (Instance-Aware Context Streaming):

   • 이전 시간 단계의 장면 컨텍스트 ($S_{t-1}$) 를 현재 단계 ($S_t$) 로 전달할 때, 단순히 위치 정보만 전달하는 것이 아니라 에이전트 간의 명시적인 대응 관계 (Instance Correspondence) 를 모델링합니다.
   • 학습 가능한 편향 파라미터를 가진 크로스 어텐션 마스크를 사용하여, 과거의 특정 에이전트와 현재의 에이전트가 동일한 개체임을 명시적으로 연결합니다. 이는 추적 불연속성 (Tracking discontinuities) 에서도 복구가 가능하도록 합니다.

2. 짧은 윈도우 스트리밍 (Short-Window Streaming):

   • 기존 방법들이 긴 윈도우 (예: 3 초) 를 사용하는 반면, SHARP 는 짧은 관측 윈도우 (예: 1 초) 를 사용하여 데이터를 청크 (chunk) 단위로 점진적으로 처리합니다.
   • 이는 새로운 에이전트가 등장했을 때 즉시 예측을 시작할 수 있게 하여 지연을 최소화합니다.

3. 타겟 중심 보조 특징 (Target-Centric Auxiliary Features):

   • 이전 예측의 종단점 (Endpoints) 을 기반으로 관심 영역 (ROI) 을 정의하고, 해당 영역의 맵 및 에이전트 정보를 집계하여 타겟 중심 컨텍스트 ($C_t$) 를 생성합니다.
   • 이는 에이전트가 이동할 가능성이 높은 미래 영역에 대한 추가적인 맥락을 제공합니다.

4. 이중 학습 목표 (Dual Training Objective):

   • 모델이 다양한 관측 길이에 강건하도록 두 가지 손실 함수를 동시에 최적화합니다.
     • $L_{stream}$: 누적된 스트리밍 히스토리를 기반으로 한 예측.
     • $L_{chunk}$: 현재 관측 청크 (단일 윈도우) 만을 기반으로 한 예측.
   • 이를 통해 모델은 긴 맥락뿐만 아니라 짧은 관측 데이터에서도 정확한 예측을 학습하게 됩니다.

5. 아키텍처:

   • 효율적인 트랜스포머 (Transformer) 기반 백본을 사용하며, 반복적인 정제 (Iterative refinement) 와 같은 지연을 유발하는 요소를 배제하여 경량화를 달성했습니다.
   • 단일 에이전트 예측 (Marginal) 과 장면 전체의 일관된 다중 에이전트 예측 (Joint) 을 모두 지원합니다.

3. 주요 기여 (Key Contributions)

• 새로운 프레임워크 제안: 연속적으로 변화하는 장면에서 다양한 관측 길이에 대해 정확하고 강건한 예측을 수행하는 SHARP 프레임워크를 제안했습니다.
• 인스턴스 인식 스트리밍 메커니즘: 스트리밍 과정에서 에이전트 간의 명시적인 대응 관계를 모델링하여 시간적 일관성을 크게 향상시켰습니다.
• 이중 학습 전략: 고정된 컨텍스트 길이에 의존하지 않고, 짧은 윈도우와 긴 맥락을 모두 학습하여 다양한 시나리오에 적응 가능한 모델을 만들었습니다.
• 실시간성: 짧은 윈도우 처리와 경량 아키텍처로 인해 낮은 지연 시간을 유지하면서도 높은 정확도를 달성했습니다.

4. 실험 결과 (Results)

저자들은 Argoverse 2 (AV2), Argoverse 1 (AV1), nuScenes 등 대규모 데이터셋에서 광범위한 실험을 수행했습니다.

• Argoverse 2 (다중 에이전트): 스트리밍 추론에서 SOTA(State-of-the-Art) 성능을 달성했습니다. 특히 다양한 관측 길이 ($T_{cl}$) 와 예측 시간 ($t_p$) 에서 기존 스트리밍 방법 (RealMotion, DeMo) 보다 일관되게 우수한 성능을 보였습니다.
  • 예: $t_p=5s, T_{cl}=3s$ 조건에서 minFDE6 은 기존 DeMo(1.26) 대비 SHARP(1.18) 로 개선되었습니다.
• Argoverse 2 (단일 에이전트): 단일 에이전트 벤치마크에서도 SOTA 수준을 유지하며, 기존 방법들과 비교해 몇 센티미터 이내의 오차로 경쟁력을 입증했습니다.
• nuScenes: 2Hz 의 낮은 프레임 레이트와 짧은 관측 길이 (2 초) 라는 어려운 조건에서도 우수한 성능을 보이며 방법론의 일반화 능력을 입증했습니다.
• 지연 시간 (Latency): NVIDIA RTX 3090 GPU 에서 16 에이전트 배치 기준 약 33ms의 온라인 지연 시간을 기록하여 (DeMo: 35ms, RealMotion: 44ms), 실시간 배포에 적합함을 증명했습니다.
• 강건성 분석: 노이즈가 있는 인스턴스 마스크나 잘못된 이전 예측 (에러 전파) 이 주어지더라도 모델이 잘 복원되는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 자율주행 운동 예측 분야에서 실제 도로 환경의 동적 변화 (연속적인 장면 진화) 와 이질적인 관측 조건을 해결하기 위한 중요한 전환점을 제시합니다.

• 실용성: 고정된 입력 길이에 의존하는 기존 연구의 한계를 넘어, 실제 차량이 주행하는 동안 지속적으로 들어오는 데이터를 처리할 수 있는 실제 배포 가능한 (Deployable) 스트리밍 솔루션을 제공합니다.
• 효율성: 높은 정확도를 유지하면서도 낮은 지연 시간과 적은 계산 자원을 요구하여, 리소스가 제한된 자율주행 시스템에도 적용 가능합니다.
• 미래 방향: 스트리밍 기반 예측의 중요성을 재조명하며, 에이전트 간의 명시적인 관계 모델링이 장기적인 맥락 이해에 필수적임을 입증했습니다.

결론적으로 SHARP 는 복잡한 교통 환경에서 안전하고 효율적인 운동 계획을 가능하게 하는 강건하고 실시간적인 운동 예측 모델로서, 자율주행 기술의 상용화에 기여할 것으로 기대됩니다.