Heteroscedastic Diffusion for Multi-Agent Trajectory Modeling

기술 요약: 다중 에이전트 궤적 모델링을 위한 이분산 확산

문제 제기
다중 에이전트 궤적 모델링은 전통적으로 미래 상태 예측에 집중해 왔으며, 궤적 완성 (궤적의 누락되거나 관찰되지 않은 부분을 추론하는 것) 과 같은 더 넓은 과제는 종종 간과해 왔습니다. GAN, CVAE, 표준 확산 확률 모델 (DDPM) 을 기반으로 한 기존 방법들은 일반적으로 에이전트 상태를 예측할 때 상태별 이분산 불확실성 측정을 제공하지 않습니다. 또한, 인기 있는 다중 모드 샘플링 방법들은 동일한 사전 관측치 하에서 생성된 각 장면에 대한 오차 확률 추정을 제공하지 않아, 추론 시 예측 신뢰도를 순위화하기 어렵습니다. 각 예측 상태의 가능성을 정량화하고, 여러 생성된 모드들을 실제 값 (ground truth) 에 대한 근접도에 따라 순위화할 수 있는 능력에서 여전히 중요한 격차가 존재합니다.

방법론
저자들은 궤적 완성을 수행하면서 동시에 상태별 이분산 불확실성 추정을 제공하는 통합 확산 모델인 U2Diffine을 소개합니다. 이 프레임워크는 다음과 같은 핵심 구성 요소에 기반합니다:

1. 통합 확산 프레임워크: CSDI(조건부 점수 기반 확산 보간) 에서 영감을 받아, 이 모델은 시간적 처리를 위해 양방향 MambaSSM 을 사용하고 에이전트 상호작용을 위해 Social Transformer 를 사용합니다. 이는 고정된 위치 인코딩 없이 시간적 역동성을 더 잘 처리하기 위해 기존 Transformer 인코더를 대체한 것입니다.
2. 이분산 불확실성 추정: 단일 노이즈 벡터를 예측하는 표준 탈노이즈 손실과 달리, U2Diffine 은 역방향 노이즈를 이변량 가우시안 분포로 모델링합니다. 이는 각 에이전트와 각 시간 단계에 대해 평균 노이즈 상태 ($\epsilon^\mu_\theta$) 와 $2 \times 2$ 공분산 행렬 ($\epsilon^\Sigma_\theta$) 을 모두 학습합니다. 이는 표준 탈노이즈 손실에 음의 로그 가능도 (NLL) 항을 추가하여 달성되며, 방향성 의존성과 회전된 불확실성 타원체를 포함한 데이터 의존적 (aleatoric) 불확실성을 모델이 포착할 수 있게 합니다.
3. 역방향 가우시안 샘플링 (U2Diffine): 잠재 공간의 불확실성을 실제 상태 공간으로 전파하기 위해, 저자들은 1 차 테일러 근사를 유도했습니다. 이 방법은 현재 평균 주변의 점수 네트워크를 선형화하여 야코비안 행렬 ($J_s$) 을 계산하며, 이는 역방향 샘플링 과정에서 공분산 행렬을 업데이트하는 데 사용됩니다. 이는 비용이 많이 드는 몬테카를로 샘플링에 의존하지 않고 정밀하고 강건하며 일관된 상태별 불확실성 추정을 제공합니다.
4. 가속화된 베이스라인 (U2Diff): 야코비안에 필요한 그래디언트 계산의 계산 비용을 해결하기 위해, 저자들은 U2Diff를 제안합니다. 이 변형은 제로 그래디언트 ($J_s = 0$) 를 가정하고 더 간단한 단변량 불확실성 모델을 사용합니다. 잠재적인 분산 팽창을 완화하기 위해 "분산 지연" 전략을 사용하여 중간 탈노이즈 단계 이후에 불확실성 전파를 시작합니다. 이 접근법은 경쟁력 있는 변위 오차를 유지하면서 추론 시간을 약 4 배 단축합니다.
5. 랭킹 신경망 (RankNN): 여러 생성된 모드를 순위화하는 과제를 해결하기 위해, 저자들은 후처리 감독 아키텍처를 소개합니다. RankNN 은 생성된 모드, 예측된 평균, 그리고 분산을 입력으로 받습니다. 이를 Social-temporal Block 과 Multi-scene Transformer 를 통해 처리하여 각 모드에 대한 오차 확률 점수를 출력합니다. 이 모델은 예측된 점수와 실제 장면 평균 변위 오차 (SADE) 사이의 스피어만 상관관계를 최대화하도록 훈련됩니다.

주요 기여

• 통합 프레임워크: 가변적인 에이전트 수와 시간 단계에 적응 가능한 단일 프레임워크 내에서 예측, 보간, 그리고 관찰되지 않은 에이전트 추론을 통합하는 다중 에이전트 궤적 완성을 위한 확산 기반 접근법.
• 상태별 불확실성: 각 예측된 잠재 상태에 대한 이분산 불확실성 추정을 가능하게 하기 위해 이변량 음의 로그 가능도 손실로 확산 프레임워크를 확장.
• 분석적 불확실성 전파: 역방향 가우시안 샘플링을 위한 1 차 테일러 근사 개발로, 잠재 불확실성을 출력 공간으로 전파하여 정밀한 상태별 추정을 도출.
• 오차 확률 추정: 생성된 각 모드에 대한 오차 확률 추정을 제공하며 실제 오차와 높은 상관관계를 보이는 새로운 후처리 감독 아키텍처 (RankNN).
• 효율성: 샘플링 중 그래디언트 계산을 피하여 약 4 배 빠른 추론을 제공하면서 비교 가능한 변위 오차를 유지하는 더 빠른 변형인 U2Diff 제안.

실험 결과
이 방법은 NBA, Basketball-U, Football-U, Soccer-U라는 네 가지 까다로운 스포츠 데이터셋에서 평가되었습니다.

• 궤적 완성: U2Diffine 과 U2Diff 는 세 가지 완성 데이터셋 전반에 걸쳐 기존 최첨단 방법 (UniTraj 포함) 보다 우수한 성능을 발휘했습니다. 특히, U2Diffine 은 Football-U 와 Soccer-U 데이터셋에서 minSADE20 에서 각각 약 33% 와 44% 의 개선을 달성했습니다.
• 궤적 예측: NBA 데이터셋에서 통합 접근법은 i.i.d. 샘플링 전략을 사용했음에도 불구하고, LED, MART, MoFlow 와 같은 선도적인 방법들보다 장면 수준 지표 (minSADE20/minSFDE20) 에서 3% 이상 우수한 최첨단 성능을 달성했습니다.
• 불확실성 품질: 모델들은 높은 정확도율 (AccRate) 을 달성했으며, U2Diffine 은 Football-U 와 Soccer-U 데이터셋에서 95% 를 초과했습니다. 이변량 모델링은 공간 데이터 분포와 잘 일치하는 회전된 불확실성 타원체의 예측을 가능하게 했습니다.
• 랭킹 성능: RankNN 프레임워크는 예측된 불확실성과 실제 오차 간의 상관관계를 크게 향상시켰습니다. 단순한 불확실성 지표 (AvgUcty) 는 중간 정도의 상관관계 (스피어만 $\rho \approx 0.3$) 를 보인 반면, RankNN 이 예측한 오차 확률은 높은 상관관계 ($\rho$가 0.58 에서 0.79 사이) 를 달성했습니다. 이는 생성된 모드의 효과적인 순위화를 가능하게 하여, 무작위 또는 분산 기반 선택에 비해 Top-1 장면 오차를 크게 감소시켰습니다.

의의
이 논문은 다중 에이전트 설정에서 불확실성 정량화의 중요한 부재를 해결함으로써 궤적 완성 및 예측을 위한 새로운 기준을 확립했다고 주장합니다. 상태별 이분산 불확실성과 생성된 모드를 오차 확률에 따라 순위화하는 메커니즘을 제공함으로써, 이 접근법은 스포츠와 같은 복잡한 상호작용 환경에서 생성된 궤적의 신뢰성을 향상시킵니다. 저자들은 U2Diffine 이 엄격한 분석적 전파를 통해 우수한 가능도 추정을 제공하는 반면, U2Diff 는 추론 지연 시간이 중요한 응용 분야를 위한 실용적이고 고속의 대안을 제공한다고 강조합니다. RankNN 의 통합은 생성된 모드 세트에서 가장 신뢰할 수 있는 예측을 사용자가 선택할 수 있게 함으로써 생성적 다양성과 실용적 유용성 사이의 간극을 더욱 연결합니다.