기술 요약: CODA – 에너지 기반 공동 정제를 위한 맥락 유도 확산

문제 제기

다중 에이전트 환경에서의 인간 궤적 예측은 자율 주행, 디지털 헬스, 인간 - 로봇 상호작용과 같은 응용 분야에서 중요한 과제입니다. 핵심 과제는 인간의 행동이 과거 하나에서 여러 개의 타당한 미래로 이어지는 다중 모드 (multimodal) 성격을 포착하는 동시에 다양성을 갖는 예측을 생성하고, 상호작용하는 에이전트들의 예측 궤적이 충돌하거나 사회적 규범을 위반하지 않도록 **공동 일관성 (jointly consistent)**을 보장하는 데 있습니다.

기존 접근법은 두 가지 주요 한계에 직면해 있습니다:

1. 생성적 한계: 고전적인 모델 (예: VAE, GAN) 은 종종 다중 모드 분포를 포착하는 데 어려움을 겪어 평균화된 궤적과 누적 오차를 초래합니다. 확산 모델은 본질적으로 다중 모드를 모델링하지만, 시간적 불일치 (떨림) 와 목표 모호성으로 인해 국소적으로는 타당하지만 전역적으로는 일관성이 없는 궤적을 생성할 수 있습니다.
2. 평가 한계: 대부분의 기존 방법은 다중 에이전트 상호작용의 공동 역학을 완전히 반영하지 못하는 단일 에이전트 (주변) 지표 (ADE/FDE) 를 사용하여 평가됩니다. 반면, 공동 일관성을 최적화하는 방법은 종종 주변 정확도를 희생합니다.

방법론: CODA 프레임워크

저자들은 궤적 다양성과 다중 에이전트 일관성 사이의 균형을 맞추도록 설계된 확산 기반 프레임워크인 CODA(Context-Guided Diffusion with Energy-Based Joint Refinement, 에너지 기반 공동 정제를 위한 맥락 유도 확산) 를 제안합니다. 이 프레임워크는 세 가지 핵심 모듈로 구성됩니다:

1. 안내 조건으로서의 동적 맥락 (DCGC)

생성된 동작의 표현력을 향상시키기 위해 CODA 는 과거 궤적에서 풍부한 맥락 정보를 추출하여 안내 조건으로 활용합니다.

• 에이전트별 맥락: 임베딩된 과거 궤적에 대한 자기 어텐션 (self-attention) 을 사용하여 개별 운동 패턴과 장기적 의도를 포착합니다.
• 전역 맥락: 에이전트 간의 동적 상호작용 특징 (단기 상호작용 역학) 을 추출하기 위해 Transformer 기반 아키텍처를 사용합니다.
• 통합: 이러한 특징들은 개별 의도와 상호 상호작용을 모두 포착하는 포괄적인 안내 조건 $G$를 형성하기 위해 연결됩니다.

2. 적응형 조건 통합 모듈 (ACIM)

표준 확산 방법은 종종 조건을 통합할 때 편향을 도입하거나 다양성을 제한하는 MLP 나 Transformer 를 사용합니다. CODA 는 **크로스 어텐션 (cross-attention)**을 통해 안내 조건 $G$를 노이즈가 있는 목표 임베딩에 동적으로 주입하는 ACIM 을 도입합니다.

• 이 메커니즘은 안내 강화 표현을 원래의 노이즈가 있는 임베딩과 융합하여 확산 과정에서 조건부 안내를 강화함으로써, 모델이 목표 공간뿐만 아니라 "에이전트 의도 공간"의 노이즈에 적합하도록 합니다.

3. 공동 분포 정제 (JDR)

에이전트 간에 종종 분해되는 표준 확산 파라미터화에서 명시적인 공동 의존성 모델링이 부족하다는 문제를 해결하기 위해 CODA 는 에너지 기반 모델 (EBM) 공식을 도입합니다.

• 메커니즘: 최종 공동 분포는 확산 모델의 주변 분포와 에너지 항의 곱으로 공식화됩니다: $P_{joint} \propto P_{Diff} \cdot \exp(-E_\theta)$.
• 기능: 에너지 항은 개별적으로 타당하지만 공동으로 일관성이 없는 궤적을 억제하면서 공동 일관된 궤적으로 확률 질량을 이동시키는 보정 역할을 합니다.
• 학습: 모델은 회귀 손실, 다양성 손실 (KL 발산을 통해 다양한 모드를 장려), 그리고 EBM 손실 (쌍별 상호작용 일관성 강제) 을 포함하는 복합 손실 함수로 학습됩니다.

주요 기여

1. 새로운 프레임워크: 예측 다양성과 표현력을 향상시키기 위해 풍부한 역사적 맥락을 생성 과정에 통합하는 CODA 의 제안.
2. 에너지 기반 정제: 공동 궤적 정제를 위한 간단하면서도 효과적인 에너지 기반 공식의 도입. 이 접근법은 개별 궤적의 타당성을 유지하면서 상호작용하는 에이전트 간의 공동 일관성을 크게 향상시킵니다.
3. 균형 잡힌 성능: 주변 지표 (ADE/FDE) 와 공동 지표 (JADE/JFDE) 사이의 균형을 효과적으로 조정하여 기존 공동 예측 방법의 일반적인 간극을 해결한다는 입증.

실험 결과

저자들은 ETH/UCY, SDD, NBA, JRDB 네 가지 벤치마크 데이터셋에서 CODA 를 평가했습니다.

• ETH/UCY: CODA 는 MoFlow 및 NRMF 와 같은 강력한 베이스라인을 능가하는 주변 지표 (평균 ADE/FDE 0.17/0.28) 에서 최첨단 (SOTA) 성능을 달성했습니다. 공동 지표에서도 경쟁력을 유지하여 UNIV 부분집합에서 최고의 JADE 를 달성했고 모든 장면에서 안정적인 성능을 유지했습니다.
• NBA: CODA 는 특히 더 긴 예측 시간 범위 (3.0 초 및 4.0 초) 에서 강력한 주변 성능을 보여주었으며, ADE/FDE 에서 다른 방법들을 능가했습니다. NRMF 가 약간 더 나은 공동 지표 (JADE/JFDE) 를 보였지만, CODA 는 경쟁력 있는 결과를 유지하여 복잡한 스포츠 역학의 효과적인 모델링을 나타냈습니다.
• SDD: CODA 는 최근의 생성적 접근법을 능가하는 최고의 주변 성능 (ADE: 6.87, FDE: 10.86) 을 달성했습니다. 공동 일관성을 위해 특별히 최적화된 일부 방법은 더 낮은 공동 지표를 보였지만, CODA 는 강력한 균형을 유지하여 매우 역동적인 환경에서의 효과를 입증했습니다.
• JRDB: CODA 는 4.8 초 시간 범위에서 가장 낮은 JADE/JFDE 를 달성하여 자전적 환경에서 전역 장면 일관성을 더 잘 보존함을 보여주며 우수한 장기 공동 일관성을 보였습니다.

절대성 연구 (Ablation Studies):
NBA 데이터셋에 대한 실험은 모듈들의 고유한 역할을 확인했습니다:

• DCGC 및 ACIM: 더 풍부한 맥락을 포착함으로써 주변 예측 정확도 (ADE/FDE) 향상을 주로 담당합니다.
• JDR: 공동 궤적 일관성 (JADE/JFDE) 향상에 결정적이며, 제거 시 주변 지표에는 미미한 영향을 미칩니다.

중요성과 주장

이 논문은 CODA 가 다중 에이전트 운동 예측에서 "다양성 - 일관성" 트레이드오프를 성공적으로 해결한다고 주장합니다. 풍부한 맥락 안내를 활용하고 에너지 기반 모델을 통해 공동 분포를 정제함으로써, 이 접근법은 사회적 일관성도 갖춘 다양하고 사실적인 궤적을 생성합니다.

저자들은 ETH/UCY 에서 강력한 베이스라인 대비 주변 및 공동 지표를 모두 크게 향상시켰음을 강조합니다. 또한 이전 공동 예측 방법과 비교하여 CODA 는 경쟁력 있는 공동 성능을 유지하면서 주변 지표에서 상당한 개선을 제공합니다. 이 연구는 다양하면서도 일관된 다중 에이전트 운동을 모델링하는 중요성을 강조하며, 보행자 및 에이전트 행동의 정확한 예측이 필수적인 안전-중요 응용 분야를 위한 강력한 솔루션을 제공합니다.

인정된 한계:
저자들은 강력한 맥락 모델링이 학습 시간을 증가시킨다고 지적합니다. 또한, 성능이 강력함에도 불구하고 충돌률 (CR) 지표에서는 여전히 개선의 여지가 있으며, 이는 LiDAR 데이터를 통합함으로써 잠재적으로 완화될 수 있습니다. 현재 파이프라인은 좌표 입력에만 의존하며, 더 풍부한 물리적 맥락 (예: 통과 가능한 영역) 을 통합하는 것이 향후 방향으로 제안됩니다.