ART: Adaptive Relational Transformer for Pedestrian Trajectory Prediction with Temporal-Aware Relations

1. 문제 정의 (Problem)

보행자 궤적 예측 (Pedestrian Trajectory Prediction) 은 로봇 공학, 자율 주행, 스마트 감시 등 다양한 분야에서 인간 - 로봇 상호작용 및 충돌 회피를 위해 필수적입니다. 그러나 보행자의 운동 행동과 사회적 상호작용에는 본질적인 확률적 (stochastic) 특성이 존재하여 예측이 어렵습니다.

기존의 그래프 기반 또는 트랜스포머 (Transformer) 기반 방법론들은 다음과 같은 한계를 가지고 있습니다:

• 불필요한 계산 오버헤드: 모든 보행자 쌍에 대해 밀집된 (dense) 상호작용을 모델링하여 계산 비용이 높음.
• 동적 상호작용 표현의 부재: 기존 방법들은 시계열 데이터를 정적인 노드 특징 (static node features) 으로 압축한 후 관계를 계산하여, 상호작용의 시간적 진화 (temporal evolution) 와 시간에 따라 변하는 강도를 놓치는 경우가 많음.
• 균일한 이웃 선택: 고정된 Top-k 또는 완전 연결 그래프를 사용하여 보행자 상호작용의 이질성 (heterogeneity) 을 고려하지 못함.

2. 제안 방법론 (Methodology)

저자들은 적응형 관계 트랜스포머 (Adaptive Relational Transformer, ART) 를 제안하며, 이는 두 가지 핵심 메커니즘을 통해 위 문제들을 해결합니다.

가. 시간 인지 관계 그래프 (Temporal-Aware Relation Graph, TARG)

기존 방법들이 시계열 정보를 압축하여 정적인 특징을 만드는 것과 달리, TARG 는 시간적 속성 (temporal attribution) 을 명시적으로 보존합니다.

• 동작: 각 시간 단계 (time step) 에서 보행자 쌍 간의 상호작용을 모델링하기 위해 쌍별 어텐션 (pairwise attention) 을 적용합니다.
• 가중치 학습: 학습 가능한 가중치를 통해 각 시간 단계의 중요도를 집계합니다. 예를 들어, 보행자들이 서로 가까이 있거나 방향이 변하는 등 상호작용이 중요한 순간에는 높은 가중치를 부여하고, 덜 중요한 순간에는 낮은 가중치를 부여합니다.
• 효과: 상호작용이 언제 중요한지 (when) 를 명시적으로 포착하여, 그래프 구성 시 시간적 흐름을 반영합니다.

나. 적응형 상호작용 가지치기 (Adaptive Interaction Pruning, AIP)

밀집된 상호작용 그래프에서 발생하는 계산 중복과 노이즈를 줄이기 위해 도입되었습니다.

• Top-p 필터링: 고정된 Top-k 이웃 선택 대신, 상호작용 강도 (어텐션 가중치) 에 기반하여 적응적으로 이웃을 선택합니다.
• 동작: 각 보행자 $i$에 대해 이웃들의 에지 가중치를 내림차순으로 정렬하고, 누적 합이 임계값 $p$를 초과하는 최소한의 이웃 집합만 유지합니다.
• 효과: 불필요한 상호작용을 제거하여 희소화 (sparsification) 된 그래프를 생성하며, 계산 효율성을 높이고 노이즈를 억제합니다.

다. 관계형 트랜스포머 및 궤적 디코딩

가지치기된 그래프 ($\tilde{W}$) 를 기반으로 Relational Transformer (RT) 레이어를 사용하여 노드 특징을 정제합니다. 에지 특징 (edge features) 을 고려한 어텐션 메커니즘을 통해 상호작용을 강화한 후, 여러 개의 병렬 예측 헤드를 통해 미래 궤적을 생성합니다.

3. 주요 기여 (Key Contributions)

1. ART 프레임워크 제안: 계산 효율성을 유지하면서도 사회적 상호작용을 명시적으로 모델링하는 경량 트랜스포머 기반 프레임워크를 개발했습니다.
2. TARG 도입: 서로 다른 시간 단계의 상대적 중요도를 고려하여 보행자 쌍 간의 상호작용을 명시적으로 모델링하는 시간 인지 관계 그래프를 고안했습니다.
3. AIP 메커니즘: Top-p 필터링을 통해 누적 상호작용 강도에 기반하여 밀집 그래프를 적응적으로 희소화함으로써, 중복 계산을 줄이고 모델의 적응성을 향상시켰습니다.

4. 실험 결과 (Results)

저자들은 ETH/UCY (보행자 데이터) 와 NBA SportVU (농구 선수 데이터) 벤치마크에서 광범위한 평가를 수행했습니다.

• 정량적 성능 (Quantitative Results):
  • ETH/UCY: 평균 min ADE20/ min FDE20 에서 0.20/0.32를 기록하여 기존 SOTA 모델 (MART, SingularTraj 등) 보다 우수한 성능을 보였습니다. 특히 ZARA2 시나리오에서 0.12/0.21 로 가장 낮은 오차를 기록했습니다.
  • NBA: 다양한 시간 스케일 (1.0s ~ 4.0s) 에서 ADE 와 FDE 모두에서 일관되게 최상위 성능을 달성하여, 복잡하고 역동적인 다중 에이전트 환경에서도 강력한 예측 능력을 입증했습니다.
• 계산 효율성:
  • 파라미터 수 (1.0M) 와 MACs (40.0M) 측면에서 기존 방법들 (예: MART 43.3M, STAR 12.0G 등) 보다 훨씬 낮은 계산 비용을 가지면서도 더 높은 정확도를 달성했습니다.
• 애블레이션 연구 (Ablation Study):
  • 시간 인지 가중치: 시간적 속성을 고려한 가중치 전략이 정적 가중치 (Cosine, Uniform 등) 보다 성능이 월등히 뛰어났습니다.
  • Top-p 임계값: $p=0.75$일 때 최적의 성능을 보였으며, 이는 불필요한 노이즈는 제거하되 중요한 상호작용은 보존하는 적절한 균형을 이룸을 의미합니다.

5. 의의 및 결론 (Significance)

이 논문은 보행자 궤적 예측 분야에서 시간적 진화와 계산 효율성을 동시에 해결한 중요한 연구입니다.

• 기술적 혁신: 상호작용이 "언제" 발생하는지 (시간적 진화) 를 모델링하고, "누구와" 상호작용하는지 (적응형 가지치기) 를 동적으로 결정함으로써, 기존 방법들의 정적 접근법의 한계를 극복했습니다.
• 실용적 가치: 로봇의 인간 인식 내비게이션, 자율 주행 차량의 충돌 회피 시스템 등 실시간성이 요구되는 응용 분야에서 높은 정확도와 낮은 지연 시간을 동시에 제공할 수 있는 가능성을 제시했습니다.

결론적으로 ART 는 복잡한 사회적 상호작용을 정밀하게 포착하면서도 계산 자원을 효율적으로 사용하는 새로운 패러다임을 제시하며, 다중 에이전트 궤적 예측 분야에서 새로운 기준 (SOTA) 을 설정했습니다.