기술 요약: 다중 보행자 궤적 예측을 위한 3단계 계층적 트랜스포머 (Three-Step Hierarchical Transformer)

문제 정의

보행자 궤적 예측은 자율 주행, 군중 분석 및 안전 모니터링을 위한 핵심적인 과제입니다. 이 과제의 어려움은 복잡하고 혼잡한 환경 내에서 세 가지 복합적인 요소인 시간적 역학(motion evolution), 다중 모달 단서(예: 신체 포즈, 바운딩 박스, 속도), 그리고 사회적 상호작용(에이전트 간의 영향)을 동시에 모델링하는 데 있습니다.

기존의 접근 방식들은 이러한 요소들을 개별적으로 다루거나, 단일하고 계산 비용이 많이 드는 어텐션 블록 내에 뒤섞어 처리하는 경우가 많습니다. 궤적만을 사용하는 모델은 신체 움직임(body articulation)을 통해 드러나는 의도 단서를 파악하는 데 어려움을 겪으며, 다중 모달 모델은 종종 단순한 융합 전략에 의존합니다. 나아가, 시간적, 다중 모달, 사회적 신호를 하나의 통합된 어텐션 메커니즘으로 병합하는 것은 에이전트 수, 타임 스텝, 모달리티 수에 따른 이차 복잡도(quadratic complexity)로 인해 확장성 저하, 해석력 감소, 높은 계산 비용을 초래하기 쉽습니다.

방법론

저자들은 시간적 인코딩, 다중 모달 융합, 그리고 장면 수준의 상호작용 추론이라는 세 가지 상호 보완적인 단계로 추론을 명시적으로 분리하는 **3단계 계층적 트랜스포머(Three-Step Hierarchical Transformer)**를 제안합니다. 이러한 구조적 분해는 확장성, 유연성 및 해석력을 향상시키는 것을 목표로 합니다.

1. 시간적 인코더 (Temporal Encoder - Step 1)

• 기능: 다른 모달리티나 다른 에이전트를 고려하지 않고, 각 보행자의 궤적을 독립적으로 처리하여 운동 역학(속도 추세, 방향 변화)을 포착합니다.
• 메커니즘: 시간 차원을 따라 작동하는 트랜스포머를 사용합니다. 관측된 궤적 토큰을 입력받고, 학습 가능한 미래 쿼리 토큰(future query tokens)을 추가하여 예측 지평($T + \Delta$)에 대한 초기 미래 가설을 외삽(extrapolate)합니다.
• 입력: 복합 위치 인코딩(시간을 위한 사인 함수형 및 에이전트 식별자를 위한 학습된 인코딩)과 함께 잠재 공간으로 투영된 궤적 특징.
• 출력: 각 보행자에 대한 초기 궤적 가설.

2. 모달리티 디코더 (Modality Decoder - Step 2)

• 기능: 보조 모달리티(예: 3D 포즈, 바운딩 박스)를 조건으로 하여 초기 궤적 가설을 정교화합니다.
• 메커니즘: 디코더 스타일의 교차 어텐션(cross-attention) 메커니즘을 채택합니다.
  • 쿼리(Queries): 시간적으로 인코딩된 궤적 임베딩.
  • 키/값(Keys/Values): 모달리티 임베딩. 효율성을 보장하기 위해, 각 모달리티 시퀀스는 경량화된 GRU(Gated Recurrent Unit)를 사용하여 보행자당 하나의 토큰으로 먼저 요약됩니다. 이는 모든 모달리티에 대해 전체 시간 시퀀스에 대한 어텐션을 수행하는 것을 방지합니다.
• 강건성: 어텐션 마스킹을 통해 누락되거나 가변적인 모달리티를 자연스럽게 처리합니다.
• 출력: 의미론적 및 운동학적 단서가 풍부하게 반영되어 정교해진 궤적 임베딩.

3. 장면 트랜스포머 (Scene Transformer - Step 3)

• 기능: 사회적 맥락에 따라 개별 예측을 조정하기 위해 장면 수준에서 보행자 간의 상호작용을 모델링합니다.
• 메커니즘: 시간-에이전트 토큰($N \times (T + \Delta)$)의 평탄화된 집합 위에서 작동합니다. 트랜스포머 인코더가 모든 보행자와 타임 스텝에 대해 셀프 어텐션(self-attention)을 수행합니다.
• 논리: 토큰들이 이미 미래의 운동 가설을 인코딩하고 있으므로, 어텐션 메커니즘은 다가올 사회적 사건(충돌, 뒤따름, 그룹 형성 등)을 추론하고 그에 따라 궤적을 조정할 수 있게 합니다.
• 출력: 최종 궤적을 위해 경량 MLP 예측 헤드로 전달되는 사회적으로 정교화된 임베딩.

계산 효율성

본 아키텍처는 표준 트랜스포머의 이차 복잡도($O(L^2)$, 여기서 $L = T \times N \times M$) 문제를 어텐션을 분해함으로써 해결합니다:

1. 시간적(Temporal): $O(N \cdot L_1^2)$ (여기서 $L_1 = T + \Delta$).
2. 교차 모달(Cross-modal): $O(N \cdot L_1 \cdot M)$ (GRU 요약 덕분에 모달리티에 대해 선형적임).
3. 장면(Scene): $O(L_3^2)$ (여기서 $L_3 = N \cdot (T + \Delta)$).
   이 설계는 모델의 표현력을 유지하면서도 모달리티와 에이전트 수에 따라 효율적으로 확장되도록 보장합니다.

주요 기여

1. 새로운 아키텍처: 시간적, 다중 모달, 사회적 추론을 분리하여 모듈식이고 해석 가능한 프레임워크를 제공하는 3단계 계층적 트랜스포머.
2. 효율적인 융합 전략: GRU 요약과 디코더 스타일의 교차 어텐션을 사용하는 계산 효율적인 다중 모달 융합 방법의 도입을 통해 이질적인 단서들의 확장 가능한 통합을 가능하게 함.
3. 포괄적인 평가: 실제 데이터셋에서의 최첨단(SOTA) 성능과 합성 데이터에서의 경쟁력 있는 결과를 입증하는 광범위한 정량적, 정성적 및 절제 연구(ablation studies).

실험 결과

모델은 세 가지 데이터셋인 JTA(합성), JRDB(실제 실내/실외), Pedestrians and Cyclists in Road Traffic(도시)에서 평가되었습니다.

• 정량적 성능:
  • JRDB: 평균 변위 오차(ADE)를 0.37m(최고 베이스라인)에서 0.33m로, 최종 변위 오차(FDE)를 0.72m에서 0.67m로 줄이며 SOTA 결과를 달성함.
  • Urban: 궤적 전용 방법(0.51m ADE) 및 다중 모달 베이스라인보다 상당한 개선을 보이며 0.96m FDE에 도달함.
  • JTA: 상위 다중 모달 베이스라인들과 경쟁력 있는 성능(0.96m ADE, 1.91m FDE)을 달성함.
• 절제 연구(Ablation Studies): 전체 계층적 모델이 다중 모달 단서나 사회적 추론이 결여된 변형 모델보다 우수함을 확인했습니다. 특히, 사회적 추론은 최종 지점 오차를 크게 줄였고, 다중 모달 단서는 시간적 예측 능력을 향상시켰습니다.
• 정성적 분석: 모델은 복잡한 행동(예: 포즈 단서를 활용한 조기 회전)과 상호작용 기반의 조정(예: 양보, 뒤따름)을 예측하는 능력을 보여주었습니다. 다만, 저자들은 여러 가능한 경로가 존재하는 시나리오(예: 굽은 길)에서 예측이 타당하지만 실제 정답과는 다른 경로를 따를 수 있다는 점을 언급하며, 이는 내재된 불확실성을 반영한다고 설명했습니다.

의의 및 주장

본 논문은 구조화된 계층적 모델링이 궤적 예측을 위한 강력한 토대를 제공한다고 주장합니다. 추론 과정을 분리함으로써 모델은 다음을 달성합니다:

• 해석 가능성: 시간, 모달리티, 사회적 맥락이 예측에 어떻게 영향을 미치는지에 대한 명확한 구분.
• 확장성: 결합된(joint) 어텐션의 과도한 비용 없이 가변적인 수의 보행자와 모달리티를 효율적으로 처리.
• 강건성: 특정 모달리티가 누락되거나 노이즈가 있는 상황에서도 안정적으로 작동할 수 있는 능력.

저자들은 이 접근 방식이 계산 효율성과 복잡하고 다면적인 인간 움직임을 모델링해야 하는 필요성 사이의 균ian을 효과적으로 맞추고 있음을 결론지으며, 전문화된 추론 단계로 예측 작업을 분해하는 것의 이점을 입증했습니다. 향후 연구로는 이 프레임워크를 확률적 예측 및 더 풍부한 장면 인식 모델링으로 확장하는 것이 제안되었습니다.