TrajMamba: An Ego-Motion-Guided Mamba Model for Pedestrian Trajectory Prediction from an Egocentric Perspective

1. 문제 정의 (Problem Definition)

• 배경: 자율주행 및 로봇 내비게이션 분야에서 보행자의 미래 궤적을 예측하는 것은 안전을 위해 필수적입니다.
• 핵심 과제: 기존의 연구는 주로 드론이나 감시 카메라와 같은 3 인칭 시점 (Bird's-eye view) 에서 보행자의 궤적을 예측하는 데 집중했습니다. 그러나 자율주행 차량이나 모바일 로봇은 1 인칭 시점 (Egocentric perspective) 으로 주변을 인식합니다.
• 난이도: 1 인칭 시점에서는 카메라 (차량) 자체의 운동 (Ego-motion) 과 보행자의 운동이 동시에 발생합니다. 이미지에서 관측되는 보행자의 운동은 보행자의 고유 운동과 차량의 운동이 2 차원 이미지 평면에 중첩된 결과이므로, 이 두 가지 운동 간의 상대적 운동 (Relative motion) 을 정교하게 모델링하지 않으면 예측 정확도가 크게 떨어집니다.
• 기존 방법의 한계: 기존 접근법은 보행자 운동과 차량 운동을 특징 공간에서 단순히 결합 (Early/Late Fusion) 하는 방식을 사용했습니다. 이는 두 운동 원천 간의 상대적 관계를 모호하게 모델링하여, 차량의 운동이 보행자의 움직임에 어떻게 동적으로 영향을 미치는지 명시적으로 분석하기 어렵게 만듭니다.

2. 제안 방법론: TrajMamba (Methodology)

저자들은 Mamba 아키텍처를 기반으로 한 새로운 Ego-motion-Guided (자차 운동 유도형) 프레임워크인 TrajMamba를 제안했습니다. 모델은 크게 4 가지 모듈로 구성됩니다.

A. 입력 및 출력 표현 (Input & Output Representation)

• 차별화된 운동 표현: 보행자의 과거 바운딩 박스 시퀀스를 기반으로 중심점 좌표, 크기 (너비/높이) 와 함께 속도 (Velocity) 및 크기 변화량 (Scale variation) 을 계산하여 운동 상태 벡터를 구성합니다.
• CV-CS-Offset 전략: "일정 속도 및 일정 크기 변화 (Constant Velocity and Constant Scaling, CV-CS)" 가정을 기반으로 물리적으로 유도된 기준 궤적을 생성합니다. 네트워크는 실제 궤적과 이 기준 궤적 간의 잔차 (Residual Offset) 를 예측하도록 설계되어, 학습을 용이하게 하고 물리적 사전 지식을 주입합니다.

B. 인코더 (Encoders)

• 보행자 운동 인코더 (PME): 보행자의 과거 운동 상태 시퀀스를 입력받아 Mamba 모델을 통해 특징을 추출합니다.
• 자차 운동 인코더 (EME): 차량의 속도 또는 주행 상태 정보를 입력받아 Mamba 모델을 통해 자차 운동 (Ego-motion) 특징을 추출합니다.
• Mamba 활용: 기존 LSTM, GRU, Transformer 대신 Mamba를 사용하여 긴 시퀀스 처리 효율성과 선형 시간 복잡도를 확보했습니다.

C. 자차 운동 유도 디코더 (Ego-Motion-Guided Decoder, EMGD)

• 핵심 혁신: 기존 방법의 암묵적 결합 (Fusion) 대신 명시적 유도 (Explicit Guidance) 방식을 채택했습니다.
  • 역할: 보행자의 운동 특징을 과거 문맥 (Historical Context) 으로, 자차 운동 특징을 미래 예측을 위한 명시적 조건 (Guiding Cues) 으로 사용합니다.
  • 동작: 디코더는 Mamba 의 순차 모델링 능력을 활용하여, 자차 운동이 보행자의 움직임에 어떻게 동적으로 조절 (Modulation) 하는지를 명시적으로 학습합니다. 이를 통해 1 인칭 시점에서의 상대 운동을 정밀하게 추론합니다.

D. 미래 궤적 생성기 (Future Trajectory Generator)

• 디코더에서 출력된 미래 타임스탬프에 해당하는 디코딩된 특징들을 MLP 를 통해 미래의 바운딩 박스 시퀀스로 변환합니다.

3. 주요 기여 (Key Contributions)

1. TrajMamba 프레임워크 제안: Mamba 아키텍처를 기반으로 한 최초의 1 인칭 시점 보행자 궤적 예측 프레임워크를 제안했습니다.
2. 명시적 유도 디코더 설계: 보행자 운동과 자차 운동을 분리하여 인코딩한 후, 자차 운동을 조건부 정보로 사용하여 디코더가 상대 운동을 명시적으로 모델링하도록 설계했습니다. 이는 기존 융합 방식의 모호함을 해결합니다.
3. CV-CS-Offset 예측 전략: 물리적 가정 (일정 속도/크기) 을 기반으로 잔차 오프셋을 예측하여 네트워크 최적화를 용이하게 하고 예측의 물리적 타당성을 높였습니다.

4. 실험 결과 (Experimental Results)

• 데이터셋: PIE 및 JAAD 두 가지 널리 사용되는 자율주행 보행자 궤적 예측 벤치마크 데이터셋에서 실험을 수행했습니다.
• 평가 지표: 평균 변위 오차 (ADE), 최종 변위 오차 (FDE), 평균 제곱근 오차 (ARB), 최종 제곱근 오차 (FRB) 를 사용했습니다.
• 성능:
  • 1 초 예측: PIE 데이터셋에서 기존 최첨단 모델인 PedFormer 대비 ADE/FDE/ARB/FRB 모든 지표에서 약 24%~44% 향상을 보였으며, JAAD 데이터셋에서도 약 22%~29% 향상을 기록했습니다.
  • 1.5 초 예측: PIE 데이터셋에서 모든 모델 중 최상위 성능을 달성했습니다.
  • 효율성: Mamba 기반 모델은 Transformer 나 LSTM 기반 모델에 비해 파라미터 수와 계산 비용 (FLOPs) 이 현저히 낮음을 확인했습니다 (예: PIE 에서 0.20M 파라미터, 6.35G FLOPs).
• Ablation Study:
  • 디코더 구조: 제안한 '자차 운동 유도 디코더 (EMGD)'가 기존 '후 융합 디코더 (PFD)'보다 성능이 우수함을 입증했습니다.
  • 아키텍처 비교: 인코더와 디코더 모두에서 Mamba 가 LSTM, GRU, Transformer 보다 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 의의: 이 연구는 1 인칭 시점 궤적 예측의 핵심 난제인 '상대 운동 모델링'을 해결하기 위해 Mamba 의 선택적 상태 공간 모델 (Selective State Space Model) 특성을 효과적으로 활용했습니다. 특히, 차량 운동을 단순한 입력이 아닌 지시 신호 (Guiding Cue) 로 활용하여 디코딩 과정을 제어하는 방식은 새로운 패러다임을 제시합니다.
• 실용적 가치: 계산 효율성이 뛰어나면서도 높은 정확도를 제공하므로, 제한된 컴퓨팅 자원을 가진 자율주행 차량이나 로봇의 실시간 내비게이션 시스템에 적용하기에 매우 적합합니다.
• 향후 과제: 현재는 보행자 간의 상호작용 (Crowd Interaction) 을 고려하지 않았으나, 향후 보행자 간 상호작용을 모델링하여 성능을 더욱 고도화할 계획입니다.

요약하자면, TrajMamba는 Mamba 의 강력한 시퀀스 모델링 능력을 활용하여 1 인칭 시점에서의 복잡한 상대 운동을 명확하게 분리하고 유도함으로써, 기존 방법론들을 압도하는 정확도와 효율성을 달성한 획기적인 모델입니다.