FoSS: Modeling Long Range Dependencies and Multimodal Uncertainty in Trajectory Prediction via Fourier State Space Integration

이 논문은 자율주행의 궤적 예측 정확도를 높이고 계산 효율성을 개선하기 위해 주파수 도메인 분석과 선형 시간 상태 공간 모델을 결합한 'FoSS' 프레임워크를 제안하며, Argoverse 벤치마크에서 기존 최첨단 방법보다 높은 정확도와 낮은 연산 비용을 달성함을 입증합니다.

핵심

🚗 자율주행 차가 "미래를 예측"하는 새로운 방법: FoSS

이 논문은 자율주행 자동차가 **"앞으로 3~6 초 뒤 내가 어디로 갈지"**를 훨씬 더 정확하고 빠르게 예측하는 새로운 방법 (FoSS) 을 소개합니다.

기존 기술들은 두 가지 큰 고민이 있었습니다.

1. 정확하지만 너무 느림: 많은 차들을 동시에 분석하려다 보니 계산량이 너무 많아져서 실시간으로 쓰기 힘들었습니다. (비유: 모든 차의 행동을 하나하나 세세하게 조사하려다 보니 시간이 너무 걸림)
2. 빠르지만 부정확함: 속도는 빠르지만, 멀리 떨어진 미래나 복잡한 상황 (예: 급정거, 급회전) 을 놓치기 일쑤였습니다.

이 논문은 이 두 마리 토끼를 모두 잡기 위해 **음악 (주파수)**과 **스마트한 메모리 (SSM)**를 결합한 혁신적인 아이디어를 제시합니다.

---

🎻 핵심 아이디어: "미래를 두 가지 눈으로 보기"

FoSS 는 자율주행 차의 움직임을 두 개의 다른 안경을 통해 동시에 봅니다.

1. 주파수 안경 (Frequency Domain Branch) 🎼

"큰 흐름과 미세한 떨림을 분리하다"

• 비유: 한 곡의 음악을 생각해보세요.
  • 저음 (Bass): 곡의 전체적인 분위기나 흐름 (예: 차가 왼쪽으로 가겠다, 오른쪽으로 가겠다).
  • 고음 (Treble): 악기 소리의 미세한 떨림이나 즉흥적인 리듬 (예: 차가 살짝 핸들을 꺾거나 속도를 살짝 줄임).
• 기존의 문제: 기존 기술들은 이 저음과 고음을 섞어서 분석했기 때문에, 큰 흐름을 놓치거나 작은 떨림에 혼란을 겪곤 했습니다.
• FoSS 의 해결책:
  • 푸리에 변환 (Fourier Transform): 차의 움직임을 음악처럼 '저음 (큰 흐름)'과 '고음 (세부 움직임)'으로 쪼갭니다.
  • HelixSort (나선형 정렬): 쪼개진 소리들을 저음부터 고음까지 순서대로 나란히 배치합니다. (기존에는 소리가 뒤죽박죽 섞여 있었습니다.)
  • 효과: AI 는 이제 "일단 큰 흐름을 먼저 파악하고, 그다음에 세부적인 떨림을 보충한다"는 거시 → 미시 (Coarse-to-Fine) 방식으로 학습합니다.

2. 시간 안경 (Time Domain Branch) ⏱️

"과거의 기억을 효율적으로 활용하다"

• 비유: 과거의 경험을 바탕으로 미래를 상상하는 사람.
• 기존의 문제: Transformer(트랜스포머) 같은 모델은 모든 과거 데이터를 한 번에 비교하므로 계산량이 기하급수적으로 늘어납니다. (비유: 100 년 전부터 오늘까지의 모든 대화를 한 번에 다 비교하려다 뇌가 터짐)
• FoSS 의 해결책:
  • 선택적 상태 공간 모델 (SSM): 중요한 정보만 기억하고, 불필요한 잡음은 잊어버리는 스마트한 메모리를 사용합니다.
  • 효과: 계산량은 선형적으로만 늘어나지만, 긴 시간 동안의 흐름도 놓치지 않고 정확히 기억합니다.

---

🤝 두 안경의 만남: 교차 주의 (Cross-Attention)

이제 두 가지 안경으로 본 정보를 합칩니다.

• 주파수 안경이 "차량은 대략 왼쪽으로 갈 것 같다"고 알려주고,
• 시간 안경이 "그런데 지금 브레이크를 살짝 밟고 있네"라고 알려줍니다.

이 두 정보를 **교차 주의 (Cross-Attention)**라는 접착제로 완벽하게 융합합니다. 마치 두 명의 전문가가 회의실에서 서로의 의견을 듣고 최종 결론을 내리는 것과 같습니다.

---

🎯 왜 이 방법이 특별한가요? (결과)

이 방법은 Argoverse라는 실제 자율주행 데이터셋에서 실험되었습니다.

1. 정확도 UP: 다른 최신 모델들보다 훨씬 정확하게 미래 경로를 예측했습니다. (오류율 14~22% 감소)
2. 속도 UP: 계산량이 22% 줄어들어, 실제 자율주행 차에 탑재해도 실시간으로 작동할 수 있습니다.
3. 크기 DOWN: 모델의 크기 (파라미터) 가 40% 이상 줄어들어, 더 적은 메모리로 작동합니다.

🌟 한 줄 요약

"FoSS 는 자율주행 차의 움직임을 '음악'처럼 저음 (큰 흐름) 과 고음 (세부 움직임) 으로 나누어 분석하고, 이를 '스마트한 메모리'로 효율적으로 기억하게 함으로써, 빠르고 정확한 미래 예측을 가능하게 합니다."

이 기술이 상용화되면, 자율주행 차가 복잡한 도시 교통 상황에서도 더 부드럽고 안전하게, 마치 숙련된 인간 운전기사처럼 미래를 예측하며 달릴 수 있게 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

자율주행의 안전성을 위해 차량 및 보행자의 미래 궤적을 정확하게 예측하는 것은 필수적입니다. 그러나 기존 방법론들은 다음과 같은 한계를 가지고 있습니다:

• 계산 복잡도 vs. 모델링 능력의 트레이드오프:
  • Attention 기반 (Transformer 등): 장기 의존성 (Long-range dependencies) 을 잘 포착하지만, 에이전트 수가 증가함에 따라 계산 복잡도가 2 차 (Quadratic) 로 증가하여 실시간 적용에 비효율적입니다.
  • 순환 신경망 (RNN/LSTM): 계산 효율은 좋으나 장기 의존성 포착과 미세한 국소 동역학 (Local dynamics) 표현에 한계가 있습니다.
• 주파수 도메인 활용의 부재: 기존 궤적 예측 모델들은 주로 시간 도메인 (Time-domain) 에만 집중하여, 전역적인 운동 경향 (Global trends) 과 국소적인 변동 (Local variations) 을 동시에 효과적으로 분리하여 모델링하지 못했습니다.

2. 제안 방법론: FoSS (Fourier–State Space Integration)

저자들은 FoSS라는 이중 분기 (Dual-branch) 프레임워크를 제안하여, 주파수 도메인 추론과 선형 시간 복잡도의 시퀀스 모델링을 통합했습니다.

A. 핵심 구성 요소

1. 주파수 도메인 분기 (Frequency-Domain Branch):

   • 이산 푸리에 변환 (DFT): 입력 궤적을 진폭 (Amplitude, 전역 운동 경향) 과 위상 (Phase, 국소 변동) 성분으로 분해합니다.
   • HelixSort (점진적 헬릭스 재배열): 기존 DFT 출력은 주파수 순서가 불연속적이라는 문제를 해결하기 위해, JPEG 의 지그재그 인코딩에서 영감을 받아 주파수 성분을 '저주파 (전역)'에서 '고주파 (국소)' 순서로 재배열합니다. 이를 통해 SSM 이 전역 정보를 먼저 학습하고 세부 사항을 점진적으로 보정할 수 있게 합니다.
   • 선택적 상태 공간 모듈 (Selective SSM):
     • Coarse2Fine-SSM: 공간적 상호작용을 모델링하여 주파수 성분을 정제합니다.
     • SpecEvolve-SSM: 채널 진화를 통해 주파수 채널 간의 상관관계를 학습합니다.
   • 이 과정은 **O(N)**의 선형 복잡도를 유지합니다.

2. 시간 도메인 분기 (Time-Domain Branch):

   • TD-Mamba: 입력에 의존적인 선택적 상태 공간 모델 (Input-dependent Selective SSM) 을 사용하여 긴 시간 의존성을 효율적으로 포착합니다.
   • 기존 고정 파라미터 SSM 과 달리, 현재 입력과 국소 컨볼루션 특징을 기반으로 상태 전이 행렬을 동적으로 조정하여 노이즈를 억제하고 핵심 운동 패턴을 증폭합니다.

3. 융합 및 예측 (Fusion & Prediction):

   • 크로스 어텐션 (Cross-Attention): 시간 도메인과 주파수 도메인 특징을 융합하여 스케일 불일치 문제를 해결합니다.
   • 멀티모달 예측: 학습 가능한 쿼리 (Learnable Queries) 를 사용하여 여러 개의 후보 궤적을 생성하고, 가중치 융합 헤드를 통해 운동 불확실성을 표현합니다.

B. 손실 함수 (Loss Function)

• 시간 도메인 손실 (L1): 예측된 궤적과 정답 간의 직접적인 오차.
• 주파수 도메인 손실 (L1): 예측된 궤적과 정답을 푸리에 변환한 후의 주파수 영역 오차.
• 두 손실을 결합하여 시간적 일관성과 주파수적 일관성을 동시에 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 이중 분기 프레임워크: 푸리에 도메인 분해와 선택적 상태 공간 모델링 (SSM) 을 통합하여 전역 및 국소 운동 동역학을 분리 표현하는 최초의 체계적인 접근법 중 하나입니다.
2. 선형 복잡도의 주파수 정제 모듈: Coarse2Fine-SSM 과 SpecEvolve-SSM 을 설계하여 주파수 특징을 O(N) 복잡도로 정제하고, HelixSort 를 통해 주파수 순서 정보를 효과적으로 활용합니다.
3. 안정적인 융합 메커니즘: 시간 및 주파수 표현 간의 안정적인 융합을 위한 개선된 크로스 어텐션 메커니즘을 도입하여 효율적이고 멀티모달인 궤적 예측을 가능하게 했습니다.

4. 실험 결과 (Results)

Argoverse 1 및 Argoverse 2 벤치마크에서 실험이 수행되었습니다.

• 성능 (Accuracy):
  • Argoverse 2 (6 초 예측): minADE6 에서 0.61 (SceneTransformer 대비 18.7% 향상), minFDE6 에서 1.07 (11.6% 향상) 을 기록하여 SOTA(State-of-the-Art) 성능을 달성했습니다.
  • Argoverse 1 (3 초 예측): minADE1 에서 1.67 (LaneGCN 대비 13.0% 향상) 을 기록했습니다.
• 효율성 (Efficiency):
  • 계산량: 파라미터 수는 기존 모델 대비 40% 이상 감소 (약 4.18M), FLOPs 는 22.5% 감소했습니다.
  • 추론 속도: 평균 64ms 로 HiVT(82ms), SceneTransformer(76ms) 등 기존 모델보다 빠릅니다.
• Ablation Study: 주파수 분기, HelixSort, Fourier SSM 등 각 구성 요소가 제거될 때 성능이 유의미하게 저하됨을 확인하여 각 모듈의 필요성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 효율성과 정확성의 균형: Transformer 기반 모델의 높은 정확도와 RNN/SSM 기반 모델의 높은 효율성을 동시에 달성했습니다.
• 실시간 자율주행 적용 가능성: 계산 자원이 제한된 엣지 디바이스 (Edge devices) 에서도 실시간으로 고품질 궤적 예측이 가능하도록 설계되었습니다.
• 새로운 패러다임: 비선형 궤적 예측 영역에 푸리에 기반 추론을 성공적으로 확장하여, 복잡한 교통 환경에서의 운동 패턴 (전역 경향 + 국소 급변) 을 효과적으로 모델링할 수 있음을 증명했습니다.

이 논문은 자율주행 시스템의 안전성과 실시간성을 동시에 확보하기 위한 새로운 아키텍처 설계의 중요한 이정표로 평가됩니다.