HiMAP: History-aware Map-occupancy Prediction with Fallback

본 논문은 객체 추적 실패 시에도 안정적으로 작동하도록 과거 검출을 시공간 불변의 점유도 지도로 변환하고 히스토리 쿼리 모듈을 통해 에이전트별 과거 정보를 추출하는 추적 기반이 아닌 강건한 운동 예측 프레임워크인 HiMAP 을 제안합니다.

핵심

히맵 (HiMAP): 자율주행차의 '기억력'을 되찾아주는 안전망

자율주행차가 길을 갈 때, 가장 중요한 일은 **"주변의 차나 사람이 앞으로 어떻게 움직일지 예측하는 것"**입니다. 하지만 지금까지의 기술은 약간의 치명적인 약점이 있었습니다. 바로 "누가 누구인지 (신원)"를 계속 추적해야만 미래를 예측할 수 있다는 점입니다.

이 논문은 이 문제를 해결하기 위해 HiMAP이라는 새로운 기술을 소개합니다. 이를 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

🚗 1. 기존 방식의 문제: "실명제"가 깨지면 당황하는 운전사

기존의 자율주행 시스템은 마치 실명제가 엄격하게 적용된 파티를 운영한다고 상상해 보세요.

• 모든 손님은 이름표 (ID) 를 달고 있어야 합니다.
• 시스템은 "아, 저기 있는 '철수'가 3 초 전에도 저기 있었구나"라고 이름을 붙여서 과거를 기억합니다.

하지만 문제가 생깁니다.

• 가려짐 (Occlusion): 철수가 다른 사람 뒤에 숨으면 이름표가 안 보입니다.
• 혼동 (ID Switch): 철수와 영희의 이름표가 서로 바뀐다면?
• 실종 (Missed Detection): 철수가 잠시 사라졌다가 다시 나타나면?

이때 기존 시스템은 "누가 철수인지 모르겠으니, 철수가 앞으로 어떻게 갈지 예측할 수 없어!"라고 멈춰 서거나 엉뚱한 예측을 합니다. 마치 이름표가 떨어진 사람을 보고 "이 사람이 누구였지? 아무것도 몰라!"라고 당황하는 것과 같습니다.

💡 2. HiMAP 의 해결책: "이름표 없이도 기억하는 초능력"

HiMAP 은 **"이름표 (ID) 가 없어도 과거를 기억할 수 있는 새로운 방식"**을 제안합니다.

비유: "사람의 흔적을 남기는 지도 (Occupancy Map)"
HiMAP 은 이름표를 추적하는 대신, "어디에 누가 있었는지"를 지도에 찍어두는 방식을 사용합니다.

• 과거의 흔적: 철수가 3 초 전, 2 초 전, 1 초 전에 어디에 있었는지, 이름은 몰라도 **"그 자리에 차가 있었구나"**라고 지도에 흔적으로 남깁니다.
• 현재의 상황: 지금 철수가 다시 나타났을 때, HiMAP 은 "아, 지금 이 위치에 차가 있네. 그리고 이 위치의 과거 지도를 보니, 3 초 전에도 비슷한 위치에 차가 있었어. 그러니까 이 차가 철수일 확률이 높구나!"라고 추론합니다.

즉, 이름 (ID) 을 기억하는 대신, '공간적 흔적'을 기억해서 과거의 경로를 재구성하는 것입니다.

🛠️ 3. HiMAP 이 어떻게 작동할까요? (3 단계 프로세스)

1. 지도에 흔적 남기기 (Historical Occupancy Map):
   과거에 카메라로 찍은 모든 차들의 위치를 이름 없이, 그냥 "차가 있던 자리"로 지도에 쌓아둡니다. 마치 발자국을 남기는 것과 같습니다.

2. 과거를 찾아내는 질문 (Historical Query):
   지금眼前的인 차를 보고, "너는 과거에 어디를 걸어왔니?"라고 묻습니다. 이때 이름표 대신, "현재 차의 위치와 지도에 남은 발자국 (흔적)"을 비교해서 과거의 경로를 찾아냅니다.

3. 미래 예측 (Future Prediction):
   찾아낸 과거의 경로와 현재 상황을 합쳐서, "이 차는 앞으로 이렇게 갈 거야"라고 여러 가지 가능성을 예측합니다.

🛡️ 4. 왜 이것이 중요한가요? (안전망의 역할)

이 기술은 자율주행차의 '백업 시스템 (Fallback)' 역할을 합니다.

• 상황: 갑자기 안개가 끼거나, 다른 차가 가려서 이름표 (추적) 가 끊겨버렸습니다.
• 기존 시스템: "추적 실패! 예측 불가! 위험!"이라고 멈춥니다.
• HiMAP: "추적은 실패했지만, 지도에 남은 흔적만 봐도 과거를 알 수 있어. 안전하게 예측하자!"라고 계속 작동합니다.

실험 결과, 이름표 (추적) 가 아예 없는 상황에서도 HiMAP 은 기존 최고의 기술과 거의 비슷한 성능을 내며, 추적 실패 시에는 기존 기술보다 약 10~12% 더 정확하고 안전한 예측을 했습니다.

🌟 요약: 한 마디로 정리하면?

"이름표가 떨어지더라도, 발자국만 봐도 누가 어디를 걸어왔는지 기억해내는, 자율주행차용 '초기억력 안전망'입니다."

이 기술은 자율주행차가 추적을 잃었을 때 당황하지 않고, 안정적으로 길을 찾아갈 수 있게 도와주어 우리 모두의 안전을 지키는 데 큰 역할을 할 것입니다.

기술 요약

HiMAP: 추적 실패 시에도 안정적인 이력 인식 지도 점유율 예측 (History-aware Map-occupancy Prediction with Fallback)

1. 문제 정의 (Problem Statement)

자율주행에서 주변 차량 및 보행자의 미래 궤적을 정확히 예측하는 것은 안전을 위해 필수적입니다. 기존 대부분의 예측 모델은 다중 객체 추적 (Multi-Object Tracking, MOT) 에 의존하여, 객체의 신원 (ID) 이 일관되게 유지된다고 가정합니다.

• 현실적 한계: 실제 도로 환경에서는 가림 (occlusion), 밀집된 교통 상황, 센서 노이즈 등으로 인해 추적 실패 (ID 전환, 깜빡임, 탐지 누락 등) 가 빈번하게 발생합니다.
• 결과: 추적 정보가 끊기거나 오류가 발생하면, 기존 모델은 과거 이력을 올바르게 인식하지 못해 예측 정확도가 급격히 떨어지고 안전 위험이 증가합니다.
• 핵심 질문: 추적 (Tracking) 이 불안정하거나 아예 존재하지 않는 상황에서도, 탐지 (Detection) 정보만으로 어떻게 신뢰할 수 있는 궤적 예측을 수행할 수 있을까요?

2. 제안 방법론 (Methodology)

저자들은 HiMAP이라는 추적 불필요 (Tracking-free) 궤적 예측 프레임워크를 제안합니다. 이 방법은 객체의 명시적인 ID 없이 과거 탐지 정보를 활용하여 역사적 궤적을 재구성합니다.

주요 구성 요소:

1. 시공간 불변성 (Spatiotemporally Invariant) 지도 점유율 맵 (Occupancy Maps):

   • 과거의 탐지된 객체들을 시간 순서대로 매핑하여, 객체 ID 가 아닌 공간적 점유 정보로 변환합니다.
   • HD 맵 (도로 구조) 과 객체 간의 상호작용을 그래프 형태로 인코딩하여, 각 프레임별 점유율 맵을 생성합니다. 이는 추적 ID 가 없어도 객체가 도로의 어느 부분에 있었는지를 표현합니다.

2. 이력 쿼리 모듈 (Historical Query Module):

   • 핵심 아이디어: 현재 에이전트 (차량) 의 상태를 기반으로, 과거의 점유율 맵들을 반복적으로 조회 (Iterative Retrieval) 하여 해당 에이전트만의 과거 궤적을 '암시적'으로 재구성합니다.
   • 작동 원리:
     • 현재 상태와 시간적 맵 임베딩 (Temporal Map Embedding, GRU 사용) 을 결합하여 초기 쿼리를 생성합니다.
     • 이 쿼리는 과거 프레임의 점유율 맵을 거꾸로 (Reverse temporal order) 참조하며 업데이트됩니다.
     • 이 과정을 통해 객체 ID 없이도 해당 객체의 과거 운동 이력을 재구성 (Reconstruction) 할 수 있습니다.

3. 미래 궤적 디코더 (Future Trajectory Decoder):

   • 재구성된 역사적 궤적, 현재 상태, 그리고 맵 컨텍스트를 입력으로 받습니다.
   • DETR(Detection Transformer) 스타일의 디코더를 사용하여 다중 모드 (Multi-modal) 미래 궤적과 확률을 생성합니다.
   • 기존 QCNet 과 달리 앵커 기반 (Anchor-based) 정제 단계를 제거하여 효율성을 높였습니다.

3. 주요 기여 (Key Contributions)

1. 추적 불필요한 견고한 예측 프레임워크: 추적 ID 가 없거나 불안정한 상황에서도 탐지 정보만으로 과거 상태를 재구성하고 미래 궤적을 예측하는 최초의 체계적인 접근법 중 하나입니다.
2. 새로운 아키텍처 설계:
   • 시공간 불변 인코딩을 활용한 히스토리 점유율 맵 인코더.
   • 현재 상태를 기반으로 과거 점유율 맵을 반복적으로 조회하여 객체별 이력을 복원하는 히스토리 쿼리 모듈.
   • 이 모듈은 기존 예측 모델에 최소한의 오버헤드로 통합 가능합니다.
3. 성능 및 안전성 입증: Argoverse 2 데이터셋에서 추적 실패 시 기존 방법론 대비 압도적인 성능 향상을 보였으며, 추적 기반 방법론과 유사한 성능을 유지하면서도 안전 장벽 (Fallback) 역할을 수행합니다.

4. 실험 결과 (Results)

Argoverse 2 데이터셋 평가:

• 추적 실패 시나리오 (No-tracking setting):
  • 기존 강건한 베이스라인 (QCNet fine-tuned) 대비 FDE(최종 위치 오차) 11% 개선, ADE(평균 위치 오차) 12% 개선, MR(미스 레이트) 4% 감소를 달성했습니다.
  • 추적 정보가 전혀 없는 상태에서도 HiMAP 은 추적 기반 방법론과 유사한 성능을 기록했습니다.
• 추적 복구 시간 비교:
  • QCNet 은 추적 정보가 끊긴 후 신뢰할 수 있는 예측을 되찾기 위해 약 1314 초 (약 1.31.4 초) 의 추가 이력이 필요합니다. 이 동안 차량은 평균 10.7m 이상 이동합니다.
  • 반면, HiMAP 은 추적 정보가 없어도 즉시 안정적인 예측을 제공하여 초기 1 초 내 FDE 를 20%, ADE 를 23% 개선합니다. 이는 안전 결정이 가장 중요한 순간에 큰 차이를 만듭니다.
• Argoverse 1: 추적 없는 설정에서도 추적 기반 모델과 유사한 정확도를 달성했습니다.

5. 의의 및 중요성 (Significance)

• 안전 장벽 (Safety Fallback): 자율주행 시스템에서 추적 모듈이 실패할 때 발생할 수 있는 치명적인 예측 오류를 방지하는 '백업 시스템'으로서의 가치를 입증했습니다.
• 실용성: 현실 세계의 불완전한 센서 데이터와 추적 실패를 고려하여 설계되었으므로, 실제 도로 환경에서의 배포 가능성이 높습니다.
• 안전한 의사결정: 추적 회복을 기다리지 않고도 즉시 안정적인 궤적 예측을 제공함으로써, 자율주행 차량이 위험 상황에 더 빠르게 대응할 수 있게 합니다.

결론적으로, HiMAP 은 객체 추적의 불확실성을 극복하고, 탐지 정보와 지도 구조를 결합하여 과거 이력을 재구성함으로써, 안전이 최우선인 자율주행 시스템에 필수적인 견고한 궤적 예측 솔루션을 제공합니다.