PPT: Pretraining with Pseudo-Labeled Trajectories for Motion Forecasting

이 논문은 오프더셸 3D 검출기 및 추적기에서 자동 생성된 더러운 (noisy) 궤적 데이터를 활용한 PPT(Pretraining with Pseudo-labeled Trajectories) 프레임워크를 제안하여, 적은 양의 라벨 데이터로도 다양한 환경에서 강인한 자율주행 모션 예측 성능을 달성하는 방법을 제시합니다.

핵심

1. 기존 방식: "비싼 개인 교습" (기존 데이터)

지금까지 자율주행 차가 미래를 예측하는 법을 배우려면, 사람이 직접 손으로 차의 움직임을 하나하나 표시해 준 데이터가 필요했습니다.

• 비유: 마치 아이가 수학 문제를 풀 때, 선생님이 정답을 하나하나 손으로 써서 알려주고 그걸로만 공부하는 것과 같습니다.
• 문제점:
  • 비싸고 느림: 사람이 직접 표시해야 하므로 시간과 돈이 많이 듭니다.
  • 유연성 부족: A 도시에서 배운 규칙을 B 도시 (다른 환경) 에 적용하면 잘 안 될 때가 많습니다.
  • 단일 정답: "차 A 는 이 길로만 간다"는 하나의 정답만 가르칩니다. 하지만 현실은 더 복잡합니다.

2. PPT 의 방식: "수만 명의 관찰자" (가짜 라벨 데이터)

저자들은 "정답이 완벽할 필요는 없다"는 발상을 바꿨습니다. 대신, 사람이 직접 표시하지 않고, 카메라와 센서로 자동으로 차를 쫓아낸 데이터를 사용합니다.

• 비유: 수학 문제를 풀 때, 선생님이 정답을 알려주는 대신 수만 명의 관찰자가 "아, 저 차는 아마 저쪽으로 갈 거야", "아니, 저쪽으로 갈 수도 있겠네"라고 각자 다른 추측을 내게 하는 것입니다.
  • 어떤 관찰자는 실수를 할 수도 있고 (노이즈), 어떤 이는 다른 각도로 볼 수도 있습니다 (다양성).
  • 하지만 이 수많은 다양한 추측들을 모아서 학습시키면, 아이는 "정답 하나"만 외우는 게 아니라 **"상황에 따른 다양한 가능성"**을 배우게 됩니다.

3. PPT 의 핵심 아이디어: "불완전함이 오히려 도움이 된다"

이 연구의 가장 놀라운 점은 불완전한 데이터 (노이즈) 가 오히려 더 강한 학습을 만든다는 것입니다.

• 다양성의 힘: 기존 방식은 "차 A 는 100% 이 길로 간다"고 가르쳤다면, PPT 는 "차 A 는 이 길로 갈 수도, 저 길로 갈 수도, 아니면 멈출 수도 있어"라고 다양한 시나리오를 경험하게 합니다.
• 결과: 이렇게 훈련된 차는 비가 오거나, 도로가 낯설거나, 센서에 오류가 생기는 상황에서도 더 유연하게 대처할 수 있게 됩니다. 마치 다양한 날씨와 도로 조건을 겪어본 운전자가 더 안전한 운전자가 되는 것과 같습니다.

---

이 기술이 가져오는 3 가지 큰 변화

1. 돈과 시간을 아낍니다 (저비용):

   • 사람이 직접 표시할 필요가 없으므로, 데이터를 만드는 비용이 거의 0에 가깝습니다.
   • 효과: 아주 적은 양의 정답 데이터 (예: 전체의 1% 만) 로도 기존 모델보다 훨씬 좋은 성능을 냅니다.

2. 어디서나 잘합니다 (범용성):

   • 서울에서 배운 차가 부산이나 뉴욕에서도 잘 운전할 수 있습니다. 다양한 관찰자들의 추측을 통해 어떤 상황에서도 적응하는 능력이 생겼기 때문입니다.

3. 실제 도로에 더 가깝습니다 (실전 대비):

   • 실제 도로에서는 완벽한 지도나 정답이 없습니다. PPT 는 불완전한 센서 데이터로 미리 훈련하므로, 실제 도로에 나갔을 때 더 안전하게 작동합니다.

한 줄 요약

"완벽한 정답을 가르치는 비싼 교습 대신, 수많은 관찰자의 다양한 (하지만 불완전한) 추측을 모아 학습시키니, 자율주행차가 더 똑똑하고 튼튼해졌다!"

이 연구는 자율주행 기술이 더 많은 데이터와 더 적은 비용으로 발전할 수 있는 새로운 길을 열어주었습니다.

기술 요약

1. 문제 정의 (Problem)

자율주행 및 인간 - 로봇 상호작용에서 안전한 궤적 계획을 위해서는 주변 에이전트 (차량, 보행자 등) 의 미래 운동을 정확하게 예측하는 것이 필수적입니다. 그러나 현재 최첨단 운동 예측 (Motion Forecasting) 모델들은 다음과 같은 한계를 지닌 데이터셋에 의존하고 있습니다.

• 높은 비용과 확장성 부족: 기존 데이터셋 (nuScenes, Waymo, Argoverse 등) 은 수동으로 주석 (Annotation) 이 달린 궤적에 의존하며, 이는 인건비가 많이 들고 확장하기 어렵습니다.
• 복잡한 후처리 (Post-processing): 자동화된 파이프라인을 사용하더라도, 인간 수준의 품질을 얻기 위해 복잡한 후처리 과정이 필요하며 이는 데이터셋마다 다르며 재현이 어렵습니다.
• 다양성 결여 및 도메인 간극: 기존 파이프라인은 에이전트당 단일 '정답' 궤적을 선택하여 데이터의 다양성을 제거합니다. 이로 인해 한 데이터셋에서 학습된 모델은 다른 도메인 (Cross-domain) 에서 성능이 급격히 떨어지는 문제가 발생합니다.

2. 제안 방법론: PPT (Methodology)

저자들은 PPT (Pretraining with Pseudo-labeled Trajectories) 라는 새로운 사전 학습 (Pretraining) 프레임워크를 제안합니다. 이는 수동 주석이 아닌, 오프 - 더 - 쉘 (Off-the-shelf) 3D 검출기 (Detector) 와 추적기 (Tracker) 를 통해 자동으로 생성된 '의사 레이블 (Pseudo-labeled)' 궤적을 활용합니다.

• 핵심 철학: 기존 자동화 파이프라인이 '정제된 (Clean)' 단일 레이블을 만드는 것을 목표로 한다면, PPT 는 노이즈가 있고 다양한 (Noisy and Diverse) 궤적 자체를 유용한 신호로 받아들입니다.
• 파이프라인:
  1. 데이터 수집: 다양한 센서 (카메라, LiDAR, 멀티모달) 기반의 9 가지 최첨단 3D 검출기와 비학습형 (Non-learning) 추적기 (예: AB3DMOT) 를 사용하여 원시 센서 데이터에서 에이전트 위치를 추정합니다.
  2. 의사 레이블 생성: 검출된 객체들을 시간적으로 연결하여 860 만 개 이상의 의사 레이블 궤적 세트를 자동으로 생성합니다. 이 과정에는 어떤 후처리 (Track smoothing 등) 도 적용되지 않습니다.
  3. 사전 학습 (Pretraining): 생성된 다양한 의사 레이블 궤적로 운동 예측 모델을 사전 학습시킵니다.
  4. 선택적 미세 조정 (Finetuning): 소량의 수동 주석 데이터 (Ground Truth) 로 모델을 미세 조정하여 타겟 도메인에 적응시킵니다.

3. 주요 기여 (Key Contributions)

1. 새로운 사전 학습 전략: 운동 예측 분야에서 최초로 다양한 오프 - 더 - 쉘 추적기에서 생성된 의사 레이블 궤적을 활용한 사전 학습 전략을 제시했습니다.
2. 주석 효율성 극대화: PPT 를 사용하면 수동 주석이 필요한 데이터의 양을 획기적으로 줄일 수 있습니다. 특히 1~10% 의 소량 주석 데이터만으로도 기존 전 학습 (Training from scratch) 모델보다 우수한 성능을 달성합니다.
3. 강건한 일반화 능력:
   • 크로스 도메인 (Cross-domain): 학습된 도메인과 다른 도메인에서도 뛰어난 성능을 보입니다.
   • End-to-End (E2E): 불완전한 인식 (Perception) 입력을 사용하는 End-to-End 예측 시나리오에서도 강건성을 입증했습니다.
   • Multi-class: 다양한 에이전트 클래스 (차량, 보행자, 자전거 등 10 가지) 를 예측하는 작업에서도 성능이 향상되었습니다.
4. 불필요한 요소 제거:
   • 후처리 불필요: 궤적의 정제 (Post-processing) 가 사전 학습에 필수적이지 않음을 증명했습니다.
   • HD 맵 불필요: 사전 학습 단계에서 HD 맵 정보가 없어도 궤적 동역학 (Dynamics) 학습만으로도 우수한 성능을 낼 수 있음을 보였습니다.

4. 실험 결과 (Results)

• 주석 효율성 (Annotation Efficiency):
  • WOD, AV2, nuScenes 데이터셋에서 1% 의 주석 데이터만 사용할 때, PPT 사전 학습 모델은 전 학습 모델 대비 Brier-FDE, minADE, minFDE 등 모든 지표에서 50~90% 이상 성능 향상을 보였습니다.
  • PPT 로 사전 학습된 모델을 10% 주석 데이터로 미세 조정하면, 전 학습 모델이 100% 주석 데이터로 학습한 것과同等하거나 더 좋은 성능을 냈습니다.
• 크로스 도메인 일반화:
  • 소스 도메인 (예: nuScenes) 의 의사 레이블로 사전 학습하고 타겟 도메인 (예: Waymo) 의 주석으로 미세 조정했을 때, 전 학습 모델보다 훨씬 낮은 에러율을 기록했습니다. 이는 의사 레이블의 노이즈와 다양성이 정규화 (Regularization) 역할을 하여 모델의 일반화 능력을 높였기 때문입니다.
• End-to-End 및 Multi-class:
  • AV2 End-to-End 예측 배틀에서 PPT 를 적용한 모델은 주석 없이 학습된 모델 대비 minFDE 에서 70% 이상 개선되었습니다.
  • 10 가지 클래스를 예측하는 AV2 MF 벤치마크에서도 전 학습 대비 모든 지표에서 개선된 결과를 보였습니다.
• 확장성 (Scaling):
  • 단일 데이터셋보다 여러 데이터셋을 합친 대규모 의사 레이블 (8.6M 개) 로 사전 학습할 때 성능이 지속적으로 향상되었습니다.
  • 다양한 검출기를 사용하여 생성된 궤적의 다양성 (Variability) 이 성능 향상의 핵심 요인임을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 운동 예측 분야에서 데이터 주석의 비용 장벽을 해소하고 모델의 일반화 능력을 획기적으로 향상시킬 수 있는 실용적인 프레임워크를 제시했습니다.

• 실용성: 고비용의 수동 주석 없이도 오프 - 더 - 쉘 검출기만 있으면 대규모 데이터를 확보하여 모델을 사전 학습할 수 있습니다.
• 패러다임 전환: '정답' 궤적 하나를 찾는 것에서 벗어나, 노이즈와 다양성을 가진 데이터 자체가 학습에 유익하다는 점을 입증했습니다. 이는 향후 자율주행 시스템이 다양한 환경과 조건에 더 잘 적응할 수 있는 기반을 마련합니다.
• 간소화: 복잡한 후처리 파이프라인이나 HD 맵 의존도를 줄여, 운동 예측 모델 개발을 더 간소하고 확장 가능하게 만듭니다.

요약하자면, PPT 는 저비용으로 고품질의 사전 학습 데이터를 생성하여, 소량의 주석 데이터로도 강력한 운동 예측 모델을 구축할 수 있게 하는 혁신적인 접근법입니다.