💻 computer science

PanguMotion: Continuous Driving Motion Forecasting with Pangu Transformers

이 논문은 자율주행의 연속적인 주행 환경을 고려하기 위해 파후 (Pangu) 대규모 언어 모델의 트랜스포머 블록을 통합하여 주변 차량의 미래 궤적을 연속적으로 예측하는 'PanguMotion' 프레임워크를 제안합니다.

원저자: Quanhao Ren, Yicheng Li, Nan Song

게시일 2026-03-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Quanhao Ren, Yicheng Li, Nan Song

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🚗 1. 기존 방법의 문제점: "사진 한 장만 보는 운전사"

기존의 자율주행 기술들은 운전 상황을 마치 별개의 사진처럼 처리했습니다.

비유: 운전사가 차를 몰고 있을 때, 1 초마다 찍힌 사진 한 장만 보고 "앞차가 지금 멈췄네, 다음엔 뭐 할까?"라고 추측하는 것과 같습니다.
문제점: 실제 운전은 사진이 아니라 영상이자 연속된 흐름입니다. "어제 비가 와서 미끄러웠고, 오늘도 비가 오는데 앞차가 갑자기 급정거했다"는 과거의 맥락을 무시하면 예측이 빗나갈 수 있습니다.

🧠 2. 새로운 아이디어: "지식 많은 AI 비서 (판구) 를 고용하다"

이 연구팀은 **'판구 (Pangu)'**라는 거대 언어 모델 (LLM) 의 두뇌 일부를 가져와서 자율주행 시스템에 붙였습니다.

판구란? 수만 권의 책과 인터넷 글을 읽어서 세상을 이해하는 초지능 AI 비서입니다. 보통은 글을 쓰거나 번역하는 데 쓰이지만, 이 연구팀은 이 비서의 **'정보를 걸러내는 능력'**을 운전 예측에 활용했습니다.
핵심 비유:
- 기존 시스템: 운전사 혼자서 앞차의 움직임을 쫓아보며 예측.
- 판구모션 (이 논문): 운전사 옆에 세상의 모든 흐름을 아는 AI 비서를 앉혔습니다. 비서는 "아, 이 앞차는 과거에 비슷한 상황에서 이렇게 움직였었지"라고 과거의 지식을 바탕으로 현재 상황을 더 깊이 이해하게 해줍니다.

🛠️ 3. 어떻게 작동할까요? (두 가지 혁신)

① "흐름"을 잇다 (RealMotion)

연구팀은 데이터를 연속된 영상처럼 재구성했습니다.

비유: 영화의 한 장면을 잘라내지 않고, 연속된 영화 필름처럼 이어 붙여서 AI 가 과거부터 현재까지의 흐름을 자연스럽게 이해하게 만들었습니다.

② "불필요한 짐"을 버리다 (간소화)

여기가 가장 재미있는 부분입니다. 보통 자율주행 AI 는 "차량의 궤적 (이동 경로)"을 따로 분석하는 복잡한 회로를 두 개나 가지고 있습니다.

발견: AI 비서 (판구) 가 들어오자, 그 비서가 이미 차량의 움직임을 아주 잘 예측해 주었습니다.
결과: 그래서 차량 궤적을 따로 분석하던 회로 (짐) 를 아예 떼어냈습니다.
비유: "명품 가방 (AI 비서) 을 사니까, 그 가방 안에 이미 필요한 모든 물건이 다 들어있어서, 따로 챙겨야 할 옷장 (기존 회로) 을 없애도 되더라"는 뜻입니다. 오히려 가볍고 빨라졌는데, 예측 정확도는 더 좋아졌습니다.

📊 4. 실험 결과: "한 번에 한 가지 길만 예측할 때 가장 강력하다"

자율주행차는 여러 가지 가능성 (우회전할까? 직진할까?) 을 동시에 예측하기도 하지만, 실제 운전 결정에는 **"가장 유력한 한 가지 시나리오"**가 가장 중요합니다.

결과: 이 새로운 방식은 가장 유력한 한 가지 경로를 예측할 때 기존 기술보다 훨씬 정확해졌습니다. (오류가 약 1.5%~1.3% 줄어듦).
의미: "여러 갈래의 길을 모두 예측하는 것보다, 가장 확실한 길 하나를 정확히 짚어내는 능력이 비서 (판구) 덕분에 크게 향상되었습니다."

🚀 5. 왜 중요한가요? (실제 적용)

이 기술은 **화웨이 아센드 (Ascend)**라는 특수한 AI 칩에서도 잘 작동하도록 최적화되었습니다.

비유: 무거운 AI 비서를 가벼운 태블릿에서도 빠르게 작동하게 만든 것입니다.
의미: 이론적으로만 끝난 게 아니라, 실제 자율주행차에 탑재되어 빠르게 반응할 수 있도록 준비되었습니다.

💡 한 줄 요약

"자율주행차가 앞차의 움직임을 예측할 때, 과거의 흐름을 기억하게 하고, 지식이 풍부한 AI 비서 (판구) 의 도움을 받아 불필요한 장비를 줄인 결과, 훨씬 더 정확하고 빠르게 운전할 수 있게 되었습니다."

이 연구는 **"거대 AI(언어 모델) 가 글쓰기뿐만 아니라, 운전 같은 시각적·시간적 예측에서도 천재적인 능력을 발휘할 수 있다"**는 것을 증명한 획기적인 사례입니다.

1. 문제 정의 (Problem Definition)

자율주행 시스템에서 운동 예측 (Motion Forecasting) 은 주변 차량 및 보행자의 미래 궤적을 정확히 예측하여 안전을 보장하는 핵심 과제입니다. 기존 연구들은 다음과 같은 한계를 가지고 있었습니다:

단절된 장면 처리: 대부분의 기존 방법론은 주행 장면을 독립적인 단위로 처리하여, 실제 주행 환경에 내재된 시간적 연속성 (Temporal Continuity) 과 역사적 맥락의 상관관계를 간과했습니다.
기존 연속성 모델의 한계: Song et al. 이 제안한 'RealMotion'과 같은 프레임워크는 데이터 재구성 전략을 통해 연속적인 장면을 모델링하기 시작했으나, 사전 훈련된 대규모 언어 모델 (LLM) 을 활용하여 연속 주행 시나리오의 장면 표현을 강화하는 잠재력은 아직 충분히 탐구되지 않았습니다.

2. 제안 방법론 (Methodology)

이 논문은 PanguMotion이라는 새로운 프레임워크를 제안하며, 이는 'RealMotion' 아키텍처에 Pangu-1B 대규모 언어 모델의 Transformer 블록을 통합한 것이 핵심입니다.

아키텍처 개요:
- 기반 구조: RealMotion 의 연속 예측 듀얼 스트림 (Dual-stream) 설계 중 '장면 맥락 스트림 (Scene Context Stream)'만 유지하고, '에이전트 궤적 스트림 (Agent Trajectory Stream)'은 제거합니다.
- Pangu 블록 통합: 인코더 (Encoder) 와 디코더 (Decoder) 사이에 동결된 (Frozen) Pangu-1B Transformer 블록을 특징 강화 모듈 (Feature Enhancement Module) 로 삽입합니다.
- 데이터 전처리: Argoverse 2 데이터셋을 RealMotion 의 전략에 따라 독립적인 장면을 연속 시퀀스로 재구성하여 실제 주행 환경을 모사합니다.
구체적인 처리 파이프라인:
1. Base Encoder: 입력 데이터 (과거 궤적, 지도 요소) 를 초기 장면 특징으로 변환.
2. Scene Context Stream: 크로스 어텐션 (Cross-attention) 을 통해 현재 장면과 과거 메모리 특징을 융합.
3. Transformer Blocks: 여러 개의 Transformer 블록을 통해 장면 특징을 인코딩 ( $F_s$ ).
4. Pangu Block: $F_s$ 를 Pangu-1B 의 마지막 레이어 (Layer 25) 를 통해 심층 특징 강화 ( $F_{enhanced}$ ). 이때 차원 정렬을 위해 선형 프로젝션 레이어를 사용하며, Pangu 블록 내의 파라미터는 고정 (Frozen) 하고 프로젝션 레이어만 학습합니다.
5. Decoder: 강화된 특징을 기반으로 6 가지 모드의 미래 궤적과 확률을 예측.
하드웨어 최적화: 화웨이 Ascend NPU 에 최적화된 엔드 - 투 - 엔드 학습 및 추론 파이프라인을 구현했습니다.

3. 주요 기여 (Key Contributions)

방법론적 혁신: 연속 주행 운동 예측 프레임워크에 Pangu 대규모 모델을 통합한 최초의 연구입니다. 사전 훈련된 LLM 이 비언어적 시퀀스 작업 (운동 예측) 에서도 강력한 특징 강화 기능을 수행함을 입증했습니다.
아키텍처 최적화: 에이전트 궤적 스트림을 제거하고 Pangu 블록의 특징 강화 기능과 시너지 효과를 내는 단순화된 아키텍처를 제안했습니다. 이는 단일 모드 (Single-mode) 예측 성능을 크게 향상시켰습니다.
실용적 실현 가능성: Ascend NPU 에 대한 완전한 적응 (Adaptation) 및 학습 솔루션을 제공하여, 모델의 복잡도 증가 없이 지연 시간 (Latency) 을 유지하면서 성능을 향상시키는 효율적인 배포 방안을 제시했습니다.

4. 실험 결과 (Results)

Argoverse 2 데이터셋 (RealMotion 전략으로 전처리됨) 에서 수행된 실험 결과는 다음과 같습니다:

성능 향상: PanguMotion 은 기존 RealMotion 대비 단일 모드 예측 지표에서 유의미한 개선을 보였습니다.
- minADE1: 1.58% 향상 (1.646 → 1.620)
- minFDE1: 1.29% 향상 (4.100 → 4.047)
모델 비교 (Pangu vs LLaMA): 동일한 아키텍처에서 Pangu 모델을 사용한 것이 LLaMA 모델보다 성능이 월등히 좋았습니다 (단일 모드 지표 기준 약 5% 이상 향상). 이는 Pangu 의 대규모 중국어 코퍼스 사전 훈련이 공간 관계 및 시간적 패턴 이해에 유리할 수 있음을 시사합니다.
레이어 및 위치 분석:
- 레이어 수: Pangu 의 마지막 레이어 (Layer 25) 하나만 사용하는 것이 가장 성능이 좋았으며, 레이어를 늘릴수록 성능이 저하되었습니다. 이는 고차원 레이어가 더 추상적이고 의미 있는 정보를 필터링한다는 '정보 필터링 가설 (Information Filtering Hypothesis)'을 지지합니다.
- 삽입 위치: 모델의 가장 마지막 레이어에 삽입하는 것이 가장 효과적이었습니다.
스트림 제거 효과: Pangu 블록을 추가한 후 에이전트 궤적 스트림을 제거한 경우 (ID 5), 오히려 단일 모드 예측 정확도가 두 스트림을 모두 사용할 때보다 더 높아졌습니다. 이는 두 구성 요소 간의 기능적 중복 (Redundancy) 이 제거되었기 때문으로 분석됩니다.

5. 의의 및 결론 (Significance & Conclusion)

이론적 의의: 대규모 언어 모델 (LLM) 이 언어 작업뿐만 아니라 비언어적 시공간 예측 작업에서도 강력한 일반화 능력을 가짐을 입증했습니다. 특히 고차원 Transformer 레이어가 다른 도메인으로의 전이 학습에 효과적임을 보여줍니다.
실용적 의의:
- 자율주행의 의사결정에 가장 중요한 단일 모드 (가장 확률 높은 궤적) 예측 정확도를 높였습니다.
- Ascend NPU 기반의 최적화 솔루션을 통해 실제 자율주행 시스템에의 실시간 배포 가능성을 제시했습니다.
- 복잡한 아키텍처를 단순화하면서도 성능을 향상시키는 새로운 설계 패러다임을 제시했습니다.

이 연구는 자율주행 운동 예측 분야에서 대규모 사전 훈련 모델의 활용 가능성을 크게 확장하였으며, 오픈소스로 공개된 코드와 함께 향후 연구의 중요한 벤치마크가 될 것으로 기대됩니다.