On-Policy Distillation of Language Models for Autonomous Vehicle Motion Planning
이 논문은 자율주행 차량의 운동 계획에 사용되는 대형 언어 모델을 리소스 제약이 있는 온보드 시스템에 배포하기 위해, GPT-Driver 프레임워크를 기반으로 온-정책 일반화 지식 증류 (GKD) 를 제안하여 RL 기반 방법보다 우수한 성능으로 교사 모델에 근접하는 경량 학생 모델을 학습시키는 효과를 입증했습니다.
이 논문은 자율주행 자동차가 길을 찾게 하는 '두뇌'를 어떻게 작고 가볍게 만들 수 있는지에 대한 연구입니다.
핵심 내용을 쉽게 풀어서 설명해 드릴게요.
1. 문제: "천재 교수님"은 차에 태울 수 없다
최근 큰 언어 모델 (LLM, 예: GPT-4 같은 것) 이 자율주행의 길 찾기 (모션 플래닝) 를 아주 잘합니다. 마치 천재 교수님이 운전하는 것처럼, 차가 왜 그렇게 움직여야 하는지 논리적으로 설명하며 길을 찾아줍니다.
하지만 이 '천재 교수님'은 너무 무겁고 비쌉니다. 차 안에 있는 작은 컴퓨터 (온보드 시스템) 에 넣으려면 전기도 너무 많이 먹고, 계산도 너무 느려서 실시간으로 운전할 수 없습니다.
2. 해결책: "천재 교수님"에게서 "재능 있는 학생"을 가르치자
그래서 연구팀은 **지식 전수 (Distillation)**라는 방법을 썼습니다.
선생님 (Teacher): 무겁지만 똑똑한 큰 모델 (Qwen3-8B).
학생 (Student): 작고 가벼우며 차에 실을 수 있는 작은 모델 (Qwen3-1.7B).
이제 중요한 질문이 생깁니다. "어떻게 하면 학생이 선생님을 완벽하게 따라 할 수 있을까?"
3. 두 가지 교육 방식의 대결
이 논문은 두 가지 교육 방법을 비교했습니다.
방법 A: "정답만 외우는 방식" (기존 RL 방식)
비유: 선생님이 "이건 A 가 정답이야"라고 말해주면, 학생은 A 를 외웁니다. 하지만 왜 A 가 정답인지, B 나 C 는 왜 틀린지는 모릅니다.
문제점: 학생이 스스로 길을 찾다가 실수를 하면, 그 실수가 다음 단계로 이어져서 큰 사고로 이어질 수 있습니다. (예: 처음에 방향을 조금 틀렸는데, 그 오차가 계속 커져서 차가 벽에 들이받는 식)
방법 B: "생각의 흐름을 따라 하는 방식" (이 논문이 제안한 GKD)
비유: 선생님이 "A 가 정답이야"라고만 말하지 않습니다. 대신 **"A 를 선택한 이유는 B 나 C 보다는 더 안전해서야. 만약 B 를 선택했다면 이렇게 위험했을 거야"**라고 모든 가능성에 대한 설명을 해줍니다.
핵심: 학생은 선생님이 **생각하는 모든 과정 (확률 분포)**을 그대로 따라 배웁니다.
효과: 학생이 길을 찾다가 실수를 해도, 선생님의 '생각 방식'을 깊이 이해하고 있기 때문에 바로 수정할 수 있습니다. 마치 유능한 조수가 옆에서 "저기 저 차가 위험해, 오른쪽으로 살짝만 더 가자"라고 계속 조언해주는 것과 같습니다.
4. 실험 결과: "작은 학생"이 "천재 교수님"을 거의 따라잡았다!
연구팀은 실제 도로 데이터 (nuScenes) 로 실험을 해봤습니다.
크기: 학생 모델은 선생님 모델보다 5 배나 작습니다 (80 억 파라미터 → 17 억 파라미터).
성능:
길 찾기 정확도: 작은 학생이 천재 교수님의 실력과 거의 똑같았습니다 (오차 5~6% 차이).
안전성 (충돌 방지): 작은 학생은 길을 잘 찾았을 뿐만 아니라, 다른 방법 (RL) 으로 가르친 학생보다 훨씬 안전했습니다.
비교: 기존 방식 (RL) 으로 가르친 학생은 길을 완전히 빗나가는 경우가 많았지만, 새로운 방식 (GKD) 으로 가르친 학생은 천재 교수님의 길 찾기를 거의 완벽하게 따라 했습니다.
5. 결론: 왜 이 연구가 중요한가요?
이 연구는 **"거대한 AI 를 차에 넣을 수 없다면, 그 지식을 작은 AI 에게 완벽하게 전달하는 방법"**을 증명했습니다.
창의적인 비유: 마치 거대한 도서관 (큰 모델) 의 모든 지식을, 작은 가방에 들어가는 요약본 (작은 모델) 에 담는 것인데, 요약본을 읽는 사람이 도서관에 있는 사람과 똑같은 판단을 내릴 수 있게 만든 것입니다.
의의: 앞으로 우리가 타는 자율주행차들이 더 똑똑해지려면 거대한 서버가 필요하지 않아도 됩니다. 차 안에 작은 컴퓨터만 있어도, 이 '지식 전수' 기술을 통해 안전하고 똑똑한 운전이 가능해질 것입니다.
한 줄 요약:
"무겁고 비싼 천재 AI 대신, 차 안에 넣을 수 있는 작은 AI 를 만들되, 선생님의 '생각 과정' 전체를 가르쳐서 작은 AI 가 큰 AI 못지않게 똑똑하고 안전하게 운전하게 만들었습니다."
이 논문은 **자율 주행 차량의 운동 계획 (Motion Planning)**을 위해 대규모 언어 모델 (LLM) 을 활용하는 과정에서 발생하는 컴퓨팅 자원 제약 문제를 해결하기 위한 온-폴리시 (On-Policy) 지식 증류 (Distillation) 기법을 제안하고 검증한 연구입니다.
주요 내용은 다음과 같습니다.
1. 문제 정의 (Problem)
배경: LLM 은 방대한 사전 학습 데이터를 통해 상식적 추론과 세계 지식을 바탕으로 자율 주행의 운동 계획을 언어 생성 문제로 재구성하여 (예: GPT-Driver) 뛰어난 성능을 보여주고 있습니다.
과제: 그러나 이러한 고성능 LLM 은 onboard 시스템 (차량 내장 하드웨어) 의 제한된 컴퓨팅 자원과 실시간 추론 요구사항을 충족시키기에는 너무 무겁습니다.
기존 방법의 한계: 기존의 지도 학습 기반 지식 증류 (Supervised Distillation) 는 정답 데이터나 교사 모델이 생성한 시퀀스로 학생 모델을 학습시킵니다. 하지만 추론 시에는 학생 모델이 스스로 생성한 이전 토큰에 의존해야 하므로, **학습 - 추론 분포 불일치 (Train-Inference Distribution Mismatch)**가 발생합니다. 이는 초기 waypoint(경로점) 의 작은 오차가 후속 경로로 전파되어 전체 궤적이 크게 이탈하는 '오차 누적' 문제를 야기합니다.
2. 방법론 (Methodology)
저자들은 GPT-Driver 프레임워크를 기반으로 하여, 8B 파라미터의 교사 모델 (Qwen3-8B) 의 지식을 1.7B 파라미터의 학생 모델 (Qwen3-1.7B) 로 전달하는 두 가지 온-폴리시 학습 방식을 비교했습니다.
데이터 및 태스크: nuScenes 데이터셋을 사용하며, 주행 장면과 차량 상태를 자연어 프롬프트로 변환하고, 사고 방지 및 경로 추정을 위한 사고 과정 (Chain-of-Thought) 과 함께 6 개의 경로점 (Waypoint) 좌표를 생성하는 구조를 따릅니다.
교사 모델 학습: Qwen3-8B 를 nuScenes 데이터로 지도 미세 조정 (SFT) 하여 강력한 교사 모델을 구축합니다.
비교 대상 1: 온-폴리시 일반화 지식 증류 (GKD)
학생 모델이 스스로 생성한 시퀀스 (On-policy rollout) 를 기반으로 학습합니다.
핵심: 각 토큰 위치에서 **교사 모델의 전체 어휘 분포 (Full Vocabulary Distribution)**를 사용하여 학생 모델의 분포와 일치시킵니다.
손실 함수: 일반화 제너-샤논 발산 (Generalized Jensen-Shannon Divergence, JSD) 을 사용하여 교사 모델이 확률을 할당한 모든 가능한 다음 토큰에 대한 정보를 학생에게 전달합니다. 이는 좌표 생성 시 유효한 숫자 조합과 물리적으로 가능한 차량 동역학을 학습하는 데 중요한 밀도 있는 신호를 제공합니다.
비교 대상 2: 밀집 피드백 강화 학습 (Dense-Feedback RL)
교사 모델의 로그 확률을 토큰 단위의 보상 (Reward) 신호로 사용하여 정책 경사 (Policy Gradient) 기반 RL 을 수행합니다.
차이점: GKD 와 달리, 샘플링된 단일 토큰에 대해서만 보상 신호를 받습니다. 다른 가능한 토큰들에 대한 정보는 무시됩니다.
3. 주요 기여 (Key Contributions)
효율적인 모델 압축: LLM 기반 자율 주행 계획자를 5 배 작은 모델 (8B → 1.7B) 로 압축하면서도 교사 모델 수준의 성능을 달성하는 것을 증명했습니다.
엄격한 비교 실험: GKD 와 RL 기반 증류 방식을 동일한 데이터, 동일한 교사 모델, 동일한 온-폴리시 설정 하에서 비교하여, 학습 알고리즘의 차이 (전체 분포 매칭 vs 샘플링된 토큰 보상) 가 성능에 미치는 영향을 명확히 규명했습니다.
안전성과 정확성 동시 달성: GKD 학생 모델이 경로 정확도 (L2 오차) 와 충돌 회피 (Collision Rate) 모두에서 RL 기반 모델을 크게 능가하며, 교사 모델에 근접하는 성능을 보임을 입증했습니다.
4. 실험 결과 (Results)
nuScenes 검증 세트 (5,119 프레임) 에서의 실험 결과는 다음과 같습니다.
궤적 정확도 (L2 Error):
GKD 학생: 평균 L2 오차 0.373m (STP-3 기준). 교사 모델 (0.355m) 대비 약 5% 의 오차만 발생했습니다.
RL 학생: 평균 L2 오차 0.579m. GKD 학생 대비 약 55% 더 큰 오차를 보였습니다.
경향: 시간 지평 (Horizon) 이 길어질수록 (1 초 → 3 초) RL 모델의 오차 누적 현상이 GKD 에 비해 훨씬 심각하게 나타났습니다.
충돌률 (Collision Rate):
GKD 학생: 0.138% (교사: 0.101%).
RL 학생: 0.363%. GKD 가 RL 대비 충돌률을 약 2.6 배 낮췄습니다.
형식 신뢰도: 두 학생 모델 모두 5,119 개의 모든 예시에서 경로 파싱 실패 (Format Error) 없이 구조화된 출력을 생성했습니다.
정성적 분석: 어려운 회전 상황에서 RL 모델은 궤적이 크게 이탈한 반면, GKD 모델은 교사 모델의 행동 패턴을 더 잘 모방하여 실제 경로에 근접했습니다.
5. 의의 및 결론 (Significance)
분포 불일치 해결의 중요성: 운동 계획과 같은 순차적 의사결정 문제에서는 초기 토큰의 작은 오차가 전체 궤적에 치명적인 영향을 미칩니다. GKD 는 **전체 분포 (Full Distribution)**를 학습함으로써 이러한 오차 누적을 효과적으로 억제하고, 물리적으로 타당한 차량 동역학을 학습하게 합니다. 반면, RL 방식은 단일 토큰의 보상만으로는 이러한 복잡한 구조적 제약을 학습하기 어렵습니다.
실용적 가치: 온-폴리시 증류 (GKD) 는 자율 주행 시스템의 제한된 컴퓨팅 환경에서도 고성능 LLM 기반 계획자를 배포할 수 있는 원칙적이고 실용적인 방법임을 입증했습니다.
향후 과제: 폐루프 (Closed-loop) 시뮬레이션 평가, 벡터화된 맵 입력 통합, 안전 목표 명시적 반영 등의 연구가 필요하다고 제안했습니다.
요약하자면, 이 논문은 **온-폴리시 일반화 지식 증류 (GKD)**가 LLM 기반 자율 주행 계획자를 소형화하면서도 안전성과 정확성을 유지하는 데 있어, 기존 RL 기반 증류나 표준 지식 증류보다 훨씬 우월한 방법임을 실험적으로 증명했습니다.