💻 computer science

Before Parc Fermé: RL-Time Pruning for Efficient Embodied LLMs in Autonomous Driving

본 논문은 자율 주행을 위한 임바디드 LLM 컨트롤러를 최적화하기 위해 강화 학습 과정에서 반복적인 모델 압축을 수행하는 새로운 프루닝 전략인 "Before Parc Fermé"(BPF)를 제안하며, 이는 사후 학습 프루닝이나 더 작은 밀집 모델을 선택하는 방식과 비교하여 우수한 성능-메모리 트레이드오프를 달고 최대 27% 더 높은 디코드 처리량을 달성한다.

원저자: Luca Benfenati, Ali Azimi, Matteo Risso, Fabio Carapellese, Daniele Jahier Pagliari, Alessio Burrello

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Luca Benfenati, Ali Azimi, Matteo Risso, Fabio Carapellese, Daniele Jahier Pagliari, Alessio Burrello

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 RobotxR1이라는 이름의 아주 똑똑하고 천재적인 로봇 드라이버가 있다고 상상해 보세요. 이 드라이버는 거대 언어 모델(LLM)이라는 '두뇌'로 구동됩니다. 이 두뇌는 모든 운전에 관한 책을 읽었고, 모든 자동차의 물리학을 알고 있으며, 당신이 평어로 전달하는 어떤 지시도 이해할 수 있는 세계적인 포뮬러 1 엔지니어와 같다고 생각하면 됩니다.

하지만 문제가 하나 있습니다. 이 엔지니어가 너무 큽니다. 그들은 거대한 책 가방(메모리)을 메고 다니며, 명령을 내리기 전에 생각하는 데 시간이 오래 걸립니다(지연 시간). 만약 이 무거운 가방을 작고 빠른 경주용 자동차(실제 로봇)에 얹으려고 한다면, 자동차는 실시간으로 경주를 할 수 없을 만큼 느려질 것입니다. 마치 피아노를 짊어진 채 마라톤을 하려는 것과 같습니다.

문제점: 언제 두뇌를 줄여야 하는가?

로봇을 더 빠르게 만들기 위해, 엔지니어들은 보통 두뇌를 '가지치기(pruning)'하려고 합니다. 가지치기는 원고를 편집하는 것과 같습니다. 불필요한 문장, 단락, 또는 책 전체를 잘라내어 책을 더 짧고 가볍게 만드는 것입니다.

하지만 까다로운 점은, 언제 이 편집을 하느냐는 것입니다.

경주가 끝난 후에? (사후 학습/Post-training): 전체 두뇌를 훈련시켜 모든 것을 배우게 한 다음, 나중에 크기를 줄이려고 시도합니다. 문제는, 두뇌가 이미 잘못된 무거운 부분들을 암기해 버렸을 수 있고, 이를 잘라냈을 때 운전 능력이 망가질 수 있다는 점입니다.
훈련을 시작하기 전에? (사전 학습/Pre-training): 먼저 두뇌를 자른 다음 훈련을 시작합니다. 문제는, 두뇌가 실제로 운전을 해보기 전까지는 어떤 부분이 정말 쓸모없는지 알 수 없다는 점입니다.

해결책: "파르크 페르메 전(Before Parc Fermé, BPF)"

이 논문의 저자들은 **Before Parc Fermé (BPF)**라고 불리는 새로운 전략을 제안합니다.

이 이름을 이해하려면 포뮬러 1 레이싱을 상상해 보세요. 경주 전, 자동차들은 "파르크 페르메(Parc Fermé, 폐쇄된 차고)"라는 곳으로 들어갑니다. 그곳에서는 자동차를 더 이상 만지거나 수정할 수 없도록 봉인됩니다. 차고에 들어간 바로 그 자동차가 경주를 하게 됩니다.

AI 훈련의 세계에서 "파르크 페르메"는 훈련이 끝나고 모델이 고정되는 순간을 의미합니다. 저자들은 모델이 차고에 잠기기 전까지 기다렸다가 편집을 시작해서는 안 된다고 주장합니다. 대신, 자동차가 트랙 위에서 튜닝되고 있는 동안 편집을 시작해야 한다고 말합니다.

그들은 이것을 **RL-Time Pruning (강화 학습 시간 가지치기)**이라고 부릅니다.

작동 방식: 두 가지 변형

논문은 이 "트랙 위에서의" 편집을 수행하는 두 가지 방법을 테스트합니다.

BPF-RL (반복적 편집): 로봇 드라이버가 레이스 트랙을 달리는 법을 배우고 있다고 상상해 보세요. 몇 바퀴 돌 때마다 엔지니어들이 개입하여 드라이버의 노트를 살펴보고 이렇게 말합니다. "타이어 압력에 관한 이 특정 단락은 필요 없으니, 이걸 빼버립시다." 그러면 드라이버는 빠진 정보에 즉각적으로 적응하며 더 가벼워진 노트로 다음 몇 바퀴를 계속 학습합니다. 그들은 노트가 딱 적절한 크기가 될 때까지 이 과정을 반복합니다.
BPF-SFT/RL (2단계 편집): 먼저 드라이버가 기본적인 규칙을 배울 때(지도 미세 조정, Supervised Fine-Tuning) 가볍게 편집을 합니다. 그 후, 드라이버가 실제 시뮬레이션에서 실시간으로 경주를 시작하면(강화 학습, Reinforcement Learning), 드라이서가 트랙에 반응하는 동안 더 많은 군더더기를 잘라내는 본격적인 편집을 수행합니다.

결과: 더 가볍고, 빠르고, 똑똑하게

연구진은 두 부분으로 구성된 실제 자율 주행 설정에서 이를 테스트했습니다:

DecisionxR1: 무엇을 할지 결정하는 '두뇌'.
MPCxR1: 실제로 차를 조종하는 '손'.

결과는 다음과 같았습니다:

더 나은 트레이드오프: 단순히 자연스럽게 작은 약한 두뇌(1.5B 모델)를 선택했다면 자동차는 더 형편없이 달렸을 것입니다. 하지만 그들이 BPF-SFT/RL 방식을 사용하여 큰 두뇌를 줄였다면, 결과물인 "미니 두뇌"는 처음부터 작은 두뇌를 선택했을 때보다 크기와 성능 사이의 균형 면에서 1.69배 더 뛰어났습니다. 이는 큰 모델의 '영리함'은 유지하면서 작은 모델의 '무게'를 갖게 된 것입니다.
실제 세계의 속도: 이 모델들을 Jetson AGX Orin 컴퓨터가 장착된 실제 로봇 자동차에 설치했을 때, 가지치기된 모델들은 명령을 생성하는 속도가 27% 더 빨랐습니다.
"장황함"의 함정: 그들은 놀라운 반전을 발견했습니다. 때때로 모델을 작게 만드는 것이 시스템 전체를 빠르게 만들지는 못했습니다. 왜일까요? 작은 모델이 자신의 결정을 설명하기 위해 때때로 더 긴 문장을 쓰기 시작했기 때문입니다. 이는 마치 가벼운 러너가 달리는 동안 계속 혼잣말을 해서 속도를 늦추는 것과 같습니다. 이를 통해 그들은 단순히 모델 크기만 봐서는 안 되며, 전체 파이프라인을 관찰해야 한다는 것을 배웠습니다.

핵심 요약

이 논문은 실시간으로 생각하고 행동해야 하는 로봇(자율 주행 자동차와 같은)의 경우, 훈련이 끝날 때까지 기다려 AI를 작게 만들어서는 안 된다고 주장합니다. 대신, 학습하는 동안 두뇌를 줄임으로써 로봇이 실시간으로 자신의 "수술"에 적응할 수 있도록 해야 합니다.

이 "Before Parc Fermé" 접근 방식은 로봇 드라이버를 빠를 만큼 가볍게 만들면서도, 복잡한 운전 과제를 처리할 수 있을 만큼 똑똑하게 만들어, 무거운 원래 모델과 자연스럽게 작은 모델들 모두를 능가하는 성과를 냅니다.

기술 요약: 효율적인 Embodied LLM을 위한 Before Parc Fermé (BPF)

문제 정의

Embodied Large Language Models (LLMs)는 자율 주행과 같은 로봇 제어 파이프라인에 점점 더 많이 배치되어 자연어 명령을 해석하고 제어 파라미터를 조정하는 역할을 수행하고 있습니다. 그러나 이러한 모델들은 메모리 오버헤드와 생성 지연 시간(generation latency) 문제로 인해, Jetson AGX Orin과 같이 제약이 있는 하드웨어에서의 실시간 실행에 어려움을 겪고 있습니다.

프루닝(Pruning)은 모델 크기와 계산 비용을 줄이는 해결책을 제공하지만, Embodied LLM의 특정 학습 파이프라인 내에서 프루닝을 수행하는 최적의 시점이 불분명합니다. 이러한 시스템은 일반적으로 지도 미세 조정(SFT)을 거친 후, 폐쇄 루프(closed-loop) 피드백을 통한 강화 학습(RL) 단계를 거칩니다.

사후 학습 프루닝 (Post-training pruning): (SFT 및 RL 이후) 최종 모델을 압축하지만, 남은 가중치들이 제거된 구조에 적응할 기회를 제공하지 못합니다.
RL 전 프루닝 (Pre-RL pruning): (SFT 이후, RL 이전) 모델이 과업에 필요한 특정 폐쇄 루프 동작을 학습하기 전에 구조를 제거하며, 이 과정에서 중요한 구성 요소를 버릴 위험이 있습니다.
더 작은 밀집 모델(Dense models)의 직접 선택: (예: 1.5B vs 3B 파라미터) 더 큰 모델이 작은 모델이 따라올 수 없는 훨씬 뛰어난 추론 능력을 제공하기 때문에, 모델 크기와 제어 적응성 사이의 최적의 트레이드오프를 달타내기 어렵습니다.

핵심 과제는 추론 및 제어 능력을 최대한 보존하면서 자원 사용량을 최소화하기 위해 언제 프루닝을 수행할 것인가를 결정하는 것입니다.

방법론: Before Parc Fermé (BPF)

저자들은 압축을 학습 과정에 직접 통합하여, 특히 RL 단계와 결합하는 프루닝 전략인 **Before Parc Fermé (BPF)**를 제안합니다. "Parc Fermé"라는 명칭은 자동차의 수정을 금지하는 포뮬러 1 기간을 의미하며, 여기서는 아키텍처가 고정되는 사후 학습 단계를 은유적으로 나타냅니다. BPF는 모델이 폐쇄 루프 동작을 위해 최적화되고 있는 도중, 즉 이 '잠금' 단계가 오기 전에 모델을 압축합니다.

이 프레임워크는 구조적 프루닝을 수행하기 위해 Taylor 기반 중요도 점수를 사용하는 LLM-Pruner를 활용합니다. 논문은 두 가지 주요 BPF 변형 모델을 여러 베이스라인과 비교 평가합니다.

BPF-RL (RL 중 반복적 프루닝):
- 모델은 프루닝 없이 전체 SFT를 거칩니다.
- RL 단계 동안, 정해진 간격( $\Delta t_{RL}$ )에 따라 반복적으로 프루닝이 수행됩니다.
- 각 간격마다 점수가 가장 낮은 파라미터 그룹이 제거되어 목표 프루닝 비율에 점진적으로 도달합니다.
- 이를 통해 남은 가중치들이 제거된 구조에 적응하면서 동시에 폐쇄 루프 과업 피드백을 받을 수 있습니다.
BPF-SFT/RL (분할 프루닝):
- SFT 단계: 초기 워밍업 단계 이후 부분적인 압축이 적용되어 모델의 일부( $\rho_{SFT}$ )를 제거합니다.
- RL 단계: RL 동안 BPF-RL과 유사하게 남은 압축량( $\rho - \rho_{SFT}$ )을 반복적으로 달성합니다.
- 이 방식은 SFT를 통해 과업 프롬프트에 기반한 명확한 중복 구조를 제거하고, RL 피드백을 통해 폐쇄 루프 성능에 기반한 압축을 정교화합니다.

비교를 위한 베이스라인:

사후 학습 프루닝 (Post-Training Pruning, PTP): 전체 SFT 및 RL 이후에 적용되는 프루닝.
PTP + Recovery: PTP 적용 후 성능 회복을 위한 추가적인 RL 단계 수행.
SFT 단계 프루닝: RL 전 SFT 단계에서 단일 압축 단계 수행.
더 작은 밀집 모델 (Smaller Dense Models): 동일한 모델 제품군의 더 작은 아키텍처를 직접 사용 (예: Qwen2.5-1.5B).

주요 기여

BPF 도입: RL을 구조적 프루닝과 결합하여 Embodied LLM 컨트롤러를 위한 새로운 프루닝 레시피를 제시하였으며, 압축 타이밍이 중요한 설계 선택임을 입증했습니다.
성능 대 효율성 트레이드오프: 저자들은 BPF 전략, 특히 BPF-SFT/RL이 사후 학습 프루닝이나 단순히 더 작은 밀집 모델을 선택하는 것보다 우수한 크기 대비 성능 트레이드오프를 달성함을 보여줍니다.
엔드 투 엔드(End-to-End) 평가: 본 연구는 Embodied LLM의 프루닝을 총체적으로 평가해야 함을 강조합니다. 프루닝으로 인한 생성 토큰 수의 변화는 다운스트림 지연 시간 및 동작을 변화시킬 수 있으므로, 고립된 메트릭 분석이 아닌 전체 파이프라인 평가가 필수적입니다.

실험 결과

방법론은 두 개의 모듈로 구성된 자율 주행 파이프라인인 RobotxR1에서 평가되었습니다.

DecisionxR1: 현재 행동이 사용자 지침과 일치하는지 평가합니다.
MPCxR1: 모델 예측 제어(MPC) 파라미터를 조정합니다.

1. 과업 성능 및 적응성

BPF-SFT/RL의 우수성: DecisionxR1 모듈(3B 파라미터)에서 BPF-SFT/RL은 최상의 트레이드오프를 달성했습니다. 45% 프루닝 비율에서, 이는 PTP+R 대비 11.4%, PTP 대비 17% 향상된 제어 적응성을 보였습니다.
더 작은 모델과의 비교: 3B 모델을 압축할 때, BPF-SFT/RL은 직접 더 작은 밀집 모델(1.5B)을 선택하는 것보다 1.69배 더 나은 크기-엔드 투 엔드 성능 트레이드오프를 달성했습니다. 구체적으로, BPF-SFT/RL은 0.91B의 파라미터를 줄이면서 적응성 손실은 7.61%에 그쳤으나, 1.5B 모델로 전환하면 파라미터는 1.55B 감소하지만 적응성 손실은 21.7%에 달했습니다.
결합 프루닝 (Joint Pruning): 두 모듈을 결합하여 프루닝했을 때, MPCxR1이 DecisionxR1보다 프루닝에 더 민감함이 드러났습니다. MPCxR1을 완만하게 프루닝(예: 10%)하고 DecisionxR1을 높게 프루닝(예: 30-45%)하는 조합이 최적의 파레토 최적(Pareto-optimal) 결과를 냈습니다.

2. 임베디드 배포 (Jetson AGX Orin)

처리량 및 메모리: 프루닝된 모델은 디코드 처리량(decode throughput)과 메모리 점유율 측면에서 상당한 개선을 보였습니다. 예를 들어, DecisionxR1을 45% 프루닝하면 메모리는 2.07GB에서 1.51GB로 감소하고, 처리량은 45에서 58 tokens/sec로 증가했습니다.
지연 시간의 미묘한 차이: 논문은 파라미터를 줄이는 것이 자동으로 엔드 투 엔드 지연 시간을 줄여주는 것은 아니라고 언급합니다. 프루닝이 생성되는 토큰의 장황함(verbosity)을 증가시켜(예: MPCxR1이 더 많은 텍스트 생성) 계산 이득을 상쇄할 수 있기 때문입니다. 지연 시간에 대한 최적의 구성(DecisionxR1 20% 프루닝, MPCxR1 0% 프루닝)은 과업 성능의 단 0.8% 하락만으로 지연 시간을 19.5% 줄였습니다.

의의 및 주장

본 논문은 BPF-SFT/RL이 자율 주행을 위한 Embodied LLM 배포에 가장 효과적인 전략이라고 주장합니다. 주요 의의는 다음과 같습니다.

타이밍의 중요성: 모델이 폐쇄 루프 피드백에 적응하고 있는 RL 단계 중에 프루닝을 수행하는 것이, 학습이 완료된 후에 프루닝하는 것보다 더 많은 추론 및 제어 능력을 보존한다는 것을 입증했습니다.
효율성 대 능력: 더 큰, 더 유능한 모델을 상당히 압축(예: 45%)하면서도, 단순히 더 작은 밀집 모델을 사용하는 것보다 원래의 대형 모델에 더 가까운 성능 수준을 유지할 수 있음을 보여주었습니다.
총체적 평가: 로봇 시스템을 위한 효과적인 압축을 위해서는 전체 제어 파이프라인을 평가해야 하며, 프루닝으로 인한 토큰 생성 길이의 변화가 다운스트림 지연 시간 및 시스템 동작에 결정적인 영향을 미칠 수 있음을 강조했습니다.

저자들은 한계점도 인정했습니다. 여기에는 프룬된 모듈 간의 공동 학습(Joint training) 부재(MPCxR1이 프룬되지 않은 DecisionxR1의 출력을 바탕으로 학습됨), 고정된 프루닝 간격 사용, 그리고 현재 추론 런타임의 차원 정렬을 위해 패딩이 필요한 양자화 인식 프루닝(Quantization-aware pruning)의 부재 등이 포함됩니다.