🤖 AI

Finetuning Vision-Language-Action Models Requires Fewer Layers Than You Think

이 논문은 시각-언어-행동(Vision-Language-Action) 모델에서 중복된 레이어를 식별하고 제거하여, 다양한 로봇 작업 전반에서 성능을 유지하거나 향상시키면서도 최대 50%의 깊이 감소와 훈련 및 추론 모두에서의 상당한 가속화를 달성하는 훈련이 필요 없는 구조적 압축 파이프라인을 소개한다.

원저자: Gia-Binh Nguyen, Trong-Bao Ho, Thien-Loc Ha, Khoa Vo, Philip Lund Møller, Quang T. Nguyen, Long Dinh, Tuan Dam, Vu Duong, Tung M. Luu, Trung Le, Tran Nguyen Le, Minh Vu, An Thai Le, Ngan Le, Daniel So

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gia-Binh Nguyen, Trong-Bao Ho, Thien-Loc Ha, Khoa Vo, Philip Lund Møller, Quang T. Nguyen, Long Dinh, Tuan Dam, Vu Duong, Tung M. Luu, Trung Le, Tran Nguyen Le, Minh Vu, An Thai Le, Ngan Le, Daniel Sonntag, James Zou, Jan Peters, Duy M. H. Nguyen, Ngo Anh Vien

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 당신에게 거대하고 초지능적인 로봇 두뇌가 있습니다. 이 두뇌는 "시각-언어-행동(VLA)" 모델입니다. 이 모델은 세상을 보고, 당신의 말소리를 이해하며, 옷을 접거나 컵을 집어 올리는 것과 같은 동작을 수행하기 위해 팔을 어떻게 움직여야 할지 정확하게 파악할 수 있습니다.

문제는 이 두뇌들이 어마어마하게 크다는 점입니다. 너무 커서 학습시키는 데 슈퍼컴퓨터로 며칠씩 걸리며, 실시간으로 구동하는 것은 마치 북적이는 시장통에서 페라리를 운전하려는 것과 같습니다. 느리고, 비용이 많이 들며, 많은 연료(컴퓨팅 파워)를 필요로 합니다.

이 논문의 저자들은 아주 단순한 질문을 던졌습니다. "우리가 정말 그 모든 두뇌가 다 필요한가?"

핵심 발견: "에코 체임버(메아리 방)" 효과

연구진은 이 거대한 로봇 두뇌 내부를 들여다보았고, 놀라운 사실을 발견했습니다. 이 두뇌들에는 중복성이 가득하다는 것입니다.

두뇌를 50명의 작업자가 있는 긴 조립 라인이라고 생각해 보세요.

작업자 1은 물체를 관찰합니다.
작업자 2는 그것을 다시 보고는 "맞아, 컵이야"라고 말합니다.
작업자 3은 그것을 보고 "여전히 컵이네"라고 말합니다.
작업자 4는 "확실히 컵이야"라고 말합니다.

연구진은 이 조립 라인의 긴 구간 동안, 작업자들이 단순히 이전 작업자가 했던 말을 반복하고 있다는 것을 발견했습니다. 그들은 새로운 것을 추가하는 것이 아니라, 그저 똑같은 정보를 메아리처럼 전달하고 있을 뿐입니다. 기술적인 용어로, 이들은 연속된 층(layer)들이 거의 동일한 "생각"(표현)을 생성한다는 것을 발견했습니다.

해결책: "CKA" 가위

모든 50명의 작업자를 다 유지하는 대신, 팀은 CLP(CKA 기반 레이어 가지치기)라고 불리는 방법을 고안했습니다.

당신이 조립 라인의 소리를 들을 수 있는 스마트한 가위를 가지고 있다고 상상해 보세요. 이 가위는 **중심 커널 정렬(Centered Kernel Alignment, CKA)**이라는 도구를 사용하여 두 작업자가 얼마나 똑같은 말을 하고 있는지 측정합니다.

만약 작업자 5와 작업자 6이 정확히 같은 말을 하고 있다면, 가위는 그들을 잘라냅니다.
그러면 작업자 4가 작업자 7에게 직접 메시지를 전달할 수 있도록 라인이 다시 연결됩니다.

결정적으로, 이 방법은 전체 두뇌를 처음부터 다시 학습시킬 필요가 없습니다. 이는 로봇이 새로운 특정 작업을 배우기 전에 한 번 수행하는 일회성 "다듬기" 작업입니다.

결과: 더 작고, 더 빠르고, 더 똑똑하게

불필요한 부분을 잘라낸 후, 결과는 인상적이었습니다.

두뇌가 작아졌습니다: 레이어를 최대 **50%**까지 제거했습니다. 이는 50층짜리 마천루를 25층짜리로 만드는 것과 같지만, 건물은 여전히 견고하게 서 있습니다.
학습이 빨라졌습니다: 모델이 더 작아졌기 때문에, 새로운 작업을 가르치는 데 드는 시간이 40~50% 감소했습니다. 예전에 20시간 걸리던 학습이 이제는 약 10시간이면 충분합니다.
실시간 속도: 이제 로봇은 실제 상황에서 약 30% 더 빠르게 생각하고 움직일 수 있습니다.
일부 사례에서의 성능 향상: 놀랍게도, 로봇이 배울 데이터가 많지 않은 상황(예: 작업을 단 100번만 본 경우)에서는 더 작은 두뇌가 거대한 두뇌보다 오히려 더 나은 성능을 보였습니다.
- 비유: 시험 공부를 한다고 생각해 보세요. 만약 당신에게 방대하고 혼란스러운 교과서(큰 모델)가 있다면, 압도당하거나 엉뚱한 것을 외울 수도 있습니다(과적합). 하지만 간결하고 명확한 요약본(가지치기 된 모델)이 있다면, 당신은 가장 중요한 사실에 집중하여 시험을 더 잘 볼 수 있습니다.

테스트 장소

그들은 단순히 컴퓨터 시뮬레이션에서만 테스트하지 않았습니다. 다음 환경에서 테스트를 진행했습니다:

가상 로봇: LIBERO 및 RoboCasa와 같은 비디오 게임 세계.
실제 로봇: 실제 실험실에서 반바지를 접거나, 냅킨을 서빙하거나, 블록을 쌓는 등의 작업을 수행하는 실제 물리적 팔(UR10 및 ALOHA 로봇 등).

결론

이 논문은 이러한 고급 로봇 두뇌들이 "과잉 설계"되어 있음을 증证明합니다. 이들은 주어진 일을 수행하기 위해 필요한 것보다 훨씬 더 많은 층을 가지고 있습니다. 반복적인 레이어를 제거하는 간단하고 학습이 필요 없는 방법을 사용함으로써, 우리는 더 저렴하게 학습시키고, 더 빠르게 실행하며, 심지어 기존보다 더 뛰어난 성능을 내는 로봇을 만들 수 있습니다.

요약하자면: 옷을 접기 위해 50개의 층을 가진 두뇌가 필요한 것은 아닙니다. 효율적으로 다듬어진 25개의 층을 가진 두뇌만으로도 충분하며, 그 두뇌는 더 빠르게 작동합니다.

기술 요약: 시각-언어-행동(VLA) 모델의 미세 조정에는 생각보다 적은 레이어가 필요하다

문제 정의

$\pi_0$ 및 GR00T-N1.5와 같은 시각-언어-행동(VLA) 모델은 비디오-로봇 데이터셋에 대한 대규모 사전 학습을 활용하여 연속 제어 정책을 생성함으로써 로봇 조작 분야에 혁신을 일으켰습니다. 그러나 이러한 최첨단(SOTA) 아키텍처는 일반적으로 수십억 개의 파라미터에 달하며, 이는 심각한 계산 병목 현상을 야기합니다. 이러한 병목 현상은 다운스트림 미세 조정(fine-tuning) 시 과도한 하드웨어 비용, 높은 운영 지연 시간, 그리고 실시간 엣지 추론을 제한하는 무거운 메모리 대역폭 오버헤드로 나타납니다.

기존의 최적화 전략은 세 가지 결정적인 한계에 직면해 있습니다:

좁은 범위: 많은 방법론이 현대적인 연속 제어 파운데이션 모델보다는 오래된 텍스트 토큰 자기회귀(autoregressive) 베이스라인(예: OpenVLA)을 대상으로 합니다.
학습 비효전성: 학습이 필요 없는 방법들(예: 토큰 프루닝, 캐싱)은 추론 속도는 높일 수 있지만, 비용이 많이 드는 다운스트림 미세 조정 단계의 계산 비용을 줄이지는 못합니다.
아키텍처 복잡성: 학습 적응형 방법(예: 동적 라우팅, 조기 종료)은 보조 모듈과 복잡한 학습 목적 함수를 도입하여 핵심 모델 구조를 변경하고, 이는 다운스트림 학습 알고리즘과의 마찰을 유발합니다.

본 연구가 다루는 핵심 질문은 미세 조정 전에 중복된 레이어를 제거하더라도 정책 성능을 희생하지 않을 수 있는가 하는 점입니다.

방법론: CKA 가이드 레이어 프루닝 (CLP)

저자들은 보조 라우팅 모듈이 필요 없는 완전한 학습 불필요(training-free) 구조 압축 파이프라인인 CLP를 제안합니다. 핵심 통찰은 현대적인 VLA 백본이 심각한 **레이어별 표현 중복성(layer-wise representational redundancy)**을 보이며, 인접한 트랜스포머 블록들이 매우 상관관계가 높은 토큰 표현을 생성한다는 것입니다.

CLP 프레임워크는 다음과 같이 작동합니다:

중복 진단: 학습 에피소드에서 샘플링한 소규모 캘리브레이션 세트를 사용하여, 단 한 번의 순방향 패스(forward pass)를 통해 은닉 상태(hidden state) 표현을 추출합니다.
유사도 측정: 인접 레이어 간의 표현 유사성을 정량화하기 위해 **중심 커널 정렬(Centered Kernel Alignment, CKA)**을 사용합니다. CKA는 직교 변환 및 등방성 스케일링에 대한 불변성을 가지고 있어, 구조적 중복성을 식별하는 데 견고하므로 선택되었습니다.
레이어 식별: 연속된 레이어 사이의 높은 CKA 점수는 최소한의 특징 변환을 의미합니다. 이 방법은 인접한 중복 레이어들을 연속적인 블록으로 결합합니다.
정적 프루닝: 각 중복 블록 내에서 초기 "기능적 앵커(functional anchor)" 레이어를 제외한 모든 레이어를 영구적으로 제거합니다. 이 과정은 시각-언어 모델(VLM) 백본과 연속 제어 정책 헤드에 각각 독립적으로 적용됩니다.
다운스트림 적응: 결과적으로 압축된 모델은 고유한 학습 목적 함수를 사용하여 대상 작업에 대해 미세 조정됩니다. 증류 손실(distillation losses)이나 아키텍처 수정은 필요하지 않습니다.

주요 기여

SOTA VLA의 접근 가능한 적응: 본 논문은 $\pi_0$ , GR00T-N1.5와 같은 최첨단 연속 제어 파운데이션 모델이 보조 라우팅이나 조기 종료 모듈을 도입하지 않고도 실질적으로 감소된 깊이로 미세 조정될 수 있음을 입증합니다.
미세 조정 전 백본 압축: CKA를 사용하여 다운스트림 적응 전에 표현상 중복되는 트랜스포머 블록을 식별하고 제거하는 간단한 캘리브레이션 기반 프레임워크인 CLP를 도입했습니다.
다양한 멀티-엠보디먼트 검증: 세 가지 시뮬레이션 벤치마크(LIBERO, RoboCasa, SimplerEnv)와 네 가지 로봇 형태(UR10, UR5, 단일 암 ALOHA, 양팔 ALOHA)에 걸친 10가지 실제 조작 작업에 대한 광범한 평가를 수행했습니다.

실험 결과

저자들은 시뮬레이션 및 실제 환경에서 CLP를 검증하였으며, 다음과 같은 주요 결과를 보고했습니다:

압축 효율성: CLP는 서로 다른 백본( $\pi_0$ $π_{0}$ , GR00T-N1.5, SmolVLA)에 대해 모델 깊이를 최대 50%까지, 학습 가능한 파라미터를 25~37%까지 줄입니다.
- 학습 속도: 학습 시간을 40~50% 단축합니다 (예: 실제 작업에서 1.94배 빠름).
- 추론 속도: 실시간 추론 속도를 최대 30% 향상시킵니다.
- FLOPs: 계산 비용을 최대 50%까지 줄입니다 (예: GR00T-N1.5의 경우 49.3% 감소).
성능 유지: 상당한 프루닝에도 불구하고, 간소화된 아키텍처는 전체 규모의 베이스 모델과 대등하거나 더 나은 성능을 보여줍니다.
- 시뮬레이션(LIBERO)에서 CLP는 학습 가능한 파라미터를 약 30% 줄이면서도 경쟁력 있는 성공률을 유지합니다.
- 실제 배포 시, CLP는 평균 성공률을 개선하며 (예: GR00T-N1.5에서 73.5%에서 75.9%로), 냅킨 서빙(+20%) 및 드라이버 배치(+15%)와 같은 특정 작업에서 전체 모델보다 우수한 성능을 보입니다.
규제 효과: 데이터가 부족한 환경에서 구조적 압축은 효과적인 규제(regularizer) 역할을 합니다. 예를 들어, LIBERO 데이터를 10%로 제한했을 때 CLP를 사용하면 성공률이 77.7%에서 84.6%로 상승하여, 전체 베이스라인 및 MoLe-VLA와 같은 동적 라우팅 방법보다 우수한 성능을 보였습니다.
베이스라인과의 비교: CLP는 학습 불필요 토큰 프루닝 방법(미세 조정 비용을 줄이지 못함) 및 학습 적응형 방법(복잡성을 추가함)보다 효율성과 샘플 효율성 측면 모두에서 뛰어난 성능을 보였습니다.

의의 및 주장

본 논문은 고급 VLA에 기존의 가정보다 훨씬 적은 레이어가 필요하다고 주장합니다. 심각한 레이어별 중복성이라는 "매우 비자명한 아키텍처적 특성"을 밝혀냄으로써, 이 연구는 확장 가능한 로봇 학습을 위한 매우 계산 효율적인 패러다임을 제시합니다.

저자들은 자신들의 접근 방식이 동적 라우팅이나 증류 파이프라인의 마찰을 피하는 "구조적으로 깔끔함(structurally clean)"을 강조합니다. 이들은 중복된 레이어를 제거하는 것이 학습과 추론을 가속화할 뿐만 아니라, 모델을 암묵적으로 규제하여 저데이터 환경에서의 과적합을 방지한다고 주장합니다. 이러한 발견은 점점 커지는 VLA 아키텍처가 반드시 필요하다는 가정에서 벗어나, 최소한의 계산 오버헤드로 적응 가능한 더 효율적이고 지속 가능한 파운데이션 정책을 향한 변화를 시사합니다.