💻 computer science

Revisiting Parameter Redundancy in Vision-Language-Action Models: Insights from VLM-to-VLA Adaptation

이 논문은 VLM에서 VLA로의 적응 과정에서 나타나는 구조적 발산 패턴을 밝힘으로써 시각-언어-행동(VLA) 모델의 파라미터 중복성이 균일하다는 가설에 이의를 제기하며, 사후 복구 과정 없이도 기존 성능의 90%를 유지하면서 상당한 파라미터 감소(12%~30%)를 달성하는 새로운 다중 모듈 공동 프루닝 전략을 제시한다.

원저자: Fengnian Zhang, Tao Huang, Siyu Xu, Zhong Jin, Chang Xu

게시일 2026-07-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Fengnian Zhang, Tao Huang, Siyu Xu, Zhong Jin, Chang Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 뛰어난 세계적인 셰프(시각-언어 모델, 즉 VLM)가 있다고 상상해 보세요. 이 셰프는 레시피를 설명하고, 식재료를 식별하며, 음식에 대해 놀라울 정도로 상세하게 이야기할 수 있습니다. 이제 당신은 이 셰프를 실제로 요리할 수 있는 로봇(시각-언어-행동 모델, 즉 VLA)으로 만들고 싶습니다.

이를 위해 당신은 셰프의 뇌를 가져와서, 칼을 잡거나 냄비를 저을 수 있도록 몇 개의 새로운 "근육" 연결을 추가합니다. 하지만 문제가 발생했습니다. 셰프의 뇌는 수백만 개의 뉴런으로 가득 찬 거대한 크기입니다. 로봇은 실행하는 데 느리고, 비용이 많이 들며, 너무 많은 공간을 차지합니다. 당신은 로봇이 쓸모없는 금속 덩어리가 되지 않도록 조심하면서, 뇌를 더 작게 줄이고 싶습니다.

옛날 방식: "자르고 나서 기도하기"

전통적으로 엔지니어들이 로봇의 뇌를 줄이려고 시도했을 때는, 그저 "불필요하다"고 생각되는 부분을 잘라내기 시작했습니다.

결과: 로봇은 즉시 작동을 멈췄습니다. 컵을 잡는 법이나 팔을 움직이는 법을 잊어버린 것입니다.
해결책: 엔지니어들은 "음, 예상했던 일이야"라고 말하곤 했습니다. 그러고 나서 로봇을 다시 가르치는 데(미세 조정) 며칠 또는 몇 주를 보냈습니다.
논문의 핵심 질문: 이 논문의 저자들은 이렇게 묻습니다. "우리가 자른 후에 로봇을 처음부터 다시 가르쳐야 한다면, 우리가 제거한 것이 정말로 '불필요한' 부분이었을까요? 아니면 실수로 로봇의 손과 눈을 잘라버린 것일까요?"

그들은 재학습에 의존하는 것이 우리가 중요한 부분을 잘라냈다는 사실을 숨기는 것이라고 주장합니다. 만약 어떤 부분이 진정으로 쓸모없다면, 도움 없이도 잘라낸 후에도 로봇은 문제없이 계속 작동해야 합니다.

새로운 발견: "성장 지도"

저자들은 로봇이 요리를 배우기 전과 후의 뇌를 살펴보았습니다. 그들은 "옛날 셰프의 뇌"(VLM)와 "새로운 로봇의 뇌"(VLA)를 비교했습니다.

그들은 뇌가 무작위로 변하지 않는다는 것을 발견했습니다. 뇌는 새로운 "근육" 연결이 정확히 어디에서 자라고 있는지를 보여주는 지도처럼, 매우 구체적이고 조직적인 패턴으로 변화했습니다.

많이 변한 부분: 로봇의 팔을 제어하는 법을 배우는 부분들입니다.
변하지 않은 부분: 토마토나 숟가락을 여전히 인식하기만 하면 되는 부분들입니다.
이상하게 변한 부분: 어떤 층에서는 변화가 엄청났고, 다른 층에서는 아주 미미했습니다.

그들은 이 "변화 지도"(그들이 $\Delta$ W라고 부르는 것)가 비밀 가이드라는 사실을 깨달았습니다. 이것은 뇌의 어느 부분이 로봇을 위해 힘을 쓰고 있는지, 그리고 어느 부분이 셰프의 옛 삶에서 남겨진 찌꺼기인지를 정확히 알려줍니다.

실험: "통제된 수술"

이 이론을 증명하기 위해, 그들은 로봇의 뇌에 "통제된 수술"을 실시했습니다. 추측하는 대신, 그들은 "변화 지도"를 사용하여 무엇을 자를지 결정했습니다.

잘못된 절단: 그들은 (안전한 찌꺼기라고 생각하여) 별로 변하지 않은 부분들을 잘라보았습니다. 결과: 로봇은 즉시 무너졌습니다. 움직일 수 없게 되었습니다.
올바른 절단: 그들은 (새롭고 활발한 부분이라고 생각하여) 많이 변한 부분들을 잘라보았습니다. 결과: 놀랍게도, 로봇은 거의 완벽하게 계속 작동했습니다!

비유: 집을 상상해 보세요. 옛날 셰프가 그곳에 살면서 책이 가득한 도서관을 가지고 있었습니다(VLM). 로봇이 이사 오면서 지하실에 새로운 체육관을 만들었습니다(VLA 적응).

옛날 방식은 무작위로 벽을 허무는 것이었습니다. 만약 집이 무너지면, 나중에 다시 벽을 세우면 그만이었습니다.
새로운 방식은 새로운 체육관의 설계도를 보는 것이었습니다. 그들은 체육관의 새로운 지지 구조물들이 바로 변화한 부분들이라는 것을 깨달았습니다. 그들은 전혀 변하지 않은 옛날 도서관의 책들이 사실은 지붕을 받치고 있다는 것을 발견했습니다! 변화한 부분 중 불필요한 것을 잘라내거나, 변화한 핵심 부분을 유지함으로써, 집이 무너지지 않고도 집을 줄일 수 있었습니다.

결과: 더 작고, 더 빠르며, 재학습이 필요 없는

이 "변화 지도" 전략을 사용하여, 그들은 두 개의 유명한 로봇 뇌(OpenVLA와 $\pi$ 0.5)를 **12%에서 30%**까지 성공적으로 줄였습니다.

마법 같은 일: 그들은 이 일을 재학습이나 미세 조정 없이 해냈습니다. 로봇은 절단 직후에 즉시 작동했습니다.
비교: 그들이 다른 인기 있는 절단 방식들(예: "가장 큰 숫자를 자르기" 또는 "가장 많이 사용되는 숫자를 자르기")을 시도했을 때, 로봇은 오랫동안 재학습하지 않으면 완전히 실패했습니다.
효율성: 그들은 원래 성능의 약 **90%**를 유지하면서도 메모리를 크게 절약했습니다(로봇이 더 작고 저렴한 컴퓨터에서 돌아갈 수 있게 함).

핵심 요점

이 논문은 우리가 단순히 무엇을 자를지 추측하거나 나중에 실수를 바로잡는 것에 의존해서는 안 된다고 결론짓습니다. 뇌가 움직임을 배우는 동안 어떻게 변했는지를 살펴봄으로써, 우리는 정밀하게 "불필요한" 부분을 찾아낼 수 있습니다. 이를 통해 셰프가 로봇이 되었을 때 일어난 특정한 "성장"을 이해함으로써, 제한된 자원에서도 실행 가능한 더 작고 빠르며 효율적인 로봇을 만들 수 있습니다.

기술 요약: 시각-언어-행동(VLA) 모델의 파라미터 중복성 재고

문제 정의
시각-언어-행동(VLA) 모델은 대규모 사전 학습된 시각-언어 모델(VLM)을 로봇 제어 작업에 적응시킴으로써 체화된 지능(embodied intelligence)을 발전시켜 왔다. 그러나 이러한 모델들은 거대한 파라미터 규모를 물려받아 상당한 계산 및 저장 부담을 초래한다. 현재의 효율성 최적화 노력, 특히 파라미터 프루닝(pruning)은 결정적인 병목 현상에 직면해 있다. VLA 모델은 파라미터 제거에 극도로 민감하여, 적당한 수준의 프루닝만으로도 성능이 급격히 하락하는 '성능 절벽(performance cliff)' 현상이 나타나며, 이를 복구하기 위해 지도 미세 조정(SFT)이나 저차원 적응(LoRA)과 같은 사후 복구 메커니즘이 필수적으로 요구된다.

저자들은 이러한 성능 저하를 프러닝의 불가피한 비용으로 취급하는 기존의 공학적 패러다임에 이의를 제기한다. 그들은 복구 과정에 대한 광범위한 의존이 근본적인 문제를 은폐하고 있다고 주장한다. 즉, 프루닝된 모델이 기능을 되찾기 위해 다시 학습해야 한다면, 제거된 파라미터는 중복된 것이 아니라 필수적인 것이었을 가능성이 높다는 것이다. 이는 현재의 프루닝 기준이 VLM에서 VLA로의 적응 과정 중에 발생하는 기능적 재구조화 단계의 핵심 파라미터를 무분별하게 제거하고 있는 것은 아닌가라는 의문을 제기한다.

방법론
본 논문은 VLA 프루닝을 단순한 최적화 목표가 아니라, 파라미터의 기능적 역할을 분석하기 위한 통제된 개입으로 재정의하는 진단 프레임워크를 제안한다. 방법론은 세 가지 핵심 구성 요소로 이루어진다:

적응 신호 정량화: 저자들은 사전 학습된 VLM 가중치( $W^{VLM}$ )와 적응된 VLA 가중치( $W^{VLA}$ ) 사이의 상대적 파라미터 발산( $\Delta W$ )을 정의한다. 이들은 비전 인코더, 언어 백본, 교차 모달 프로젝터 등 서로 다른 모듈 전반에 걸친 이 발산의 공간적 분포를 시각화하여, 무작위 노이즈가 아닌 구조화된 패턴을 식별한다.
진단 프로브로서의 통제된 프루닝: 발산 신호와 기능적 중요성 사이의 인과 관계를 확립하기 위해, 저자들은 "복구 없는(recovery-free)" 평가 프로토콜을 도입한다. 이들은 후속 미세 조 조정 없이 모델에 직접 프루닝을 적용한다. 이들은 두 가지 전략을 비교한다:
- 최대 차이 프루닝(Highest-difference pruning): 가장 큰 $|\Delta W|$ 를 가진 파라미터를 제거한다.
- 최소 차이 프루닝(Lowest-difference pruning): 가장 작은 $|\Delta W|$ 를 가진 파라미터를 제거한다.
  이후 작업 성공률(SR)에 미치는 즉각적인 영향을 관찰함으로써, 어떤 발산 신호가 중복성과 상관관계가 있는지 결정한다.
다중 모듈 공동 프루닝 체계: 중복성 신호가 모듈별로 크게 다르다는 발견(모듈 이질성)에 기반하여, 차별화된 프루닝 전략을 설계한다. 이 체계는 고유한 발산 특성에 따라 비전 인코더, 언어 백본, 프로젝터에 특정 프루닝 규칙을 적용하며, 성능 붕괴를 일으키지 않고 파라미터를 줄이는 것을 목표로 한다.

주요 기여

진단 프레임워크: 저자들은 프루닝을 적응 유도 발산과 파라미터 기능적 중요성을 인과적으로 연결하는 통제된 개입으로 취급하여, 중복성 식별을 성능 복구로부터 분리하는 새로운 프레임워크를 도입한다.
"복구의 함정" 폭로: 본 연구는 사후 복구에 대한 기존의 의존이 필수적인 파라미터의 무분별한 제거를 은폐한다는 점을 보여준다. 저자들은 $\Delta W$ 신호가 강한 모듈 이질성을 보인다는 점을 입증하며, 이는 균일한 프루닝 전략이 효과적이지 않음을 의미한다.
복구 없는 프루닝 전략: 적응 신호를 활용하여 사후 프루닝 미세 조정이나 보상 없이도 상당한 압축(12%~30% 파라미터 감소)을 달성하면서도 원래 성능의 약 90%를 유지하는 다중 모듈 공동 프루닝 체계를 제안한다.

실험 결과
이 접근 방식은 두 가지 대표적인 모델 쌍인 OpenVLA(Prismatic/Llama-2 기반)와 $\pi0.5$ (PaLI-Gemma 기반)를 사용하여 LIBERO 벤치마크에서 평가되었다.

가설 검증:
- 가설 I: 실험을 통해 프루닝 후 복구가 필요한 모델은 필수적인 파라미터를 상실했을 가능성이 높음을 확인했다. "Lowest-diff" 전략으로 프루닝된 모델은 즉각 붕괴(예: 0.0% SR)했으나, LoRA 미세 조정을 통해 복구되었으며, 이는 제거된 파라미터가 중복된 것이 아니었음을 증명한다.
- 가설 II & III: $\Delta W$ 신호의 효용성은 모듈마다 다르다. 예를 들어, OpenVLA의 DINOv2에서는 최대 차이 어텐션 헤드를 프루닝하면 붕괴가 발생했고, 최소 차이 FFN 채널을 프루닝해도 붕괴가 발생했다. 반면, 프로젝터 모듈에서는 두 전략 모두 붕괴를 초래하여, 해당 모듈이 보호가 필요한 취약한 병목 지점임을 나타냈다.
- 가설 IV: 제안된 다중 모듈 체계는 복구 없이도 성공적으로 파라미터를 줄였다.
성능 지표:
- OpenVLA: "Moderate" 설정은 파라미터를 7.5B에서 6.2B(12.4GB 메모리)로 줄이면서도 LIBERO에서 62.3%의 평균 성공률을 유지했다. 이는 동일한 복구 없는 조건에서 LLM-Pruner와 같은 베이스라인 방식이 겪은 파멸적인 실패(1.0% SR)와 대조적이다.
- $\pi0.5$ : "Moderate" 설정은 메모리를 7.3GB에서 5.6GB로 줄이면서 89.0%의 평균 성공률(기존 96.9% 대비)을 유지한 반면, 기존 기준들은 전체적인 성능 붕괴를 초래했다.

의의 및 주장
본 논문은 자원이 제한된 환경에서 효율적이고 견고한 로봇 정책을 배포하기 위한 새로운 경로를 제공한다고 주장한다. "얼마나 더 많이 프루닝하고 복구할 것인가"에서 "적응 신호를 통해 진정한 중복성을 어떻게 식별할 것인가"로 초점을 전환함으로써, 저자들은 VLA 모델이 사후 복구 메커니즘 없이도 안전하게 제거할 수 있는 상당하고 구조화된 중복성을 포함하고 있음을 입증한다. 이 연구는 일반적인 인지에서 체화된 행동으로의 파라미터 진화를 이해하는 것이 효율적인 VLA 배포에 필수적임을 시사하며, 현재의 "프루닝 후 복구" 패러다임에 대한 원칙적인 대안을 제시한다.