Adaptive Capacity Allocation for Vision Language Action Fine-tuning

본 논문은 비전 - 언어 - 행동 (VLA) 모델의 미세 조정 시 고정된 랭크의 한계를 극복하고, 입력 및 레이어별 용량을 동적으로 조절하는 'LoRA-SP'라는 새로운 방법을 제안하여, 적은 학습 파라미터로도 풀 파인튜닝 수준의 성능을 달성하고 다중 작업 성공률을 크게 향상시킨다고 설명합니다.

핵심

1. 문제 상황: "모든 로봇에게 똑같은 크기의 가방을 주면 안 돼요"

배경:
최근 로봇은 사람처럼 눈 (비전) 과 말 (언어) 을 이해하고 행동 (액션) 을 하는 'VLA(시각 - 언어 - 행동) 모델'을 통해 많은 일을 배웁니다. 하지만 이 로봇이 훈련된 환경과 다른 곳 (예: 팔의 길이가 다르거나, 카메라 위치가 다른 곳) 에 가면, 다시 적응 (파인튜닝) 을 해야 합니다.

기존 방법 (LoRA) 의 한계:
기존에는 로봇을 적응시킬 때 **'LoRA'**라는 기술을 썼습니다. 이를 비유하자면, 로봇에게 "작은 가방 (Rank)" 하나를 주어 필요한 도구만 챙겨가게 하는 방식입니다.

• 문제점: 모든 로봇에게 똑같은 크기의 가방을 주면 안 됩니다.
  • 언어 모델 (LLM): 간단한 말하기 작업은 아주 작은 가방 (작은 크기) 으로도 충분합니다.
  • 로봇 (VLA): 복잡한 물리 세계 (팔을 움직여 컵 따기 등) 를 다룰 때는 훨씬 더 큰 가방 (큰 크기) 이 필요합니다.
  • 혼란: 로봇이 여러 가지 일을 동시에 배울 때, 어떤 일은 작은 가방이 필요하고 어떤 일은 큰 가방이 필요합니다. 그런데 "모든 로봇에게 '중간 크기' 가방 하나만 주면"?
    • 작은 가방이 필요한 일은 과부하가 걸리고,
    • 큰 가방이 필요한 일은 도구가 부족해 실패합니다.
    • 서로 다른 일이 같은 가방을 공유하다 보니, 작업들이 서로 간섭을 일으켜 성능이 떨어집니다.

2. 해결책: "LoRA-SP (선택 - 가지치기)"

이 논문은 **"상황에 따라 가방 크기를 자동으로 조절하고, 필요한 도구만 챙기는 지능형 시스템"**을 제안합니다. 이를 LoRA-SP라고 부릅니다.

핵심 비유: "스마트한 여행 가방과 현명한 여행 가이드"

LoRA-SP 는 두 가지 핵심 기능을 가집니다.

1) 넓은 기반의 도구함 (Vector Bank)
먼저, 로봇에게 아주 넓은 도구함 (128 개의 다양한 도구) 을 준비해 둡니다. 하지만 모든 도구를 항상 들고 다니는 건 아닙니다.

2) 현명한 가이드 (Router)
로봇이 어떤 일을 할지 (예: "컵 따기") 결정되면, **가이드 (라우터)**가 그 일을 분석합니다.

• "이 일은 3 개의 도구만 있으면 충분해!"
• "저 일은 10 개의 도구가 필요해!"
• 가이드는 각 도구에게 점수를 매겨, **"이 도구가 이 일에 얼마나 중요한가?"**를 판단합니다.

3) 에너지 기준 (Energy Target) 으로 선택하기
가이드는 "중요한 도구들의 점수 합계가 전체 점수의 90% 이상이어야 해"라고 정해둡니다 (이걸 에너지 목표라고 합니다).

• 점수가 높은 중요한 도구들만 가방에 넣고,
• 점수가 낮은 불필요한 도구들은 **가지치기 (Prune)**해서 버립니다.
• 결과적으로 로봇은 작은 가방으로 필요한 도구만 챙겨서 가볍고 빠르게 일을 처리합니다.

3. 왜 이 방법이 더 좋은가요?

이 논문은 실제 7 개의 관절을 가진 로봇 팔 (AgileX PiPER) 로 실험을 했습니다.

• 기존 방법 (LoRA): 가방 크기를 고정하면, 여러 일을 동시에 배울 때 서로 부딪혀서 실패율이 높았습니다. (성공률 60~70% 수준)
• 새로운 방법 (LoRA-SP):
  • 상황별 적응: 시각 (눈) 이 필요한 작업은 많은 도구를, 언어 (말) 가 필요한 작업은 적은 도구를 자동으로 선택합니다.
  • 간섭 제거: 각 작업이 필요한 도구만 따로 챙기므로, 작업들이 서로 방해하지 않습니다.
  • 결과: 기존 방법보다 최대 31.6% 더 많은 일을 성공적으로 수행했습니다. 그리고 전부를 다 학습하는 것 (Full Fine-tuning) 과 비슷한 성능을 내면서도, 학습해야 하는 데이터 양은 훨씬 적게 줄였습니다.

4. 요약: 한 줄로 정리하면?

"로봇이 새로운 일을 배울 때, 모든 로봇에게 똑같은 크기의 가방을 주는 대신, 각 작업의 중요도에 따라 필요한 도구만 똑똑하게 골라주는 '스마트 가방'을 만들어주니, 로봇이 훨씬 더 빠르고 정확하게 여러 일을 동시에 잘하게 되었다."

이 기술은 로봇이 다양한 환경과 다양한 일을 유연하게 처리할 수 있게 해주는 핵심 열쇠가 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

비전 - 언어 - 행동 (VLA) 모델의 적응적 미세 조정 (Fine-tuning) 과 LoRA 의 한계

• 배경: 물리적 AI (Physical AI) 분야에서 VLA 모델은 로봇이 시각적 입력과 언어 지시를 바탕으로 행동을 생성하는 데 널리 사용됩니다. 그러나 사전 훈련된 VLA 모델을 새로운 환경, 새로운 로봇 몸체 (Embodiment), 또는 새로운 작업에 적용할 때는 적응 (Adaptation) 과정이 필수적입니다.
• 기존 방법의 문제점: 파라미터 효율적 미세 조정 (PEFT) 기법인 LoRA (Low-Rank Adaptation) 가 주로 사용되지만, 이는 고정된 랭크 (Rank, $r$) 를 사용합니다.
  • 랭크 불일치: 언어 모델 (LLM) 의 경우 작은 랭크 ($r \in \{4, 8\}$) 만으로도 높은 성능을 내지만, VLA 모델 (예: $\pi_0$) 은 로봇의 몸체나 환경이 달라질 때 훨씬 더 높은 랭크 ($r \approx 128$) 가 필요합니다.
  • 고정 랭크의 비효율성: 단일 전역 랭크 (Global Rank) 를 설정하면, 다양한 작업 간 간섭 (Interference) 이 발생하거나, 일부 작업은 과소적합 (Underfitting) 되고 다른 작업은 과적합 (Overfitting) 되는 문제가 발생합니다. 특히 다중 작업 (Multi-task) 환경에서는 최적의 랭크가 작업마다 달라 고정 랭크 선택이 매우 어렵습니다.

2. 제안 방법: LoRA-SP (Select-Prune)

저자들은 고정된 랭크를 대체하여 입력 (Input) 과 레이어 (Layer) 단위로 적응적으로 용량 (Capacity) 을 할당하는 LoRA-SP를 제안합니다.

핵심 메커니즘

1. SVD 스타일 파라미터화:
   • 기존 LoRA 의 $\Delta W = BA$를 $\Delta W = U \text{diag}(s(x)) V$ 형태로 일반화합니다.
   • 여기서 $U, V$는 공유되는 벡터 뱅크 (Vector Bank, 기저) 이고, $s(x)$는 입력 $x$에 따라 생성되는 비음수 (Non-negative) 스코어입니다. 이 스코어는 특이값 (Singular Values) 역할을 합니다.
2. Select (선택):
   • 경량화된 라우터 (Router) 가 각 입력과 레이어에 대해 기저 벡터들의 중요도 스코어를 생성합니다.
   • 누적된 스코어의 제곱 합 (Cumulative Squared Scores, 에너지) 이 임계값 $\eta$를 만족하는 최소한의 벡터 집합만 선택합니다.
   • 수식: $E(k) = \frac{\sum_{i=1}^k s_i(x)^2}{\sum_{j=1}^r s_j(x)^2} \geq \eta$.
   • 이 과정을 통해 입력마다 유효 랭크 (Active Rank) $k$가 동적으로 결정됩니다.
3. Prune (가지치기) 및 스펙트럼 손실 (Spectral Loss):
   • 선택되지 않은 벡터는 0 으로 설정하여 실제 추론 시 계산 비용을 줄입니다.
   • 스펙트럼 손실 ($L_{spec} = 1 - E_k(x)$) 을 추가하여, 라우터가 에너지를 소수의 방향에 집중하도록 유도합니다. 이는 훈련 과정에서 유용한 방향을 증폭시키고 불필요한 방향을 제거하는 양성 피드백 루프를 형성합니다.
4. 손실 함수:
   • 전체 손실은 작업 손실 ($L_{task}$), 스펙트럼 집중 손실 ($L_{spec}$), 라우터 정규화 ($L_{router}$) 의 합으로 구성됩니다.

3. 주요 기여 (Key Contributions)

1. 랭크 요구 사항의 정량화: VLA 모델의 OOD (Out-of-Distribution) 몸체 전이 (예: AgileX PiPER 로봇) 는 언어 모델보다 훨씬 큰 랭크가 필요함을 실험적으로 증명했습니다. 이는 고정 랭크의 한계를 보여주고 적응형 할당의 필요성을 강조합니다.
2. 적응형 미세 조정 방법론 개발: 입력과 레이어 조건에 따라 학습 가능한 용량을 동적으로 조절하는 LoRA-SP 를 제안했습니다. 라우터가 생성한 특이값 유사 스코어를 기반으로 유효 랭크를 결정하고, 스펙트럼 손실을 통해 효율적인 가지치기를 수행합니다.
3. 실제 로봇 환경에서의 검증: 7 자유도 (7-DoF) AgileX PiPER 로봇 팔을 사용하여 4 가지 실제 조작 작업 (Pot 열기, 블록 부어주기, 버튼 누르기, 포도 집어넣기) 에서 $\pi_0$와 SmolVLA 두 가지 백본 모델로 실험을 수행했습니다.

4. 실험 결과 (Results)

• 다중 작업 성능 향상:
  • 표준 LoRA (고정 랭크) 는 다중 작업 학습 시 성능이 급격히 저하되었으나, LoRA-SP 는 다중 작업 성공률을 최대 31.6% 까지 향상시켰습니다 (SmolVLA 기준).
  • $\pi_0$ 모델에서는 평균 성공률이 23.3% 향상되었습니다.
• 파라미터 효율성:
  • LoRA-SP 는 전체 파라미터의 약 9~17% 만 학습 가능하게 만드면서도, 전체 미세 조정 (Full Fine-tuning) 과同等하거나 더 높은 성능을 달성했습니다.
  • 학습 가능한 파라미터 수는 적지만, 활성화된 랭크 (Active Rank) 는 작업 난이도에 따라 동적으로 조절되어 효율성을 극대화했습니다.
• 레이어별 용량 할당 분석:
  • 실험 결과, 비전 타워 (Vision Tower) 는 높은 랭크가 지속적으로 필요했으나, 언어 모델 (Language Model) 과 액션 전문가 (Action Expert) 는 상대적으로 낮은 랭크로 충분함이 확인되었습니다. LoRA-SP 는 이러한 모듈별 차이를 자동으로 학습하여 고정 랭크 방식의 비효율성을 해결했습니다.
• Ablation Study:
  • 스펙트럼 손실을 제거할 경우 활성 랭크가 비효율적으로 증가하고 성능이 저하됨을 확인했습니다.
  • 에너지 임계값 ($\eta$) 을 0.9 로 설정했을 때 성능과 효율성 간의 최적 균형을 이룸을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 VLA 모델의 적응 과정에서 발생하는 "고정된 랭크의 비효율성" 문제를 해결했습니다.

• 기술적 의의: 단일 전역 랭크에 의존하던 기존 PEFT 방식을 탈피하여, 입력과 레이어의 특성에 따라 동적으로 필요한 정보의 양 (랭크) 을 결정하는 새로운 패러다임을 제시했습니다.
• 실용적 의의: 실제 로봇 시스템에서 다양한 몸체와 환경에 대한 일반화 능력을 향상시키면서도, 계산 비용과 메모리 사용량을 크게 줄여 실시간 배포 가능성을 높였습니다.
• 미래 전망: 물리적 AI 가 다양한 환경과 작업에 적용될 때, LoRA-SP 와 같은 적응형 용량 할당 기법은 모델의 확장성과 효율성을 보장하는 핵심 기술로 자리 잡을 것으로 기대됩니다.

요약하자면, LoRA-SP는 "모든 작업에 동일한 크기의 적응기를 사용하는 것" 대신, "각 작업과 입력 상황에 맞춰 필요한 만큼만 적응기를 확장하거나 축소하는" 지능적인 미세 조정 방식을 통해 VLA 모델의 실용성을 크게 높인 연구입니다.