기술 요약: 시각-언어-행동 모델(VLA)에서의 Drop-Then-Recovery (DTR)

1. 문제 정의

시각-언어-행동(VLA) 모델은 광범위한 시각적 및 언어적 지식을 제공하기 위해 거대하고 사전 학습된 시각-언어 모델(VLM) 백본을 상속받는, 명령 기반 로봇 조작의 지배적인 프레임워크로 부상했습니다. 그러나 저자들은 이러한 백본이 표준적인 로봇 작업에 비해 지나치게 거대할 수 있다고 주장합니다. 표준적인 작업의 명령은 대개 짧고 템플릿화되어 있으며, 제한적인 의미적 깊이(예: "빨간 컵을 집으세요")만을 요구하기 때문입니다.

본 연구가 다루는 핵심 질문은 다음과 같습니다: 폐쇄 루프 제어(closed-loop control)를 위해 VLA 모델의 어느 정도가 실제로 필요한가? 기존의 압축 방법(양자화, 가지치기)은 종종 즉각적인 성능 저하나 단일 단계 예측 손실을 기준으로 모델을 평가합니다. 저자들은 이것이 로봇 공학에서는 불충분하다고 주장합니다. 로봇 공학에서는 작은 행동 오류가 긴 시간 지평(long horizons) 동안 누적되어 작업 실패로 이어질 수 있기 때문입니다. 따라서 중복성은 회복 가능성(recoverability), 즉 구조적 축소 후 재학습(fine-tuning)을 통해 모델이 작업 성공률을 다시 회복할 수 있는지 여부로 측정되어야 합니다.

2. 방법론

2.1 Drop-Then-Recovery (DTR) 프로토콜

본 논문은 건축적 중복성을 조사하기 위해 설계된 제어된 분석 프로토콜인 DTR을 소개합니다. 가중치 수준의 압축과 달리, DTR은 명시적인 건축적 단위(트랜스포머 블록) 상에서 작동합니다. 이 과정은 두 단계로 구성됩니다:

1. Drop (제거): 사전 학습된 VLA 모델에서 선택된 트랜스포머 블록을 물리적으로 제거합니다. 이는 FLOPs, 메모리 점유율 및 지연 시간을 줄인 진정한 의미의 더 작은 밀집(dense) 모델을 생성합니다.
2. Recovery (회복): 축소된 모델을 다운스트림 로봇 작업에 대해 미세 조정합니다. 최종 지표는 이 회복 미세 조정을 통해 달성된 회복 가능성입니다. 만약 모델이 베이스라인 성능으로 회복된다면, 제거된 용량은 해당 작업 분포에 대해 중복되는 것으로 간주됩니다.

2.2 GateProbe: 블록 선택을 위한 민감도 지표

DTR의 핵심 과제는 어떤 블록을 제거할지 결정하는 것입니다. 기존의 지표들(예: 코사인 유사도, 파라미터 크기, 즉각적인 퍼플렉서티 저하)은 특히 공격적인 압축 상황에서 회복 가능성을 예측하는 데 자주 실패합니다.

저자들은 일회성 가상 게이트 민감도 지표인 GateProbe를 제안합니다:

• 메커니즘: 각 블록 $B_i$의 잔차 브랜치(residual branch)에 가상의 스칼라 게이트 $\alpha_i$를 개념적으로 배치합니다. 은닉 상태는 $\tilde{h}_i = h_{i-1} + \alpha_i \cdot F_i(h_{i-1}; \theta_i)$로 모델링됩니다.
• 민감도: 중요도 점수 $I_{gate}(B_i)$는 $\alpha_i=1$일 때 이 게이트에 대한 작업 손실(task loss)의 기대 절대 민감도입니다:
  $$I_{gate}(B_i) = \mathbb{E}_{x \sim \mathcal{D}} \left[ \left| \frac{\partial \mathcal{L}(x)}{\partial \alpha_i} \right|_{\alpha_i=1} \right]$$
• 계산: 연쇄 법칙(chain rule)에 의해, 이는 다운스트림 그래디언트($\partial \mathcal{L} / \partial h_i$)와 블록의 잔차 기여분($F_i(h_{i-1}) = h_i - h_{i-1}$)의 내적으로 계산됩니다. 이는 캘리브레이션 세트에 대해 단 한 번의 순전파-역전파(forward-backward) 패스만을 필요로 하므로, 다른 방법들이 요구하는 재학습이나 다수의 순전파 비용을 피할 수 있습니다.

3. 주요 기여

1. 비대칭적 중복성의 발견: 본 논문은 VLA 구성 요소에서 나타나는 놀라운 비대칭성을 입증합니다. 언어 백본은 표준 조작 벤치마크에 대해 매우 중복적인 반면, 시각 및 행동 경로는 제거에 훨씬 더 취약함을 보여줍니다.
2. DTR 프로토콜: 블록을 물리적으로 제거하고 미세 조정을 수행함으로써 중복성을 측정하고 활용하는 단순하며 하드웨어 불가지론적인(hardware-agnostic) 방법을 제시합니다. 이는 특수한 희소 커널(sparse kernels)에 의존하지 않고 더 작은 밀집 모델을 생성합니다.
3. GateProbe 지표: 강력한 그래디언트 기반 지표로서, 특히 다른 방법들이 회복 가능한 집합을 식별하지 못하는 극단적인 압축 시나리오에서도 블록 제거를 위해 코사인 유사도(CosSim)나 크기(Magnitude)와 같은 정적 지표보다 우수한 성능을 보입니다.
4. 벤치마크 분석: 현재의 VLA 벤치마크(예: LIBERO)가 깊은 언어 그라운딩(language grounding) 및 구성적 명령 이해에 대해 제한적인 압력을 가하고 있다는 증거를 제시합니다. 모델은 대부분의 언어 블록을 제거하고도 회복될 수 있기 때문입니다.

4. 실험 결과

4.1 시뮬레이션 벤치마크 (LIBERO, LIBERO-Plus, RoboTwin 2.0)

• 언어 중복성: LIBERO 벤치마크에서 OpenVLA-OFT의 18개 레이어 중 50%의 LLM 블록을 제거했을 때(Drop-9), 동일한 학습 컴퓨팅 조건 하에서 성공률이 95.0%에서 98.3%로 향상되었습니다. 심지어 단 두 개의 언어 블록만 남겼을 때도(Keep 2) 베이스라인 수준의 성능(95.1%)을 회복했습니다.
• 시각/행동 민감도: 이와 대조적으로, 시각 블록의 50%를 제거하면 성능이 크게 하락하며(예: OpenVLA-OFT에서 83.9%), 행동 블록을 제거하면 치명적인 실패로 이어졌습니다.
• 그래뉼러티(Granularity): 전체 블록을 드롭하는 것이 MHA 또는 MLP 서브레이어만 드롭하는 것보다 더 효과적이었습니다.
• 지표 성능: GateProbe는 모든 드롭 수준에서 가장 높거나 두 번째로 높은 성공률을 일관되게 달성하였으며, 특히 극단적인 압축 시나리오(예: 1~2개 블록만 유지)에서 Taylor, Fisher, CosSim 지표를 능가했습니다.

4.2 실제 환경 배포

• 설정: 저자들은 UFACTORY xArm 850 로봇과 Jetson Thor 에지 디바이스를 사용하여 창고 물품 분류 작업을 수행하는 $\pi0.5$를 배포했습니다.
• 결과: 학습 조건과 유사한 환경에서, 언어 블록의 절반을 제거했을 때(Drop-9) 전체 모델과 유사한 성능을 유지했습니다(성공률 65.0% vs 63.3%).
• 강건성: 표준 조건에서는 성능이 보존되었으나, 드롭된 모델(특히 2개 블록만 남긴 경우)은 분포 변화(예: 조명 변화, 새로운 객체, 컨테이너 제거) 하에서 낮은 강건성을 보였습니다. 이는 제거된 언어 용량이 물리적 섭동에 대한 일반화에 기여함을 시사합니다.

4.3 효율성 이득

• 학습: DTR은 고정된 컴퓨팅 예산 하에서 더 높은 학습 처리량(throughput)을 가능하게 합니다. 블록을 제거함으로써 모델은 더 빠르게 학습할 수 있으며, 이를 통해 더 많은 단계(steps)를 수행하거나 더 큰 배치 사이즈를 사용할 수 있습니다.
• 추론: 양자화나 희소 가지치기와 달리, DTR은 표준 밀집 모델을 생성합니다. 이는 하드웨어 불가지론적인 가속을 제공합니다. 예를 들어, OpenVLA-OFT에 적용된 DTR-16은 특수한 저비트 커널 없이도 1.64배의 작업 속도 향상과 42%의 메모리 감소를 달est했습니다.
• 비교: (회복 미세 조정 없는) 제로샷 드롭(Zero-shot dropping)은 실패율(높은 스텝 수) 증가로 인해 종종 엔드 투 엔드 작업 완료 속도가 더 느려졌으며, 이는 "Recovery" 단계의 필요성을 강조합니다.

5. 의의 및 주장

본 논문은 현재의 VLA 아키텍처가 용량 불일치(capacity mismatch) 문제를 겪고 있다고 주장합니다. 즉, 현재의 로봇 벤치마크에서 흔히 볼 수 있는 짧고 템플릿화된 명령에 비해 상속받은 언어 백본이 지나치게 크다는 것입니다.

• 아키텍처적 함의: 향다면 VLA 설계는 VLM 백본을 무작정 확장하기보다는, 작업 난이도에 맞춰 언어 구성 요소를 더 세밀하게 줄이는 등 용량을 의도적으로 할당해야 합니다.
• 벤치마크적 함의: 대규모 언어 블록 제거로부터 쉽게 회복된다는 사실은 현재의 조작 벤치마크가 풍부한 언어 그라운딩이나 구성적 추론을 충분히 테스트하지 못하고 있음을 시사합니다. 저자들은 더 복잡한 명령과 강력한 언어 조건부 제어가 요구되는 벤치마크를 촉구합니다.
• 실질적 영향: DTR은 양자화 커널과 같은 하드웨어 특정 최적화에 의존하지 않고도 효율적인 에지 배포형 VLA 모델을 구축할 수 있는 경로를 제공하며, 이를 통해 다양한 로봇 플랫폼 간의 이식성을 높일 수 있습니다.

결론적으로, 언어 백본은 현재 많은 작업에 대해 과잉 매개변수화되어 있는 반면, 시각 및 행동 구성 요소는 여전히 핵심적이며, "Drop-Then-Recovery" 프레임워크는 폐쇄 루프 로봇 제어에서 필수적인 용량과 중복되는 용량을 구분하는 데 필요한 도구를 제공합니다.