DySL-VLA: Efficient Vision-Language-Action Model Inference via Dynamic-Static Layer-Skipping for Robot Manipulation

1. 문제 정의 (Problem)

비전 - 언어 - 행동 (Vision-Language-Action, VLA) 모델은 로봇 조작 (Manipulation) 과 같은 복잡한 작업에서 언어 추론과 비전 이해를 결합하여 뛰어난 성과를 보이고 있습니다. 그러나 실제 로봇 플랫폼에 VLA 모델을 배포할 때 다음과 같은 심각한 병목 현상이 발생합니다.

• 높은 계산 비용과 지연 시간: VLA 모델의 백본인 대규모 언어 모델 (LLM) 은 방대한 계산 자원을 요구하여 고지연 (High Latency) 과 높은 전력 소모를 유발합니다. 이는 실시간 물리적 상호작용에 필요한 고주파수 제어 (20-50+ Hz) 를 달성하는 것을 어렵게 만듭니다.
• 기존 가속화 방법의 한계: 양자화 (Quantization), 가지치기 (Pruning), 지식 증류 (Knowledge Distillation) 등의 기존 방법은 모든 행동 예측에 동일한 계산량을 할당하거나, 중요한 정보를 잃을 수 있는 조기 종료 (Early Exit) 방식을 사용합니다.
• 행동 중요도의 차이 간과: 로봇 작업 내의 모든 행동이 동일한 중요도를 갖지 않습니다. (예: 물체를 잡거나 놓는 '중요한 단계'는 정밀도가 필수적이지만, 준비 운동과 같은 '비중요한 단계'는 약간의 오차가 허용됨). 기존 방법들은 이 차이를 고려하지 않아 가속화 기회를 놓치거나 정확도를 희생합니다.

2. 제안 방법 (Methodology: DySL-VLA)

저자들은 VLA 모델의 계층 (Layer) 간 정보 기여도와 행동의 중요도 변화를 분석하여, DySL-VLA라는 새로운 프레임워크를 제안했습니다. 핵심 아이디어는 **"행동의 중요도에 따라 계층을 동적으로 건너뛰는 것"**입니다.

가. 동적 - 정적 계층 건너뛰기 (Dynamic-Static Layer Skipping)

• 정적 계층 (Static Layers): 활성화 분포를 크게 변화시키는 '정보성 (Informative)' 계층들은 반드시 실행되도록 고정합니다.
• 동적 계층 (Dynamic Layers): 상대적으로 정보가 적은 계층들은 동적으로 건너뛸 수 있도록 설계합니다.
• 어댑터 (Adapters): 건너뛴 계층들의 정보를 요약하여 다음 정적 계층의 활성화에 맞게 조정하는 경량 피드포워드 레이어를 훈련시켜 정보 손실을 최소화합니다.

나. 사전 - 사후 건너뛰기 안내 (Prior-Post Skipping Guidance)

어떤 행동을 건너뛸지 결정할 때 정확도를 보장하기 위해 두 가지 메커니즘을 도입했습니다.

• 궤적 연속성 (Trajectory Continuity) 기반 중요도 추정: 로봇의 궤적 연속성 ($C_t$) 을 계산하여 행동의 중요도를 추정합니다. 연속성이 깨지는 지점 (물체 잡기, 놓기 등 정밀 조작) 은 중요한 행동으로 간주하여 건너뛰기를 제한합니다.
• 사전 예측 (Pre-skip Prediction): 건너뛰기 허용 지점 (Skipping-allow point) 을 동적으로 이동시켜, 중요한 행동 구간에서는 건너뛰기 컨트롤러를 비활성화하고 강제로 계층을 실행합니다.
• 사후 검증 (Post-skip Verification): 연속성이 급격히 감소한 것을 감지하면, 건너뛰기를 하지 않은 상태에서 해당 행동을 다시 예측하여 초기 중요 행동의 정확성을 보장합니다.

다. 건너뛰기 인식 2 단계 지식 증류 (Skip-aware Two-stage Knowledge Distillation)

경량 컨트롤러와 어댑터만 효율적으로 훈련하기 위해 2 단계 훈련 전략을 사용합니다.

1. 1 단계: 건너뛰기 컨트롤러를 고정하고 어댑터만 훈련하여 건너뛴 계층의 정보를 요약하는 능력을 배양합니다.
2. 2 단계: 컨트롤러와 어댑터를 함께 훈련하되, 특정 동적 계층만 선택하여 건너뛰기 확률을 예측하도록 합니다. 이를 통해 컨트롤러가 모든 계층을 건너뛰는 것을 방지하고 수렴성을 높입니다.

3. 주요 기여 (Key Contributions)

1. VLA 예측에서의 계층별 성능 및 행동 중요도 변화에 대한 포괄적 분석: 모든 계층이 동등하지 않으며, 특정 계층 건너뛰기가 성능에 치명적일 수 있음을 규명했습니다.
2. DySL-VLA 프레임워크 제안: 동적 - 정적 계층 건너뛰기, 사전 - 사후 건너뛰기 안내, 그리고 2 단계 지식 증류 알고리즘을 통해 정확도 유지 하에 추론 속도를 획기적으로 개선했습니다.
3. 성능 및 효율성 증명: 기존 방법 대비 학습 파라미터와 훈련 단계를 대폭 줄이면서, 성공 길이 (Success Length) 와 지연 시간 (Latency) 측면에서 우수한 결과를 달성했습니다.

4. 실험 결과 (Results)

Calvin 및 LIBERO 벤치마크에서 RoboFlamingo 및 OpenVLA-oft 모델을 기반으로 실험을 수행했습니다.

• 성능 향상 (Accuracy):
  • Calvin 데이터셋에서 DeeR-VLA 대비 평균 성공 길이 (Success Length) 2.1% 향상.
  • LIBERO 데이터셋에서 FlexiDepth 대비 평균 성공률 (SR) 41.3% 향상.
• 속도 및 지연 시간 (Latency & Speedup):
  • RoboFlamingo 기준 대비 3.75 배의 속도 향상 (지연 시간 51.0ms → 13.6ms).
  • DeeR-VLA 대비 1.42 배의 지연 시간 감소.
• 학습 효율성 (Training Efficiency):
  • 학습 가능 파라미터 85.7 배 감소 (DeeR-VLA 대비).
  • 훈련 단계 (Training Steps) 13.7 배 감소.
  • LLM 백본 전체를 파인튜닝하지 않고 경량 어댑터와 컨트롤러만 훈련하여 비용 절감.
• 실제 배포: Jetson Orin 같은 엣지 디바이스에서도 23.2Hz 의 제어 주파수를 달성하여 실시간 로봇 제어 가능.

5. 의의 및 결론 (Significance)

이 논문은 로봇 조작 작업에서 행동의 중요도에 따른 차별화된 계산 자원 할당이 가능함을 증명했습니다. DySL-VLA 는 다음과 같은 의의를 가집니다:

• 실시간성 확보: 제한된 컴퓨팅 자원을 가진 실제 로봇 플랫폼에서도 고주파수 제어가 가능한 VLA 추론을 가능하게 합니다.
• 비용 효율성: 대규모 모델의 백본을 재학습하지 않고, 경량 모듈만 훈련하여 배포 비용을 획기적으로 낮춥니다.
• 정확도 유지: 중요한 행동 단계에서는 계층을 건너뛰지 않도록 보장하여, 가속화 과정에서 발생할 수 있는 작업 실패 위험을 최소화합니다.

결론적으로, DySL-VLA 는 VLA 모델의 실용적인 배포를 위한 효율적인 추론 프레임워크로서, 로봇 공학 및 임베디드 AI 분야에서 중요한 진전을 이룩했습니다.