🤖 AI

Offline Semantic Guidance for Efficient Vision-Language-Action Policy Distillation

본 논문은 비전-언어 모델로부터 오프라인 의미적 안내를 활용하여 대형 비전-언어-행동 교사 모델의 성능을 달성하거나 초과하면서도 추론 시 교사 모델이 필요 없는 경량 고속 학생 정책을 훈련하는 증류 프레임워크인 VLA-AD 를 소개한다.

원저자: Jin Shi, Brady Zhang, Yishun Lu

게시일 2026-05-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jin Shi, Brady Zhang, Yishun Lu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 완벽한 정밀도로 복잡한 요리를 할 수 있는 천재적인 세계적 셰프 (교사) 가 있다고 상상해 보세요. 이 셰프는 방대한 지식 라이브러리를 보유하고 어떤 레시피든 따를 수 있지만, 놀라울 정도로 느립니다. 양파를 다지라고 요청하면, 한 번의 절단 동작을 하기 전에 양파의 가장 적합한 각도, 질감, 그리고 양파의 역사에 대해 온 분간을 생각할지도 모릅니다. 로봇 세계에서는 이러한 '생각하는 시간'이 너무 깁니다. 로봇은 물건을 떨어뜨리거나 벽에 부딪히지 않도록 밀리초 단위로 반응해야 합니다.

문제는 셰프의 손 움직임을 단순히 지켜보는 것만으로 작고 빠른 견습 로봇 (학생) 을 가르치려 하면, 견습생이 종종 혼란을 겪는다는 점입니다. 셰프가 실수로 손을 떨거나 순간적으로 마음을 바꾸면, 견습생은 그 실수를 그대로 모방합니다. 시간이 지남에 따라 이러한 미세한 오류들이 쌓여 견습 로봇이 충돌하게 됩니다.

해결책: VLA-AD
이 논문의 저자들은 VLA-AD라는 새로운 훈련 방법을 개발했습니다. 이를 연습 세션 동안 셰프 곁에 서 있는 내레이터 (시각 - 언어 모델) 를 고용하는 것으로 생각하세요.

간단한 비유를 들어 훈련 과정이 어떻게 이루어지는지 설명해 보겠습니다.

1. 설정: 셰프, 견습생, 그리고 내레이터

셰프 (교사): 70 억 개의 파라미터를 가진 거대하고 느린 로봇 두뇌입니다. 무엇을 해야 할지 정확히 알고 있지만, 실시간 사용에는 너무 느립니다.
견습생 (학생): 1 억 5,800 만 개의 파라미터를 가진 작고 빠른 로봇 두뇌입니다. 표준 컴퓨터 (게임용 PC 등) 에서 실시간으로 실행될 만큼 충분히 빨라야 합니다.
내레이터 (VLM): 로봇의 팔을 움직이지는 않지만 장면을 지켜보며 무슨 일이 일어나고 있는지 평이한 영어로 설명하는 똑똑한 관찰자입니다.

2. 훈련 과정: '무엇' 대 '어떻게'

보통은 견습생에게 셰프의 손 movements(어떻게) 만 보여줍니다. 하지만 VLA-AD 는 내레이터로부터 '무엇'에 대한 두 번째 층위의 지시를 추가합니다.

단계 앵커 (Phase Anchor): 내레이터는 작업의 현재 단계를 지속적으로 라벨링합니다. 손이 움직이는 것만 보는 것이 아니라, 견습생은 *"우리는 이동 (Transporting) 단계에 있습니다."*라는 말을 듣습니다. 이는 견습생에게 안정적인 맥락을 제공합니다. 셰프의 손이 떨리더라도 내레이터는 "아니요, 우리는 여전히 이동 중입니다"라고 말해 견습생이 떨림을 무시하도록 돕습니다.
다중 프레임 방향 (Multi-Frame Direction): 때로는 단일 이미지가 혼란스러울 수 있습니다. 반쯤 열린 서랍을 상상해 보세요. 로봇이 서랍을 열고 있는 것인지, 아니면 닫고 있는 것인지 한 장의 사진만으로는 알 수 없습니다. 내레이터는 짧은 비디오 클립 (5 프레임) 을 보고 *"우리는 서랍을 바깥쪽으로 당기고 있습니다."*라고 말합니다. 이는 방향에 대한 혼란을 해소해 줍니다.

3. 마법의 트릭: 내레이터는 떠난다

가장 중요한 부분은 다음과 같습니다: 내레이터는 연습 기간 동안만 존재합니다.

견습 로봇이 훈련을 마치면 내레이터는 해고됩니다. 견습생은 더 이상 실행을 위해 내레이터가 필요하지 않습니다. 단계와 방향의 '느낌'을 내면화했기 때문입니다.

훈련 중: 견습생은 셰프의 손 움직임과 내레이터의 설명 모두로부터 배웁니다.
실제 작업 중: 견습생은 내레이터 없이 혼자 매우 빠르게 실행되며, 오직 자신의 눈과 두뇌만을 사용합니다.

4. 결과: 빠르고, 강력하며, 똑똑함

이 논문은 LIBERO라는 일련의 로봇 작업 (로봇을 위한 표준화된 장애물 코스와 유사함) 에서 이를 테스트했습니다.

속도: 거대한 셰프 (교사) 는 초당 약 3.8 회만 움직일 수 있었습니다. 훈련을 마친 작은 견습생은 초당 12.5 회 움직일 수 있었습니다. 이는 3 배 이상 빠른 속도입니다.
크기: 셰프의 두뇌는 거대합니다 (70 억 파라미터). 견습생의 두뇌는 작습니다 (1 억 5,800 만 파라미터). 견습생은 44 배 더 작고 가벼운 규모입니다.
성능: 작고 빠르지만, 견습생은 거대한 셰프와 거의 정확히 동일한 성능을 발휘했습니다. 사실, 내레이터가 셰프의 실수로 인한 손 떨림 (노이즈) 을 무시하도록 도와주었기 때문에, 견습생은 셰프 그 자체보다 더 안정적이었고 어리석은 실수를 할 가능성이 더 낮았습니다.

이것이 중요한 이유

이 논문은 로봇을 제어하기 위해 거대하고 느린 컴퓨터가 필요하지 않음을 보여줍니다. 올바른 방법으로 가르친다면 말입니다. 훈련 동안 작업의 이야기 (단계와 방향) 를 설명하는 똑똑한 '내레이터'를 사용하면, 초지능적이지만 느린 로봇을 일상적인 하드웨어에서 실행할 수 있는 작고 빠른 로봇으로 압축하면서도 그 지능을 잃지 않게 할 수 있습니다.

이는 운전자에게 스티어링 휠의 움직임만 보여주는 것이 아니라, 레이스 트랙의 논리를 설명해 주는 것과 같습니다. 그들이 논리를 이해하면, 귀에 지시를 외치는 코치가 필요 없이 차를 완벽하게 운전할 수 있습니다.

기술 요약: 효율적인 비전 - 언어 - 행동 정책 증류를 위한 오프라인 의미론적 안내

문제 제기
수십억 개의 파라미터를 가진 비전 - 언어 - 행동 (VLA) 정책은 로봇 조작 분야에서 강력한 일반화 능력을 입증했으나, 그 규모와 추론 지연 시간으로 인해 실시간 배포에 상당한 장벽에 직면해 있습니다. 이러한 대규모 모델을 표준 행동 복제 (Behavioral Cloning, BC) 를 통해 경량 학생 정책으로 증류하는 것은 일반적인 해결책이지만, 누적 오류라는 치명적인 취약점을 도입합니다. 단일 작업 데이터셋은 제한된 상태 공간만을 다루므로, 학생 정책은 폐루프 실행 중 분포 변화를 겪어 오프라인 행동 예측 정확도가 높음에도 불구하고 실패하는 경우가 많습니다. 또한, 표준 BC 는 의미론적 근거가 부족하여 학생 정책이 노이즈가 포함된 교사 행동 (예: 고주파 그리퍼 진동) 에 민감하게 반응하고 고수준 작업 논리를 추론하지 못하게 합니다.

방법론: VLA-AD
저자들은 대규모 VLA 교사 (예: OpenVLA-7B, $\pi_0.5$ -4B) 로부터 경량 학생 정책으로 지식을 전이하기 위해 비전 - 언어 모델 (VLM) 을 오프라인 의미론적 감독자로 활용하는 증류 프레임워크인 VLA-AD를 제안합니다. 핵심 혁신은 VLM 이 훈련 중에만 활성화되고 배포 시 완전히 제거되어 추가적인 추론 지연 시간을 전혀 발생시키지 않는 이중 경로 병렬 감독 메커니즘입니다.

방법론의 주요 구성 요소는 다음과 같습니다:

이중 경로 감독: 학생은 다음으로 구성된 결합 손실 함수를 최소화하도록 훈련됩니다.
- 전체 경로 ( $L_{full}$ ): 원시 시각 관찰, 작업 지시사항, 그리고 VLM 이 생성한 의미론적 설명을 조건으로 하여 교사의 7 자유도 (7-DoF) 행동 타겟에 의해 감독됩니다.
- 이미지만 경로 ( $L_{img}$ ): 동일한 행동 타겟에 의해 감독되지만 텍스트 설명은 마스킹됩니다. 이는 학생이 '설명 전용' 단축 경로로 수렴하는 것을 방지하여 시각 인코더가 자체적으로 충분하도록 강제합니다.
위상 고정 시각 설명: VLM 의 언어적 확률성 (동일한 상태가 다르게 설명될 수 있음) 을 완화하기 위해, 저자들은 휴리스틱 분류기를 사용하여 각 프레임에 고정된 9 클래스 위상 레이블(예: 접근, 잡기, 수송, 놓기) 을 할당합니다. 이 레이블은 VLM 프롬프트에 주입되어 모델이 일관된 의미론적 좌표계에 고정된 설명을 생성하도록 강제합니다.
다중 프레임 작동 방향: 서랍 열기 등 방향적 모호성이 있는 위상의 경우, 시스템은 5 프레임 시간 창을 추출합니다. VLM 이 이 시퀀스를 분석하여 특정 (요소, 방향) 튜플 (예: 서랍손잡이, 바깥쪽) 을 결정하면, 해당 세그먼트의 모든 프레임에 브로드캐스트되어 시간적 모호성을 해결합니다.
노이즈 내성: 원시적이고 노이즈가 많은 프레임 단위 행동 대신 안정적인 위상 앵커에 학생을 근거시킴으로써, 이 프레임워크는 교사의 궤적에 존재하는 고주파 오류 (예: 불필요한 그리퍼 뒤집기) 를 학생이 평활화할 수 있게 합니다.

주요 기여

VLM 지원 오버헤드 제로 증류: 이 프레임워크는 오프라인 의미론적 안내를 사용하여 수십억 규모 VLA 교사를 경량 학생 (예: 158M 파라미터) 으로 압축합니다. VLM 은 추론 시 필요하지 않아 저지연 성능을 유지합니다.
교사 무관 일반화: 의미론적 감독 파이프라인은 서로 다른 교사 아키텍처 간에 일반화됩니다. 동일한 증류 전략이 OpenVLA-7B 와 $\pi_0.5$ -4B 양쪽으로부터 성공적으로 지식을 전이함으로써, 학습된 의미론적 앵커는 특정 교사의 행동 분포를 모방하는 것을 넘어 전이 가능한 조작 구조를 포착함을 시사합니다.
구조화된 의미론적 앵커: 위상 앵커와 다중 프레임 방향 단서의 도입은 학생에게 일관된 시공간적 맥락을 제공하여 노이즈가 많은 교사 레이블에 대한 민감도를 낮추고 폐루프 내성을 향상시킵니다.

실험 결과
LIBERO 벤치마크 스위트 (libero_object, libero_spatial, libero_goal) 에서 평가한 결과, 다음과 같은 성과가 입증되었습니다:

성능 동등성: OpenVLA-7B 를 교사로 사용할 때, 158M 파라미터 학생은 세 스위트 전반에 걸쳐 평균 상대 격차가 0.27% 이내로 교사와 실질적으로 동등한 성능을 달성합니다.
교사 능가: $\pi_0.5$ -4B 교사로부터 증류된 경우, 학생은 세 스위트 중 두 개 (libero_object 및 libero_spatial) 에서 교사를 능가하며 libero_goal 에서는 0.53% 이내로 유지됩니다.
추론 효율성: RTX 4090 에서 증류된 학생은 12.5 Hz(OpenVLA 교사 기준) 및 13.2 Hz( $\pi_0.5$ 교사 기준) 로 실행되어, respective 교사 대비 3.28 배에서 3.45 배의 속도 향상을 보이며 모델 파라미터는 44 배 감소했습니다.
노이즈 내성: 교사 롤아웃 분석을 통해 체계적인 고주파 그리퍼 노이즈 (약 3% 의 프레임) 가 발견되었습니다. VLA-AD 학생은 위상 수준 감독을 통해 자가 취소 레이블을 필터링하는 능력을 입증하며, 교사에 비해 불필요한 그리퍼 뒤집기를 9 배 감소시켰습니다.

의의
이 논문은 VLA-AD 가 실제 로봇 플랫폼에 경량이고 강건한 VLA 정책을 배포하기 위한 실용적인 경로를 제공한다고 주장합니다. VLM 을 온라인 컨트롤러가 아닌 오프라인 주석자로 활용함으로써, 이 방법은 실시간 추론 속도를 훼손하지 않고 정책 학습에 고수준 의미론적 구조를 주입합니다. 이러한 발견은 의미론적 안내가 VLA 정책 증류의 효율성, 강건성 및 배포 가능성을 크게 향상시켜, 경량 모델이 교사의 원시 행동 분포를 넘어 일반화되는 폐루프 행동을 학습할 수 있게 함을 시사합니다.