기술 요약: VLM4VLA

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 사전 학습된 시각-언어 모델(VLM)을 활용하여 일반화 능력을 향상시키는 로봇 제어의 핵심 패러다임으로 부상했습니다. 그러나 근본적인 질문 중 하나인 **"특정한 VLM 백본의 선택과 내재된 능력이 어떻게 다운스트림 VLA 정책 성능으로 전이되는가?"**에 대한 연구는 여전히 미개척 상태로 남아 있습니다. 기존 문헌은 주로 네트워크 아키텍처, 행동 디코딩 방식 또는 학습 패러다임을 개선하는 데 집중해 왔으며, VLM 백본 자체의 직접적인 영향은 간과해 왔습니다. 또한, VLM의 일반적인 역량(표준 벤치마크로 측정됨)이나 특정 체화된 보조 작업(embodied auxiliary tasks)에서의 성능이 로봇 조작의 성공을 예측할 수 있는지 여부도 불분명합니다.

방법론: VLM4VLA 프레임워크

이러한 질문들에 공정하고 체계적으로 대응하기 위해, 저자들은 범용 VLM을 VLA 정책으로 변환하기 위한 최소한의 적응 파이프라인인 VLM4VLA를 소개합니다. 이 프레임워크는 공정성, 최소주의, 그리고 핵심 VLM 능력의 격리라는 세 가지 핵심 원칙을 기반으로 구축되었습니다.

• 아키텍처: VLM4VLA는 다양한 VLM 백본을 가볍고 일관된 정책 헤드 내에 캡슐화합니다. 이는 VLM으로부터 체화 관련 지식을 추출하기 위해 학습 가능한 **액션 쿼리 토큰(Action Query token)**을 도입합니다. 이 토큰의 표현은 단순한 다층 퍼셉트론(MLP)을 통해 액션 청크(action chunk)로 디코딩됩니다.
• 매개변수 효율성: 이 파이프라인은 1% 미만의 새로운 학습 가능한 매개변수를 도입하여, 성능 차이가 복잡한 정책 설계가 아닌 VLM 백본에서 기인하도록 보장합니다.
• 학습 목표: 디퓨전(diffusion)이나 플로우 매칭(flow-matching) 손실을 사용하는 최근의 많은 연구와 달리, VLM4VLA는 결정론적인 최대 우도 모방 학습(Maximum Likelihood Imitation Learning) 목표를 사용합니다. 연속적인 행동에는 수정된 MSE(Huber) 손실을 사용하고, 이산적인 말단 장치(end-effector) 상태에는 이진 교차 엔트로피(Binary Cross-Entropy)를 사용합니다. 이러한 선택은 추론의 무작위성을 줄이고 체크포인트 간의 공정한 비교를 용이하게 합니다.
• 실험 설정: 본 연구는 24개의 서로 다른 VLM(1B에서 30B 파라미터 범위)을 세 가지 시뮬레이션 벤치마크인 Calvin, SimplerEnv, Libero를 통해 평가합니다. 실험은 다음 세 가지 차원을 다룹니다:
  1. 일반적 역량: VLM 초기화 정책을 처음부터 학습하는 베이스라인과 비교하고, 표준 VQA 벤치마크와의 상관관계를 분석합니다.
  2. 체화 특화 역량: VLM을 7가지 보조 체화 작업(예: 시각적 포인팅, 깊이 추정, 체화된 QA)에 미세 조정하여, 이러한 기술이 제어로 전이되는지 테스트합니다.
  3. 모달리티 수준 분석: 시각 인코더와 단어 임베딩을 선택적으로 동결하거나 미세 조정함으로써 시각 및 언어 구성 요소의 기여도를 분리합니다.

주요 결과

1. 일반적 역량은 VLA 성능의 열등한 예측 인자임

VLM 초기화가 처음부터 학습하는 것보다 일관되게 우수한 성능을 보이지만, VLM의 일반적인 성능(예: VQA)이 다운스트림 로봇 제어 성능을 신뢰성 있게 예측하지는 못합니다.

• 불일치성: 일반적인 VQA에서 뛰어난 모델(예: QwenVL 시리즈)은 Calvin 벤치마크에서는 잘 작동하지만, SimplerEnv와 Libero에서는 일관되지 않은 결과를 보입니다. 반대로, Kosmos-2와 같은 더 작은 모델이 특정 환경에서는 더 크고 유능한 VLM보다 더 나은 성능을 보이기도 합니다.
• 상관관계 격차: 선형 회귀 분석 결과, VQA 성능과 Calvin 결과 사이에는 높은 상관관계가 있었으나, VQA 점수와 SimplerEnv 또는 Libero 성능 사이에는 뚜렷한 상관관계가 없었습니다. 이는 VLA 작업이 현재의 범용 벤치마크에서 측정되는 것과는 다른 능력을 요구함을 시사합니다.

2. 보조 체화 작업이 개선을 보장하지 않음

특정 보조 체화 작업(예: 공간 추론, 깊이 추정 또는 행동 중심 QA)에 대해 VLM을 미세 조정하는 것이 반드시 더 나은 다운스트림 제어 성능을 보장하는 것은 아닙니다.

• 성능 저하: 많은 경우, 이러한 보조 데이터셋에 대한 미세 조정은 원래의 사전 학습된 백본에 비해 VLA 성능을 약간 저하시켰습니다.
• 일반화 대 특수화: 성능을 유지한 유일한 모델들은 혼합된 범용 VQA 데이터로 미세 조정된 모델들이었으며, 이는 좁고 특화된 체화된 기술보다 폭넓은 일반적 역량이 VLA에 더 중요하다는 것을 시사합니다.

3. 시각 인코더가 주요 병목 구간임

모달리티 수준의 절제 실험(ablation) 결과, 시각 인코더가 VLA 성공의 핵심 요소인 반면, 언어 구성 요소는 상대적으로 덜 민감한 것으로 나타났습니다.

• 동결의 영향: VLA 미세 조정 중에 시각 인코더를 동결하면, 언어 모델과 단어 임베딩이 학습 가능함에도 불구하고 극적인 성능 저하(예: SimplerEnv에서 Paligemma-1의 경우 약 42% 하락)가 발생합니다.
• 매개변수 수 대비 모듈 중요도: 완전히 미세 조정된 작은 모델(Qwen2.5VL-3B)이 시각 인코더가 동결된 더 큰 모델(Qwen2.5VL-7B)보다 훨씬 더 나은 성능을 보였는데, 이는 언어 모듈의 학습 가능한 파라미터 수보다 시각적 표현을 적응시키는 것이 더 중요하다는 것을 보여줍니다.

4. "시각적 격차"는 단순한 Sim-to-Real이 아닌 의미론적 격차임

저자들은 성능 격차가 "Sim-to-Real" 시각적 불일치에서 오는지, 아니면 VLM의 이해와 로봇 제어 사이의 의미론적 불일치에서 오는지 조사했습니다.

• 실제 세계의 증거: 실제 세계 데이터셋(BridgeV2)으로 미세 조정하고 시뮬레이션에서 평가할 때도, 시각 인코더를 동결하면 여전히 낮은 성능을 보였습니다.
• 결론: 격차는 단순히 사전 학습 시의 시뮬레이션 렌더링 부족 때문이 아닙니다. 대신, **의미론적 격차(semantic gap)**가 존재합니다. 즉, 멀티모달 이해(QA, 추론)를 위해 최적화된 시각적 특징은 체화된 제어에 필요한 정교하고 낮은 수준의 행동 표현과 본질적으로 일치하지 않습니다. 제어 관련 감독 신호를 시각 인코더에 직접 주입하는 것이 일관된 이득을 가져온다는 점은 이러한 불일치를 확인시켜 줍니다.

의의 및 주장

본 논문은 체화된 AI 맥주에서 VLM을 평가하기 위한 체계적이고 공정하며 재현 가능한 프레임워크를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 가설에 대한 도전: VLM의 일반적인 역량이나 특정 체화된 보조 작업의 성능이 효과적인 로봇 제어로 직접 연결된다는 흔한 가정을 반박합니다.
2. 병목 구간 식별: 시각 인코더를 VLA 모델의 주요 성능 병목으로 지목하며, 표준 VLM 사전 학습 목표가 저수준 행동 계획에 필요한 시각적 표현을 포착하는 데 실패한다고 주장합니다.
3. 도메인 격차 통찰: 현재의 VLM 사전 학습(언어에 정렬된 시각적 이해에 초점)과 체화된 행동 계획의 요구 사항 사이의 지속적인 도메인 격차를 강조합니다. 이는 미래의 VLA 연구가 단순히 모델 크기를 키우거나 복잡한 정책 헤드를 추가하는 것이 아니라, 시각적 표현을 제어 관련 정보와 정렬하는 데 우선순위를 두어야 함을 시사합니다 합니다.
4. 실무적 가이드: 본 연구는 기초적인 모델(VLM4VLA와 같은 일관된 적응 파이프라인)이 적절한 VLM 시각 인코더를 적응시킨다면 훨씬 더 정교한 설계와도 놀라울 정도로 경쟁력이 있음을 보여줌으로써 커뮤니티에 기준점을 제공합니다.

저자들은 재현성 문제로 인해 실제 로봇에서 테스트하지 못한 한계를 인정하면서도, 다양한 시뮬레이션 벤치마크를 통한 연구 결과가 현재의 VLM과 체화된 제어 요구 사항 사이의 근본적인 불일치에 대한 강력한 통찰을 제공한다고 주장합니다.