기술 요약: Wall-OSS-0.5

문제 정의

로보틱스 커뮤니티는 비전-언어-행동(Vision-Language-Action, VLA) 모델을 로봇 정책의 기반으로 채택하는 추세입니다. 그러나 이러한 모델의 평가에는 결정적인 격차가 존재합니다. 가장 강력한 결과들은 거의 예외 없이 특정 작업에 대한 미세 조정(fine-tuning) 후에 보고됩니다. 이는 근본적인 질문을 남깁니다: VLA 사전 학습(pretraining) 자체가 실행 가능한 로봇 행동을 생성하는가, 아니면 단순히 다운스트림 정책 학습을 위한 더 나은 초기화 역할을 하는 데 그치는가?

현재의 증거들은 사전 학습만으로는 직접 사용 가능한 정책을 만들어내지 못할 수도 있음을 시사합니다. 본 논문은 VLA 사전 학습이 신뢰를 얻기 위해서는, 사전 학습된 체크포인트가 어떠한 작업별 적응(adaptation)을 거치기 전에도 물리적 하드웨어에서 관찰 가능하고 실행 가능한 능력을 입증해야 한다고 주장합니다.

방법론

Wall-OSS-0.5는 3B 파라미터 비전-언어 모델(VLM) 백본(Qwen2.5-VL-3B-Instruct)을 기반으로 구축된 오픈 소스 4B 파라미터 VLA 모델입니다. 이 아키텍처와 학습 전략은 세 가지 요구 사항을 충족하도록 설계되었습니다: 즉시 사용 가능한 유용한 조작 기술의 실행, VLM 유래의 비전-언어 능력 유지, 그리고 다운스트림 적응을 위한 강력한 사전 확률(prior) 제공.

1. 아키텍처: Mixture-of-Transformers (MoT)

이 모델은 모든 레이어에 두 개의 뚜렷한 전문가(expert)를 포함하는 Mixture-of-Transformers 백본을 채택합니다:

• VL 전문가: 비전, 언어, 고유 수용 감각(proprioception), 그리고 이산적 행동 토큰(discrete action tokens)을 처리합니다.
• Action 전문가: flow-matching 생성을 위한 연속적 행동 신호를 처리합니다.
  결정적으로, 이 전문가들은 동일한 시퀀스 수준의 어텐션 컨텍스트를 공유합니다. 이를 통해 Action 전문가는 행동을 생성하는 동안 시각 및 언어 정보에 주의를 기울일 수 있으며, 무엇보다도 전문가 간의 **엔드 투 엔드 그래디언트 흐름(end-to-end gradient flow)**을 보장합니다. 이는 단순한 라우팅 분해가 아니라 그래디언트 차단 메커니즘이 아닌, 연속적 행동 경로가 학습 중에 백본을 형성할 수 있도록 하는 구조입니다.

2. Gradient-Bridged Co-Training

핵심적인 방법론적 기여는 세 가지 상호 보완적인 목적 함수를 동시에 최적화하는 단일 단계 공동 학습(co-training) 레시피입니다:

• 이산적 행동 토큰 예측 (The Gradient Bridge): 모델은 잔차 벡터 양자화(Residual Vector-Quantization, RVQ) 행동 토킨을 자기회귀적으로 예측합니다. 이는 VLM 친화적인 강력한 교차 엔트로피(cross-entropy) 신호를 제공하여 백본을 제어 방향에 정렬된 방향으로 업데이트합니다. 이는 백본 업데이트를 이끄는 주요 동력 역할을 합니다.
• 멀티모달 교차 엔트로피 (The Anchor): 접지된(grounded) 비전-언어 데이터로 학습되어, 지시 이행, 시각적 접지, 장면 이해 능력을 보존합니다. 이 업데이트 방향은 행동 최적화와 대략적으로 직교하며, 모델이 일반적인 VLM 능력을 상실하는 것을 방지합니다.
• 연속적 Flow Matching (The Deployment Interface): Action 전문가는 flow matching을 사용하여 연속적인 행동 청크(action chunks)를 생성하도록 학습됩니다. 이것이 실행 목적을 정의하지만, 절제 연구(ablation studies)에 따르면 백본 업데이트에서 교차 엔트로피 손실에 비해 약 5%의 적은 비중만을 차지합니다.

핵심 통찰: 이산적 경로는 주로 백본을 형성하기 위한 학습 시점의 "그래디언트 브릿지" 역할을 하며, 연속적 경로는 배포 시점의 인터페이스 역할을 합니다.

3. Vision-Aligned RVQ Action Tokenizer

규칙 기반 토크나이저(FAST 등)를 대체하기 위해, 저자들은 학습된 Vision-Aligned Residual Vector Quantization (RVQ) 토크나이저를 도입했습니다. 이는 관측 조건부 델타 행동 시퀀스를 압축합니다. 표준 압축기와 달리, 이는 다음과 같은 보조 목적 함수와 함께 학습됩니다:

• Visual-Action Alignment: 행동 잠재 변수(latents)를 VLM 시각 특징 쪽으로 끌어당깁니다.
• Next-Frame Prediction: 토큰이 행동의 결과를 인코딩하도록 장려합니다.
• DCT-Domain Reconstruction: 고주파 지터(jitter)를 억제합니다.
  이를 통해 이산적 토큰이 VLM 백본에 의미론적으로 유의미하도록 보장합니다.

4. Action-Space Supervision

Flow-matching 목적 함수를 위해, 저자들은 Action-Space Supervision을 제안합니다. 속도장(velocity field)을 최소화하는 대신(표준 flow matching), 손실을 복구된 행동 자체에 대해 정의합니다. 이 공식은 $(1-\tau)^2$에 의해 손실에 가중치를 부여하여, 글로벌 궤적 형태가 형성되는 고노이즈 타임스텝을 강조합니다. 이는 유용한 작업 구조가 저주파 트렌드에 집중되는 로봇 행동의 스펙트럼 구조와 일치합니다.

5. 데이터 및 추론

• 데이터: 모델은 20개 이상의 임보디먼트(embodiment)로부터 온 100만 개 이상의 로봇 궤적과 9천만 개의 멀티모달 코퍼스로 사전 학습되었습니다. 이 코퍼스에는 멀티모달 이해를 실행 가능한 행동과 직접 연결하기 위해 행동 궤적으로부터 합성된 "embodied bridge" 샘의들이 포함되어 있습니다.
• 추론: CUDA Graphs와 융합 커널(fused kernels)을 사용하는 배포급 추론 스택은 PyTorch eager mode 대비 4배의 속도 향상을 달だけで, 고해 resolución에서 15 Hz 제어를 유지합니다.

주요 결과

제로샷 실로봇 성능 (Zero-Shot Real-Robot Performance)

특정 작업 미세 조정 없이 17개 작업의 실로봇 스위트(홀드아웃 된 변형 가능한 작업 포함)에서 평가했을 때, 사전 학습된 Wall-OSS-0.5는 유의미한 행동을 보여주었습니다:

• 블록 분류 (Block Sorting): 100% 작업 진행도.
• 과일 분류 (Fruit Sorting): 96%.
• 링 쌓기 (Ring Stacking): 86%.
• 로프 조이기 (Rope Tightening, 홀드아웃 된 변형 가능 작업): 82%.
  이 모델은 사전 학습만으로도 특히 의미론적 접지가 지배적인 작업에 대해 재사용 가능한 조작 능력을 생성할 수 있음을 입증했습니다.

미세 조정 성능 (Fine-Tuning Performance)

15개의 실로봇 작업에 대해 미세 조정을 수행한 후:

• Wall-OSS-0.5는 평균 **60.5%**의 작업 진행도를 달성했습니다.
• 이는 $\pi_0.5$보다 17.5% (60.5% vs 43.0%), DreamZero보다 27.1% 더 높은 성능을 보입니다.
• 15개 작업 중 10개에서 선두를 차지하며, 특히 조작 작업(61.1% vs $\pi_0.5$의 35.0%)에서 상당한 이득을 보여주었습니다.

멀티모달 이해 (Multimodal Understanding)

공동 학습(Co-training)은 일반적인 비전-언어 능력을 저하시키지 않습니다. 일반적인 VQA 성능은 약간 퇴보하지만(전문화를 위한 트레이드오프), **임보디드 접지(embodied grounding)**는 크게 향상되었습니다:

• Embodied Grounding: +21.8% 향상.
• Where2Place: +11.0% 향상.
  이는 모델이 기초적인 VLM 능력을 잃지 않으면서도 임보디드 인지 능력을 강화함을 확인시켜 줍니다.

절제 연구 (Ablation Studies)

• Co-training vs 대안들: 전체 그래디언트 브릿지 공동 학습 전략은 실로봇 작업에서 "flow-only", "stop-gradient", "two-stage" 방식보다 7.4~25.1 퍼센트 포인트 더 높은 성능을 보였습니다.
• Action-Space Loss: 시뮬레이션에서의 속도 공간 손실(velocity-space loss)에 비해 수렴 속도와 피크 성능(성공률 96.5%)을 개선했습니다.
• RVQ Tokenizer: VQA 정확도(+1.8%)와 작업 진행도(+18.9%) 모두에서 FAST 토크나이저보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 VLA 사전 학습을 단순한 초기화 전략에서 직접 테스트 가능하고 이미 유용한 로봇 능력의 원천으로 재정립한다고 주장합니다.

1. 사전 학습은 실행 가능한 행동을 생성한다: 결과는 대규모 VLA 사전 학습만으로도 물리적 로봇에서 측정 가능한, 높은 진전도를 보이는 제로샷 행동을 생성할 수 있음을 보여주며, 이는 사전 학습이 오직 다운스트림 미세 조정을 위해서만 유용하다는 통념에 도전합니다.
2. 그래디언트 브릿지가 결정적이다: 저자들은 이산적 행동 토큰이 단순한 배포 시의 부산물이 아니라 중요한 학습 메커니즘이라고 주장합니다. 이는 연속적 flow matching만으로는 효과적으로 수행할 수 없는, VLM 백본을 제어 방향으로 형성하는 데 필요한 강력한 그래디언트 신호를 제공합니다.
3. 통합된 아키텍처: 공유 어텐션을 가진 MoT 아키텍처를 사용함으로써, Wall-OSS-0.5는 VLM 백본으로의 그래디언트 흐름을 끊지 않으면서도 행동 생성을 성공적으로 통합하여, 의미론적 이해를 유지하면서 제어 관련 특징을 학습할 수 있게 합니다.
4. 오픈 소스 벤치마크: 즉시 작동하는 4B 모델을 공개함으로써, 저자들은 단순히 "미세 조정된 능력"이 아닌 "사전 학습된 능력"을 평가하기 위한 새로운 기준을 제공합니다.

저자들은 충분히 대규모인 VLA 사전 학습이 실제 세계의 로봇 행동을 만들어낼 수 있으며, 그 결과물인 체크포인트가 기존의 접근 방식보다 다운스트림 적응을 위한 훨씬 더 강력한 사전 확률(prior) 역할을 한다고 결론짓습니다.