StarVLA: Vision-Language-Action (VLA) 모델 개발을 위한 레고와 같은 코드베이스

1. 문제 정의 (Problem)

로봇을 위한 범용 에이전트 (Generalist Embodied Agents) 를 구축하기 위해서는 지각, 언어 이해, 행동 (Action) 을 통합하는 것이 필수적입니다. 최근 Vision-Language-Action (VLA) 모델은 다중 모달 기초 모델을 기반으로 급속한 발전을 이루고 있으나, 연구 커뮤니티는 다음과 같은 심각한 분열 (Fragmentation) 상태에 직면해 있습니다.

• 아키텍처 및 코드베이스의 불일치: 기존 VLA 방법론들은 호환되지 않는 아키텍처, 코드베이스, 평가 프로토콜로 개발되어 있습니다. VLM(시각 - 언어 모델) 기반 방법과 월드 모델 (World Model) 기반 방법이 서로 다른 환경에서 개발되어 체계적인 비교가 어렵습니다.
• 재현성 및 비교의 어려움: 데이터 전처리, 학습 파이프라인, 평가 지표가 연구마다 달라 공정한 비교와 결과의 재현이 불가능한 경우가 많습니다.
• 모듈화 부재: 기존 코드베이스는 특정 방법에 종속되어 있어, 백본 (Backbone) 이나 액션 헤드 (Action Head) 를 독립적으로 교체하거나 새로운 아키텍처를 실험하기 어렵습니다.

이러한 분열은 VLA 연구의 '바벨의 탑 (Tower of Babel)' 상태를 만들어 아이디어의 비교, 재현, 재구성을 어렵게 만들고 있습니다.

2. 방법론 (Methodology)

StarVLA 는 이러한 문제를 해결하기 위해 모듈형 백본 - 액션 헤드 아키텍처를 기반으로 한 통합 오픈소스 프레임워크를 제시합니다.

2.1 통합 아키텍처: 백본 - 액션 헤드 분해

StarVLA 는 모든 VLA 시스템을 **공유 비전 - 언어 백본 (Shared VL Backbone)**과 **플러그 가능한 액션 헤드 (Pluggable Action Head)**로 분해합니다.

• 백본: 장면과 지시를 인코딩합니다. (예: Qwen-VL, Cosmos 등 VLM 또는 월드 모델 백본 지원)
• 액션 헤드: 백본의 표현을 모터 명령으로 매핑합니다.
• 모듈성: 백본과 액션 헤드는 서로 독립적으로 교체 가능하며, 이는 동일한 데이터 인터페이스와 학습 루프 하에서 작동합니다.

2.2 대표적 VLA 구현체 (4 가지 패러다임)

StarVLA 는 하나의 통합 인터페이스 하에 4 가지 대표적인 액션 디코딩 패러다임을 구현합니다.

1. StarVLA-FAST: VLM 토큰 공간을 활용한 자동회귀 (Autoregressive) 토큰화 방식.
2. StarVLA-OFT: 사전 정의된 토큰의 은닉 상태를 읽어 연속적인 행동을 병렬 회귀 (Parallel Regression) 하는 방식 (OpenVLA-OFT 기반).
3. StarVLA-π (Pi): 멀티레이어 VL 은닉 상태에 조건부 흐름 매칭 (Flow-matching) 을 통해 반복적 디노이징으로 행동을 예측하는 방식.
4. StarVLA-GR00T: 느린 추론 (System 2) 을 위한 VL 백본과 빠른 행동 생성 (System 1) 을 위한 DiT 기반 모듈을 결합한 이중 시스템 (Dual-system) 설계.

2.3 통합 학습 및 평가 파이프라인

• 학습 전략: 단일 벤치마크 학습, 멀티 모달 코-트레이닝 (VLM 데이터와 로봇 데이터 병행 학습), 이종 로봇 (Cross-embodiment) 데이터 혼합 학습을 모두 지원합니다.
• I/O 인터페이스: 학습과 추론 시 로봇이 실제 수신하는 '원시 (Raw) 센서 데이터'를 직접 처리하도록 설계하여, 학습/테스트 분포 불일치를 최소화합니다.
• 평가: LIBERO, SimplerEnv, RoboTwin 2.0, RoboCasa-GR1, BEHAVIOR-1K 등 주요 5 개 벤치마크를 통합된 서버 - 클라이언트 인터페이스로 지원합니다. 시뮬레이션과 실제 로봇 배포 시 동일한 체크포인트를 재사용 가능합니다.

3. 주요 기여 (Key Contributions)

1. 최고 수준의 통합 오픈소스 프레임워크: VLM 기반과 월드 모델 기반 VLA 를 하나의 모듈형 프레임워크로 통합한 최초의 플랫폼입니다.
2. 모듈형 설계 (Lego-like): 백본과 액션 헤드를 자유롭게 교체하여 다양한 아키텍처 조합을 실험할 수 있게 하여, 설계 선택의 영향을 격리하여 분석할 수 있습니다.
3. 재현 가능한 베이스라인 제공: 최소한의 데이터 엔지니어링으로 주요 벤치마크에서 기존 최첨단 방법론 (SOTA) 과 경쟁하거나 이를 능가하는 성능을 내는 학습 레시피를 제공합니다.
4. 일반화된 VLA 관점 제시: VLM 기반과 월드 모델 기반 방법이 근본적으로 다른 패러다임이 아니라, 보조 학습 신호 (Language-aligned reasoning 또는 Future observation prediction) 의 차이일 뿐인 일반화된 VLA 관점을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

StarVLA 는 다양한 벤치마크에서 광범위한 실험을 수행하여 그 유효성을 입증했습니다.

• LIBERO: 30K 스텝 (약 10 에포크) 만으로 OpenVLA-OFT(175K 스텝) 와 유사하거나 더 나은 성능 (평균 96.6%) 을 달성했습니다. Qwen3-VL 과 Cosmos-Predict2 백본 모두에서 높은 성능을 보였습니다.
• SimplerEnv: WidowX 및 Google Robot 환경에서 강력한 성능을 보였으며, 특히 WidowX 에서 평균 성공률 65.3% 를 기록했습니다.
• RoboCasa-GR1: 24 가지 태스크에서 StarVLA-OFT 가 48.8% 의 평균 성공률을 기록하여 π0.5(37.0%) 보다 11.8%p 높은 성능을 보였습니다.
• RoboTwin 2.0: 50 개 태스크에 대한 단일 정책 학습에서 모든 StarVLA 변형이 강력한 성능을 보였으며, Clean/Random 조건 모두에서 88% 이상의 성공률을 달성했습니다.
• 멀티 모달 코-트레이닝: 로봇 행동 데이터만 학습할 때 발생하는 VLM의 '망각 (Forgetting)' 현상을 방지하고, 공간적 이해 (Spatial Grounding) 와 조작 성능을 동시에 향상시키는 것을 확인했습니다.
• 범용 에이전트 (Generalist): 여러 벤치마크와 로봇 형태를 혼합하여 단일 모델을 학습시켰을 때, 각 벤치마크별 전문 모델 (Specialist) 과 경쟁하는 성능을 유지하며, RoboCasa-GR1 에서 57.3% 로 성능이 향상됨을 확인했습니다.

5. 의의 및 결론 (Significance)

StarVLA 는 로봇 기초 모델 (Robot Foundation Models) 연구에 다음과 같은 중요한 의의를 가집니다.

• 연구 장벽 하락: 복잡한 코드베이스 통합 없이도 기존 방법론을 재현하고 새로운 아키텍처를 프로토타이핑할 수 있게 하여, 연구 진입 장벽을 낮춥니다.
• 체계적인 비교 가능: 동일한 학습 및 평가 조건 하에서 다양한 백본과 액션 디코딩 전략을 비교할 수 있게 되어, VLA 설계의 trade-off 를 명확히 이해할 수 있습니다.
• 실제 배포로의 연결: 시뮬레이션 평가와 실제 로봇 배포를 위한 인터페이스를 통일하여, 연구 결과의 실제 적용 (Sim-to-Real) 을 용이하게 합니다.
• 미래 지향적 프레임워크: VLM 기반과 월드 모델 기반 접근법의 통합을 통해, 더 포괄적이고 누적적인 로봇 기초 모델 연구의 토대를 마련합니다.

결론적으로 StarVLA 는 분열된 VLA 연구 생태계를 통합하고, 재현성 있고 확장 가능한 플랫폼을 제공함으로써 차세대 범용 로봇 에이전트 개발을 가속화할 것으로 기대됩니다.