기술 요약: OneVLA – 통합된 형태의 Embodied Task를 위한 단일 프레임워크

문제 정의

현재의 Embodied Intelligence를 위한 시각-언어-행동(Vision-Language-Action, VLA) 모델들은 근본적인 구조적 한계에 직면해 있다. 즉, 이들은 일반적으로 단일 작업 도메인(내비게이션 또는 조작 중 하나)에 국한되거나, 여러 작업을 처리하기 위해 작업별로 특화된 모델 변형을 필요로 한다. UniVLA와 같은 교차 작업(cross-task) 모델들이 서로 다른 로봇 구현체 간의 지식 전이를 시도해 왔으나, 여전히 별도의 액션 헤드나 특정 모델 구성을 필요로 한다. 이러한 파편화는 다양한 도메인에 걸쳐 자연어를 해석하고 물리적으로 환경과 상호작면할 수 있는 진정한 범용 로봇 에이전트의 발전을 저해한다. 본 논문은 두 가지 핵심 질문을 제기한다: (1) 단일 VLA 아키텍처가 작업별 변형 없이 내비게이션과 조작을 모두 수행할 수 있는가? (2) 이 두 가지 근본적인 작업이 공동 학습을 통해 서로의 성능을 향상시키는 데 상호 이익을 줄 수 있는가?

방법론

저자들은 내비게이션과 조작을 위한 언어 응답과 로봇 행동을 단일 프레임워크 내에서 생성하도록 설계된 통합 VLA 아키텍처인 OneVLA를 제안한다.

1. 통합 아키텍처

• 통합 시각-언어 인코더: 모델은 32개 레이어의 Vision Transformer(멀티 뷰 RGB 이미지 처리)와 36개 레이어의 Transformer 언어 모델(GQA 사용)로 구성된 공유 백본을 활용한다. 시각적 특징은 언어 모델의 은닉 차원($d_h=2048$)으로 투영되어 통합된 멀티모달 표현을 생성한다.
• 토큰 기반 디코딩: 이중 출력을 처리하기 위해 어휘 사전(vocabulary)을 <text>...</text> 및 <action>...</action> 특수 토큰으로 확장하였다. 이를 통해 모델은 단일 순방향 패스(forward pass) 내에서 작업 이해를 설명하는 텍스트 응답을 생성한 후, 이어서 액션 시퀀스를 자가회귀(autoregressively) 방식으로 생성할 수 있다.
• 통합 액션 헤드: 핵심 혁신은 내비게이션과 조작의 액션 차원을 11차원의 통합 공간으로 결합한 단일 액션 헤드이다:
  • 내비게이션 ($a_{navi} \in \mathbb{R}^4$): 명령(전진, 좌회전, 우회전, 정지)에 대한 이산 확률 분포.
  • 조작 ($a_{mani} \in \mathbb{R}^7$): 연속적인 7-DOF 엔드 이펙터 제어 ($\Delta x, \Delta y, \Delta z, \Delta roll, \Delta pitch, \Delta yaw, g$).
• Flow-Matching 메커니즘: 액션 헤드는 미래의 액션 시퀀스를 예측하기 위해 flow-matching 확산 프로세스를 채택한다. 이는 액션 인코더, cross-attention이 적용된 DiT 백본, 그리고 액션 디코더를 사용하여 flow-matching 목적 함수를 최소화함으로써 속도장(velocity field)을 예측하도록 학습된다.
• 작업별 가중치 마스킹: 이질적인 액션 공간을 수용하기 위해, 모델은 학습 중에 작업별 가중치 마스크를 사용한다. 이 마스크는 주어진 샘플에 대해 관련 있는 액션 차원만이 손실 계산에 기여하도록 보장하여, 아키텍처 전환 없이도 동시 학습을 가능하게 한다.

2. 다단계 점진적 학습 전략

강력한 긍정적 전이와 상호 보완을 촉진하기 위해, 저자들은 3단계 학습 전략을 사용한다:

• 1단계 (조작 기초): 조작 데이터셋과 일반 VQA 데이터만을 학습하여 견고한 조작 기술과 시각-언어 이해력을 구축한다.
• 2단계 (교차 작업 전이): 조작 및 VQA 데이터를 유지하면서 내비게이션 데이터를 공동 학습에 도입한다. 이 단계에서는 통합 액션 헤드를 활용하여 두 작업을 동시에 학습함으로써 도메인 간의 지식 전이를 실현한다.
• 3단계 (추론 능력 강화): Chain-of-Thought (CoT) 데이터를 통합하여 모델의 추론 능력과 의사결정 품질을 정교화한다.

3. 손실 함수

모델은 다음과 같은 복합 손실 함수를 사용하여 엔드투엔드(end-to-end)로 학습된다:
$$L_{total} = \lambda_{vlm}L_{vlm} + \lambda_{text}L_{text} + \lambda_{action}L_{action}$$

• $L_{vlm}$: 일반적인 시각-언어 정렬을 위한 표준 cross-entropy.
• $L_{text}$: (경계 토큰을 포함한) 추론 텍스트 단계의 다음 토큰 예측.
• $L_{action}$: 이질적인 출력을 처리하기 위해 작업별 가중치 마스크와 함께 계산되는 flow-matching 손실.

주요 기여

1. 통합 아키텍처: 작업별 모델 변형이나 별도의 액션 헤드 없이도 내비게이션과 조작 작업을 모두 수행할 수 있는 최초의 VLA 프레임워크인 OneVLA를 제안하였다.
2. 혁신적 구성 요소: flow-matching을 갖춘 통합 액션 헤드와 서로 다른 작업 도메인 간의 효과적인 상호 강화를 촉진하는 다단계 점진적 학습 전략을 도입하였다.
3. 상호 이익에 대한 실증적 증거: 공동 학습이 단일 작업 학습에 비해 두 작업 모두에서 성능을 크게 향상시킨다는 것을 보여주는 종합적인 실험 결과를 제시하였다.
4. 새로운 패러다임: 독립적인 작업 도메인 사이의 아키텍처 장벽을 허물어 범용 로봇 시스템을 위한 새로운 패러다임을 구축하였다.

실험 결과

저자들은 시뮬레이션 및 실제 환경 벤치마크에서 OneVLA를 평가하였으며, 이를 특화된 단일 작업 모델 및 기존의 교차 작업 모델들과 비교하였다.

• 시뮬레이션 벤치마크:

  • 내비게이션 (VLN-CE): OneVLA는 R2R 데이터셋에서 68.6%, RxR 데이터셋에서 **58.2%**를 달성하며 SOTA(최고 수준) 성능을 기록했다. 이는 UniVLA(각각 47.1%, 26.3%)와 StreamVLN 같은 특화된 내비게이션 모델을 크게 상회하는 수치이다.
  • 조작 (SimplerEnv): OneVLA는 평균 성공률 **64.5%**를 달성하여, UniVLA-Mani(35.4%)와 SOTA 조작 모델인 $\pi0$-Fast(48.3%)를 능가하였다.
  • 효율성: 특히, 3B 파라미터 규모의 OneVLA 모델이 모든 7B 파라미터 규모의 작업 특화 모델보다 뛰어난 성능을 보여, 통합 설계의 효율성을 입증하였다.

• 실제 환경 실험:

  • Franka Research 3 로봇 팔과 모바일 로봇 플랫폼을 사용하여, OneVLA는 조작 작업에서 78.8%, 내비게이션 작업에서 **77.5%**의 성공률을 달성하였다.
  • 이 결과는 실제 환경에서 UniVLA 대비 각각 16.3%와 35.0%의 향상을 나타내며, 시뮬레이션을 넘어 일반화할 수 있는 모델의 능력을 확인시켜 준다.

• 절제 연구 (Ablation Studies):

  • 다단계 학습: 단일 단계 학습과 비교했을 때, 3단계 전략은 R2R 성능을 12.5%, SimplerEnv 성능을 18.3% 향상시켰다.
  • 공동 학습: 공동 학습은 단일 작업 학습보다 R2R에서 7.3%, SimplerEnv에서 5.5% 높은 성능을 보였으며, 이는 공유된 표현이 두 도메인 모두에 이득이 된다는 가설을 검증한다.
  • 액션 호라이즌 (Action Horizon): 액션 호라이즌을 5 타임 스텝으로 설정했을 때 시간적 모델링과 예측 정확도 사이의 최적의 균형을 제공함을 발견하였다.

의의 및 주장

본 논문은 OneVLA가 핵심적인 embodied 역량(내비게이션 및 조작)을 하나의 응집된 프레임워크로 통합함으로써 진정한 범용 로봇 시스템을 위한 길을 열었다고 주장한다. 저자들은 이 접근 방식이 작업별 변형을 제거하여 아키텍처 측면에서 더 우아할 뿐만 아니라, 성능 면에서도 더 우수하다고 단언한다. 공동 학습이 상호 성능 향상을 이끌어낸다는 것을 입증함으로써, 본 연구는 통합된 접근 방식이 Embodied Intelligence를 AGI(인공 일반 지능)로 발전시키는 데 필수적임을 시사한다. 모델과 소스 코드는 추가 연구를 지원하기 위해 공개되었다.