1. 문제 제기 (Problem)

기존의 로봇 조작을 위한 비전 - 언어 - 행동 (VLA, Vision-Language-Action) 모델들은 멀티모달 대규모 언어 모델 (MLLM) 을 기반으로 하여 뛰어난 의미적 이해 능력을 보여주지만, 물리적 세계의 역학 (physical world dynamics) 을 추론하는 데 본질적인 한계가 있습니다.

• 기존 VLA 모델의 한계: 텍스트 토큰 기반의 MLLM 은 물리 법칙을 모델링하는 데 부적합하여, 운동과 접촉 하에서 상태가 어떻게 진화할지 예측하는 능력이 부족합니다. 이는 산업용 컨베이어 벨트와 같은 동적 환경에서 적응력을 떨어뜨립니다.
• 기존 월드 모델 (World Model) 의 한계: 최근 비디오 예측을 통해 미래 상태를 예측하는 시도들이 있었으나, 의미적 그라운딩 (semantic grounding) 이 부족하고 비디오 예측 오류에 매우 취약하여 (brittle) 실제 로봇 제어에 적용하기 어렵습니다.
• 데이터의 한계: 대규모 실세계 로봇 데이터 수집은 비용이 많이 들고 비효율적이며, 시뮬레이션 데이터만으로는 '시뮬레이션 - 실세계 간극 (sim-to-real gap)'을 완전히 해소하기 어렵습니다.

따라서, 의미적 이해와 역학적 예측 능력을 통합하고, 다양한 데이터 소스 (실제 로봇, 시뮬레이션, 인간 비디오) 를 효과적으로 활용하여 동적 환경에서도 강건한 일반화 능력을 갖춘 모델이 필요합니다.

2. 방법론 (Methodology)

저자들은 InternVLA-A1을 제안하며, 이는 통일된 Mixture-of-Transformers (MoT) 아키텍처를 통해 이해 (Understanding), 생성 (Generation), 행동 (Action) 을 하나의 프레임워크로 통합합니다.

A. 아키텍처: 3 가지 전문가 (Experts) 통합

모델은 세 가지 핵심 전문가 모듈로 구성되며, 통일된 마스킹 셀프 어텐션 (Unified Masked Self-Attention) 메커니즘을 통해 상호작용합니다.

1. 이해 전문가 (Understanding Expert):
   • 기존 MLLM(InternVL3 또는 Qwen3-VL) 을 기반으로 합니다.
   • 이미지와 텍스트 명령을 처리하여 환경의 맥락 (scene context) 을 파악하고, 이를 공유 컨텍스트 메모리로 생성 및 행동 전문가에 제공합니다.
2. 생성 전문가 (Generation Expert):
   • 핵심 혁신: 미래의 시각적 상태 (visual foresight) 를 예측하여 행동에 대한 사전 지식을 제공합니다.
   • 효율성 최적화: 기존 비디오 생성 모델의 높은 계산 비용 문제를 해결하기 위해 경량화된 설계를 채택했습니다.
     • 토큰화: COSMOS VAE 인코더를 사용하여 이미지를 잠재 공간 (latent space) 으로 변환합니다.
     • 토큰 압축: 6 개의 입력 이미지 (3 시점 × 2 시점) 를 96 개의 토큰으로 압축하여 효율성을 높였습니다.
     • 병렬 디코딩: 자기회귀 (autoregressive) 방식이 아닌, 단일 순전파 (single-forward) 병렬 디코딩을 사용하여 실시간 추론 (약 13Hz) 을 가능하게 합니다.
3. 행동 전문가 (Action Expert):
   • 이해 전문가의 의미적 맥락과 생성 전문가의 역학 예측을 결합합니다.
   • Flow Matching 방식을 사용하여 노이즈에서 전문가 시연 데이터로의 연속적인 변환 경로를 학습하여 정밀한 로봇 제어 명령을 생성합니다.

B. 학습 전략: 하이브리드 데이터 학습

모델은 세 가지 상보적인 데이터 소스를 통합하여 학습합니다 (약 6.92 억 프레임):

1. 시뮬레이션 데이터 (InternData-A1, RoboTwin): 대규모의 다양성과 긴 시간 범위의 작업 구성을 제공합니다.
2. 실제 로봇 데이터 (AgiBot-World, RoboMind): 물리적 역학의 정밀도와 시뮬레이션 - 실세계 간극을 줄여줍니다.
3. 1 인칭 인간 비디오 (EgoDex): 복잡한 조작 기술과 역동적인 상호작용에 대한 풍부한 시각적 사전 지식을 제공합니다.

이러한 하이브리드 전략은 시뮬레이션의 확장성과 실제 데이터의 물리적 충실도를 모두 활용하여 일반화 성능을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 통합 아키텍처 제안: 의미적 추론 (MLLM) 과 역학 예측 (World Model) 을 단일 MoT 프레임워크로 통합하여, 미래 상태를 예측하면서 행동을 생성하는 새로운 패러다임을 제시했습니다.
2. 효율적인 생성 모듈: 실시간 로봇 제어에 적합한 경량화된 비자기회귀 (non-autoregressive) 미래 이미지 예측 모듈을 설계하여, 예측 오류에 강건하면서도 높은 추론 속도를 달성했습니다.
3. 다중 소스 데이터 학습: 시뮬레이션, 실제 로봇, 인간 비디오를 통합한 학습 레시피를 통해 시뮬레이션 - 실세계 간극을 효과적으로 해소하고 동적 환경에서의 적응력을 비약적으로 향상시켰습니다.
4. 대규모 모델 구현: InternVL3 와 Qwen3-VL 을 기반으로 2B 와 3B 파라미터 규모의 모델을 구현하고, 6.92 억 프레임의 방대한 데이터로 사전 학습했습니다.

4. 실험 결과 (Results)

InternVLA-A1 은 12 가지 실제 로봇 작업과 시뮬레이션 벤치마크에서 기존 최첨단 모델 (𝜋0, 𝜋0.5, GR00T N1.5 등) 을 압도적으로 능가했습니다.

• 정적 조작 (Static Manipulation):
  • 10 가지 정적 작업에서 **InternVLA-A1 (3B)**은 평균 성공률 **75.1%**를 기록하여, 3.3B 파라미터의 **𝜋0.5 (70.7%)**보다 +4.4% 향상된 성능을 보였습니다.
  • 더 작은 **InternVLA-A1 (2B)**조차도 더 큰 **𝜋0 (60.6%)**보다 높은 64.7% 의 성공률을 기록했습니다.
• 동적 조작 (Dynamic Manipulation):
  • 움직이는 물체를 조작하는 작업 (Express Sorting, In-motion Ingredient Picking) 에서 가장 두드러진 성과를 보였습니다.
  • **InternVLA-A1 (3B)**은 동적 작업에서 **86.7%**의 평균 성공률을 달성하여 𝜋0.5 대비 **+26.7%**의 큰 개선을 이루었습니다. 이는 미래 역학을 예측하여 행동하는 모델의 강점을 입증합니다.
• 시뮬레이션 벤치마크 (RoboTwin 2.0):
  • Easy/Hard 설정 모두에서 𝜋0.5보다 +2.6% 높은 성능을 보였습니다.
• Ablation Study:
  • 사전 학습 (Pre-training) 제거 시 성능이 51.6% 급감하여 사전 학습의 중요성을 확인했습니다.
  • 생성 전문가 (Generation Expert) 제거 시 동적 작업에서 성능이 크게 하락하여, 미래 예측 모듈이 동적 환경 적응에 필수적임을 입증했습니다.
  • 하이브리드 데이터 학습: 시뮬레이션 + 실제 + 인간 비디오를 모두 사용한 학습이 단일 소스 학습보다 전반적인 성능이 가장 뛰어났습니다.

5. 의의 및 결론 (Significance)

InternVLA-A1 은 로봇 조작 분야에서 의미적 이해와 물리적 역학 예측의 통합이라는 오랜 과제를 해결하는 중요한 진전을 이루었습니다.

• 동적 환경 적응: 기존 VLA 모델이 취약했던 움직이는 물체나 변화하는 환경 (컨베이어 벨트 등) 에서 뛰어난 강건성을 보여주며, 실제 산업 현장 적용 가능성을 높였습니다.
• 데이터 효율성: 시뮬레이션 데이터의 다양성과 실제 데이터의 충실도를 결합한 학습 전략은 고비용의 실제 로봇 데이터 수집 의존도를 낮추는 새로운 방향을 제시합니다.
• 실시간성: 비디오 생성 모델을 활용하면서도 실시간 추론 속도를 유지한 아키텍처 설계는 엣지 디바이스 배포에 중요한 기여를 합니다.

결론적으로, InternVLA-A1 은 미래의 시각적 상태를 예측하여 행동을 안내하는 '예측 기반 제어 (foresight-guided control)'의 새로운 표준을 제시하며, 보다 일반적이고 지능적인 로봇 개발의 토대를 마련했습니다.