EmbodiedMidtrain: 비전 - 언어 모델 (VLM) 과 비전 - 언어 - 행동 모델 (VLA) 간의 간극을 중간 학습 (Mid-training) 으로 연결

이 논문은 로봇 조작 (Embodied AI) 분야에서 **비전 - 언어 - 행동 모델 (VLA)**의 성능을 향상시키기 위한 새로운 프레임워크인 EmbodiedMidtrain을 제안합니다. 기존 VLA 들은 범용 **비전 - 언어 모델 (VLM)**을 백본으로 사용하지만, 범용 VLM 과 로봇 제어에 필요한 VLA 데이터 간의 분포 불일치 (Distribution Gap) 로 인해 성능이 제한받는 문제를 해결합니다.

1. 문제 정의 (Problem)

• 분포 불일치 (Distribution Gap): 대부분의 VLA 는 범용 VLM(예: LLaVA, Qwen-VL 등) 을 초기화하여 사용합니다. 그러나 VLM 은 캡션 생성, 시각적 질문 답변 (VQA) 등 광범위한 범용 데이터를 학습한 반면, VLA 는 물리적 상호작용에 기반한 로봇 조작 궤적 (Trajectory) 데이터를 학습합니다.
• 비효율적인 미세 조정 (Fine-tuning): 단순히 범용 VLM 을 로봇 데이터로 미세 조정하는 것만으로는 VLA 성능이 충분히 향상되지 않습니다. 이는 VLM 의 내부 표현이 embodied(신체화된) 추론에 적합하지 않은 시작점에서 출발하기 때문입니다.
• 데이터의 이질성: 모든 VLM 데이터가 로봇 작업과 무관한 것은 아닙니다. 일부 VLM 데이터는 로봇 작업과 밀접하게 연관되어 있지만, 전체 VLM 데이터 풀 (Pool) 은 VLA 영역과 거리가 먼 데이터가 대부분을 차지합니다.

2. 방법론 (Methodology)

저자들은 VLM 과 VLA 간의 데이터 분포 차이를 분석하고, 이를 해결하기 위해 중간 학습 (Mid-training) 전략을 도입했습니다. 핵심은 **근접성 기반 데이터 선택 (Proximity-Based Data Selection)**을 통해 VLM 데이터를 선별하여 재학습시키는 것입니다.

2.1 데이터 분포 분석

• MMD(Maximum Mean Discrepancy) 및 t-SNE 분석: VLM 데이터와 VLA 데이터는 전체적으로 분리된 클러스터를 형성하지만, VLM 데이터 내부에서도 VLA 영역과 가까운 샘플들이 존재함을 확인했습니다.
• 통찰: VLA 데이터는 조밀한 군집을 이루는 반면, VLM 데이터는 넓게 퍼져 있으며 일부만 VLA 와 근접합니다. 따라서 전체 VLM 데이터를 무작위로 사용하는 대신, VLA 와 가장 유사한 데이터만 선별하여 학습해야 합니다.

2.2 EmbodiedMidtrain 파이프라인

1. 근접성 추정기 (Proximity Estimator) 학습:
   • 고정된 (Frozen) VLM 의 특징 (Feature) 을 입력으로 받아, 해당 샘플이 VLA 데이터인지 VLM 데이터인지를 구분하는 경량 이진 분류기를 학습합니다.
   • 이 분류기의 출력 점수는 각 VLM 샘플이 VLA 도메인과 얼마나 '가까운지 (Proximity)'를 나타내는 연속적인 척도로 사용됩니다.
2. 데이터 엔진 (Data Engine) 및 선별:
   • 학습된 추정기를 사용하여 대규모 VLM 후보 풀에서 점수가 높은 (VLA 와 가장 유사한) 상위 K 개의 샘플을 선별합니다.
   • 이 선별된 데이터는 VLA 와의 정렬 (Alignment) 을 유지하면서도 VLM 데이터의 다양성 (다양한 시각 및 언어 컨텍스트) 을 보존하도록 구성됩니다.
3. 중간 학습 (Mid-training):
   • 선별된 데이터로 VLM 을 중간 학습 (Mid-training) 시킵니다. 이 과정은 VLM 의 표현을 VLA 도메인에 더 적합하도록 조정합니다.
4. 하류 VLA 미세 조정 (Downstream VLA Fine-tuning):
   • 중간 학습을 거친 VLM 을 기반으로 로봇 행동 생성 헤드를 추가하여 최종 VLA 모델을 미세 조정합니다.

3. 주요 기여 (Key Contributions)

1. 근접성 기반 중간 학습 파이프라인: VLM 과 VLA 간의 분포 격차를 해소하기 위해, 학습 가능한 근접성 추정기를 통해 VLM 데이터 중 VLA 와 가장 잘 정렬된 샘플을 선별하는 새로운 데이터 엔진을 제안했습니다.
2. 일관된 성능 향상: Calvin, SimplerEnv Bridge, Libero-10 등 세 가지 로봇 조작 벤치마크에서 다양한 VLM 백본 (InternVL, Qwen 등) 을 대상으로 실험한 결과, 제안된 방법이 기존 VLA 모델 및 대규모 모델 대비 경쟁력 있는 성능을 보였습니다.
3. 강력한 초기화 (Strong Initialization): 중간 학습을 거친 모델은 미세 조정의 초기 단계부터 더 나은 성능을 보이며, 시간이 지남에 따라 그 격차가 확대됨을 확인했습니다. 이는 중간 학습이 단순한 일시적 이득이 아닌, 근본적으로 더 나은 초기화를 제공함을 의미합니다.
4. 데이터 선택의 통찰: 학습된 추정기는 수동으로 설계된 지표 (특징 공간 거리, 퍼플렉시티 등) 보다 우수한 성능을 보였으며, 데이터셋 수준과 샘플 수준 모두에서 의미 있는 선별 기준을 학습함을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • Calvin ABC-D: 1.1B 파라미터 모델 (InternVL3.5-1B) 이 중간 학습을 통해 7.7B 파라미터의 전문가 VLA (OpenVLA) 를 능가하는 성능을 기록했습니다.
  • SimplerEnv Bridge & Libero-10: 3~8 배 더 큰 모델 (Qwen3VL-8B 등) 과 유사하거나 더 나은 성능을 달성하면서, 학습 예산 (Training Budget) 은 훨씬 적게 사용했습니다.
• 크로스 백본 전이 (Cross-backbone Transferability): InternVL3.5-1B 로 선별된 데이터를 Qwen3VL-2B 에 적용했을 때도 일관된 성능 향상이 관찰되어, 제안된 데이터 선택 방식이 특정 모델에 국한되지 않는 일반적 특성을 가짐을 증명했습니다.
• 학습 동역학: 중간 학습 모델은 미세 조정 초기 단계부터 베이스라인보다 높은 성공률을 보였으며, 학습 loss 는 유사하더라도 하류 작업 성능은 지속적으로 우위를 점했습니다.

5. 의의 및 결론 (Significance)

• 효율적인 로봇 학습: 거대한 규모의 데이터와 연산 자원을 소모하지 않고도, **데이터의 질 (Quality) 과 정렬 (Alignment)**을 최적화함으로써 VLA 성능을 극대화할 수 있음을 보여줍니다.
• 데이터 중심 접근법: 모델 아키텍처를 변경하거나 대규모 로봇 데이터를 수집하는 대신, 기존에 존재하는 방대한 VLM 데이터 중 로봇 작업에 적합한 부분만 선별하여 활용하는 효율적인 전략을 제시했습니다.
• 향후 연구 방향: 이 연구는 embodied intelligence 를 위한 비전 - 언어 백본을 준비하는 새로운 패러다임을 제시하며, 향후 더 정교한 데이터 선별 및 중간 학습 전략 개발의 기초가 될 것입니다.

요약하자면, EmbodiedMidtrain은 범용 VLM 을 로봇 제어에 적합한 VLA 로 변환할 때 발생하는 '데이터 분포의 간극'을, 학습된 근접성 추정기를 통한 데이터 선별 및 중간 학습으로 효과적으로 메우는 혁신적인 방법론입니다.