기술 요약: MiMo-Embodied

1. 문제 제기

현재 비전 - 언어 모델 (VLM) 의 지형지는 Embodied AI(실내 로봇, 조작, 항법) 와 자율 주행(실외 교통, 차량 제어) 간의 상당한 도메인 격차로 특징지어집니다. 기존 모델들은 일반적으로 한 도메인에 특화되어 있어 다음과 같은 문제들을 초래합니다:

• 통합 모델 부재: 실내 물리적 상호작용과 실외 주행에 모두 필요한 역량을 아우르는 단일 오픈소스 VLM 이 존재하지 않습니다.
• 제한된 도메인 간 일반화: 특화된 모델들은 다양한 실내 및 실외 환경 간에 공간 이해와 추론 능력을 전이하지 못합니다.
• 불완전한 평가: 기존 벤치마크는 역량을 고립적으로 평가하며, 교차 구현 (cross-embodiment) 성능을 평가할 포괄적인 프레임워크가 부족합니다.

MiMo-Embodied는 자율 주행과 Embodied AI 를 통합하는 최초의 오픈소스 교차 구현 기반 모델을 도입함으로써 이러한 과제들을 해결하며, 두 도메인에서 동시에 최첨단 (SOTA) 성능을 달성하는 것을 목표로 합니다.

2. 방법론

2.1 모델 아키텍처

MiMo-Embodied 는 세 가지 핵심 구성 요소로 이루어진 MiMo-VL아키텍처를 기반으로 구축되었습니다:

1. 비전 트랜스포머 (ViT): MiMo-VL 인코더를 활용하여 단일 이미지, 다중 이미지 시퀀스, 비디오를 포함한 고해상도 입력을 처리합니다.
2. 프로젝터: 시각 토큰을 대형 언어 모델 (LLM) 과 정렬된 잠재 공간으로 매핑하는 다층 퍼셉트론 (MLP) 입니다.
3. 대형 언어 모델 (LLM): 텍스트 이해, 논리적 추론, 일관된 응답 생성을 담당하는 추론 엔진입니다.

이 모델은 이미지, 비디오 등 다양한 입력 모달리티를 지원하며 텍스트 기반 추론, 행동 계획, 좌표 예측을 출력합니다.

2.2 학습 데이터셋 구축

저자들은 세 가지 범주로 구성된 방대하고 다양한 데이터셋을 큐레이션했습니다:

• 일반 데이터셋: MiMo-VL 코퍼스에서 파생되었으며, 고해상도 이미지, 비디오, 합성 추론 데이터를 포함하여 기초적인 비전 - 언어 이해를 확립합니다.
• Embodied AI 데이터셋: 세 가지 핵심 역량에 초점을 맞춥니다:
  • Affordance 예측: 정밀한 국소화 및 상호작용 추론을 위해 PixMo-Points, RoboAfford, RoboRefIt 에서 유래했습니다.
  • 작업 계획: 장거리 추론 및 행동 시퀀싱을 위해 Cosmos-Reason1, EgoPlan-IT, RoboVQA 를 통합했습니다.
  • 공간 이해: 3 차원 공간 추론 및 항법을 위해 SQA3D, VLM-3R, RefSpatial, EmbSpatial 를 활용했습니다.
• 자율 주행 데이터셋: 세 가지 기능 모듈을 중심으로 구조화되었습니다:
  • 환경 인식: 일반 장면 이해 및 지역 객체 국소화 (예: CODA-LM, DriveLM, nuScenes-QA).
  • 상태 예측: 의도 예측 및 다중 에이전트 상호작용 모델링.
  • 주행 계획: 행동 의사결정 및 설명 가능한 추론 (예: BDD-X, NuInstruct).

2.3 4 단계 학습 전략

치명적인 망각 없이 시너지 학습을 달성하기 위해 팀은 점진적인 4 단계 학습 전략을 도입했습니다:

1. 1 단계 (Embodied AI SFT): 일반 데이터와 Embodied AI 데이터셋으로 미세 조정하여 핵심 affordance, 계획, 공간 추론을 확립합니다.
2. 2 단계 (자율 주행 SFT): 자율 주행 데이터의 혼합 감독을 도입하여 도메인 간 이해 (인식, 예측, 계획) 를 통합합니다.
3. 3 단계 (Chain-of-Thought SFT): 생성된 CoT 근거로 학습하여 추론 투명성을 강화하고, 모델이 복잡한 문제를 순차적인 논리적 단계로 분해하도록 강제합니다.
4. 4 단계 (강화 학습 미세 조정): 특정 작업의 성능을 정제하기 위해 **Group Relative Policy Optimization (GRPO)**을 적용합니다. 이 단계는 다중 선택의 정확한 일치, 공간 그라운딩을 위한 IoU 등 작업별 보상 신호를 사용하여 정확성과 신뢰성을 최적화합니다.

3. 주요 기여

• 최초의 통합 교차 구현 모델: MiMo-Embodied 는 자율 주행과 Embodied AI 작업 모두를 성공적으로 통합하고 뛰어난 성과를 내는 최초의 오픈소스 VLM 입니다.
• 포괄적인 벤치마킹: 저자들은 17 개의 Embodied AI 벤치마크와 12 개의 자율 주행 벤치마크를 아우르는 엄격한 평가 프레임워크를 수립하여 교차 구현 역량에 대한 전체적인 관점을 제공했습니다.
• 새로운 학습 패러다임: 제안된 다단계 학습 전략 (일반 $\to$ 특화 $\to$ CoT $\to$ RL) 은 실내 및 실외 구현 작업 간에 긍정적 전이가 존재하며 상호 간섭이 아닌 상호 강화가 가능함을 입증했습니다.
• 오픈소스 공개: 모델, 코드, 학습 데이터 전략이 공개되어 통합 구현 지능에 대한 추가 연구를 촉진합니다.

4. 결과

4.1 정량적 성능

MiMo-Embodied(7B 파라미터) 는 전반적으로 최첨단 (SOTA) 성능을 달성하여 다음 모델들을 능가했습니다:

• 일반 VLM: GPT-4o, Claude-Sonnet-4, Gemini-2.5-Pro, Qwen-VL-Max 포함.
• 특화 모델: 전용 Embodied 모델 (예: RoboBrain-2.0, VeBrain) 과 자율 주행 모델 (예: DriveLMM-o1, RoboTron-Drive) 을 능가했습니다.

주요 지표:

• Embodied AI: 17 개 벤치마크에서 최상위 점수를 기록했으며, 특히 Affordance 예측(Part-Afford 65.50, RoboAfford-Eval 69.81) 과 공간 이해(CV-Bench 88.82) 에서 두드러졌습니다.
• 자율 주행: 12 개 벤치마크에서 선도적인 성능을 보였으며, 인식(CODA-LM 58.55, DRAMA 76.14) 과 계획(NuInstruct 83.58, DriveAction 80.99) 분야에서 두드러졌습니다.
• NAVSIM 벤치마크: 궤적 계획에서 MiMo-Embodied 는 예측 드라이버 모델 점수 (PDMS) 91.0을 달성하여 InternVL3-8B 및 ReCogDrive 와 같은 더 큰 모델을 능가했습니다.

4.2 정성적 성능

• 실제 항법: "식당에서 진공 청소기를 찾아라"와 같은 복잡한 가정용 항법 작업을 성공적으로 수행하여 정밀한 공간 국소화를 달성했으며, 대상 객체 식별 및 복수형 쿼리 처리에서 베이스라인을 능가했습니다.
• 조작: 혼잡한 장면에서 손잡이, 뚜껑과 같은 잡을 수 있는 부분과 배치 영역을 정확하게 식별하는 우수한 affordance 추론 능력을 입증했습니다.
• 주행 시나리오: 교차로 회전, U 자 회전, 추월과 같은 복잡한 시나리오에 대해 안전하고 해석 가능한 주행 결정을 생성하여 안전에 중요한 행동에 대한 명시적 추론을 제공했습니다.

4.3 제거 실험

실험은 다단계 학습 전략이 결정적임을 확인했습니다. 단일 도메인 데이터만 학습한 모델들은 다른 도메인에서 성능 저하를 겪었습니다. 단계적 학습 없이 데이터를 직접 혼합하면 주행 작업에서 성능이 약간 저하되었습니다. 제안된 점진적 접근 방식은 단순 혼합 데이터 베이스라인 대비 Embodied 성능을 4% 향상시키고 주행 성능을 8.1% 향상시켜 가장 균형을 잘 이루었습니다.

5. 의의

MiMo-Embodied 는 실내 및 실외 물리적 지능이 상호 배타적인 것이 아니라 상호 강화된다는 점을 입증함으로써 구현 AI 연구에서 중요한 전환점을 제시합니다.

• 통합 지능: 단일 기반 모델이 로봇 조작과 차량 항법의 미묘한 차이를 모두 마스터할 수 있음을 증명하여 범용 구현 에이전트로의 길을 제시합니다.
• 안전성과 설명 가능성: Chain-of-Thought 와 RL 미세 조정의 통합으로 인해 주행과 같은 안전에 중요한 도메인에서 모델의 결정이 정확할 뿐만 아니라 해석 가능하고 논리적으로 타당함을 보장합니다.
• 커뮤니티 영향: 모델과 학습 방법론을 오픈소스로 공개함으로써 통합 구현 시스템 개발의 장벽을 낮추어 로봇 공학과 자율 주행 산업 모두의 발전을 가속화합니다.

결론적으로, MiMo-Embodied 는 교차 구현 기반 모델에 대한 새로운 기준을 설정하여, 물리적 세계 상호작용에 대한 통합적 접근 방식이 특화된 실린더 (silos) 에 비해 우수한 일반화와 성능을 산출함을 검증했습니다.