Mantis: A Versatile Vision-Language-Action Model with Disentangled Visual Foresight

이 논문은 메타 쿼리와 확산 트랜스포머를 결합하여 시각적 예측과 VLA 백본을 분리함으로써 언어 이해와 추론 능력을 유지하면서도 높은 성공률을 달성하는 새로운 비전 - 언어 - 행동 모델 'Mantis'를 제안합니다.

핵심

🦗 '맨티스 (Mantis)': 로봇에게 '미래를 보는 눈'과 '생각하는 뇌'를 선물한 연구

이 논문은 로봇이 인간의 지시를 듣고 손발을 움직여 물건을 옮기는 일을 더 잘하도록 돕는 새로운 인공지능 모델, **'맨티스 (Mantis)'**를 소개합니다.

기존 로봇들은 "컵을 들어"라는 명령을 들으면 단순히 컵을 들어 올리기는 했지만, **"왜 들어야 하는지", "다음에 무슨 일이 일어날지", "정말 내가 원하는 게 컵인지"**를 깊이 있게 생각하지 못했습니다. 맨티스는 이 문제를 해결하기 위해 두 가지 마법 같은 기술을 도입했습니다.

---

1. 🧠 문제: 로봇은 왜 멍청해졌을까?

기존의 로봇 학습 방식은 마치 수학 문제를 풀면서 동시에 그림을 그리는 것과 비슷했습니다.

• 로봇은 "손을 움직여라 (행동)"는 신호만 받으면, 그 신호를 맞추느라 바빠서 세상 지식을 잊어버리거나 (이해력 저하), 미래를 예측하는 데 에너지를 다 써서 (학습 비용 과다) 실수가 잦아졌습니다.
• 반대로, 미래를 예측하는 데만 집중하면 지금 당장 무엇을 해야 할지 (행동) 잊어버리는 경우도 있었습니다.

2. ✨ 해결책: "미래를 보는 눈 (Visual Foresight)"과 "생각하는 뇌"를 분리하다

맨티스의 핵심 아이디어는 **"미래를 상상하는 일"과 "행동을 결정하는 일"을 분리 (Disentangled)**하는 것입니다.

🎨 비유: 요리사와 그림 그리기

• 기존 방식: 요리사가 냄비 안의 국물 맛을 보며 (행동), 동시에 그 국물이 식으면 어떻게 변할지 그림을 그리려 (미래 예측) 고생했습니다. 두 가지 일을 동시에 하느라 국물 맛을 제대로 못 보거나, 그림이 엉망이 되었습니다.
• 맨티스 방식:
  1. 미래를 보는 눈 (DVF): 로봇은 "지금 컵을 들면, 1 초 뒤 컵은 어디로 이동할까?"라고 상상합니다. 이때 중요한 건, 로봇이 실제 그림을 그리는 게 아니라, '상상하는 과정'을 통해 행동의 힌트를 얻는 것입니다. 마치 체스 선수가 "다음 수를 두면 상대가 어떻게 반응할까?"를 미리 시뮬레이션하는 것과 같습니다.
  2. 생각하는 뇌 (VLM): 로봇은 인간의 명령 ("컵을 테이블에 올려줘") 을 듣고, 그 명령이 의미하는 바를 깊이 이해합니다. "테이블"이 무엇인지, "올려줘"가 어떤 행동을 의미하는지 이해력을 유지합니다.

맨티스는 이 두 가지 능력을 별개의 전문가처럼 분리해서 훈련시켰습니다. 그래서 로봇은 이해력을 잃지 않으면서도, 미래를 내다보는 능력을 통해 더 정확한 행동을 할 수 있게 되었습니다.

3. 🚀 어떻게 훈련시켰을까? (점진적인 학습 레시피)

맨티스는 한 번에 모든 것을 배우지 않았습니다. 마치 유아교육처럼 단계별로 배웠습니다.

1. 1 단계 (눈 훈련): 인간이 물건을 다루는 22 만 개의 영상을 보며 "다음 장면은 어떨까?"를 상상하는 법을 배웠습니다. (행동 데이터 없이 순수한 시각 학습)
2. 2 단계 (손 훈련): 로봇이 실제로 물건을 옮기는 7 만 6 천 개의 데이터를 보며, "상상한 미래"와 "실제 행동"을 연결하는 법을 배웠습니다.
3. 3 단계 (뇌 훈련): 38 개의 다양한 이미지와 텍스트 데이터를 보며, 언어 이해 능력을 강화했습니다. "배고파"라는 말에 "음식"을 찾는 등, 세상 상식을 익혔습니다.

4. 🏆 실제 성과: 로봇이 얼마나 똑똑해졌나?

• 시뮬레이션 테스트 (LIBERO): 로봇이 가상 세계에서 100 가지 과제를 수행했을 때, **96.7%**를 성공했습니다. 이는 기존 최고의 모델들보다 훨씬 높은 점수입니다. 특히 학습 속도가 매우 빨라서, 다른 로봇들이 10 번 이상 실패하는 동안 맨티스는 금방 정답을 찾아냈습니다.
• 실제 로봇 실험: 실제 로봇 팔을 이용해 실험했을 때, π0.5(현재 가장 유명한 오픈소스 로봇 모델)보다 훨씬 뛰어난 모습을 보였습니다.
  • 이해력: "테이블 위에 컵을 올려줘"라고 하면 컵을 찾지만, **"배고파, 도와줘"**라고 하면 **음식 (빵 등)**을 찾아주는 등, 문맥을 이해하고 행동했습니다.
  • 일반화: "타일러 스위프트"라는 이름이 적힌 포스터 위에 컵을 올려달라고 하면, "그건 여자 가수야"라고 이해하고 실행했습니다. (기존 모델들은 이런 추상적인 지시를 못 했습니다.)

5. ⚡ 효율성: "적응형 시간 앙상블 (ATE)"

로봇이 움직일 때 너무 자주 계산하면 배터리가 빨리 닳고 반응이 느려집니다. 맨티스는 ATE라는 기술을 써서, **안정성이 필요한 순간 (예: 물건을 잡을 때)**에만 집중력을 높이고, 단순한 이동 시에는 계산을 줄여 속도를 50% 이상 높였습니다. 마치 운전할 때 커브길에서는 속도를 줄이고, 직진할 때는 가속하는 것과 같습니다.

---

📝 한 줄 요약

**맨티스 (Mantis)**는 로봇에게 **"미래를 미리 상상하는 눈"**과 **"인간의 말을 깊이 이해하는 뇌"**를 따로 따로 키워주어, 이해력도 뛰어나고 행동도 정확한 똑똑한 로봇을 만든 혁신적인 연구입니다. 이제 로봇은 단순히 명령을 따르는 기계가 아니라, 상황을 파악하고 스스로 판단하는 파트너로 한 걸음 더 다가섰습니다.

기술 요약

1. 문제 정의 (Problem)

기존의 비전 - 언어 - 행동 (Vision-Language-Action, VLA) 모델은 로봇이 언어 지시와 시각적 관찰을 기반으로 행동을 생성하는 데 큰 진전을 이루었습니다. 하지만 다음과 같은 근본적인 한계가 존재합니다.

• 데이터 불일치와 용량 낭비: 고차원의 시각적 입력을 처리하는 대형 VLA 모델에 비해, 로봇의 행동 신호 (action signals) 는 매우 희소 (sparse) 합니다. 이로 인해 모델의 표현 능력 (representational capacity) 이 충분히 활용되지 못합니다.
• 시각적 예지 (Visual Foresight) 의 딜레마:
  • 고차원 예측의 비효율성: 미래의 시각적 상태 (프레임) 를 직접 예측하도록 하면 모델 용량이 분산되고 학습 비용이 급증하며 수렴 속도가 느려집니다.
  • 압축의 정보 병목: 시각적 상태를 압축된 신호로 변환하면 미세한 운동 정보가 손실되어 정보 병목 (information bottleneck) 이 발생합니다.
• 언어 이해력 저하: 많은 기존 방법들이 행동 학습에 집중하는 과정에서 언어 지도 (language supervision) 를 소홀히 하여, 모델의 의미 이해 및 추론 능력이 퇴화하는 문제가 발생합니다.

2. 방법론 (Methodology)

저자들은 위 문제들을 해결하기 위해 분리된 시각적 예지 (Disentangled Visual Foresight, DVF) 를 핵심으로 하는 새로운 VLA 모델 Mantis를 제안합니다.

A. 모델 아키텍처

Mantis 는 다음과 같은 구성 요소로 이루어져 있습니다:

• 백본 (Backbone): Qwen2.5-VL 을 사용하여 강력한 언어 이해 및 추론 능력을 유지합니다.
• DVF 헤드 (Disentangled Visual Foresight Head): Diffusion Transformer (DiT) 를 기반으로 하며, 메타 쿼리 (meta queries) 와 결합되어 미래 시각 상태를 예측합니다.
  • 분리된 설계: 시각적 예지 예측을 백본과 분리하여, 백본이 행동 학습의 부담 없이 언어 지도를 통해 이해력과 추론 능력을 유지하도록 합니다.
  • 잠재 행동 쿼리 (Latent-Action Queries): 현재 시각 상태에 잔차 연결 (residual connection) 을 통해 입력을 주고, 메타 쿼리가 프레임 간 동역학 (inter-frame dynamics) 을 포착하도록 하여 명시적인 행동 생성을 위한 잠재 행동을 자동으로 학습합니다.
• 행동 헤드 (Action Head): 학습 가능한 행동 쿼리 (Action Queries) 를 사용하여 입력 및 잠재 행동 쿼리에서 정보를 추출하고, 명시적인 행동 궤적을 생성합니다.
• 다중 간격 쿼리 (Multi-gap Queries): 다양한 시간 간격의 미래 프레임을 생성하도록 유도하여 더 밀도 높은 시각적 예측을 가능하게 합니다.

B. 점진적 학습 레시피 (Progressive Training Recipe)

모달리티 간의 경쟁을 줄이고 안정적인 최적화를 위해 3 단계 학습 전략을 사용합니다:

1. 다중 간격 시각 학습 (Multiple Gap Vision Training): 인간 조작 비디오 (SSV2) 를 사용하여 행동 주석 없이 미래 프레임을 예측하도록 학습합니다. 이때 백본은 고정하고 DVF 헤드와 쿼리만 학습하여 일반 조작 기술과 세계 지식을 습득합니다.
2. 시각 - 행동 연합 학습 (Vision-Action Joint Training): 로봇 데모 데이터 (DROID) 를 추가하여 시각 및 행동 스트림을 정렬하고 행동 헤드를 학습합니다.
3. 언어 지도 혼합 학습 (Language Supervised Mix Training): 38 개의 멀티모달 데이터셋과 로봇 데이터를 함께 사용하여 백본을解冻 (unfreeze) 하고 언어 손실 (cross-entropy loss) 을 추가합니다. 이를 통해 언어 이해력과 추론 능력을 보존합니다.

C. 적응형 시간 앙상블 (Adaptive Temporal Ensemble, ATE)

추론 시 운동 안정성을 높이기 위해 기존 Temporal Ensemble 방식을 개선했습니다.

• 동적 패치 (Dynamic Patches) 와 목표 패치 (Target Patches): 현재 프레임과 이전 프레임의 변화가 큰 영역 (동적) 과 언어 지시와 관련된 영역 (목표) 을 식별합니다.
• 적응적 활성화: 두 영역이 겹치는 경우 (정밀한 조작이 필요한 상황) 만 앙상블을 활성화하여 운동 안정성을 확보하고, 그렇지 않은 경우 비활성화하여 추론 효율성을 높입니다. 이를 통해 Mantis-ATE 변형 모델을 구현했습니다.

3. 주요 기여 (Key Contributions)

1. 분리된 시각적 예지 (DVF) 프레임워크: 행동 예측을 위한 간결하고 지시적인 예지 단서를 제공하며, VLA 백본의 부담을 줄여 언어 이해력을 유지하는 새로운 아키텍처를 제안했습니다.
2. 점진적 모달리티 융합 학습 레시피: 시각, 언어, 행동을 단계적으로 통합하여 안정적인 학습과 효율적인 최적화를 가능하게 했습니다.
3. Adaptive Temporal Ensemble (ATE): 추론 시 운동 안정성과 계산 효율성 사이의 균형을 동적으로 조절하여 추론 횟수를 50% 감소시키면서도 성능을 유지하는 전략을 도입했습니다.

4. 실험 결과 (Results)

가상 환경 (LIBERO 벤치마크)

• 성능: LIBERO 벤치마크에서 96.7% 의 성공률 (SR) 을 기록하여 기존 최강의 VLA 모델들 (OpenVLA, π0, UniVLA 등) 을 능가했습니다.
• 수렴 속도: 시각적 예지 방법 중에서도 분리된 설계 덕분에 UnifiedVLA 등 기존 방법들보다 훨씬 빠른 수렴 속도를 보였습니다.

실제 환경 (Real-World Experiments)

• Agilex 플랫폼 실험: 3 가지 시나리오에서 in-domain (ID) 및 out-of-domain (OOD) 지시를 테스트했습니다.
• 지시 수행 및 일반화: Mantis 는 OOD 지시 (예: "Taylor Swift", "3+5" 계산, 추상적 의도 파악) 에서도 뛰어난 일반화 능력을 보였으며, 오픈소스 VLA 모델인 π0.5보다 언어 이해 및 추론 능력에서 압도적으로 우월했습니다.
• ATE 효과: Mantis-ATE 는 추론 횟수를 약 50% 줄이면서도 작업 성공률을 유지하여 효율성을 입증했습니다.

Ablation Study

• DVF 헤드의 잔차 연결과 사전 학습이 성능 향상에 결정적임을 확인했습니다.
• 언어 지도가 없는 경우 (Mantis-LU) 는 OOD 지시 수행 능력이 급격히 떨어졌으며, 이는 언어 지도가 일반화 능력에 필수적임을 증명했습니다.

5. 의의 및 결론 (Significance)

이 논문은 VLA 모델이 행동 예측의 정밀도와 언어적 이해/추론 능력을 동시에 확보할 수 있는 새로운 패러다임을 제시합니다.

• 효율성: 고차원 시각 예측의 비효율성을 해결하면서도, 분리된 아키텍처를 통해 모델의 표현 능력을 최적화했습니다.
• 실용성: 실제 로봇 환경에서 복잡한 지시 이해와 일반화 능력을 입증하여, 실제 적용 가능한 범용 로봇 제어 모델로서의 가능성을 높였습니다.
• 오픈 소스: 코드와 가중치를 공개하여 커뮤니티의 발전을 도모하고 있습니다.

결론적으로 Mantis 는 시각적 예지를 통한 행동 학습의 한계를 극복하고, 언어 지도를 통해 로봇의 지능적 추론 능력을 보존한 차세대 VLA 모델로서 중요한 이정표가 됩니다.