MergeVLA: Cross-Skill Model Merging Toward a Generalist Vision-Language-Action Agent

이 논문은 다양한 VLA 전문가 모델을 단일 모델로 통합할 때 발생하는 병합 불가 문제를 해결하기 위해, LoRA 어댑터의 일관성 유지와 행동 전문가의 모듈성 강화를 통해 설계된 'MergeVLA' 아키텍처를 제안하고, 이를 통해 단일 모델이 다양한 작업과 환경에서 개별 전문가 수준의 성능을 발휘함을 입증합니다.

핵심

이 논문은 "로봇이 한 가지 일만 잘하는 것이 아니라, 여러 가지 일을 모두 잘할 수 있게 만드는 방법" 에 대한 연구입니다.

기존의 로봇 인공지능 (VLA) 은 특정 작업 (예: 컵을 들기만 하는 로봇) 을 위해 훈련하면 그 일은 아주 잘하지만, 다른 일 (예: 문을 열기) 을 시키면 완전히 망가집니다. 마치 요리사 한 명이 '라면만' 끓이는 법만 배웠는데, 갑자기 '스테이크'를 시키면 칼도 못 들고 당황하는 상황과 비슷합니다.

이 연구는 이 문제를 해결하기 위해 "여러 명의 전문가를 하나로 합치는 기술 (모델 머지)" 을 개발했는데, 기존 방식으로는 합치면 로봇이 아예 움직이지 않게 된다는 문제를 발견하고, 이를 해결한 새로운 방법 MergeVLA를 제안합니다.

핵심 내용을 쉬운 비유로 설명해 드릴게요.

---

1. 왜 기존 방식은 실패했을까? (두 가지 치명적인 문제)

연구진은 여러 로봇 전문가들을 하나로 합치려다 실패한 이유를 두 가지로 분석했습니다.

• 문제 1: "서로 다른 방향을 보는 나침반들" (VLM 부분)

  • 로봇의 눈과 뇌 (시각 언어 모델) 는 각자 다른 일을 배우면서 뇌의 연결 고리 (LoRA) 를 완전히 다르게 변형시켰습니다.
  • 이를 단순히 섞으면, '오른쪽으로 가라'는 말과 '왼쪽으로 가라'는 말이 동시에 들려서 로봇이 제자리에서 빙글빙글 돌다가 멈추는 것과 같습니다. 서로의 지시사항이 충돌해서 아무것도 못 하게 됩니다.

• 문제 2: "혼자서만 통하는 비밀 언어" (액션 전문가 부분)

  • 로봇의 손과 팔을 움직이는 부분 (액션 전문가) 은 처음부터 새로 훈련되면서, 각 작업마다 고유한 '비밀 신호' 체계를 만들어냈습니다.
  • 예를 들어, '컵 들기' 로봇은 A 라는 신호로 팔을 움직이고, '문 열기' 로봇은 B 라는 신호로 움직입니다. 이 두 로봇을 합치면, A 와 B 가 섞여 어떤 신호가 진짜인지 로봇이 혼란을 겪어 아예 움직이지 않게 됩니다.

2. MergeVLA 의 해결책: "똑똑한 합성 로봇 만들기"

이 연구팀은 이 문제를 해결하기 위해 로봇의 구조를 재설계하고, 합치는 방식을 바꿨습니다.

① "필요한 부분만 켜는 스위치" (태스크 마스크)

• 비유: 여러 요리사가 한 주방에 있을 때, 라면을 끓일 때는 '라면 전문가'만 일하고, 스테이크를 할 때는 '스테이크 전문가'만 일하게 하는 것입니다.
• 원리: 로봇이 어떤 일을 해야 할지 알면, 그 일에 필요한 뇌의 연결 고리 (파라미터) 만 켜고, 나머지는 끕니다. 서로의 지시사항이 충돌하지 않도록 **필요한 부분만 골라 쓰는 '스마트 스위치'**를 달아준 것입니다.

② "공통 언어만 쓰는 손" (크로스 어텐션 전용)

• 비유: 각자 다른 방언을 쓰던 요리사들이, 모두 '표준어'로만 대화하게 만든 것입니다.
• 원리: 로봇의 손 (액션 전문가) 이 스스로 생각하며 (자기 주시, Self-attention) 복잡한 비밀 신호를 만들지 못하게 막았습니다. 대신, 로봇의 뇌 (시각 언어 모델) 가 주는 명확한 지시 (크로스 어텐션) 만 받아서 움직이게 설계했습니다. 이렇게 하면 서로 다른 로봇의 손도 쉽게 합칠 수 있습니다.

③ "상황을 보고 직관적으로 판단하는 지휘자" (테스트 타임 라우터)

• 비유: 로봇이 방에 들어와서 무슨 일을 해야 할지 모를 때, 지휘자가 "아, 저기 컵이 있네? 그럼 컵 들기 팀을 불러라!"라고 바로 지시하는 것입니다.
• 원리: 로봇이 작업을 시작하기 전에, 입력된 영상과 명령을 보고 어떤 전문가 (태스크) 를 불러야 할지 자동으로 골라줍니다. 별도의 훈련 없이도 로봇이 스스로 "지금 나는 컵을 들어야 해"라고 판단하게 됩니다.

3. 결과는 어땠나요?

이 새로운 방식 (MergeVLA) 은 놀라운 성과를 냈습니다.

• 시뮬레이션과 실제 로봇 실험: 가상 환경뿐만 아니라, 실제 로봇 팔 (SO101) 을 이용해 '큐브 잡기', '밀기', '쌓기' 등 여러 작업을 동시에 수행했습니다.
• 성능: 개별적으로 훈련된 전문가 로봇과 비슷하거나 오히려 더 좋은 성능을 보였습니다.
• 강인함: 조명이나 배경이 바뀌거나, 로봇의 모양이 달라져도 (다른 로봇 팔을 사용해도) 잘 작동했습니다.

4. 요약: 왜 이 연구가 중요한가요?

기존에는 로봇이 여러 일을 하려면 각각 따로 훈련해야 해서 비싸고 느렸습니다. 하지만 이 연구는 "여러 개의 전문가 로봇을 하나로 합쳐서, 하나의 로봇이 모든 일을 할 수 있게 만드는 방법" 을 제시했습니다.

마치 한 명의 '만능 요리사'를 만들기 위해, 각자 다른 요리를 잘하는 요리사들의 기술을 섞되, 서로 부딪히지 않게 잘 정리한 것과 같습니다. 이를 통해 앞으로 더 저렴하고 똑똑한 '일반인 로봇 (Generalist Agent)'을 만드는 길이 열렸습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

최근 비전 - 언어 - 행동 (VLA, Vision-Language-Action) 모델은 대규모 비전 - 언어 모델 (VLM) 을 로봇 시연 데이터로 미세 조정 (Fine-tuning) 하여 복잡한 조작 작업을 수행할 수 있게 했습니다. 그러나 실제 세계의 범용 에이전트 (Generalist Agent) 는 다양한 기술 (Skill), 신체 구조 (Embodiment), 환경에서 작동해야 하므로, 여러 개별적으로 미세 조정된 VLA 모델을 단일 통합 정책으로 결합할 필요가 있습니다.

기존의 모델 병합 (Model Merging) 기술은 언어나 비전 모델에서는 효과적이었으나, 이를 VLA 모델에 적용할 때 심각한 실패를 겪었습니다.

• 문제점: 서로 다른 작업으로 미세 조정된 VLA 전문가 (Expert) 모델을 직접 병합하면 성공률이 거의 **0%**에 수렴합니다.
• 근본 원인 분석: 저자들은 VLA 미세 조정 과정에서 학습 가능한 파라미터를 세분화하여 분석한 결과, 병합을 방해하는 두 가지 주요 원인을 발견했습니다.
  1. 파괴적인 LoRA 파라미터 간섭: VLM 백본 내의 LoRA 어댑터가 작업마다 완전히 다른 방향으로 업데이트되며, 기존 병합 방법 (단순 평균 등) 이 이러한 상충되는 파라미터를 통합하지 못해 공유된 시맨틱 공간이 손상됩니다.
  2. 행동 전문가 (Action Expert) 의 아키텍처 불호환성: 처음부터 학습된 행동 디코더가 자기 주의 (Self-attention) 를 통해 작업별 의존성을 층 전체에 퍼뜨리게 되어, 모듈화되고 재조합 가능한 구조를 깨뜨립니다.

2. 제안 방법: MergeVLA (Methodology)

이러한 문제를 해결하기 위해 저자들은 MergeVLA라는 병합 지향적인 VLA 아키텍처를 제안했습니다. 이 모델은 설계 단계부터 병합 가능성 (Mergeability) 을 보장하도록 구성되었습니다.

2.1. VLM 백본의 병합 안정화 (Task Masks)

• LoRA 간섭 해결: 병합된 LoRA 파라미터에 **작업별 마스크 (Task Masks)**를 적용하여 특정 작업에 기여하는 파라미터만 선택적으로 활성화하고, 다른 작업을 혼란스럽게 하는 파라미터는 억제합니다.
• 스파스 활성화: 마스크는 파라미터 수준에서 일관성 테스트를 기반으로 생성되며, 이는 사전 학습된 VLM의 시각 - 언어 표현을 보존하고 작업 간 충돌을 완화합니다.

2.2. 행동 전문가 (Action Expert) 의 재설계

기존 VLA-Adapter 등의 구조는 병합이 불가능하므로, MergeVLA 는 다음과 같이 재설계되었습니다.

• Self-Attention 제거: 작업별 편향을 심화시키는 자기 주의 (Self-attention) 계층을 제거하고, 크로스 어텐션 (Cross-attention) 만을 사용하도록 변경합니다. 이는 VLM 의 강력한 공유 특징에 의존하도록 강제하여 병합을 용이하게 합니다.
• 게이팅 메커니즘 변경: tanh 게이트를 Sigmoid 게이트로 교체하여 VLM 신호가 음수로 억제되지 않고 항상 보존되도록 합니다.
• 전문가 헤드 (Expert Head) 분리: 얕은 층은 단순 가중치 평균으로 병합 가능하지만, 깊은 층 (마지막 블록) 은 작업별 전문화가 극심하여 병합이 불가능합니다. 따라서 마지막 블록 (Expert Head) 은 병합하지 않고 각 작업별로 별도로 유지합니다.

2.3. 테스트 시간 작업 라우팅 (Test-time Task Routing)

추론 시 작업 ID 를 알 수 없는 상황 (Mixed-task setting) 에서 자동으로 적절한 기술을 선택하기 위한 메커니즘입니다.

• 동작: 입력 관찰 (Observation) 을 기반으로 VLM 의 은닉 상태 (Hidden States) 를 추출합니다.
• 라우팅 기준: 병합된 행동 전문가의 값 (Value) 투영 행렬의 주성분 (Principal Components) 을 분석하여, 입력이 어떤 작업의 특징 공간에 가장 잘 부합하는지 측정합니다.
• 결과: 가장 관련성이 높은 작업을 자동으로 식별하여 해당 작업 마스크와 전문가 헤드를 활성화합니다. 이는 추가 학습 없이 수행됩니다.

3. 주요 기여 (Key Contributions)

1. VLA 병합 불가의 원인 규명: VLA 모델 병합 실패의 근본 원인 (LoRA 간섭과 Self-attention 기반의 작업 의존성 확산) 을 체계적으로 분석하고 증명했습니다.
2. MergeVLA 아키텍처 제안: 병합을 전제로 설계된 새로운 아키텍처를 통해, 단일 모델이 여러 작업과 신체 구조를 동시에 처리할 수 있게 했습니다.
3. 학습 없는 라우팅 메커니즘: 추가 학습 없이 입력 관찰만으로 작업을 추론하고 적절한 전문가를 선택하는 효율적인 라우팅 방식을 도입했습니다.
4. 범용성 입증: 시뮬레이션 및 실제 로봇 환경에서 단일 작업 미세 조정 모델에 버금가는 성능을 보여주며, 분포 외 (OOD) 상황에서도 강력한 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

저자들은 LIBERO, LIBERO-Plus, RoboTwin, 그리고 실제 SO101 로봇 팔을 사용하여 광범위한 실험을 수행했습니다.

• LIBERO (다중 작업): MergeVLA 는 평균 **90.2%**의 성공률을 기록하여, 개별 미세 조정 모델 (98.5%) 에 근접하거나 일부 병합 베이스라인 (TA, TIES 등) 보다 월등히 높은 성능을 보였습니다. 기존 VLA 모델들은 병합 시 0% 성공률을 기록한 것과 대조적입니다.
• LIBERO-Plus (강건성 평가): 시각적/언어적 교란 (Perturbation) 이 있는 환경에서 MergeVLA 는 **72.4%**의 평균 성공률을 보이며, 기존 단일 작업 모델들보다 뛰어난 OOD 일반화 능력을 입증했습니다.
• RoboTwin (크로스 - 에임바디먼트): 서로 다른 3 가지 로봇 팔 (Aloha, ARX, Piper) 간의 병합 실험에서, 작업과 신체 구조가 모두 다른 설정에서도 **70.7%**의 성공률을 달성했습니다.
• 실제 로봇 (SO101): 실제 환경에서 큐브 잡기, 밀기, 쌓기 작업을 수행하며 **90.0%**의 성공률을 기록하여, 병합된 모델이 물리 하드웨어에서도 효과적으로 작동함을 증명했습니다.

5. 의의 및 결론 (Significance)

이 논문은 **모델 병합 (Model Merging)**이 VLA 모델에서도 가능하다는 것을 증명하고, 이를 통해 **범용 embodied agent(구현체 에이전트)**를 구축할 수 있는 확장 가능한 경로를 제시했습니다.

• 효율성: 여러 작업을 위한 별도의 모델을 학습하고 유지하는 대신, 하나의 병합된 모델로 다양한 기술을 재사용할 수 있어 계산 및 저장 비용을 절감합니다.
• 실용성: 실제 로봇 시스템에서도 분포 외 (OOD) 환경과 다양한 신체 구조에 적응할 수 있는 강력한 일반화 능력을 보여줍니다.
• 미래 방향: 더 큰 규모의 VLM 백본과의 호환성 및 다양한 로봇 데이터셋을 활용한 사전 학습이 병합 효과를 더욱 향상시킬 수 있음을 시사합니다.

요약하자면, MergeVLA 는 VLA 모델의 구조적 한계를 극복하고, 단일 모델이 다양한 로봇 작업과 환경을 아우르는 진정한 범용 에이전트로 진화할 수 있는 핵심 기술을 제공합니다.