MuseVLA: An Adaptive Multimodal Sensing Vision-Language-Action Model for Robotic Manipulation

기술 요약: MuseVLA

문제 정의

현재의 로봇 조작을 위한 시각-언어-행동(Vision-Language-Action, VLA) 모델은 주로 RGB 관측에 의존합니다. 이러한 방식은 시각적 작업에는 효과적이지만, 표준 카메라로는 파악하기 어렵거나 불가능한 물리적 특성(예: 온도, 소리, 레이더 반응 등)을 인지하는 데 한계가 있습니다. 비시각적 양상(예: 깊이, 촉각, 오디오)을 통합하려는 기존의 시도들은 세 가지 주요 한계점을 가집니다:

1. 적응성 부족: 각 특정 센서에 특화된 모델 아키텍처나 인코더를 필요로 하므로, 다양하거나 진화하는 센서 세트로 확장하기 어렵습니다.
2. 데이터 희소성: 대규모의 비용이 많이 드는 다중 감각 데이터셋에 의존하며, 이는 수집하는 데 많은 시간이 소요됩니다.
3. 정적 센서 사용: 기존 모델은 고정된 센서 구성을 가정하며, 특정 작업에 가장 적합한 감각 입력을 적응적으로 선택하는 능력이 부족하여 효율성이 떨어지고 최적의 성능을 내지 못합니다.

반면, 인간은 감각 양상을 작업 지향적인 도구로 취급하며, 필요한 경우에만 적절한 센서(예: 열을 위해 열화상, 소리를 위해 오디오)를 적응적으로 선택하고 호출합니다. MuseVLA는 통합된 VLA 프레임워크 내에서 이러한 적응적 능력을 재현하는 것을 목표로 합니다.

방법론

MuseVLA는 다양한 센서를 "온디맨드 도구(on-demand tools)"로 통합하도록 설계된 적응형 다중 양상 감지 VLA 모델입니다. 아키텍처와 파이프라인은 다음과 같이 구성됩니다:

1. 적응형 센서 선택 메커니즘

모든 센서 입력을 동시에 처리하는 대신, MuseVLA는 작업을 세 단계로 분해합니다:

• 센서 및 대상 생성: 언어 지시문($l$)과 RGB 관측값($o_t$)이 주어지면, VLA 모델($\pi$)은 먼저 센서 토큰(예: <thermal>, <acoustic>, <mmWave>, 또는 <none>)과 대상 설명($l_d$)을 생성합니다. 이는 특정 양상과 관심 객체를 선택하는, 인자(argument)를 포함한 도구 호출(tool call)과 유사합니다.
• 그라운디드 센서 이미지 구축: 선택된 센서 측정값($s_{i,t}$)은 그라운딩 함수($G$)에 의해 처리됩니다. 대상 설명을 사용하여 세그멘테이션 모듈(SAM3)이 RGB 이미지 상의 대상 객체에 대한 이진 마스크를 생성합니다. 그 후 센서 데이터를 해당 마스크 영역 위에 히트맵 형태로 겹쳐서 그라운디드 센서 이미지($m_{i,t}$)를 만듭니다.
• 행동 생성: 생성된 그라운디드 센서 이미지는 모델 입력에 추가됩니다. 이후 VLA 모델은 지시문, RGB 이미지, 그리고 통합된 그라운디드 센서 이미지를 바탕으로 행동 청크($A$)를 생성합니다.

2. 통합 표현

양상별 인코더를 피하기 위해, MuseVLA는 그라운디드 센서 이미지를 통합된 중간 표현으로 사용합니다. 이질적인 센서 판독값(열, 레이더, 오디오 등)을 RGB 카메라 평면 위의 대상 객체 위로 투영함으로써, 모델은 단일 사전 학습된 비전 인코더(SigLIP)를 모든 양상에 활용할 수 있습니다. 이를 통해 센서별 처리를 VLA 백본으로부터 분리하여, 전체 재학습 없이도 새로운 센서를 통합할 수 있게 합니다.

3. 데이터 합성 파이프라인

실세계의 다중 감각 데이터셋 희소성 문제를 해결하기 위해, 저자들은 데이터 합성 파이프라인을 제안합니다:

• 키워드 주입: 기존 RGB 전용 데이터셋의 작업 지시문에 물리적 특성 키워드(예: "뜨거운", "울리는", "차 있는")를 주입합니다.
• 합성 그라운딩: VLM이 대상 설명을 생성하고, SAM3가 객체를 세그멘테이션하며, 물리적 특성에 대응하는 색상 코드가 지정된 마스크를 세그멘테이션된 영역 위에 덮어씌웁니다.
• 데이터셋 확장: 이 과정을 통해 기존 RGB 데이터셋(MolmoAct, AgiBotWorld-Alpha, VITRA)으로부터 다중 감각 훈련 데이터(9.6K 에피소드)를 생성하여, 데이터 효율적인 훈련과 제로샷 일반화를 가능하게 합니다.

4. 모델 아키텍처 및 훈련

• 백본: 모델은 PaliGemma-2 (Gemma-2 + SigLIP)를 VLM 백본으로 사용하고, Diffusion Transformer (DiT)를 행동 전문가(action expert)로 사용합니다.
• 훈련 전략: 모델은 공동 훈련(co-training)을 거칩니다. VLM은 센서 토큰 및 대상 설명 생성을 위한 크로스 엔트로피 손실을 최소화하도록 훈련됩니다. VLA는 VLM 손실과 행동 예측을 위한 디퓨전 MSE 손실이 결합된 통합 손실 함수를 사용하여 엔드투엔드로 훈련됩니다. 이는 모델이 정확한 센서 선택을 유지하면서 효과적인 조작 행동을 생성하도록 보장합니다.

주요 기여

1. MuseVLA 모델: 센서를 온디맨드 도구로 취급하여 숙련된 손 조작을 위한 확장 가능하고 효율적인 센서 통합을 가능하게 하는 적응형 다형 감지 VLA입니다.
2. 새로운 표현 및 메커니즘: 적응적 선택을 위한 학습 가능한 센서 토큰과, 양상별 인코더의 필요성을 제거하는 통합 표현으로서의 그라운디드 센서 이미지를 도입했습니다.
3. 데이터 합성 파이프라인: 기존 RGB 데이터로부터 다중 감각 데이터셋을 생성하는 방법으로, 값비싼 하드웨어 데이터 수집 없이도 미학습 작업에 대한 훈련을 용이하게 합니다.
4. 실증적 평가: 열화상, 음향, 레이더 유도 작업에 대해 12-DoF 숙련된 손을 갖춘 실제 로봇 환경에서 종합적인 평가를 수행했습니다.

실험 결과

모델은 열화상 카메라, mmWave 레이더, 마이크로폰 어레이를 포함하는 실제 로봇 설정에서 평가되었습니다.

• 작업 성공률: MuseVLA는 열 유도 픽 앤 플레이스(pick-and-place), 오디오 기반 객체 탐색, 레이더 보조 숨겨진 객체 검색 작업 전반에 걸쳐 평균 **80.6%**의 성공률을 달고 달성했습니다.
  • 이는 RGB 전용 베이스라인(예: $\pi_0$-RGB, 20.8%) 및 적응형 선택 없이 원시 센서 히트맵을 사용하는 베이스라인(예: $\pi_0$-Raw, 27.8%)을 크게 상회하는 수치입니다.
  • 구체적으로, MuseVLA는 평균 성공률 측면에서 최상의 RGB 전용 베이스라인보다 58%, 최상의 원시 센서 베이스라인보다 47% 높은 성능을 보였습니다.
• 적응형 선택 정확도: 모델은 올바른 센서 토큰과 대상 설명을 선택하는 데 높은 정확도를 보였으며, 훈련 작업에서는 100%의 센서 선택 정확도를, 사전 학습된 미학습 작업에서는 82.0%의 대상 설명 정확도를 달 기록했습니다.
• 효율성: 관련 센서만을 선택함으로써, MuseVLA는 모든 센서를 처리할 때의 13.23 GB에서 6.61 GB로 추론 GPU 메모리 사용량을 줄였습니다.
• 제로샷 일반화: 합성된 데이터셋으로 훈련되었을 때, MuseVLA는 새로운 객체 조합이나 지시 구조를 가진 미학습 작업에서 **66.7%**의 성공률을 달성하여 강력한 일반화 능력을 입증했습니다.
• 다단계 작업: 모델은 연쇄적인 작업(예: Radar $\to$ Thermal)을 성공적으로 처리하였으며, 단일 엔드투엔드 실행 내에서 양상을 전환하는 데 75.0%의 성공률을 보였습니다.

의의 및 주장

본 논문은 MuseVLA가 범용 다중 감각 조작을 향한 확장 가능한 경로를 제시한다고 주장합니다. 센서 처리를 VLA 백본으로부터 분리하고 센서를 조건부 도구로 취급함으로써, 이 접근 방식은 모든 센서를 처리하는 계산적 오버헤드 없이 로봇이 작업 지향적인 물리적 관측을 효율적으로 획득할 수 있게 합니다. 저자들은 자신들의 데이터 합성 파이프라인이 다중 감각 작업에 대한 제로샷 일반화를 가능하게 하여 데이터 희소성 문제를 효과적으로 완화한다고 단언합니다.

저자들은 현재의 한계점으로, 실세계 데이터셋의 규모가 크지 않다는 점과 성능이 우수한 세그멘테이션 모듈(SAM3)에 대한 의존성을 언급하며, 더 큰 데이터셋과 더 강력한 세그멘테이션 모델이 확보됨에 따라 이러한 제약이 완화될 수 있음을 명시했습니다. 이 연구는 로봇이 인간과 같은 적응적이고 작업 조건부적인 감각 유연성을 가지고 물리적 세계와 상호작용할 수 있도록 하는 단계적 과정으로 제시됩니다.