MLA: A Multisensory Language-Action Model for Multimodal Understanding and Forecasting in Robotic Manipulation

1. 연구 배경 및 문제 정의 (Problem)

• 기존 VLA 모델의 한계: 최근 비전 - 언어 - 행동 (VLA, Vision-Language-Action) 모델은 로봇 조작 작업에서 뛰어난 일반화 능력을 보여주었습니다. 그러나 대부분의 기존 모델은 2D 이미지와 자연어 명령에 의존하여 행동을 생성합니다.
• 물리적 세계 이해의 부재: 실제 로봇은 공간적 환경과 물리적 상호작용 (접촉, 힘 등) 을 이해해야 합니다. 2D 이미지만으로는 공간적 의존성과 물리적 역학 (Physical Dynamics) 을 충분히 모델링하기 어렵습니다.
• 다중 감각 정보의 통합 문제: 3D 점군 (Point Cloud) 이나 촉각 (Tactile) 신호와 같은 추가적인 감각 정보를 통합하려는 시도들이 있었으나, 이는 종종 별도의 모달리티 전용 인코더 (Encoder) 를 필요로 하여 효율성을 떨어뜨리고, 대규모 언어 모델 (LLM) 이 새로운 감각 데이터와 정렬되지 않아 표현력이 제한되는 문제가 있었습니다.
• 미래 상태 예측의 부족: 물리적 역학을 이해하기 위해 미래 상태를 예측하는 연구들이 있었으나, 주로 2D 이미지 예측에 국한되어 복잡한 접촉이 많은 (Contact-rich) 장면에서의 3D 구조나 촉각 상호작용 정보를 예측하는 데 한계가 있었습니다.

2. 제안된 방법론 (Methodology)

저자들은 MLA(Multisensory Language-Action) 모델을 제안하며, 이는 다음과 같은 핵심 기술들을 포함합니다.

가. 인코더 없는 다중 모달 정렬 (Encoder-Free Multimodal Alignment)

• 개념: 별도의 비전 인코더를 사용하지 않고, LLM 의 초기 트랜스포머 블록을 직접 지각 (Perception) 모듈로 활용합니다.
• 구현:
  • 토큰화: 2D 이미지, 3D 점군, 촉각 신호를 각각 경량 토크나이저를 통해 공통 토큰 시퀀스로 변환합니다.
  • 위치 기반 정렬 (Positional Correspondence): 카메라 파라미터를 사용하여 3D 점군과 촉각 그리퍼의 3D 위치를 2D 이미지 평면에 투영합니다.
  • 대조 학습 (Contrastive Learning): 투영된 위치가 일치하는 2D 이미지 토큰, 3D 점군 토큰, 촉각 토큰을 '양성 쌍 (Positive Pairs)'으로 정의하고, LLM 임베딩 공간 내에서 토큰 수준의 대조 손실 (InfoNCE Loss) 을 적용하여 다중 감각 정보를 정렬합니다.
• 효과: 별도의 인코더를 제거하여 추론 효율성을 높이고, LLM 이 직접 로봇 특유의 다중 감각 데이터를 해석하도록 합니다.

나. 미래 다중 감각 생성 사후 학습 (Future Multisensory Generation Post-training)

• 목적: 물리적 역학에 대한 이해를 강화하기 위해 미래의 감각 상태를 예측하는 능력을 학습시킵니다.
• 구현:
  • LLM 의 최종 은닉 상태를 입력으로 받아 트랜스포머 디코더를 통해 미래의 2D 이미지, 3D 점군, 촉각 신호를 동시에 생성합니다.
  • 이미지: 미래의 키 프레임 (Keyframe) 을 예측하며, 배경 픽셀을 제거하여 전경 영역 예측에 집중합니다.
  • 점군: 마스킹 오토인코더 (MAE) 방식에서 영감을 받아, coarse center points 를 먼저 정렬한 후 local neighbor points 를 정제하는 방식으로 3D 구조를 예측합니다.
  • 촉각: 미래의 촉각 피드백을 예측합니다.
• 의의: 이 과정은 훈련 단계 (Post-training) 에서만 수행되며 추론 속도에 영향을 주지 않으면서, 행동 생성에 필요한 더 강력한 물리적 조건을 제공합니다.

다. 3 단계 훈련 파이프라인

1. 대규모 사전 학습 (Pretraining): 57 만 개 이상의 이미지 - 행동 쌍 데이터 (Open-X-Embodiment 등) 를 사용하여 LLM 기반을 학습합니다.
2. 지도 미세 조정 (SFT): 제안된 '인코더 없는 다중 모달 정렬' 메커니즘을 적용하여 이미지, 점군, 촉각, 언어 데이터를 통합 학습합니다.
3. 사후 학습 (Post-training): 미래 다중 감각 생성 전략을 도입하여 물리적 역학 이해 능력을 최종적으로 강화합니다.

3. 주요 기여 (Key Contributions)

1. MLA 모델 제안: 별도의 인코더 없이 LLM 을 재사용하여 이미지, 점군, 촉각을 직접 정렬하고 해석하는 최초의 다중 감각 언어 - 행동 모델입니다.
2. 미래 다중 감각 생성 전략: 의미, 기하학적 구조, 상호작용 정보를 종합적으로 추론할 수 있도록 미래 상태를 예측하는 새로운 사후 학습 전략을 도입했습니다.
3. 점진적 학습 파이프라인: 사전 학습, SFT, 사후 학습을 통해 실제 물리 세계에서의 지각, 이해, 행동 생성 능력을 체계적으로 함양하는 방법을 제시했습니다.

4. 실험 결과 (Results)

• 실제 세계 실험 (Real-World):
  • 환경: Franka 단일 암 및 듀얼 암 로봇을 사용하여 6 가지 복잡한 접촉이 많은 작업 (예: 도장 찍기, 화이트보드 닦기, 접시 정리 등) 을 수행했습니다.
  • 성능: 기존 최첨단 2D VLA 모델 (π0) 보다 12%, 3D VLA 모델 (SpatialVLA) 보다 24% 높은 성공률을 기록했습니다.
  • 특징: 특히 화이트보드 닦기 작업에서 촉각 센서를 통해 엔드 이펙터의 하강 및 측면 움직임을 정밀하게 제어하는 모습을 보였습니다.
• 일반화 능력 (Generalization):
  • 훈련되지 않은 객체 (예: 달걀 대신 상추) 와 복잡한 배경 (클러터) 환경에서도 기존 모델 (π0) 보다 훨씬 높은 성공률을 유지하며 강인한 일반화 능력을 입증했습니다.
• 시뮬레이션 벤치마크 (RLBench):
  • RLBench 의 10 가지 작업에서 평균 **81%**의 성공률을 기록하여 OpenVLA(40%), π0(65%), SpatialVLA(46%) 등 기존 모델들을 압도했습니다.

5. 의의 및 결론 (Significance)

• 물리적 세계 모델링의 혁신: 로봇이 2D 이미지를 넘어 3D 기하학과 촉각 정보를 통합하여 물리적 역학을 이해하고 예측할 수 있는 새로운 패러다임을 제시했습니다.
• 효율성: 별도의 인코더를 제거하고 LLM 을 직접 활용함으로써 계산 효율성을 높이고 추론 속도를 유지하면서도 성능을 극대화했습니다.
• 미래 지향적 접근: 단순히 현재 상태를 인식하는 것을 넘어, 미래의 감각 상태를 예측함으로써 더 안전하고 정밀한 로봇 조작을 가능하게 합니다.
• 오픈 소스 및 재현성: 프로젝트 웹사이트와 함께 실험 코드를 공개하여 커뮤니티의 후속 연구를 촉진할 것으로 기대됩니다.

이 논문은 로봇 조작 분야에서 다중 감각 정보의 통합과 미래 상태 예측을 결합하여, 복잡하고 접촉이 많은 환경에서도 인간 수준의 지능과 적응력을 갖춘 로봇 제어 시스템을 구축하는 중요한 이정표가 됩니다.