Towards Dexterous Embodied Manipulation via Deep Multi-Sensory Fusion and Sparse Expert Scaling

1. 연구 배경 및 문제 정의 (Problem)

기존의 embodied AI(구현체 인공지능) 및 로봇 조작 연구는 주로 비전 (Vision) 중심의 패러다임에 의존해 왔습니다. Vision-Language-Action (VLA) 모델이나 Diffusion 기반 정책들은 대규모 사전 학습을 통해 의미론적 일반화 능력을 크게 향상시켰지만, 복잡한 물리적 상호작용을 수행하는 데 있어 다음과 같은 한계를 가집니다.

• 비시각적 피드백의 부재: 정밀한 조작 ( Dexterous Manipulation) 에 필수적인 힘 (Force) 과 기하학적 깊이 (Depth) 정보가 핵심 입력으로 간과되는 경우가 많습니다.
• 다중 감각 정렬 실패: 이질적인 신호 (RGB 이미지, 깊이, 6 축 힘) 간의 통계적 편차 (Statistical Heterogeneity) 가 커서, 단일 잠재 공간에서 효과적으로 정렬되지 못합니다. 이로 인해 중요한 힘 신호가 주의 메커니즘 (Self-attention) 에서 억제됩니다.
• 물리적 일관성 부족: 기존의 탈분리 (Decoupled) 방식은 환경 상태 예측과 행동 생성 간의 시간적 불일치를 초래하여, 고정밀 및 장시간 (Long-horizon) 작업에서 물리적 일관성을 해칩니다.

이러한 문제를 해결하기 위해, DeMUSE는 이질적인 다중 감각 입력을 통합하고, 물리적 일관성을 보장하며, 실시간 제어에 적합한 확장 가능한 아키텍처를 제안합니다.

2. 제안 방법론 (Methodology)

DeMUSE 는 Diffusion Transformer 아키텍처를 기반으로 하며, RGB, 깊이 (Depth), 6 축 힘 (Force) 데이터를 통합된 직렬 스트림으로 처리합니다.

A. 핵심 아키텍처 구성 요소

1. 통합 토큰화 및 공동 소음 제거 (Joint Denoising):

   • 모든 감각 모달리티 (RGB, Depth, Force) 를 단일 Transformer 백본에 토큰으로 연결합니다.
   • 공동 소음 제거 (Joint Denoising) 목표를 통해 환경의 미래 진화 (Visual Evolution) 와 행동 시퀀스 (Action Sequence) 를 동기화하여 생성합니다. 이는 시각적 상상과 물리적 실행이 동일한 인과 법칙을 따르도록 보장합니다.

2. 적응형 모달리티별 정규화 (AdaMN - Adaptive Modality-specific Normalization):

   • 문제 해결: 이질적인 신호 간의 수치적 스케일 차이와 통계적 불균형을 해결합니다.
   • 메커니즘: 기존 AdaLN(전체 평균화) 과 달리, 각 모달리티별로 전용 어피인 (Affine) 전문가 경로 ($\phi_m$) 를 사용하여 특징을 재보정합니다.
   • 효과: 공유 계산 스트림의 통계적 평균화로 인해 희소한 힘 신호가 억제되는 것을 방지하고, 각 모달리티의 활성화 특성을 유지하며 정렬을 개선합니다.

3. 희소 전문가 혼합 (Sparse Mixture-of-Experts, MoE) 및 공유 전문가:

   • 목적: 모델 용량을 확장하면서도 실시간 제어에 필요한 낮은 추론 지연 (Latency) 을 유지합니다.
   • 구조: 표준 FFN 을 희소 MoE로 대체하되, **공유 전문가 (Shared Expert)**를 포함하는 잔차 (Residual) 설계를 채택합니다.
     • 공유 전문가: 불변적인 물리적 특성과 보편적인 교차 모달 사전 지식을 담당 (항상 활성화).
     • 라우팅 전문가: 특정 모달리티의 동역학 (예: 힘, 깊이) 에 특화.
   • 라우팅 전략: Top-1 라우팅을 기본으로 사용하여 계산 오버헤드를 최소화하면서도 성능을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. DeMUSE 모델 제안: 토큰 연결과 공동 소음 제거 패러다임을 통해 지각과 행동의 깊은 통합을 이루고, 물리적 일관성을 보장하는 최초의 통합 확산 Transformer 아키텍처 중 하나입니다.
2. AdaMN 및 MoE 아키텍처: 이질적인 신호의 정렬 문제를 해결하는 AdaMN 과, 실시간 응답성을 유지하면서 대규모 물리적 사전 지식을 학습할 수 있는 효율적인 확장 전략 (Sparse MoE with Shared Experts) 을 제시했습니다.
3. 데이터 및 벤치마크 구축:
   • 기존 MetaWorld MT50 벤치마크를 고정밀 동기화 6-DoF 힘 및 깊이 신호가 포함된 증강 버전으로 확장했습니다.
   • 비정형 환경에서 로봇 조작을 위한 고충실도 실세계 데이터 수집 파이프라인 (저지연 원격 조작 인터페이스 및 자동 동기화 도구) 을 구축했습니다.

4. 실험 결과 (Results)

DeMUSE 는 시뮬레이션 (MetaWorld MT50) 과 실세계 (UR10 로봇 팔) 환경에서 다양한 베이스라인 (Diffusion Policy, RT-2, PAD, ForceVLA, RDT-1B 등) 과 비교 평가되었습니다.

• 성능:
  • 시뮬레이션: 평균 성공률 83.2% (가장 강력한 베이스라인 대비 Medium/Hard 난이도에서 7.1~6.5%p 향상).
  • 실세계: 평균 성공률 72.5% (비전 전용 정책 대비 27%p 이상 향상, RDT-1B 대비 13.5%p 향상).
• 정밀도 및 안정성:
  • 힘 제어: '손 소독제 분사' 작업에서 접촉 후 약 80ms 내에 행동을 수정하여 안정적인 순응도 (~10N) 를 유지했으며, 베이스라인들은 위험한 힘 서지 (>15N) 를 보였습니다.
  • 장기 작업: '컵 채우기' 작업에서 최종 액체 수준 정확도가 0.33 ± 0.02로 매우 높았습니다.
• 효율성: MoE 아키텍처는 밀집 (Dense) 모델 대비 42.6% 의 계산 비용 (GFLOPs) 절감을 이루면서도 더 높은 성공률을 달성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 embodied manipulation 의 미래 방향성을 제시합니다.

• 다중 감각 통합의 필수성: 단순한 비전 기반 접근을 넘어, 힘과 깊이 정보를 **심층적으로 통합 (Deep Fusion)**해야만 복잡한 물리적 상호작용과 고정밀 조작이 가능함을 입증했습니다.
• 생물학적 영감: 뇌의 대뇌 (Cerebrum) 가 다양한 감각을 통합한다는 통찰을 바탕으로, 단순한 반사적 피드백이 아닌 인지적 통합을 수행하는 아키텍처를 설계했습니다.
• 실용성: 희소 전문가 (Sparse Experts) 를 활용한 효율적인 확장은 고비용의 대규모 모델을 실시간 로봇 제어에 적용 가능하게 하여, 비정형 환경에서도 견고한 범용 embodied foundation model 구축의 길을 열었습니다.

요약하자면, DeMUSE는 이질적인 다중 감각 데이터를 통합하고, 물리적 일관성을 유지하며, 실시간으로 확장 가능한 새로운 표준을 제시한 획기적인 연구입니다.