1. 문제 정의 (Problem)

이 논문은 양손 (Bimanual) 정교한 조작 (Dexterous Manipulation) 로봇이 복잡한 현실 세계 작업을 수행할 때 직면하는 다음과 같은 한계를 해결하고자 합니다.

• 다중 모달리티 통합의 비효율성: 기존 시각 (Vision) 과 고유 감각 (Proprioception) 기반 정책은 많은 작업에서 성공적이지만, 접촉이 빈번하고 (Contact-rich) 시각적 가림 (Occlusion) 이 발생하는 작업 (예: 조립, 뚜껑 닫기) 에서는 한계를 보입니다.
• 촉각 정보의 단순 통합: 기존 연구들은 촉각 정보를 시각/고유 감각과 단순히 결합 (Fusion) 하는 방식을 주로 사용했습니다. 이는 각 모달리티가 행동 생성에 기여하는 방식이 다르다는 점을 고려하지 않아, 시각 정보가 급변할 때나 촉각 신호가 희소할 때 성능 저하를 초래할 수 있습니다.
• 파라미터 효율성 부족: 기존에 훈련된 시각 기반 정책에 촉각 정보를 추가할 때, 전체 모델을 다시 훈련 (Retraining) 하거나 파라미터를 대폭 수정해야 하는 비효율적인 접근이 많았습니다.
• 데이터 부족: 촉각 센서를 포함한 양손 정교 조작을 위한 대규모 실물 로봇 데이터셋이 부족했습니다.

2. 방법론 (Methodology)

저자들은 **DECO (Decoupled Multimodal Diffusion Transformer)**라는 새로운 아키텍처와 DECO-50 데이터셋을 제안합니다.

A. DECO 아키텍처 (Decoupled Multimodal Diffusion Transformer)

DECO 는 시각, 고유 감각, 촉각 정보를 분리된 (Decoupled) 경로로 주입하여 통합하는 확산 모델 (Diffusion Transformer, DiT) 기반 정책입니다.

1. 시각 및 행동 토큰 (Visual & Action Tokens):
   • 이미지 토큰과 행동 토큰은 **공동 자기 주의 (Joint Self-Attention)**를 통해 상호작용합니다. 이를 통해 시각 정보가 행동 생성을 직접적으로 유도합니다.
   • 양안 (Binocular) 이미지는 공유된 ResNet-34 백본으로 인코딩되며, 회전 위치 임베딩 (RoPE) 이 적용됩니다.
2. 고유 감각 및 조건 주입 (Proprioception & Conditions):
   • 로봇 관절 상태 (Proprioception) 와 작업 조건은 **적응형 레이어 정규화 (Adaptive Layer Normalization, AdaLN)**를 통해 시각 및 행동 토큰에 주입됩니다. 이는 주의 (Attention) 구조를 변경하지 않고 조건 정보를 조절합니다.
3. 촉각 신호 주입 (Tactile Signals):
   • 촉각 정보는 크로스 어텐션 (Cross-Attention) 모듈을 통해 별도의 경로로 주입됩니다. 이는 시각 기반 정책의 자기 주의 구조를 변경하지 않으면서 촉각 정보를 유연하게 통합할 수 있게 합니다.

B. 플러그인 촉각 어댑터 (Plugin Tactile Adapter)

기존에 훈련된 시각 기반 DECO 정책에 촉각 정보를 효율적으로 추가하기 위한 모듈입니다.

• 경량화 및 효율성: 전체 모델을 재훈련하지 않고, LoRA (Low-Rank Adaptation) 기술을 사용하여 어텐션 레이어의 일부 파라미터만 미세 조정 (Fine-tuning) 합니다.
• 작동 원리: 촉각 센서 데이터를 인코더로 처리한 후, 크로스 어텐션을 통해 정책 네트워크에 주입합니다. 이는 사전 훈련된 시각 - 행동 능력을 유지하면서 접촉이 많은 작업에서의 성능을 향상시킵니다.
• 파라미터 효율: 전체 모델 파라미터의 10% 미만만 업데이트하여 새로운 모달리티를 추가합니다.

C. DECO-50 데이터셋

• 구성: 4 가지 시나리오 (피킹 앤 플레이스, 재료 분류, 쓰레기 처리, 조립), 28 개의 하위 작업으로 구성.
• 규모: 약 50 시간의 데이터, 500 만 프레임 이상, 8,000 개 이상의 성공적인 궤적.
• 특징: 양손 정교 조작, 활성 비전 (Active Vision), 촉각 센서 데이터를 모두 포함하는 실물 로봇 데이터셋입니다.

3. 주요 기여 (Key Contributions)

1. DECO 모델: 시각, 고유 감각, 촉각을 분리된 경로로 주입하는 분리형 다중 모달 확산 트랜스포머를 제안하여, 각 모달리티의 고유한 역할을 최대화하고 통합 효율성을 높였습니다.
2. 촉각 어댑터: 사전 훈련된 시각 기반 정책에 촉각 정보를 파라미터 효율적으로 (LoRA 기반) 주입하는 플러그인 방식을 개발했습니다. 이는 재훈련 없이도 접촉이 많은 작업에서 성능을 극대화합니다.
3. DECO-50 데이터셋: 촉각 센싱이 포함된 대규모 양손 정교 조작 데이터셋을 공개하여, 해당 분야의 연구 기반을 마련했습니다.

4. 실험 결과 (Results)

실제 로봇 (Unitree H1-2, Inspire RH56DFTP 손) 을 이용한 2,000 회 이상의 롤아웃 (Rollout) 평가에서 다음과 같은 결과를 얻었습니다.

• 전반적 성능: DECO 는 모든 작업에서 기존 베이스라인 (ACT, DP) 대비 **평균 성공률 72.25%**를 기록하며, 베이스라인 대비 21% 향상을 보였습니다.
• 촉각의 효과:
  • 접촉이 많은 작업 (쓰레기 처리, 조립): 촉각 어댑터 (DECO.p) 를 적용한 경우, 평균 성공률이 10.25% 추가 향상되었으며, 복잡한 접촉 작업에서는 20% 의 성과 개선을 보였습니다.
  • 접촉이 적은 작업 (피킹 앤 플레이스, 분류): 시각과 고유 감각만으로도 높은 성능을 보였으며, 촉각은 추가적인 이득이 크지 않았습니다. 이는 작업의 특성에 따라 모달리티의 중요도가 다르다는 것을 입증합니다.
• 효율성: 촉각 어댑터는 전체 파라미터의 약 7.97M (약 9%) 만을 학습하여, 전체 모델을 처음부터 훈련하는 것보다 훨씬 적은 비용으로 동등하거나 더 나은 성능을 달성했습니다.
• 아블레이션 연구: 촉각 정보를 단순히 결합 (Coupled) 하는 방식보다, 분리된 어댑터와 크로스 어텐션을 사용하는 방식이 접촉 상태 감지 및 힘 제어에 훨씬 효과적이었음을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇 조작 분야에서 다중 모달리티 통합의 새로운 패러다임을 제시합니다.

• 모달리티별 최적화: 모든 센서 정보를 무조건 결합하는 것이 아니라, 시각, 고유 감각, 촉각이 각기 다른 방식으로 행동 생성에 기여한다는 가정을 바탕으로 분리된 주입 (Decoupled Injection) 방식을 도입했습니다.
• 실용적 확장성: 제안된 플러그인 촉각 어댑터는 기존에 훈련된 대규모 시각 - 언어 - 행동 (VLA) 모델이나 시각 기반 정책에도 쉽게 적용 가능하여, 촉각 센서를 추가할 때의 비용과 시간을 획기적으로 줄여줍니다.
• 데이터 기반 연구: DECO-50 데이터셋은 촉각을 활용한 양손 조작 연구의 표준 벤치마크로 활용될 수 있으며, 특히 접촉이 빈번한 정교한 조립 작업의 자동화에 중요한 기여를 할 것으로 기대됩니다.

결론적으로, DECO 는 복잡한 현실 세계 작업에서 로봇의 정교한 조작 능력을 향상시키기 위해 구조화된 모달리티 통합과 효율적인 적응 학습을 결합한 획기적인 접근법입니다.