MuxGel: Simultaneous Dual-Modal Visuo-Tactile Sensing via Spatially Multiplexing and Deep Reconstruction

이 논문은 불투명 코팅과 투명한 창을 체커보드 패턴으로 교차 배치하여 단일 카메라로 외부 시각 정보와 접촉 촉각 신호를 동시에 포착하고, 심층 학습 기반의 재구성 프레임워크를 통해 고충실도의 이중 모달 데이터를 복원하는 새로운 센서 'MuxGel'을 제안합니다.

핵심

이 논문은 로봇이 물건을 잡을 때 '눈'과 '손끝'을 동시에 볼 수 있게 해주는 새로운 기술을 소개합니다. 제목은 **MuxGel(머크젤)**입니다.

기존의 로봇 손가락 센서들은 큰 딜레마에 빠져 있었습니다.

• 눈으로 보려면: 투명해야 하지만, 그러면 손끝의 감촉 (촉각) 을 느낄 수 없습니다.
• 감촉을 느끼려면: 불투명한 막을 발라야 하지만, 그러면 앞이 안 보여서 물건을 잡기 전에 무엇을 잡는지 알 수 없습니다.

이 문제를 해결하기 위해 연구진은 "한 번에 두 마리 토끼를 잡는" 아주 창의적인 방법을 고안했습니다.

---

1. MuxGel 이란 무엇인가요? (창의적인 비유)

MuxGel 은 마치 **체스판 (Checkerboard)**처럼 생긴 특수한 젤 패드를 사용합니다.

• 검은색 칸 (불투명): 이 부분은 로봇의 '손끝' 역할을 합니다. 물체가 닿으면 변형되어 촉각 정보를 줍니다.
• 흰색 칸 (투명): 이 부분은 로봇의 '눈' 역할을 합니다. 물체를 직접 볼 수 있는 창입니다.

이 두 가지가 섞여 있어, 카메라는 한 번에 **'앞에 있는 물체의 모습 (시각)'**과 **'물체가 닿은 느낌 (촉각)'**을 모두 찍어냅니다. 마치 안경을 끼고 있으면서도 동시에 장갑을 낀 손끝으로 물체를 느끼는 것과 같습니다.

2. 어떻게 두 가지 정보를 분리하나요? (AI 의 마법)

카메라가 찍은 사진은 검은 칸과 흰 칸이 뒤섞인 '뚫린 사진'처럼 보입니다. 이걸 그대로 보면 물체도 흐릿하고, 감촉도 알 수 없습니다.

여기서 **AI (딥러닝)**가 등장합니다. 이 AI 는 마치 고급 사진 편집 프로그램처럼 작동합니다.

• 원리: AI 는 "이 검은 칸은 촉각이고, 이 흰 칸은 시야야"라고 미리 학습되어 있습니다.
• 작동: 뚫린 사진을 입력하면, AI 는 마치 퍼즐을 맞추듯 검은 칸의 정보를 채워 촉각 이미지를 만들고, 흰 칸의 정보를 채워 시야 이미지를 만들어냅니다.
• 결과: 사용자는 뚫린 사진 대신, 완벽하게 선명한 시야 사진과 정교한 촉각 지도를 동시에 얻게 됩니다.

3. 왜 이것이 중요한가요? (실생활 예시)

기존 로봇은 물건을 잡을 때 다음과 같은 문제가 있었습니다.

1. 접근 단계: 눈으로 물체를 보다가, 손가락이 물체에 닿는 순간 시야가 가려져서 (블라인드) 물체가 어디 있는지 잃어버립니다.
2. 접촉 단계: 감촉은 느끼지만, 물체가 어떤 모양인지, 어디에 있는지 눈으로 확인할 수 없습니다.

MuxGel 을 사용하면:

• 접근할 때: 투명 창을 통해 물체를 정확히 보고 잡습니다.
• 닿을 때: 불투명 부분을 통해 물체의 질감과 압력을 느끼면서, 동시에 투명 창을 통해 물체가 어떻게 변형되는지, 혹은 주변 환경이 어떻게 보이는지 계속 봅니다.

이는 마치 안경을 낀 채로 장갑을 끼고 요리하는 것과 같습니다. 안경 (시각) 으로 재료를 보고, 장갑 (촉각) 으로 식감을 느끼면서, 두 감각이 서로 방해받지 않고 동시에 작동합니다.

4. 실제 성과는 어떨까요?

연구진은 이 센서를 로봇 손에 장착하고 다양한 물건 (감자, 토마토, 레고 블록 등) 을 잡는 실험을 했습니다.

• 결과: 로봇은 물건을 잡기 전까지 눈으로 정확히 조준하고, 잡는 순간 촉각으로 힘 조절을 하면서도, 동시에 물체의 상태를 계속 눈으로 확인할 수 있었습니다.
• 장점: 기존 센서의 하드웨어를 뜯어고칠 필요 없이, 그냥 젤 패드만 교체하면 바로 쓸 수 있습니다 (Plug-and-Play).

요약

MuxGel은 로봇에게 **"눈과 손끝을 동시에 가질 수 있는 능력"**을赋予了 것입니다.

• 과거: 눈과 손이 서로를 가리는 '눈가리개' 상태였다면,
• 현재: 체스판처럼 나누어진 창을 통해 눈과 손이 협력하는 상태가 되었습니다.

이 기술은 로봇이 더 정교하고 안전하게 물건을 다루는 데 큰 도움을 줄 것으로 기대됩니다. 마치 로봇이 이제부터 "보면서 느끼는 (Seeing while Feeling)" 진정한 감각을 갖게 된 것과 같습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 로봇 조작의 한계: 정밀한 로봇 조작을 위해서는 비전 (시각) 과 촉각 (터치) 정보의 통합이 필수적입니다. 그러나 기존 방식은 접근 단계에서는 외부 카메라를, 접촉 단계에서는 촉각 센서를 사용해야 하므로, 접근 과정에서 발생하는 가림 (Occlusion) 문제가 해결되지 않았습니다.
• 기존 센서의 트레이드오프: GelSight 와 같은 비전 기반 촉각 센서는 높은 공간 해상도를 제공하지만, 변형을 감지하기 위해 불투명한 코팅을 사용해야 합니다. 이로 인해 접촉 전의 외부 시각 정보를 얻을 수 없으며, 접촉이 발생한 순간에만 촉각 정보를 획득할 수 있어 연속적인 지각이 어렵습니다.
• 기존 이중 모드 (Dual-Modal) 접근법의 결함:
  • 별도의 카메라 추가: 센서 크기가 커지고 시차 (Parallax) 문제가 발생하여 정렬이 어렵습니다.
  • 투명한 엘라스토머 사용: 시각 마커가 희소하여 촉각 해상도가 낮아집니다.
  • 모드 전환 방식: 접촉 전/후에 시각/촉각 모드를 전환하므로, 가장 중요한 접촉 순간의 시각 정보가 손실됩니다.

2. 제안 방법 (Methodology)

가. 하드웨어 설계: MuxGel (Spatially Multiplexing)

• 개념: 하나의 카메라로 외부 시각 정보와 접촉에 의한 촉각 신호를 동시에 획득하는 공간 다중화 (Spatial Multiplexing) 센서입니다.
• 구조: GelSight 스타일의 젤 패드 위에 체스판 (Checkerboard) 패턴을 적용합니다.
  • 회색 램버시안 (Lambertian) 코팅 영역: 접촉 변형을 감지하는 촉각 민감 영역.
  • 투명한 창 (Transparent Window) 영역: 외부 환경을 관측하는 시각 영역.
• 장점: 기존 GelSight 센서의 기계적/광학적 구조를 변경하지 않고, 젤 패드만 교체하여 플러그 앤 플레이 (Plug-and-play) 방식으로 통합 가능합니다. (2x2, 4x4, 8x8 등 다양한 격자 구성 실험)

나. 소프트웨어 및 알고리즘: Deep Reconstruction Framework

• 목표: 다중화된 입력 이미지 (Mixed Image) 에서 고해상도의 시각 및 촉각 이미지를 분리 (Decouple) 하고 복원 (Reconstruct) 합니다.
• 모델 아키텍처 (muxNet):
  • 공유 인코더: ResNet-34 기반.
  • 이중 디코더: 시각 (Vision) 복원용과 촉각 (Tactile) 복원용 두 개의 U-Net 스타일 디코더.
  • 입력: 현재 다중화된 이미지 + 비접촉 상태의 참조 이미지 (Reference Image).
  • 촉각 예측 전략: 절대값 예측 (Absolute) 과 잔차 예측 (Residual) 방식 중 잔차 예측을 채택하여, 비접촉 배경 이미지에 접촉으로 인한 변형 잔차를 더하는 방식으로 최종 촉각 이미지를 생성합니다.
• 학습 파이프라인 (Sim-to-Real):
  • 시뮬레이션 데이터 생성: MuJoCo 엔진과 Taxim 을 사용하여 물리 기반의 합성 데이터를 대량 생성합니다. 조명, 그림자, 왜곡 등을 랜덤화하여 도메인 격차 (Domain Gap) 를 줄입니다.
  • 전이 학습: 대규모 시뮬레이션 데이터로 사전 학습 (Pre-training) 후, 실제 데이터로 미세 조정 (Fine-tuning) 을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 동시 다중 모드 감지: 불투명 코팅의 한계를 극복하고, 접촉 전 (Pre-contact) 과 접촉 중 (In-contact) 에 시각과 촉각 정보를 동시에 획득하는 최초의 비전 기반 촉각 센서 설계.
2. 플러그 앤 플레이 통합: 기존 GelSight 하드웨어 스택을 변경하지 않고 젤 패드 교체만으로 고도화된 센서 기능을 구현.
3. 고성능 복원 알고리즘: 공간 다중화 입력에서 고충실도 시각 및 촉각 이미지를 분리해내는 딥러닝 기반 재구성 프레임워크 (muxNet) 개발.
4. 실제 조작 검증: 미처 보지 못한 (Unseen) 물체에 대한 일반화 능력과 로봇 그리핑 (Grasping) 작업에서의 실시간 피드백 유효성 입증.

4. 실험 결과 (Results)

• 재구성 성능 (Quantitative Evaluation):
  • 촉각: 미세 조정 (Fine-tuning) 된 DI-ResT 모델이 RMSE 0.0287 의 우수한 성능을 보이며, 기존 제로샷 (Zero-shot) 시뮬레이션 모델 대비 정확도가 크게 향상되었습니다.
  • 시각: 4x4 체스판 구성이 촉각과 시각의 균형이 가장 좋은 구성으로 나타났으며, 8x8 은 시각 복원에는 유리하지만 촉각 해상도가 낮아지는 트레이드오프가 확인되었습니다.
  • 일반화: 나사, 감자, 아보카도 등 다양한 질감과 형태의 9 개의 미처 보지 못한 물체에 대해 높은 재구성 정확도를 보였습니다.
• 로봇 조작 실험 (Visuo-Tactile Servoing Grasping):
  • Robotiq 그리퍼에 통합하여 UR16e 로봇 팔과 연동.
  • 시각 서보링: 접근 단계에서 객체 중심 정렬.
  • 촉각 정지: 접촉 시 변형 임계값 도달 시 그리퍼 닫힘 중지.
  • 성공률: 9 개의 다양한 미처 보지 못한 물체 대상 실험에서 100% 성공적인 그리핑을 달성했습니다.

5. 의의 및 결론 (Significance)

• 지속적인 지각 (Continuous Perception): 로봇이 물체에 접근하고 접촉하는 전 과정을 통해 시각과 촉각 정보를 끊김없이 제공함으로써, 복잡한 조작 작업의 안정성과 정밀도를 획기적으로 높입니다.
• 확장성: GelSight 형식뿐만 아니라 다른 비전 기반 촉각 센서에도 공간 다중화 원리를 적용할 수 있어, 로봇 공학 분야의 센서 설계 패러다임을 변화시킬 잠재력을 가집니다.
• 실용성: 하드웨어 변경 없이 소프트웨어와 젤 패드만으로 기존 센서를 고도화할 수 있어, 실제 산업 및 연구 현장에서의 도입 장벽이 낮습니다.

이 논문은 MuxGel 을 통해 로봇이 "보는 것"과 "느끼는 것"을 동시에 수행할 수 있는 새로운 가능성을 제시하며, 향후 더 정교한 로봇 조작 및 자율 시스템 개발의 기반을 마련했습니다.