Learning Bimanual Cloth Manipulation with Vision-based Tactile Sensing via Single Robotic Arm

이 논문은 단일 로봇 암으로 복잡한 직물 조작을 가능하게 하는 비전 기반 촉각 그리퍼 'Touch G.O.G.'와 이를 위한 통합 제어 프레임워크를 제안하며, 고해상도 합성 데이터 생성 및 정밀한 엣지 추정 기술을 통해 단일 암으로도 신뢰성 있는 직물 펼치기 작업을 성공적으로 수행함을 보여줍니다.

핵심

1. 문제 상황: "눈이 가려진 상태에서 옷을 펴기"

옷은 고무줄처럼 늘어나고 구겨지기 때문에 다루기 매우 어렵습니다. 특히 로봇이 옷을 잡으려 할 때, 로봇의 손가락이나 옷의 주름이 카메라 시야를 가려버리면 (이걸 '가림 현상'이라고 해요), 로봇은 "내가 지금 옷의 어느 부분을 잡고 있는지도 모르게" 됩니다.

기존의 두 팔 로봇은 비싸고 복잡하고, 한 팔만 쓰는 로봇은 시야가 가려지면 길을 잃기 쉽습니다.

2. 해결책: "눈이 달린 손가락" (Touch G.O.G.)

이 연구팀은 로봇 팔 하나에 마치 인간의 눈처럼 볼 수 있는 '촉각 센서'가 달린 손가락을 달았습니다.

• 비유: 마치 안경을 낀 채로 손가락 끝으로 옷을 더듬어보는 것과 같습니다.
• 로봇은 옷 전체를 멀리서 보는 대신, 손가락이 닿은 부분의 미세한 질감과 모양을 실시간으로 보고 "아, 여기는 옷의 모서리야", "아, 여기는 옷 안쪽이야"라고 판단합니다.

3. 시스템의 핵심 3 가지 요소

이 시스템은 크게 세 가지 장난감 같은 부품으로 이루어져 있습니다.

① 스마트한 손가락 (D-WCG & T-VFG)

• 비유: **마치 사람의 엄지와 검지가 서로 다른 방향으로 움직일 수 있는 '유연한 손'**입니다.
• 보통 로봇 손가락은 딱딱하게 열리고 닫히지만, 이 손가락은 옷을 잡은 상태에서 안쪽에서 미끄러지듯 움직일 수 있습니다. 옷의 주름을 따라 손가락이 살짝 회전하거나 넓어지거나 좁아지며 옷을 부드럽게 잡아당깁니다.

② AI 두뇌 (PC-Net & PE-Net)

• 비유: 손가락 끝에 달린 '초능력 눈'이 보는 것을 해석하는 AI입니다.
• PC-Net: 손가락이 닿은 곳이 '옷의 모서리', '옷의 가장자리', '옷 안쪽', 아니면 '아무것도 잡히지 않음'인지 4 가지로 분류합니다.
• PE-Net: 가장자리를 잡았다면, 그 가장자리가 어느 방향으로 얼마나 기울어져 있는지를 미터 단위로 정밀하게 계산합니다. (오차 1 밀리미터 이하!)

③ 가상 현실 시뮬레이터 (SD-Net)

• 비유: **AI 를 훈련시키기 위한 '가상 현실 게임'**입니다.
• 로봇이 옷을 다루는 법을 배우려면 수많은 데이터가 필요하지만, 실제로 옷을 수천 번 접고 펴며 데이터를 모으는 건 불가능에 가깝습니다. 그래서 연구팀은 컴퓨터로 가상의 옷과 손가락 이미지를 만들어내는 AI를 개발했습니다.
• 마치 게임에서 다양한 옷감의 질감과 구겨진 모양을 무한히 만들어내어, 로봇 AI 가 "실제 옷을 볼 때" 당황하지 않고 바로 대처할 수 있도록 훈련시킵니다.

4. 실제 작동 원리: "주름진 옷을 펴는 마법"

로봇이 구겨진 옷을 펼치는 과정은 다음과 같습니다.

1. 잡기: 로봇이 옷의 한 모서리를 잡습니다.
2. 더듬기: 손가락이 옷을 따라 미끄러지듯 움직입니다. 이때 손가락의 '눈'이 "아직 모서리에 도달하지 않았어, 계속 미끄러져"라고 명령합니다.
3. 보정: 만약 손가락이 옷 속으로 너무 깊게 들어갔다면, AI 가 "조금 빼줘"라고 신호를 보내 로봇 팔이 살짝 뒤로 물러납니다.
4. 완료: 반대쪽 모서리에 도달하면, 로봇은 "이제 옷이 펴졌다"고 판단하고 멈춥니다.

5. 결론: 왜 이것이 중요한가요?

이 연구는 **"비싼 두 팔 로봇 없이도, 한 팔로만 복잡한 옷을 펴는 것"**이 가능함을 증명했습니다.

• 시각의 한계를 극복: 카메라가 가려져도 손가락의 '눈'으로 해결합니다.
• 저렴하고 효율적: 복잡한 두 팔 시스템 대신 하나의 스마트한 손으로 해결합니다.
• 실용성: 구겨진 티셔츠나 이불처럼 복잡한 상황에서도 잘 작동합니다.

한 줄 요약:

이 로봇은 눈이 달린 손가락을 통해 옷을 더듬으며, 가상 현실에서 수만 번 연습한 덕분에 한 손으로도 구겨진 옷을 깔끔하게 펴는 마법을 부립니다.

이 기술이 발전하면, 우리 집 로봇이 아침마다 구겨진 옷을 펴서 다림질해 주는 날도 머지않아 올 것 같습니다!

기술 요약

이 논문은 Touch G.O.G.(Touch Gripper for One-arm Grasping) 라는 단일 로봇 팔을 이용한 양손 (Bimanual) 천 조작 시스템을 제안합니다. 기존의 양팔 로봇 시스템의 높은 비용과 제어 복잡성을 해결하면서도, 천과 같은 변형 가능한 물체 (Deformable Objects) 의 조작 난이도를 극복하기 위해 시각 - 촉각 (Visuotactile) 센싱과 심층 학습을 결합한 통합 프레임워크를 제시합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 천 조작의 어려움: 천은 고차원의 상태 공간, 예측 불가능한 역학, 그리고 자주 발생하는 가려짐 (Occlusion) 으로 인해 로봇 조작이 매우 어렵습니다.
• 기존 방식의 한계:
  • 양팔 로봇: 천 펼치기 (Unfolding) 등에 효과적이지만, 하드웨어 비용과 제어 복잡도가 높아 실용적 배포가 어렵습니다.
  • 전역 시각 (Global Vision): 카메라 기반 접근법은 천의 주름이나 로봇 엔드 이펙터에 의해 시야가 가려질 경우 (Self-occlusion) 에 실패하기 쉽습니다.
  • 데이터 부족: 촉각 이미지의 에지 (Edge) 기하학적 구조에 대한 정확한 레이블링은 비용이 많이 들고 대량 수집이 어렵습니다.

2. 방법론 (Methodology)

Touch G.O.G. 는 기계적 설계, 지각 (Perception), 제어 (Control) 의 세 가지 핵심 요소로 구성됩니다.

A. 기계적 설계: Touch G.O.G. 그리퍼

• Decoupled Width Control Gripper (D-WCG): 두 개의 손가락이 독립적으로 구동되는 벨트 구동 방식의 선형 스테이지로, 천의 크기와 모양에 따라 그립 폭을 동적으로 조절합니다.
• Tactile Variable Friction Gripper (T-VFG): 각 손가락 끝에 장착된 모듈로, 다음과 같은 기능을 수행합니다.
  • 시각 - 촉각 센서 (DIGIT): 고해상도 접촉 이미지를 제공하여 천의 모서리, 가장자리, 내부 영역, 그립 실패를 식별합니다.
  • Abduction DoF (회전 자유도): 소형 DC 모터를 통해 손가락이 회전하여 천의 가장자리와 정렬하거나, 그립 깊이를 조절할 수 있습니다.
  • 폐루프 제어: PID 제어기를 사용하여 그립 위치와 회전 각도를 정밀하게 제어하며, 진동을 억제하기 위해 미분 항을 필터링합니다.

B. 지각 및 제어 파이프라인

전체 시스템은 외부 카메라 없이 오직 그리퍼에 장착된 DIGIT 센서의 데이터만으로 작동합니다.

1. 천 부분 분류 네트워크 (PC-Net):
   • 목적: 촉각 이미지를 기반으로 현재 접촉 상태를 4 가지 클래스 (에지, 모서리, 천 내부, 그립 실패) 로 분류합니다.
   • 아키텍처: Vision Transformer(ViT) 기반인 Segment Anything Model (SAM) 을 백본으로 사용하고, 시계열 정보 (최근 5 프레임) 를 처리하여 동적 특성을 반영합니다.
2. 가상 데이터 생성기 (SD-Net):
   • 목적: 레이블이 부족한 촉각 데이터를 해결하기 위해, 간단한 에지 주석 (Annotation) 만으로 고품질의 합성 촉각 이미지를 생성합니다.
   • 아키텍처: SAM 백본과 합성곱 디코더를 결합한 인코더 - 디코더 구조입니다. 생성된 이미지는 실제 데이터와 유사한 질감과 접촉 패턴을 가지며, PE-Net 훈련용 데이터셋을 확장합니다.
3. 에지 포즈 추정 네트워크 (PE-Net):
   • 목적: 촉각 이미지 내의 천 가장자리 중심 위치 $(x, y)$ 와 각도 $(\theta)$ 를 정밀하게 추정합니다.
   • 학습: SD-Net 으로 생성된 합성 데이터와 소량의 실제 데이터를 혼합하여 훈련합니다. 위치 오차 (MSE) 와 각도 오차 (Cosine Similarity) 를 최소화하는 손실 함수를 사용합니다.

C. 제어 전략

• 슬라이딩 제어: PE-Net 이 추정하는 에지 포즈를 기반으로, 그리퍼의 회전 (Yaw) 과 Abduction 각도를 실시간으로 조정하여 에지가 센서 중앙에 위치하도록 유지합니다.
• 적응적 삽입/후퇴: PC-Net 이 '천 내부 (In-Fabric)'로 분류되면 그리퍼가 너무 깊게 들어간 것으로 판단하여 로봇 팔이 약간 후퇴하고, '그립 실패 (Grasp Failure)'로 분류되면 더 깊게 삽입하도록 조정합니다.

3. 주요 기여 (Key Contributions)

1. 단일 팔 양손 조작 시스템: 기계적 유연성 (Abduction DoF 포함) 과 지능형 제어를 통해 단일 로봇 팔로 양손이 필요한 천 펼치기 작업을 수행합니다.
2. SAM 기반 지각 파이프라인: SAM 을 활용한 PC-Net 과 PE-Net 을 통해 복잡한 패턴의 천에서도 정밀한 상태 인식과 에지 추정이 가능합니다.
3. 효율적인 합성 데이터 생성 (SD-Net): SAM 기반의 생성 모델을 통해 수동 레이블링을 최소화하면서도 훈련 데이터의 다양성을 극대화하여 모델의 일반화 성능을 높였습니다.

4. 실험 결과 (Results)

• 분류 정확도 (PC-Net): 에지, 모서리, 내부, 그립 실패를 구분하는 정확도가 **96%**에 달하며, 기존 ResNet, DenseNet, ViT 기반 모델보다 우수한 성능을 보입니다.
• 에지 포즈 추정 (PE-Net):
  • 위치 오차: 0.59 mm (서브 밀리미터 수준)
  • 각도 오차: 4.52 도
  • 합성 데이터 (SD-Net) 를 사용한 경우, 사용하지 않은 경우보다 오차가 크게 감소함을 확인했습니다.
• 실제 천 슬라이딩 실험:
  • 다양한 패턴, 두께, 재질의 7 가지 천 (평평한 상태와 구겨진 상태 포함) 에 대해 총 70 회 실험을 수행했습니다.
  • 성공률: 평평한 상태 24/35 (68.6%), 구겨진 상태 20/35 (57.1%) 로, 외부 시각 없이 오직 촉각 피드백만으로 복잡한 천을 성공적으로 펼쳤습니다.

5. 의의 및 결론 (Significance)

이 연구는 시각 - 촉각 센싱과 생성형 AI(SAM 기반) 를 결합하여, 고비용의 양팔 로봇 없이도 단일 로봇 팔로 정교한 천 조작이 가능함을 입증했습니다. 특히, 가려짐 (Occlusion) 이 발생하는 상황에서도 실시간으로 에지를 추적하고 오류를 수정하는 폐루프 제어 시스템은 가정용 로봇, 의료, 산업 현장 등 비구조화된 환경에서의 변형 가능 물체 조작에 중요한 기술적 진전을 의미합니다. Touch G.O.G. 는 비용 효율적이고 컴팩트한 솔루션으로, 로봇의 유연성과 적응성을 크게 향상시켰습니다.