Learning to unfold cloth: Scaling up world models to deformable object manipulation

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 천 (Cloth) 과 같은 변형 가능 물체 (Deformable Object) 의 조작은 보조 케어, 서비스 산업 등 다양한 분야에서 중요하지만, 로봇 공학적으로 매우 어려운 과제입니다.
• 핵심 문제:
  • 복잡한 물리 현상: 천은 취급 과정에서 모양이 빠르게 변하고, 주름과 접힘 패턴이 다양하게 나타납니다.
  • 관측의 어려움: 겹쳐진 천으로 인해 그립 포인트 (Grasp Point) 가 가려지거나, 천이 놓인 표면이 장애물이 되어 접근이 제한될 수 있습니다.
  • 기존 방법의 한계: 전통적인 테이블 위 조작은 정적 (Quasi-static) 인 반면, 공중에서 천을 들어 올리는 (In-air) 작업은 3 차원 동역학을 고려해야 하므로 훨씬 복잡합니다. 또한, 기존 3D 매핑 기반 방법은 데이터 수집에 시간이 오래 걸리고 실시간 대응이 어렵습니다.
  • 강화학습 (RL) 의 난제: 다양한 모양, 크기, 색상, 질감을 가진 천에 대해 일반화 (Generalization) 된 정책을 학습하는 것은 시각적 입력의 무한한 변이로 인해 어렵습니다.

2. 제안된 방법론 (Methodology)

저자들은 최신 강화학습 아키텍처인 DreamerV2를 기반으로 하여, 공중에서 천을 펴는 (Unfolding) 작업을 수행하는 시스템을 개발했습니다. 주요 기술적 개선 사항은 다음과 같습니다.

A. 입력 데이터의 변환: RGB 에서 표면 법선 (Surface Normals) 으로

• 문제: RGB 이미지 입력은 천의 색상과 질감에 따라 상태 표현이 달라져 모델이 불필요한 시각적 노이즈에 과적합 (Overfitting) 되기 쉽습니다.
• 해결: RGB 대신 깊이 (Depth) 이미지에서 계산된 표면 법선 (Surface Normals) 이미지를 입력으로 사용합니다.
  • 표면 법선은 천의 기하학적 구조 (주름, 접힘, 방향) 를 강조하고 색상/질감 정보는 제거합니다.
  • 이는 천의 물리적 상태에 집중하여 RL 에이전트의 성능을 향상시킵니다.
  • Sobel 필터를 사용하여 실시간으로 64x64 해상도의 법선 맵을 생성합니다.

B. 리플레이 버퍼 (Replay Buffer) 및 학습 전략 개선

• 문제: 무작위 탐색 (Random Exploration) 만으로는 복잡한 천 조작 작업에서 목표 상태 (완전히 펴진 천) 를 달성하기 어렵고, 이를 통해 월드 모델을 학습하기가 힘듭니다. 또한, 다양한 텍스처에 대한 과적합 위험이 있습니다.
• 해결:
  1. 전문가 시연 데이터 (Expert Demonstrations) 로드: 학습 시작 전, 무작위 탐색 대신 성공적인 천 펴기 시나리오를 포함한 시연 에피소드를 리플레이 버퍼에 먼저 로드합니다. 이를 통해 에이전트가 초기부터 목표 상태의 잠재 공간 (Latent Space) 을 학습할 수 있게 합니다.
  2. 배치 무작위 증강 (Batch Random Augmentation): 리플레이 버퍼에서 샘플링된 이미지 스택에 밝기/대비 조절, 회전, 이동, 줌 등 무작위 증강을 적용하여 모델의 강건성 (Robustness) 을 높이고 과적합을 방지합니다.

C. 환경 및 실험 설정

• 시뮬레이션: Unity 엔진과 ObiCloth 플러그인을 사용하여 물리 기반의 정밀한 천 시뮬레이션을 구축했습니다.
• 로봇: Franka Emika 로봇 팔을 사용하며, 두 개의 카메라 (원거리 카메라 및 손목 장착 카메라) 를 통해 3 차원 정보를 수집합니다.
• 작업: 고정된 천의 한 모서리를 잡고, 인접한 모서리를 찾아 잡고 당겨 천을 펴는 작업입니다.

3. 주요 기여 (Key Contributions)

1. 표면 법선 기반 입력 모달리티: 변형 가능 물체 조작을 위해 RGB 대신 표면 법선 이미지를 사용하여 기하학적 정보에 집중하고 시각적 변이 (색상/질감) 의 영향을 제거했습니다.
2. 시연 기반 월드 모델 학습: 무작위 탐색 대신 전문가 시연 데이터를 리플레이 버퍼에 주입하여 학습 초기의 목표 상태 학습을 용이하게 하고, 배치 증강을 통해 일반화 성능을 극대화했습니다.
3. Zero-shot Sim-to-Real 배포: 추가적인 미세 조정 (Fine-tuning) 없이 시뮬레이션에서 학습된 정책을 실제 로봇에 즉시 적용하여 성공적인 천 펴기 작업을 수행했습니다.

4. 실험 결과 (Results)

A. 시뮬레이션 평가

• 벤치마크: 기존 Pick-and-Place 알고리즘, Vanilla DreamerV2, SAC (Soft Actor-Critic) 모델과 비교했습니다.
• 성능: 표면 법선 입력과 개선된 리플레이 버퍼를 결합한 에이전트가 가장 높은 성공률을 보였습니다.
  • 평균적으로 15% 높은 성공률과 35% 낮은 실패율을 기록했습니다.
  • 다양한 의류 종류 (티셔츠, 긴팔 셔츠, 반바지, 수건 등) 에서 우수한 적응력을 보였으나, 반바지 (Shorts) 의 경우 크기가 작아 픽셀 표현이 부족하여 성능이 다소 저하되었습니다.

B. 실제 로봇 배포 (Real-world Deployment)

• Zero-shot 적용: 시뮬레이션에서 학습된 모델을 실제 Franka 로봇에 즉시 적용했습니다.
• 성공률: 5 가지 종류의 천 (수건, 식탁보, 얼굴수건, 베개커버 등) 에 대해 평균 74% 의 성공률을 달성했습니다.
• 한계 및 원인:
  • 로봇 그리퍼가 천에 너무 가까워질 때 깊이 센서의 최소 감지 거리 한계로 인해 노이즈가 발생하거나 데이터가 손실되는 문제가 있었습니다.
  • 천의 모서리가 말려 있거나 접혀 있을 때 그립에 어려움을 겪었습니다.
  • 단일 암 (Single-arm) 로봇의 한계로 인해 천을 공중에서 회전시켜 모서리를 접근하기 쉽게 하는 작업이 제한적이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 의의: 변형 가능 물체 조작 분야에서 월드 모델 (World Model) 의 스케일링과 입력 표현 (RGB vs Normals) 의 중요성을 입증했습니다. 특히, 복잡한 물리 현상을 가진 천을 실시간으로 처리할 수 있는 RL 기반 제어 전략의 유효성을 보여주었습니다.
• 실용적 가치: 가정용 또는 서비스 로봇이 천 정리, 세탁물 널기 등 일상적인 작업을 자동화하는 데 중요한 발판을 마련했습니다.
• 향후 과제:
  • 이더 (Ego-centric) 카메라의 깊이 센서 한계를 극복하기 위한 센서 배치 최적화 또는 촉각 (Tactile) 센서 도입.
  • 작은 의류 (반바지 등) 에 대한 인식 개선을 위한 고해상도 입력 또는 공간 주의 메커니즘 (Spatial Attention) 적용.
  • 대형 의류 (바지, 드레스 등) 를 다루기 위한 이중 암 (Dual-arm) 로봇 플랫폼으로의 확장.
  • 다양한 의류 종류에 대한 단일 정책 (Policy) 의 일반화 (Policy Transfer) 연구.

이 논문은 강화학습을 통해 변형 가능 물체 조작의 복잡성을 해결하고, 시뮬레이션에서 실제 환경으로의 원활한 전이를 가능하게 하는 효과적인 프레임워크를 제시했다는 점에서 의의가 큽니다.