FoldNet: Learning Generalizable Closed-Loop Policy for Garment Folding via Keypoint-Driven Asset and Demonstration Synthesis

이 논문은 키포인트 기반의 자산 및 시연 합성 기법과 KG-DAgger 알고리즘을 활용하여 의류의 변형성 문제를 해결하고, 시뮬레이션에서 학습된 폐루프 정책이 실제 환경에서 75% 의 높은 성공률을 달성하도록 한 FoldNet 프레임워크를 제안합니다.

핵심

옷을 접는 로봇을 위한 'FoldNet': 실패를 배우는 인공지능의 이야기

이 논문은 로봇이 옷을 접는 일을 어떻게 배우게 했는지에 대한 흥미로운 연구입니다. 옷은 딱딱한 의자나 상자가 아니라, 바람에 날리거나 구겨질 수 있는 **'부드러운 천'**이기 때문에 로봇이 접는 일은 매우 어렵습니다. 마치 젖은 수건을 접으려다 찢어지거나, 구겨진 셔츠를 펴려다 더 꼬이게 되는 것과 비슷하죠.

연구팀 (FoldNet) 은 이 문제를 해결하기 위해 가상 세계 (시뮬레이션) 에서 엄청난 양의 옷과 연습 데이터를 만들어내는 방법을 개발했습니다. 핵심은 "실패를 두려워하지 않고, 실패했을 때 어떻게 다시 시작할지 배우는 것"입니다.

이 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 문제: 옷은 너무 변덕스러워요!

로봇이 옷을 접으려면 먼저 옷이 어떤 모양인지 알아야 합니다. 하지만 옷은 사람마다, 옷마다 모양이 다르고, 구겨진 정도도 다릅니다.

• 기존의 어려움: 연구자들은 보통 실제 옷을 사서 로봇에게 직접 접는 시늉을 시켰습니다. 하지만 이렇게 하려면 엄청난 시간과 노력이 들어갑니다. 또, 로봇이 한 번 실수하면 그 옷은 더 구겨져서 다시 시작하기 어렵습니다.
• 비유: 마치 새로 산 옷을 접으려는데, 옷장 안에 있는 옷들이 모두 모양이 다르고, 접는 도중마다 옷이 변신하는 마법 같은 상황이라고 생각해보세요. 로봇은 이 마법 같은 옷들을 어떻게 다룰지 몰라 당황합니다.

2. 해결책 1: '가상의 옷 공방' (Synthetic Garment Assets)

연구팀은 실제 옷을 하나하나 준비하는 대신, 컴퓨터 안에서 옷을 대량으로 생산하는 공방을 만들었습니다.

• 키 포인트 (Keypoints) 라는 설계도: 옷을 접으려면 '목 부분', '소매 끝', '옷단' 같은 중요한 지점들이 어디 있는지 알아야 합니다. 연구팀은 옷을 그릴 때 이 **중요한 지점들 (키 포인트)**을 먼저 찍어두고, 그 지점들을 연결해서 옷의 모양을 자동으로 만들었습니다.
• 생성형 AI 로 무늬 입히기: 옷의 모양은 정해졌으니, 이제 옷감 무늬를 입혀야 합니다. 여기서 **생성형 AI (Stable Diffusion 등)**를 썼습니다. "화려한 꽃무늬 티셔츠"라고 입력하면 AI 가 그걸로 옷감을 만들어줍니다.
• 비유: 마치 레고 블록 (키 포인트) 으로 옷의 뼈대를 먼저 세우고, AI 가 그 위에 다양한 무늬의 벽지를 붙여주면서 수천 가지 종류의 옷을 자동으로 만들어내는 공장과 같습니다. 이렇게 만든 옷들은 물리 법칙을 따르기 때문에 로봇이 실제로 만져도 찢어지거나 구겨지는 게 자연스럽게 시뮬레이션됩니다.

3. 해결책 2: '실패를 배우는 코치' (KG-DAgger)

가장 중요한 부분은 로봇이 실수했을 때 어떻게 다시 일어설지를 가르치는 것입니다.

• 기존 방식의 한계: 보통 로봇은 "완벽하게 성공한 시늉"만 보고 배웁니다. 하지만 실제 세계에서는 로봇이 옷을 잡으려다 놓치거나, 옷이 꼬이는 일이 자주 발생합니다. 완벽한 시늉만 본 로봇은 실수가 나면 "어? 내가 뭘 잘못했지?"라고 멈춰버립니다.
• FoldNet 의 방식 (KG-DAgger): 연구팀은 로봇이 옷을 잡으려다 실패하는 순간을 감지하고, **그때 어떻게 다시 잡아야 하는지 (수정 행동)**를 데이터에 추가했습니다.
  • 상황: 로봇이 옷을 잡으려다 놓침 (실수) -> 코치가 "아니야, 다시 저쪽으로 잡아!"라고 알려줌 -> 로봇이 다시 잡음 (성공).
  • 비유: 축구 선수에게 '골을 넣는 순간'만 보여주고 연습시키는 게 아니라, '공을 놓쳤을 때 어떻게 다시 공을 따내는지'까지 보여주는 코치와 같습니다. 실수를 반복해서 배우는 것이 아니라, 실수하고 바로 고치는 법을 훈련시키는 것입니다.

4. 결과: 가상에서 실전까지, 75% 의 성공률

이렇게 만든 데이터 (가상의 옷 2,000 개, 연습 데이터 1 만 5 천 개) 로 로봇을 훈련시켰습니다.

• 성과: 로봇은 실제 옷을 접는 데 75% 의 성공률을 보였습니다. (기존 방식보다 25% 나 향상됨).
• 의미: 로봇은 실제 옷을 본 적이 없는데도, 가상에서 배운 '실패하고 다시 일어서는 법'을 통해 실제 옷을 잘 접었습니다. 마치 가상 현실 (VR) 게임에서 수천 번의 실패를 겪으며 배운 실력이, 실제 축구 경기에서도 통하는 것과 같습니다.

5. 요약: 왜 이 연구가 중요할까요?

이 연구는 **"로봇이 실패를 두려워하지 않고, 실패를 통해 더 똑똑해지는 방법"**을 보여줍니다.

• 키 포인트: 옷의 구조를 이해하는 '지도'를 먼저 만들고, AI 가 옷감을 만들어냅니다.
• 핵심: 로봇이 실수했을 때 "다시 해봐!"라고 가르치는 데이터를 만들어내어, 로봇이 더 견고해지도록 돕습니다.

결론적으로, FoldNet은 로봇이 옷장 정리 같은 복잡한 일을 스스로 배우고, 실수해도 다시 일어서서 성공할 수 있게 해주는 최고의 훈련 교재라고 할 수 있습니다. 이제 로봇도 옷을 접는 데 서툴지 않을 것입니다!

기술 요약

FoldNet: 키포인트 기반 자산 및 시뮬레이션 합성을 통한 일반화 가능한 의류 접기 폐루프 정책 학습

1. 문제 정의 (Problem)

로봇이 의류와 같은 변형 가능한 물체 (Deformable Objects) 를 조작하는 작업은 의류의 비강체적 특성과 복잡한 역학으로 인해 매우 어렵습니다. 최근 데이터 기반 학습 (모방 학습 등) 이 주류가 되었으나, 다음과 같은 두 가지 주요 한계로 인해 학습된 정책의 일반화 성능이 제한받고 있습니다.

• 데이터 부족 및 자산의 한계: 의류 조작을 위한 대규모, 다양성, 고품질의 시뮬레이션 데이터가 부족합니다. 기존 합성 데이터셋은 의류 메쉬 (Mesh) 수가 적거나, 상세한 주석 (Semantic Keypoints) 이 없어 고품질 시연 데이터 생성에 추가 노력이 필요합니다. 또한, 텍스처와 기하학적 구조의 일관성이 부족하여 현실적인 외관을 구현하기 어렵습니다.
• 오류 복구 (Error Recovery) 의 부재: 의류 조작은 장기적 (Long-horizon) 인 작업으로, 작은 오류가 누적되면 실패로 이어집니다. 기존 오픈루프 (Open-loop) 방식은 실패 후 재시도가 어렵습니다. 반면, 폐루프 (Closed-loop) 제어는 재시도 가능성이 있으나, 훈련 데이터에 '실패 후 복구' 시나리오가 포함되지 않으면 모델이 실패 상태 (Out-of-distribution) 에 빠졌을 때 대처하지 못해 성능이 저하됩니다.

2. 제안 방법론 (Methodology)

이 논문은 FoldNet이라는 새로운 합성 의류 데이터셋과 이를 활용한 학습 프레임워크를 제안합니다.

가. 키포인트 기반 의류 자산 합성 (Garment Mesh Synthesis)

• 기하학적 템플릿: 4 가지 의류 카테고리 (티셔츠, 조끼, 후드티, 바지) 에 대해 키포인트 (2D 좌표) 로 구조를 제어하는 템플릿을 설계합니다. 키포인트를 베지어 곡선으로 연결하고 삼각형화 (Triangulation) 하여 메쉬를 생성하며, 자동으로 시맨틱 키포인트 주석을 태깅합니다.
• 텍스처 생성: 대규모 언어 모델 (LLM) 로 텍스처 설명을 생성하고, 이를 Stable Diffusion 과 같은 Text2Image 모델에 프롬프트로 입력하여 텍스처를 합성합니다.
• 필터링 및 결합: 생성된 텍스처와 메쉬의 일관성을 높이기 위해 비전 언어 모델 (VLM) 을 사용하여 가장 적합한 텍스처를 자동 선택하는 필터링 단계를 도입합니다. 이를 통해 현실적이고 다양한 텍스처를 가진 의류 메쉬를 대량 생성합니다.

나. 키포인트 기반 시연 데이터 생성 및 KG-DAgger

• 키포인트 기반 시연: 생성된 의류 자산의 키포인트 정보를 활용하여 그리퍼의 파지 (Grasping) 점과 목표 위치를 자동으로 결정하는 시연 정책을 설계합니다.
• KG-DAgger (Keypoint-Gated DAgger): 모델의 초기 학습 후, 시뮬레이션에서 정책을 실행하여 오류를 감지합니다.
  • 오류 감지: 키포인트와 그리퍼 상태를 모니터링하여 파지 실패 등을 감지합니다.
  • 복구 시연 생성: 오류가 발생하면 키포인트 기반 전략을 통해 수동 (또는 자동) 으로 교정 (Correction) 을 수행하고, 이 '수정된 궤적'을 데이터셋에 추가합니다.
  • 학습: 이 과정에서 실패한 행동은 가중치 0 으로, 복구 행동은 가중치 1 로 설정하여 학습합니다. 이를 통해 모델은 실패 후 재시도하는 방법을 학습하게 됩니다.
• 모델 아키텍처: Diffusion Policy 를 기반으로 한 비전 - 액션 (Vision-Action) 모델을 사용하여, 현재 관측치와 키포인트 주석이 없어도 직접 행동을 출력하는 엔드 - 투 - 엔드 시스템을 구축합니다.

3. 주요 기여 (Key Contributions)

1. 자동화된 의류 메쉬 생성 프레임워크: 키포인트 주석이 포함된 매우 다양한 의류 메쉬와 텍스처를 자동으로 생성하는 파이프라인을 제안했습니다.
2. KG-DAgger 도입: 실패 후 복구 시나리오를 포함하는 시연 데이터를 생성하는 새로운 방법을 제안하여, 데이터의 질과 모델의 강건성을 크게 향상시켰습니다.
3. 성능 향상: 15,000 개의 궤적 (약 200 만 개의 이미지 - 행동 쌍) 으로 학습한 모델이 실제 환경에서 75% 의 성공률을 달성했으며, 이는 기존 방법 대비 25% 포인트 향상된 결과입니다.

4. 실험 결과 (Results)

• 키포인트 검출 (Keypoint Detection): 합성 데이터로 학습된 모델이 실제 이미지의 의류 키포인트를 검출하는 데 있어 기존 합성 데이터셋 (ClothesNet, Cloth3D, aRTF 등) 보다 높은 mAP (평균 정밀도) 와 낮은 AKD (평균 키포인트 거리) 를 기록했습니다. 이는 생성된 자산이 현실과 유사함을 입증합니다.
• 의류 접기 정책 학습:
  • 오류 복구 효과: 완벽한 시연 데이터만 사용한 모델은 실패 시 재시도하지 못해 실패하지만, KG-DAgger 를 적용한 모델은 실패 후 재시도하여 성공합니다.
  • Sim-to-Real: 시뮬레이션에서 학습된 모델은 추가 미세 조정 (Fine-tuning) 없이도 실제 로봇 환경에서 높은 성공률 (75%) 을 보였습니다.
  • VLA 모델 파인튜닝: FoldNet 데이터셋으로 대규모 VLA 모델 (π0) 을 파인튜닝한 결과, 실제 로봇에서도 일반화 능력을 입증했습니다.
• 데이터 효율성: 15K 궤적 (약 2M 이미지 - 행동 쌍) 으로 학습하여 높은 성능을 달성했습니다.

5. 의의 및 결론 (Significance)

• 데이터 중심 로봇 학습의 새로운 패러다임: 의류 조작과 같은 변형 가능한 물체 작업에 있어, 고품질의 합성 데이터와 오류 복구 메커니즘을 결합함으로써 실제 데이터 수집의 높은 비용을 대체할 수 있음을 증명했습니다.
• 강건한 폐루프 제어: 실패를 학습 데이터에 포함시킴으로써 (DAgger 변형), 모델이 예측하지 못한 상태에서도 유연하게 대처할 수 있는 강건한 정책을 학습시켰습니다.
• 확장성: 제안된 키포인트 기반 자산 생성 및 시연 생성 파이프라인은 다양한 의류 종류와 복잡한 접기 전략으로 확장 가능하며, 향후 더 정교한 물리 시뮬레이터와 결합될 경우 Sim-to-Real 격차를 더욱 줄일 수 있는 잠재력을 가집니다.

이 논문은 의류 조작 로봇이 실제 환경에서 실용적으로 작동하기 위해 필요한 고품질 데이터와 학습 전략을 체계적으로 제시했다는 점에서 의의가 큽니다.