GarmentPile++: Affordance-Driven Cluttered Garments Retrieval with Vision-Language Reasoning

이 논문은 비전 - 언어 모델의 추론 능력과 시각적 affordance 감지, SAM2 기반 분할, 그리고 양팔 협동 프레임을 통합하여 더미 상태의 의류에서 언어 지시에 따라 안전하고 정확하게 단일 의류만 회수하는 새로운 'GarmentPile++' 파이프라인을 제안합니다.

핵심

이 논문은 **"복잡하게 쌓인 옷 더미에서 로봇이 원하는 옷 하나를 깔끔하게 꺼내는 방법"**을 소개합니다.

기존의 로봇들은 옷 한 장을 펴거나 접는 일은 잘했지만, 옷이 산처럼 쌓여 있는 상황에서는 "어느 옷을 먼저 꺼낼지", "어떻게 잡아야 다른 옷까지 같이 끌어당기지 않을지"를 판단하는 데 큰 어려움을 겪었습니다. 이 연구는 **AI(비전-언어 모델)**와 **로봇의 손(그립)**을 완벽하게 협력시켜 이 문제를 해결했습니다.

이 기술을 쉽게 이해할 수 있도록 세 가지 단계로 나누어, 마치 요리사가 냉장고에서 재료를 꺼내는 상황에 비유해 설명해 드리겠습니다.

---

🧠 핵심 아이디어: "생각하는 로봇 요리사"

이 시스템은 크게 세 가지 단계로 작동합니다.

1 단계: "어떤 옷을 꺼낼까?" (Which to Retrieve)

• 상황: 옷장이나 세탁 바구니에 옷이 뒤죽박죽 섞여 있습니다.
• 기존 방식: 로봇은 옷 더미를 그냥 보고 "저기 빨간 옷이 보이네"라고 대충 판단하다가, 옷이 서로 붙어 있어 한 번에 두 개를 끌어당기는 실수를 저지르곤 했습니다.
• 이 연구의 방식 (SAM2 + AI):
  • 로봇은 먼저 고해상도 카메라로 옷 더미를 스캔합니다.
  • **AI(세그멘테이션 모델)**가 옷 하나하나를 마치 색칠하기처럼 정확히 구분해 줍니다. (예: "이건 빨간 티셔츠, 저건 검은 바지")
  • 만약 옷이 너무 많이 겹쳐서 AI 가 헷갈리면, 로봇이 옷을 살짝 흔들어 주거나 들어 올리는 동작을 취합니다. 이렇게 옷이 움직이는 영상을 보고 AI 가 다시 옷의 경계를 정확히 그립니다. (이를 '마스크 미세 조정'이라고 합니다.)
  • 마지막으로 **AI 두뇌 (VLM)**가 사용자의 명령 ("빨간 티셔츠를 꺼내줘") 을 듣고, 가장 꺼내기 좋은 옷을 선택합니다.

2 단계: "어디를 잡아야 할까?" (Where to Retrieve)

• 상황: 옷을 잡을 때 너무 끝부분을 잡으면 옷이 늘어지거나, 다른 옷까지 같이 끌려올 수 있습니다.
• 이 연구의 방식 (Affordance 모델):
  • 로봇은 옷의 3D 모양을 분석합니다.
  • 마치 요리사가 칼을 어디에 대야 재료가 잘 썰리는지 아는 것처럼, 로봇은 "이 옷을 잡을 때 가장 안전하고 깔끔하게 들어 올릴 수 있는 지점"을 계산합니다.
  • 이 지점을 '어포던스 (Affordance)' 지도라고 부르는데, 옷의 주름이나 형태를 고려해 가장 잡기 좋은 곳을 빨간색으로 표시해 줍니다.

3 단계: "한 손으로 될까, 두 손이 필요할까?" (How to Retrieve)

• 상황: 긴 드레스나 큰 코트를 잡았을 때, 한 손으로 들면 옷이 바닥에 닿거나 찢어질 수 있습니다.
• 이 연구의 방식 (이중 팔 협력):
  • 로봇이 한 손으로 옷을 살짝 들어 올린 후, AI 두뇌가 다시 상황을 판단합니다.
  • "옷이 너무 길어서 한 손으로는 힘들어. 다른 손이 도와줘야겠다!"라고 판단하면, 두 번째 로봇 팔이 자동으로 협력합니다.
  • 두 팔이 함께 옷을 수평으로 들어 올려 깔끔하게 목표 위치로 옮깁니다.
  • 만약 실수로 옷이 두 장이나 같이 들어 올렸다면, AI 가 즉시 "아, 실패다!"라고 판단하고 다시 시작합니다.

---

🌟 왜 이 기술이 특별한가요?

1. 실수 없는 분리: 옷이 엉켜 있어도, AI 가 옷 하나하나를 정확히 구분하고 "한 번에 딱 하나만" 꺼내도록 설계되었습니다. (기존 방식은 옷을 여러 장 동시에 꺼내는 경우가 많았습니다.)
2. 유연한 판단: "빨간 옷을 꺼내줘"라는 말만 들어도, 옷이 쌓인 상태에 따라 가장 쉬운 옷을 골라냅니다.
3. 현실 세계 적용: 시뮬레이션뿐만 아니라, 실제 로봇 팔과 카메라를 이용해 실험에서도 매우 높은 성공률을 보였습니다.

📝 한 줄 요약

**"복잡하게 쌓인 옷 더미 속에서 AI 가 옷 하나하나를 정확히 구분하고, 가장 잡기 좋은 곳을 찾아 한 번에 깔끔하게 꺼내주는 똑똑한 로봇 기술"**입니다.

이 기술이 발전하면, 앞으로 우리 집 로봇이 세탁물 정리나 옷장 정리를 완벽하게 도와줄 날이 머지않아 보입니다! 🧺🤖

기술 요약

1. 문제 정의 (Problem Definition)

기존의 의류 조작 (Garment Manipulation) 연구는 대부분 단일 의류를 대상으로 하거나, 정돈된 환경에서의 접기/걸기 등에 집중되어 있었습니다. 그러나 실제 가정 환경에서는 의류가 무질서하게 쌓여 있는 (Cluttered) 상태가 일반적이며, 이는 다음과 같은 심각한 도전 과제를 제기합니다.

• 복잡한 변형 상태: 의류는 비강체 (Deformable) 물체로, 무한한 상태 공간과 복잡한 운동학적/동역학적 특성을 가집니다.
• 무질서한 환경: 의류 더미 (Garment Pile) 내에서는 중첩, 얽힘, 가려짐 (Occlusion) 이 심해 특정 의류 하나를 안전하게 분리해 내기 어렵습니다.
• 기존 방법의 한계:
  • GarmentPile [35]: 시각적 affordance(행동 가능성) 모델만 사용하여 언어 지시를 따르지 못하며, 한 번에 여러 개의 의류를 함께 들어 올리는 경우가 많아 하류 작업 (접기, 옷 입기 등) 에 부적합합니다. 또한 단일 암 (Single-arm) 만 사용하여 긴 의류나 큰 의류를 처리하는 데 한계가 있습니다.
  • 언어 기반 접근: 복잡한 의류 더미에서 정확한 분할 (Segmentation) 을 수행하기 어렵고, 단일 암만으로는 물리적 안정성을 보장하기 어렵습니다.

목표: 언어 지시 (Language Instruction) 에 따라 무질서하게 쌓인 의류 더미에서 정확히 하나의 의류를 안전하게 분리해 내고, 하류 작업을 위한 견고한 기반을 마련하는 것입니다.

2. 제안 방법론 (Methodology)

**GarmentPile++**는 고수준 추론을 담당하는 **시각 - 언어 모델 (VLM, Qwen2.5-VL-7B)**과 저수준 조작 정밀도를 담당하는 시각적 affordance 모델을 융합한 3 단계 파이프라인을 제안합니다.

1 단계: 무엇을 가져올 것인가? (Which to Retrieve)

• SAM2 기반 분할 및 미세 조정: 초기 관찰 이미지를 바탕으로 SAM2 를 사용하여 의류 더미를 분할합니다. 그러나 가려짐이나 색상 유사성으로 인해 분할이 부정확할 수 있으므로, 마스크 미세 조정 (Mask Fine Tuning) 모듈을 도입합니다.
  • VLM 이 분할 결과의 정확성을 판단하고, 부정확한 마스크가 감지되면 로봇이 의류를 살짝 들어 올리거나 흔드는 행동을 통해 비디오를 촬영합니다.
  • SAM2 의 비디오 추적 기능을 활용하여 더 정확한 분할 마스크를 생성합니다.
• VLM 기반 선택: 최종 분할 결과와 작업 지시 (예: "빨간 상의를 가져와", "모든 의류를 순차적으로 가져와") 를 VLM 에 입력하여, 작업 제약 조건 하에서 가장 적합한 목표 의류 (Target Garment) 를 선택합니다.

2 단계: 어디서 가져올 것인가? (Where to Retrieve)

• Retrieval Affordance Model: 선택된 목표 의류의 3D 포인트 클라우드와 분할 마스크를 PointNet++ 기반 모델에 입력합니다.
• Affordance Map 생성: 이 모델은 의류의 기하학적 구조, 주름, 다른 의류와의 공간적 관계 등을 고려하여 단일 암으로 잡기에 가장 적합하고 안전한 점 (Grasp Point) 을 예측합니다.
  • 목표: 단일 암 조작의 성공률을 극대화하면서도 의류의 안전성과 청결을 보장합니다.
  • 학습: 성공/실패 여부에 따른 이진 교차 엔트로피 (BCE) 손실 함수를 사용하여 훈련됩니다.

3 단계: 어떻게 가져올 것인가? (How to Retrieve)

• 단일 암 vs 이중 암 협력 결정: 주 암 (Master Arm) 이 예측된 잡기 점으로 의류를 들어 올린 후, VLM 이 새로운 장면을 관찰합니다.
  • 여러 의류 동시 리프트 감지: VLM 이 한 번에 두 개 이상의 의류가 들어 올려진 것을 감지하면 현재 시도를 중단하고 재시도합니다.
  • 협력 필요성 판단: 의류가 너무 길거나 처짐 (Sagging) 이 심한 경우 등 단일 암으로 처리하기 어려운 상황을 VLM 이 판단합니다.
• 이중 암 협력 (Dual-Arm Cooperation): 협력이 필요하다고 판단되면, 종속 암 (Slave Arm) 을 위한 보조 잡기 점을 선택하는 트래킹 선택 (Tracking Selection) 모듈이 작동합니다. 두 암이 협력하여 의류를 수평으로 들어 올려 목표 위치로 이동시킵니다.

3. 주요 기여 (Key Contributions)

1. 언어 기반 안전 단일 의류 추출 파이프라인: 언어 지시를 따르며, 한 번의 시도당 정확히 하나의 의류만 추출되도록 보장하여 하류 작업 (접기, 옷 입기 등) 에 적합한 기반을 마련했습니다.
2. VLM 추론과 시각적 Affordance 의 융합: 고수준의 계획 및 추론 능력 (VLM) 과 저수준의 일반화 능력 (Affordance 모델) 을 시너지 있게 결합하여 복잡한 무질서 환경에서의 조작 성능을 극대화했습니다.
3. 마스크 미세 조정 및 이중 암 협력 메커니즘:
   • SAM2 의 분할 오류를 보정하기 위한 물리적 피드백 기반의 마스크 미세 조정 기법을 도입했습니다.
   • 긴 의류나 복잡한 얽힘을 처리하기 위한 이중 암 협력 프레임워크를 구현하여 시스템의 견고성을 높였습니다.

4. 실험 결과 (Results)

연구진은 시뮬레이션 (DexGarmentLab) 과 실제 로봇 (ARX x7s, RealSense D405) 환경에서 두 가지 주요 시나리오 (Open/Closed Boundary) 와 두 가지 작업 (순차적 추출, 특정 의류 추출) 을 수행하여 평가했습니다.

• 성능 비교 (Baselines):
  • ThinkGrasp, GarmentPile, Qwen(only) 등 기존 방법론과 비교하여 **GarmentPile++**가 모든 작업에서 가장 높은 성공률 (ASR) 을 기록했습니다.
  • 특히 복잡한 Closed Boundary (바구니 등) 환경에서 기존 방법들의 성공률이 급격히 떨어지는 반면, 제안된 방법은 높은 성공률 (시뮬레이션 87% 이상, 실제 환경 85~95%) 을 유지했습니다.
• 효율성: 평균 운동 단계 (AMS) 가 다른 방법들에 비해 효율적이며, 불필요한 이중 암 협력을 줄여 전체적인 작업 효율을 높였습니다.
• Ablation Study:
  • Mask Fine Tuning이 분할 정확도를 높여 성공률을 크게 향상시킵니다.
  • Affordance Model이 단일 암 잡기 성공률을 높이고 불필요한 협력 (이중 암) 발생 확률 (PDR) 을 낮춥니다.
  • Dual-Arm Cooperation이 긴 의류나 얽힌 의류 처리 시 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

GarmentPile++ 는 가정용 로봇이 일상생활에서 흔히 마주치는 무질서한 의류 더미를 처리하는 데 있어 중요한 진전을 이뤘습니다.

• 실용성: 단순히 의류를 잡는 것을 넘어, 언어 지시를 이해하고 하류 작업 (접기 등) 에 적합한 형태로 의류를 분리해 낼 수 있어 실제 가정 환경 배포 가능성을 높였습니다.
• 기술적 통합: VLM 의 추론 능력과 물리적 affordance 모델의 정밀한 제어를 결합한 새로운 패러다임을 제시했습니다.
• 한계 및 향후: 저조도 환경이나 복잡한 패턴의 의류에서 분할 오류가 발생할 수 있으나, 이를 극복하기 위한 추가 연구의 기초를 제공했습니다.

이 연구는 로봇이 인간과 함께 생활하는 공간에서 복잡한 비강체 물체를 지능적으로 조작할 수 있는 핵심 기술을 제시했다는 점에서 의의가 큽니다.