기술 요약: Instant-Fold

문제 정의

의류 접기(clothing folding)와 같은 작업에서 나타나는 변형 가능한 물체 조작(Deformable Object Manipulation, DOM)은 고차원적이고 부분적으로 관찰 가능한 상태가 장기적인 호라이즌(long-horizon)과 복잡한 위상적 상호작용을 통해 진화하기 때문에 상당한 어려움을 수반한다. 강체(rigid object)와 달리, 변형 가능한 물체는 사용자의 선호도에 따라 다양한 조작 모드를 허용하며, 이러한 차이는 최종 구성뿐만 아니라 중간 변형 시퀀스에서도 나타난다. 언어가 목표를 명시할 수는 있지만, 이러한 작업에 필요한 시간적 구조, 중간 목표, 그리고 미세한 공간적 관습을 정밀하고 압축적으로 전달하는 데는 한계가 있다. 또한, 기존의 표현 학습 방법들은 다양한 변형 궤적을 동일한 작업 패밀리 내의 변형이 아닌 완전히 다른 작업으로 해석하는 경els 때문에 서로 다른 조작 모드 간의 일반화에 어려움을 겪는다. 결정적인 병목 현상은 언어나 시각 분야에서 가능한 것과 비교했을 때, DOM을 위한 대규모의 다양성 있는 데이터셋이 부족하다는 점이며, 이로 인해 보지 못한 변형 궤적에 대한 일반화가 어렵다.

방법론: Instant-Fold

저자들은 테스트 시 그레이디언트 업데이트 없이 단 한 번의 인간 시연으로부터 다양한 조작 모드를 추론하고 실행하도록 설계된 인컨텍스트 모방 학습(In-Context Imitation Learning, ICIL) 프레임워크인 Instant-Fold를 제안한다. 이 접근 방식은 전체가 시뮬레이션에서 학습되며, 실세계로 제로샷(zero-shot) 전이가 가능하다. 방법론은 두 가지 주요 단계로 구성된다:

1. 변형 인식 시간적 대조 사전 학습 (Deformation-Aware Temporal Contrastive Pretraining)

표현 학습의 문제를 해결하기 위해, 저자들은 먼저 텍스처나 조명과 같은 노이즈 변형에는 견고하면서도 위상적 상태 변화(예: 접기, 구기기)에 민감한 시각적 표현을 학습한다.

• 표현(Representation): 변형 가능한 물체는 3D 위치(RGB-D 역투영 및 Farthest Point Sampling에서 유도됨)와 사전 학습된 이미지 인코더(DINOv3)에서 추출된 시맨틱 특징을 결합한 압축된 지오-시맨틱 토큰(geo-semantic tokens) 세트로 표현된다.
• 목적(Objective): 밀도 높은 입자 기반 시뮬레이터 기하학을 사용하여 대응 타겟을 정의하는 시간적 대조 사전 학습(Temporal Contrastive Pretraining) 목적 함수를 도입한다.
  • 동일 의류 매칭(Same-Cloth Matching): 근접 입자 할당(nearest-particle assignment)을 사용하여, 비강체 변형 하에서도 물리적으로 동일한 의류 위치에 해당하는 토큰들이 특징 공간 내에서 가깝게 유지되도록 한다.
  • 교차 의류 매칭(Cross-Cloth Matching): 희소한 시맨틱 키포인트를 사용하여 서로 다른 의류 인스턴스 간의 대응 관계를 구축함으로써 전이 가능성을 높인다.
  • 손실 함수(Loss Function): 토큰-입자 거리 기반의 가우시안 가중치 양의 할당과 밀집된 네거티브를 활용하여 소프트 가중치 지도 대조 손실(soft-weighted supervised contrastive loss)을 최적화한다.

2. 인컨텍스트 정책 학습 (In-Context Policy Learning)

정책은 **플로우 매칭 트랜스포머(Flow-Matching Transformer)**를 사용하는 조건부 궤적 생성 문제로 정식화된다.

• 입력 컨텍스트(Input Context): 모델은 단일 인간 시연을 "컨텍스트 키프레임" 시퀀스로 조건화한다. 이 키프레임은 엔드 이펙터(end-effector) 상태 이벤트(예: 그리퍼 개폐 전환)를 기준으로 시연 궤적에서 자동으로 추출되어, 시간적으로 구별되는 변형 단계를 포착한다.
• 아키텍처(Architecture):
  • 컨텍스트 인코더(Context Encoder): 시연 키프레임을 구조화된 표현으로 매핑한다. 공유된 프리즈(frozen) 비주얼 토크나이저를 사용하며 공간적-시간적 백본을 통해 토큰을 집계한다. 주요 메커니즘으로는 3D ALiBi(근접한 의류-로봇 쌍에 주의를 집중시키기 위함), 학습된 요약 토큰(글로벌 의도를 추출하기 위함), 상태-이벤트 토큰(희소한 파지/해제 신호를 보존하기 위함)이 포함된다.
  • 플로우 매칭 액션 디코더(Flow-Matching Action Decoder): 노이즈가 섞인 궤적을 디노이징함으로써 듀얼 암(dual-arm) 액션 궤적(카테시안 위치 및 그리퍼 개방도)을 예측한다. 디코더는 크로스 어텐션을 통해 현재 장면을 시연 컨텍스트와 융합한다. 이는 AdaLN을 통해 디노이징 타임스텝과 현재 고유 수용 감각 상태에 의해 조건화된다.
  • 보조 작업(Auxiliary Task): 장기 호라이즌 계획을 돕기 위해 단기 서브골(subgoal)을 감독하는 보조 키포즈(keypose) 예측 브랜치가 포함된다.
• 학습(Training): 광범적인 도메인 랜덤화와 함께 입자 기반 시뮬레이터(FleX) 내에서 레티파이드 플로우 매칭(rectified flow matching) 상의 카테시안 위치와 바이너리 크로스 엔트로피 상의 그리퍼 개방도를 사용하여 정책을 학습한다.

주요 기여

1. DOM을 위한 ICIL 정식화: 본 논문은 변형 가능한 물체 조작을 인컨텍스트 모방 학습 문제로 정식화하며, 단일 시연에 조건화된 장기 호라이즌 듀얼 암 변형 조작이 가능한 플로우 매칭 트랜스포머 아키텍처를 도입한다.
2. 시간적 대조 사전 학습: ICML에 특화되어 위상 일관적이고 변형 인식적인 표현을 학습하는 새로운 사전 학습 방법을 제안한다. 이를 통해 모델은 동일한 의류 패밀리의 서로 다른 조작 모드를 별개의 작업이 아닌 하나의 작업 내 변형으로 구분할 수 있다.
3. 제로샷 심투리얼(Sim-to-Real) 전이: 본 프레임워크는 실세계 데이터 수집, 파인튜닝, 또는 추가 학습 없이 실세계 듀얼 암 로봇으로의 성공적인 제로샷 전이를 입증한다.

실험 결과

저자들은 다양한 의류 아이템과 폴딩 모드에 대해 시뮬레이션 및 실제 듀얼 암 로봇에서 Instant-Fold를 평가한다.

• 표현 품질(Representation Quality): 시간적 대조 사전 학습은 표준 DINOv3 또는 이전의 키포인트 기반 방식(UniGarmentManip)보다 훨씬 더 시간적으로 일관되고 공간적으로 응집된 표현을 생성한다.
• 정책 성능(Policy Performance):
  • 시연 vs. 언어: 시연 조건부 정책은 언어 조건부 정책에 비해 기하학적 성공률(C-SR@95)과 완료 오차 측면에서 유의미하게 우수한 성능을 보인다. 이는 언어 정책이 충분히 사전 학습되었음에도 불구하고, 시연이 기하학적 구조를 전달하는 데 더 가치 있음을 강조한다.
  • 사전 학습의 영향: 다양한 폴딩 모드와 무작위 변형에 대한 전체 사전 학습은 홀드아웃(held-out) 폴딩 모드에 대한 일반화 성능을 향상시키며, 최적의 모델은 홀드아웃 폴드에 대해 58.3%의 조건부 성공률을 달성했다.
  • 어블레이션 연구(Ablations): 컨텍스트 인코더, 키포즈 보조 손실, 또는 요약 토큰과 같은 구성 요소를 제거하면 특히 미지의 컨텍스트에 대한 일반화 성능에서 상당한 성능 저하가 발생한다.
  • 스케일링(Scaling): 학습 컨텍스트의 다양성을 높이는 것은 이미 본 폴드(seen folds)의 성능을 높이는 것보다 홀드아웃 폴드에 대한 일반화 성능을 더 크게 향상시킨다.
• 베이스라인과의 비교: 시뮬레이션에서 Instant-Fold는 FleX 및 Isaac Lab 환경 모두에서 기존 SOTA 방식들(ClothFunnels, UniFolding, UniGarmentManip)을 능가한다.
• 실세계 배포(Real-World Deployment): 실제 듀얼 암 로봇에서 Instant-Fold는 단 한 번의 인간 핸드 시연을 사용하여 8가지 미지의 의류(셔츠, 반바지, 블라우스, 재킷 포함)에 대해 평균 **60.9%**의 성공률을 달왔다. 이는 실세계 데이터 수집이나 파인튜닝이 필요하며 9.4%에서 29.7% 사이의 성공률을 보인 베이스라인들을 크게 상회하는 수치이다.

의의 및 주장

본 논문은 다양한 조작 모드의 다양성을 포착하기 위해 인컨텍스트 모방 학습을 활용함으로써 DOM의 새로운 패러다임을 구축한다고 주장한다. 위상적 추론(대조 사전 학습을 통해)과 기능적 추론(플로우 매칭을 통해)을 분리함으로써, 시스템은 단일 시연으로부터 복잡한 조작 절차를 추론할 수 있다. 저자들은 이 접근 방식이 실세계 데이터 수집이나 파인튜닝의 필요성을 제거하여, 변형 가능한 물체를 위한 로봇 학습 배포의 주요 병목 현상을 해결한다고 강조한다. 또한, ICIL이 고차원의 연속적 상태 공간을 다루는 데 있어 유망한 방향이며, 이 영역에서의 더 넓은 인컨텍스트 추론을 위한 토대를 제공한다고 제안한다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정한다:

• 시스템은 신뢰할 수 있는 객체 세그멘테이션을 가정한다.
• 실험은 매우 심하게 구겨진 상태가 아닌, 접을 수 있는 매니폴드(foldable manifold) 내의 상태에서 시작한다.
• 현재 연구는 단일 객체 카테고리(의류 상의)로 제한되어 있다.
• 컨텍스트 라이브러리는 수동으로 설계되었으며 규모가 제한적이므로, 자동화된 컨텍스트 탐색에 대한 향후 연구가 필요함을 시사한다.