CycleManip: Enabling Cyclic Task Manipulation via Effective Historical Perception and Understanding

1. 문제 정의 (Problem)

로봇 조작 분야에서 주기적 (Cyclic) 또는 반복적 작업 (예: 병 흔들기, 못 박기, 믹서기 돌리기 등) 은 일상생활에서 매우 중요하지만, 기존 연구에서는 충분히 탐구되지 않았습니다. 이러한 작업의 핵심 난제는 다음과 같습니다.

• 비마르코프성 (Non-Markovian Nature): 주기적 작업에서 현재 관측치만으로는 "몇 번의 반복이 남았는지" 또는 "작업이 완료되었는지"를 판단하기 어렵습니다. 매 반복마다 시각적 관측치가 매우 유사하기 때문입니다.
• 기존 방법의 한계: 기존의 모방 학습 (Imitation Learning) 모델들은 주로 짧은 관측 창 (Short observation window) 을 사용하여 다음 행동을 예측합니다. 이로 인해 과거의 반복 횟수를 기억하지 못해 무한 루프에 빠지거나, 작업이 완료되기 전에 조기에 종료하는 실패를 겪습니다.
• 데이터 및 벤치마크 부재: 주기적 작업을 위한 충분한 데이터와 자동 평가 도구가 부족하여 효과적인 솔루션 개발이 지연되었습니다.

2. 방법론 (Methodology)

저자들은 CycleManip 프레임워크를 제안하여, 추가적인 모델이나 계층적 구조 없이 엔드 - 투 - 엔드 (End-to-End) 모방 학습 방식으로 주기적 작업을 해결합니다. 핵심은 **효과적인 과거 인식 (Historical Perception)**과 **과거 이해 (Historical Understanding)**를 강화하는 것입니다.

A. 효과적인 과거 인식 (Effective Historical Perception)

고비용의 계산 부담 없이 긴 시간적 맥락을 포착하기 위해 **비용 인식 샘플링 전략 (Cost-aware Sampling Strategy)**을 도입했습니다.

• 저비용 관측치 (Proprioception 등): 로봇의 관절 각도나 엔드 이펙터의 위치 차이 (Pose difference) 와 같은 저차원 데이터는 **밀집 샘플링 (Dense sampling)**하여 모든 과거 정보를 포함시킵니다. 이는 시간적 주기 특성을 포착하는 데 필수적이며 계산 비용이 적게 듭니다.
• 고비용 관측치 (RGB 이미지, 점구름 등): 고차원 시각 데이터는 휴리스틱 프레임 샘플링을 적용합니다. 최근 프레임은 밀집하게, 과거 프레임은 희소하게 (이진 탐색 또는 지수적 샘플링) 선택하여 전체 프레임 수를 유지하면서 정보의 다양성을 확보합니다.

B. 효과적인 과거 이해 (Effective Historical Understanding)

단순히 과거 데이터를 보는 것을 넘어, 작업의 진행 단계를 '이해'하도록 유도합니다.

• 멀티태스크 학습 (Multi-task Learning): 주 작업 (조작 행동 예측) 과 함께 작업 진행도 (Task Progress) 예측을 보조 작업 (Auxiliary Task) 으로 추가합니다.
• 진행도 예측: 현재 프레임이 전체 작업의 몇 % 지점인지 (0~1 구간을 10 개 구간으로 이산화) 를 분류하는 태스크를 수행하게 함으로써, 모델이 주기 내의 각 단계 (1 회차, 2 회차 등) 를 구별하는 특징을 학습하도록 강제합니다. 이는 모델이 "지금 몇 번 반복했는지"를 추론하여 올바른 시점에 작업을 종료할 수 있게 합니다.

C. 아키텍처

• Diffusion Policy: CLIP(언어), 포인트 인코더(시각), Transformer(과거 저비용 관측치) 로 특징을 추출하고, 이를 Diffusion 모델의 조건 (Condition) 으로 사용합니다.
• 손실 함수: 행동 예측 (MSE) 과 진행도 예측 (Cross-Entropy) 의 가중 합을 최소화합니다.

3. 주요 기여 (Key Contributions)

1. CycleManip 프레임워크: 추가 모듈 없이 기존 모방 학습 정책에 통합 가능한, 주기적 작업을 위한 효율적인 아키텍처 제안.
2. 새로운 벤치마크 (CycleManip Benchmark): RoboTwin 2.0 플랫폼을 기반으로 구축된 벤치마크로, 8 가지 다양한 주기적 작업 (병 흔들기, 망치질, 칼질 등) 과 자동화된 데이터 생성 및 평가 시스템을 제공합니다.
3. 자동 평가 시스템: 작업 성공 여부뿐만 아니라 정확한 반복 횟수를 평가하는 자동화된 루프 감지 시스템을 개발했습니다.

4. 실험 결과 (Results)

시뮬레이션 및 실제 로봇 (그리퍼, 다재능 손, 휴머노이드 등) 을 통한 실험에서 뛰어난 성능을 입증했습니다.

• 주기적 작업 성능: 기존 SOTA 모델 (DP, DP3, RDT, Pi-0 등) 에 비해 **성공률 (Success Rate)**이 압도적으로 높고, **반복 횟수 오차 (Cycle Count Deviation)**가 현저히 낮습니다.
  • 예시: 병 흔들기 작업에서 DP3 의 성공률 31.25% 대비 CycleManip 은 68.75% 달성.
• 일반 조작 작업: 주기적 작업뿐만 아니라 RoboTwin 2.0 벤치마크의 일반 조작 작업 (물건 옮기기, 문 열기 등) 에서도 모든 베이스라인을 능가하는 성능을 보였습니다.
• 플러그 앤 플레이 (Plug-and-Play): Vision-Language-Action (VLA) 모델인 Pi-0 에 본 방법을 적용했을 때 성능이 크게 향상되어, 다른 정책에 쉽게 통합 가능함을 입증했습니다.
• 이질적 로봇 플랫폼 적용: 단일 암, 양손 그리퍼, 다재능 손 (Dexterous hand), 휴머노이드 (Unitree G1) 등 다양한 로봇 형태에서 일관된 성능을 보였습니다.
• 효율성: 계산 오버헤드는 미미하게 증가했으나 (학습/추론 시간 및 GPU 메모리), 성공률 향상을 고려할 때 매우 효율적입니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇이 일상생활에서 반복적이고 복잡한 작업을 정확한 타이밍에 완료할 수 있는 능력을 갖추는 데 중요한 이정표를 제시합니다.

• 기술적 혁신: 단순히 과거 데이터를 늘리는 것이 아니라, '비용 인식 샘플링'과 '멀티태스크 학습'을 통해 효율적으로 역사적 맥락을 인식하고 이해하는 새로운 패러다임을 제시했습니다.
• 실용성: 벤치마크와 평가 도구를 공개하여 향후 연구의 기반을 마련했으며, 다양한 로봇 하드웨어와 VLA 모델에 적용 가능한 범용성을 입증했습니다.
• 미래 전망: 자율 로봇이 가정이나 산업 현장에서 더 복잡하고 장기적인 반복 작업을 수행할 수 있는 기반을 마련하여, 로봇의 자율성과 적응성을 한 단계 높였습니다.