CLASP: Closed-loop Asynchronous Spatial Perception for Open-vocabulary Desktop Object Grasping

1. 문제 정의 (Problem Definition)

로봇이 자연어 지시를 받아 데스크탑 환경에서 다양한 물체를 잡는 (Grasping) 작업은 제조, 물류, 농업 등 다양한 분야에서 핵심 요구사항입니다. 그러나 기존 접근 방식, 특히 비전 - 언어 모델 (VLM) 을 활용한 저수준 조작 (Low-level manipulation) 에는 다음과 같은 주요 한계가 존재합니다.

• 고품질 데이터 부족: 로봇 조작을 위한 고품질 멀티모달 시연 데이터 (Demonstration data) 가 극도로 부족합니다.
• 공간적 환각 (Spatial Hallucination): VLM 이 기하학적 기반 (Geometric grounding) 이 약해 물체의 위치나 형태를 잘못 인식하여 잘못된 잡기 지점을 예측하는 현상이 발생합니다.
• 개방 루프 실행의 취약성: 동적 환경에서 실행 전/후 상태를 확인하지 않는 개방 루프 (Open-loop) 방식은 오류 수정이 불가능하여 실패율이 높습니다.

2. 제안 방법: CLASP (Methodology)

저자들은 위 문제들을 해결하기 위해 **CLASP(Closed-loop Asynchronous Spatial Perception)**라는 새로운 비동기 폐쇄 루프 프레임워크를 제안했습니다. 이 프레임워크는 멀티모달 지각, 논리적 추론, 상태 반영 피드백을 통합합니다.

핵심 구성 요소

1. 이중 경로 계층적 지각 (Dual-Pathway Hierarchical Perception):

   • 의도 (Semantic Intent) 와 기하학적 근거 (Geometric Grounding) 를 분리합니다.
   • 의미론적 경로: RGB 이미지를 통해 전역 추론을 수행합니다.
   • 기하학적 경로: 오픈 보카불러리 (Open-vocabulary) 박스, 마스크, 명시적 포즈/중심점 설명자를 계산하여 공간적 불확실성을 줄입니다.
   • 이 설계를 통해 추론 모델의 출력을 가이드하고, 확정적인 행동 튜플 (2D 접촉점, 각도 등) 을 생성하여 공간적 환각을 억제합니다.

2. 비동기 폐쇄 루프 평가기 (Asynchronous Closed-Loop Evaluator):

   • 실행 전 (Pre-execution) 과 실행 후 (Post-execution) 상태를 비교하는 Judger 모듈을 포함합니다.
   • 작업 성공 시 종료하고, 실패 시 텍스트 기반 진단 피드백을 생성하여 추론 모듈로 되돌려 보냅니다.
   • 이를 통해 동적 환경에서 오류를 자동으로 수정하는 강력한 루프를 구축하며, 기존 개방 루프 방식의 취약점을 보완합니다.

3. 확장 가능한 멀티모달 데이터 엔진:

   • 인간의 원격 조종 (Teleoperation) 없이 실제 및 합성 장면에서 고품질의 공간 주석 (Spatial annotations) 과 추론 템플릿을 자동으로 합성합니다.
   • 이를 통해 데이터 부족 문제를 해결하고 모델의 일반화 능력을 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. 이중 경로 계층적 지각 도입: 의미적 의도와 기하학적 근거를 분리하여 구조화된 행동 튜플을 출력함으로써 공간적 환각을 줄이고 결정론적 제어를 가능하게 함.
2. 비동기 폐쇄 루프 평가기 설계: 실행 전후 상태 비교를 통한 진단 피드백 생성으로, 동적 환경에서의 오류 수정 메커니즘을 확립함.
3. 자동화된 데이터 엔진 개발: 인간 개입 없이 고품질 멀티모달 시연 데이터를 생성하는 파이프라인을 구축하여 학습 데이터의 양과 질을 대폭 향상시킴.

4. 실험 결과 (Experimental Results)

ManiSkill 시뮬레이션 환경과 WidowX 250S 6-DoF 로봇 팔을 이용한 실제 환경 실험을 통해 성능을 검증했습니다.

• 성능 비교: 제안된 CLASP 는 기존 베이스라인 (Qwen3-VL, Doubao-Seed, AffordanceNet, AnyGrasp 등) 을 크게 능가했습니다.
  • 전체 성공률: **87.0%**를 기록하여 가장 높은 성능을 보였습니다.
  • 물체 카테고리별: 장난감 (Toys), 블록 (Blocks), 도구 (Tools) 중 특히 기하학적으로 복잡한 도구 (Tools) 카테고리에서 기존 방법 대비 현저히 높은 성공률 (77.0%) 을 달성했습니다.
• 구성 요소 분석: 지각 (Perception), 추론 (Reasoner), 휴리스틱 (Heuristic), 판정기 (Judger) 가 모두 포함된 전체 파이프라인이 가장 우수한 성능을 보였습니다.
• 지연 시간 (Latency): 비동기 실행 정책은 스트리밍 (동기식) 방식 대비 총 실행 시간을 39.8% 단축하고, 작업 완료 시간의 분산을 59.5% 줄여 효율성과 안정성을 크게 개선했습니다.
• 실제 환경 적용: 실제 로봇 실험에서 다른 방법들이 잘못된 잡기 지점을 선택하거나 실패하는 것과 달리, CLASP 는 렌치 (Wrench) 와 같은 복잡한 도구의 핸들에서 최적의 반대쪽 잡기 지점을 정확하게 식별했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 시뮬레이션 - 현실 간극 (Sim-to-Real Gap) 해소: 자동화된 데이터 엔진과 강력한 폐쇄 루프 메커니즘을 통해 실제 환경에서도 높은 일반화 성능과 강건성을 입증했습니다.
• 기하학적 난이도 극복: 복잡한 기하학적 구조를 가진 도구류와 혼재된 환경 (Cluttered scenarios) 에서도 뛰어난 성능을 발휘하여, 기존 VLM 기반 로봇 조작의 한계를 극복했습니다.
• 미래 전망: 이 프레임워크는 저수준 조작뿐만 아니라 더 긴 시간 범위의 조작 작업 (Long-horizon manipulation tasks) 으로 확장될 수 있는 잠재력을 가지고 있으며, 실제 로봇 시스템에의 배포 가능성을 높였습니다.

요약하자면, CLASP 는 VLM 의 공간적 환각과 개방 루프의 불안정성을 해결하기 위해 지각 - 추론 - 피드백의 통합된 폐쇄 루프 아키텍처를 제시함으로써, 자연어 지시에 따른 데스크탑 물체 잡기 작업의 신뢰성과 성공률을 획기적으로 향상시킨 연구입니다.