기술 요약: CoToGrasp

문제 정의

현재의 정교한 파지 플래너(dexterous grasp planners)는 주로 물리적 안정성(force closure)을 최적화하며, 물체를 잡을 수 있는지 여부(whether)에 집중할 뿐, 특정 하위 기능적 과업을 수행하기 위해 어떻게 잡아야 하는지(how)에 대해서는 초점을 맞추지 못합니다. 고자유도(DoF) 로봇 핸드는 풍부한 접촉 능력을 제공하지만, 기존의 데이터 기반 플래너들은 에너지적으로 안정적이지만 기능적으로는 균일한 "포괄적 파워 그립(enveloping power grasps)"으로 향하는 심각한 생성 편향(generative bias)과 모드 붕괴(mode collapse) 현상을 보입니다. 이러한 모드 붕괴는 정밀한 도구 삽입이나 손 안에서의 재배향과 같이 특정 접촉 토폴로지를 요구하는 작업에서 효율성을 저해합니다.

또한, 인간의 파지 분류 체계(예: 정밀 파지 vs 파워 파지)에 따라 파지 합성을 조건화하는 것은 일반적으로 매우 비용이 많이 드는 객체 주석 데이터셋을 필요로 합니다. 기존의 분류 체계 조건부 방식들은 학습 과정에서 특정 접촉 토폴로지를 특정 물체 기하 구조와 경직되게 결합합니다. 결과적으로, 사전 계산된 관절 템플릿이 미처치 못한 미지의 물체와 마주했을 때, 이러한 방식들은 실패하거나 잘못된 파지 유형으로 붕괴되어 제로샷 일반화(zero-shot generalization)를 방해합니다.

방법론: CoToGrasp

저자들은 특정 접촉 토폴로지에 엄격히 조건화되면서도 객체 불가지론적(object-agnostic)인 특성을 유지하며, 다양한 안정적인 파지를 합성하도록 설계된 생성 프레임워크인 CoToGrasp(정규 워크스페이스 학습을 통한 접촉-토폴로지 조건부 정교한 파지 합성)를 제안합니다.

1. 객체 불가지론적 학습 패러다임

물체의 포인트 클라우드 상에 직접 접촉 맵을 학습하는 표준 방식과 달리, CoToGrasp는 그리퍼 포인트 클라우드만을 사용하여 학습함으로써 기능적 의도와 객체의 정체성을 분리합니다.

• 정규 워크스페이스(Canonical Workspace): 이 프레임워크는 그리퍼 프레임에 고정된 특징 기반의 정규 워크스페이스를 도입합니다. 로컬 기하학적 특징은 그리퍼(학습 시) 또는 객체(추론 시)로부터 추출되어, 가중 k-최근접 이웃(kNN) 집계(aggregation)를 통해 고정된 일련의 공간 기저 점들로 투영됩니다.
• 대칭적 접촉 쌍대성(Symmetric Contact Duality): 이 방법은 접촉의 기하학적 쌍대성을 활용합니다. 모델은 무제한의 객체 표면 위에서 유효한 위치를 찾는 대신, 제한된 고정 도메인 내에서 그리퍼의 본질적인 접촉 매니폴드를 학습합니다. 객체는 그리퍼의 정규 프레임으로 변환되어 ("음의 몰드"로서 반전됨), 네트워크가 타겟 객체의 기하 구조와 독립적으로 손의 근본적인 능력으로서 파지 템플릿을 학습할 수 있게 합니다.

2. 의미론적 분류 체계 조건화

시스템은 접촉 지점이 객체의 형태가 아닌 손의 활성 접촉면에 따라 21가지의 뚜렷한 접촉 토폴로지로 분류하는 Gonzalez 분류 체계[12]를 채택합니다.

• 입력: 네트워크는 워크스페이스의 투영된 로컬 특징과 요청된 접촉 토폴로지(예: 정밀, 파워 또는 객체 특정형)의 학습 가능한 임베딩을 수신합니다.
• 아키텍처: 트랜스포머 인코더(Transformer encoder)는 워크스페이스 임베딩을 처리하며, 셀프 어텐션(self-attention)을 활용하여 각 토폴로지에 내재된 접촉점의 공간적 분포와 공존 패턴을 모델링합니다.
• 생성 모델: 특징들은 셋 트랜스포머(Set Transformer)를 통해 압축된 잠재 기술자(latent descriptor)로 증류되며, 조건부 변이형 오토인코더(CVAE)로 전달됩니다. 디코더는 정규 워크스페이스 상의 확률적 접촉 마스크(영역 확률)를 재구성합니다.

3. 파지 합성 및 검증 파이프라인

추론 단계에서 시스템은 운동학적 타당성과 물리적 안정성을 보장하기 위해 계층적 검증 파이프라인을 통해 물리적 파지를 합성합니다.

1. 예측: 네트워크는 주어진 객체 포즈와 요청된 토폴로지에 대해 정규 워크스페이스 상의 접촉 템플릿을 예측합니다.
2. 레이블 일관성 체크: 예측된 접촉 영역이 특정 객체에 대해 기하학적으로 실행 가능한지 확인하는 엄격한 이진 검사를 수행합니다(존재하지 않는 표면에 대한 "환각" 접촉 방지).
3. 포스 클로저(Force-Closure) 검증: 신속하게 근사된 포스 클로저 추정기를 사용하여 제안된 접촉 분포의 물리적 안정성을 검증합니다. 불안정한 경우, 새로운 템플릿을 생성하기 위해 잠재 변수를 재샘플링합니다(최대 20회 반복).
4. 에너지 기반 최적화: 마지막으로, 에너지 기반 최적화가 그리퍼의 활성 표면을 예측된 3D 워크스페이스 점들과 정렬합니다. 이 단계는 접촉 정렬 오차, 객체 침투, 자기 충돌 및 관절 한계를 최소화하는 동시에, 사용되지 않는 손가락들을 객체로부터 멀리 유지함으로써 특정 토폴로지를 강제하는 척력 항(repulsive term)을 도입합니다.

주요 기여

1. CoToGrasp 프레임워크: 인간의 분류 체계에서 유도된 구조화된 접촉 토폴로지에 조건화되어 작동하며, 객체 불가지론적 방식으로 동작하는 새로운 생성형 플래너를 제안합니다.
2. 정규 특징 기반 워크스페이스: 로컬 객체 특징을 통일된 그리퍼 중심 도메인으로 투영하는 방법으로, 기능적 의도와 임의의 객체 기하 구조를 효과적으로 분리합니다. 이를 통해 객체 주석 데이터 없이도 미지의 객체에 대한 제로샷 일반화를 달erm합니다.
3. 엄격한 평가 방법론: 저자들은 파지 플래너의 기능적 다양성과 의미론적 편향을 정량화하기 위한 새로운 평가 프레임-워크를 구축했습니다. 이들은 플래너가 요청된 기능적 의도를 얼마나 잘 준수하는지, 혹은 파워 그립으로 기본 설정되는지를 측정하기 위해 토폴로지 준수도(Topology Compliance, TC) 및 **의미론적 엔트로피($H_{TC}$)**와 같은 지표를 도입했습니다.
4. 실제 환경 검증: 물리적 Allegro Hand 로봇을 사용하여 합성된 접촉 토폴로지의 물리적 실행 가능성과 운동학적 타당성을 입증했습니다.

실험 결과

저자들은 DexGraspNet 및 MultiDex 서브셋의 대규모 데이터셋에서 CoToGrasp를 분류 체계가 없는 베이스라인(예: DFC, GenDexGrasp) 및 분류 체계가 있는 베이스라인(Dexonomy)과 비교 평가했습니다.

• 비조건부 플래너와의 비교: 비조건부 베이스라인들은 안정적인 파워 그립을 기본값으로 설정함으로써 더 높은 원시 성공률(Success Rate, SR)을 달성하지만, 낮은 의미론적 엔트로피와 함께 심각한 모드 붕괴를 보입니다. 구체적으로, DFC 베이스라인은 $H_{TC}$가 0.7389인 반면, 다른 베이스라인들은 더 낮은 값을 보입니다. 반면, CoToGGrasp는 가장 높은 의미론적 엔트로피($H_{TC} = 0.83$)와 생성 속도(0.11s/grasp)를 달성하였으며, 제약된 작업의 난이도로 인해 전체 SR(36.94%)은 다소 낮음에도 불구하고 정밀 파지를 포함한 다양한 토폴로지를 성공적으로 합성했습니다.
• 분류 체계 기반 베이스라인과의 비교: Dexonomy와 비교했을 때, CoToGrasp는 물리적 안정성(SR: 29.75% vs. 27.16%)과 의미론적 정확도(TC: 17.18% vs. 14.28%) 모두에서 우수한 성능을 보였습니다. 결정적으로, CoToGrasp는 매우 제약된 정밀 파지(예: Topology M2: 30.3% vs. 10.5%)에서 Dexonomy를 능가합니다. 저자들은 Dexonomy의 특정 토폴로지에서의 높은 점수가 객체 기하 구조가 경직된 관절 템플릿과 충돌할 때 검증되지 않은 포괄적 파립으로 기본 설정되는 모드 붕합의 결과라고 언급했습니다.
• 실제 환경 성능: 시스템은 UR10 매니퓰레이터와 Allegro Hand를 사용하여 YCB 객체들에 대해 다양한 파지를 성공적으로 계획하고 실행함으로써, 생성된 토폴로지가 물리적으로 실행 가능하다는 것을 확인했습니다.

의의 및 주장

본 논문은 CoToGrasp가 기존 플래너의 핵심적 한계인 '비싼 객체 특정 학습 데이터 없이 과업에 정렬된 접촉 토폴로지를 생성할 수 없는 문제'를 해결한다고 주장합니다. 학습 도메인을 무제한의 객체 공간에서 고정된 고유 그리퍼 매니폴드로 전환함으로써, 이 방법은 미지의 기하 구조에 대한 제로샷 일반화를 달성합니다.

저자들은 자신들의 접근 방식이 로봇 시스템을 단순한 기하학적 안정성 최적화를 넘어 기능적, 과업 수준의 의도로 이동시킬 수 있음을 강조합니다. 엄격한 검증 파이프라인은 합성된 파지가 의미론적으로 올바를 뿐만 아니라 운동학적으로 실행 가능하고 물리적으로 안정적임을 보장합니다. 실제 환경에서의 성공적인 배포는 생성된 접촉 토폴로지의 구조적 특성이 물리적 하드웨어에서 실행될 수 있음을 입증하며, 고수준의 의미론적 추론과 저수준의 정교한 조작 사이의 간극을 메웁니다.