AFFORD2ACT: Affordance-Guided Automatic Keypoint Selection for Generalizable and Lightweight Robotic Manipulation

1. 문제 정의 (Problem Statement)

로봇 조작 (Manipulation) 정책을 학습할 때, 밀집된 시각적 입력 (이미지, 점구름 등) 은 풍부한 정보를 제공하지만, 배경, 조명, 객체의 구체적인 외관과 같은 불필요한 변이 (nuisance variation) 와 작업 관련 단서가 얽혀 있어 일반화 (Generalization) 를 어렵게 만듭니다.

• 기존 방법의 한계:
  • 밀집 입력: 고차원 데이터로 인해 계산 비용이 크고 과적합 (Overfitting) 되기 쉬움.
  • 수동 키포인트: 인간이 직접 중요 지점을 지정해야 하므로 확장성이 떨어짐.
  • 자동 키포인트 발견 (기존): 운동 기반 (Motion-driven) 접근법은 배경 운동에 취약하고, 정책과 함께 학습하는 방식은 훈련 데이터에 종속되어 새로운 객체로 전이 (Transfer) 가 어려움.
• 핵심 과제: 작업과 무관한 정보를 배제하면서도, 객체의 기능적 부분 (Functional parts) 을 포착하여 다양한 객체와 지시어 (Instruction) 에 대해 일반화될 수 있는 자동화된 경량 키포인트 표현을 찾는 것.

2. 방법론 (Methodology)

저자들은 AFFORD2ACT를 제안하며, 이는 언어 기반의 affordance(행위 가능성) 사전 지식을 활용하여 작업 관련 2D 키포인트를 자동으로 추출하고 제어하는 파이프라인입니다. 전체 프로세스는 다음과 같은 4 단계로 구성됩니다.

A. Affordance-Guided Keypoint Extraction (Affordance 기반 키포인트 추출)

1. Affordance Localization (작업 영역 국소화):
   • 주어진 단일 RGB 프레임과 자연어 프롬프트 (예: "컵을 들다", "칼로 자르다") 를 입력받아 사전 학습된 One-Shot Open Affordance 모델을 통해 Affordance Heatmap을 생성합니다.
   • 이 히트맵을 임계값 처리하여 이진 마스크 (Binary Mask) 를 생성하고, 로봇이 상호작용해야 하는 구체적인 영역 (예: 컵의 손잡이, 칼날 끝) 만을 필터링합니다.
2. Reference Keypoint Extraction (참조 키포인트 추출):
   • Mask 영역 내에서 DINO(DINOv2) 특징 맵을 사용하여 밀집된 특징을 클러스터링합니다.
   • 이를 통해 객체의 기능적 부분 (예: "손잡이 끝", "날 끝") 을 나타내는 참조 앵커 키포인트 (Reference Anchor Keypoints) 집합을 자동으로 생성합니다.
3. Cross-instance Correspondence (교차 인스턴스 대응):
   • 새로운 객체나 장면이 들어오면, DINO 특징의 코사인 유사도를 기반으로 참조 앵커를 새로운 프레임의 Mask 영역 내에서 매칭합니다.
   • 이를 통해 객체의 모양이나 외관이 달라져도 동일한 기능적 부분 (Semantic consistency) 을 유지하며 키포인트를 추적합니다.
4. Temporal Tracking (시간적 추적):
   • Co-Tracker 와 같은 트랜스포머 기반 추적기를 사용하여 키포인트를 시간 순서대로 추적하며, 가림 (Occlusion) 에 강인한 시계열 상태 시퀀스를 생성합니다.

B. Policy Design with Gating (게이팅을 통한 정책 설계)

• Transformer Encoder: 추출된 K 개의 키포인트를 토큰으로 변환하고, 컨텍스트를 고려하여 인코딩합니다.
• Gating Network (게이팅 네트워크):
  • 모든 키포인트가 항상 중요한 것은 아닙니다. 게이트 네트워크는 각 토큰에 가중치 (Importance Weight) 를 할당하여, 현재 작업 단계에서 가장 관련성 높은 키포인트만 선택하고 나머지는 무시합니다.
  • 예: 컵을 들 때는 손잡이 키포인트에 높은 가중치를, 컵을 기울여 물을 따를 때는 컵 가장자리 키포인트에 높은 가중치를 부여합니다.
• Compact State Embedding: 가중치가 적용된 키포인트들을 집계하여 경량화된 장면 임베딩을 생성하고, 이를 통해 로봇의 엔드 이펙터 동작과 그리퍼 명령을 예측합니다.

3. 주요 기여 (Key Contributions)

1. 자동화된 Affordance 기반 키포인트 추출: 수동 주석 없이 언어 프롬프트에 따라 상호작용 관련 영역에서 희소 (Sparse) 한 2D 키포인트를 자동으로 선택하는 파이프라인을 제시했습니다.
2. 대응 및 게이팅 정책 (Correspondence-and-Gating Policy): 객체 인스턴스 간 키포인트의 일관성을 유지하면서도, 조작 과정 중 동적으로 키포인트의 중요도를 조절하여 적응하는 정책을 제안했습니다.
3. 실제 로봇을 통한 광범위한 평가: 6 가지 실제 로봇 조작 작업에서 새로운 객체, 장면 변화, 다양한 프롬프트 변형에 대해 높은 일반화 성능과 견고성을 입증했습니다.

4. 실험 결과 (Results)

• 성능: 6 가지 실제 로봇 작업 (잡기, 자르기, 쓸기, 따르기, 저어주기, 차기) 에서 보유된 (Held-out) 객체에 대해 82% 의 성공률을 기록했습니다.
• 비교 평가 (Keypoint Priors):
  • YOLO + DINO, SAM + DINO, 수동 선택 (Manual) 등 다양한 키포인트 선택 방법과 비교했습니다.
  • AFFORD2ACT 는 수동으로 선택된 키포인트와 유사한 성능을 내면서도, 특정 객체 클래스에 의존하지 않고 언어 기반 affordance 로 인해 새로운 객체 카테고리에서도 우수한 일반화 능력을 보였습니다.
• 입력 모달리티 비교:
  • 원시 RGB 이미지 (RGB-BC), RGB-D, Affordance Mask (UAD) 기반 정책보다 키포인트 기반 정책이 훨씬 높은 성공률을 보였습니다. 특히 데이터 양이 적을 때 (Data Scaling) 키포인트 기반 방법이 훨씬 효율적이었습니다.
• 일반화 (Generalization):
  • Unseen Instances: 훈련된 카테고리 내의 새로운 객체 (예: 다른 모양의 컵) 에 대해 약 84% 성공률.
  • Unseen Categories: 훈련되지 않은 카테고리지만 기능적 유사성이 있는 객체 (예: 스푼 대신 주걱으로 저어주기) 에 대해 약 82% 성공률.
  • Distractors: 배경 변화, 혼잡한 환경, 주변에 움직이는 사람 (Dynamic distractors) 이 있더라도 강인하게 작동했습니다.
• Ablation Study:
  • 게이팅 네트워크 제거 시: 성공률이 86% 에서 52% 로 급격히 하락하여, 동적 중요도 조절이 필수적임을 입증했습니다.
  • 유효 키포인트 수: 게이트 네트워크는 전체 19 개 중 시간 단계별로 평균 약 5~6 개 정도의 키포인트만 활성화하여 계산 효율성을 높였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 경량화된 상태 표현: AFFORD2ACT 는 고차원 이미지 대신 기능적으로 의미 있는 소수의 2D 키포인트만을 사용하여 로봇 조작을 학습함으로써, 계산 비용을 크게 줄이면서도 높은 일반화 능력을 달성했습니다.
• 언어 - 행동 연결: 자연어 지시어를 affordance 맵으로 변환하여 로봇이 "어디에", "어떻게" 상호작용해야 하는지를 직관적으로 이해하도록 돕습니다.
• 실용성: 단일 외부 RGB 카메라만으로도 작동하며, 복잡한 3D 재구성이나 대량의 주석 데이터 없이도 실제 환경에서 견고한 조작이 가능합니다.
• 향후 과제: 장기적 작업 (Multi-phase tasks) 을 위한 온라인 키포인트 재설정 (Re-anchoring) 과 가림 (Occlusion) 상황에서의 견고성 향상이 향후 연구 방향입니다.

이 연구는 로봇이 복잡한 시각 정보를 단순화하고, 작업의 본질 (기능) 에 집중하여 새로운 상황에도 유연하게 적응할 수 있는 새로운 패러다임을 제시합니다.