RAAP: Retrieval-Augmented Affordance Prediction with Cross-Image Action Alignment

1. 문제 정의 (Problem)

로봇이 다양하고 비구조화된 환경에서 목적 있는 정밀 조작을 수행하기 위해서는 물체의 affordance( affordance: 물체가 어떤 행동을 가능하게 하는지, 즉 '어디를 잡고 어떻게 움직여야 하는지'에 대한 지각) 를 이해하는 것이 필수적입니다. 기존 연구들은 주로 두 가지 접근 방식을 취했으나 각각 한계가 있었습니다.

• **검색 기반 **(Retrieval-based) 과거 경험을 검색하여 새로운 상황에 적용합니다. 하지만 단일 최상위 매칭 (top-1) 에 의존하기 때문에 데이터의 희소성 (sparsity) 과 커버리지 부족으로 인해 예측이 취약하며, 보지 못한 카테고리에서는 실패할 수 있습니다.
• **학습 기반 **(Training-based) 대규모 데이터로 모델을 학습시킵니다. 하지만 보지 못한 카테고리에서 **접촉점 **(contact point)을 잘못 찾거나, 접촉 후의 **동작 방향 **(action direction)을 예측하는 데 실패하는 경우가 많아 견고한 일반화가 어렵습니다.

이러한 한계를 극복하기 위해, 데이터가 부족한 상황에서도 견고하게 일반화될 수 있는 새로운 프레임워크가 필요합니다.

2. 방법론 (Methodology)

저자들은 **검색 증강 affordance 예측 **(RAAP)을 제안합니다. 이 프레임워크의 핵심 통찰은 affordance 를 두 가지 구성 요소로 분리하여 서로 다른 불확실성 특성에 맞춰 처리한다는 점입니다.

1. **정적 affordance **(접촉점)

   • 전략: Top-1 검색된 참조 이미지와의 **밀집 특징 매칭 **(dense feature correspondence)을 사용합니다.
   • 구현: Stable Diffusion (SD) 인코더를 사용하여 고해상도 특징을 추출하고, 쿼리 이미지와 참조 이미지 간의 특징 매칭을 통해 정밀한 접촉점 (graspable point) 을 위치시킵니다. 이는 기하학적 대응 관계에 기반하므로 단일 잘 맞는 참조만으로도 신뢰할 수 있습니다.

2. **동적 affordance **(동작 방향)

   • 전략: **검색 증강 정렬 모델 **(Retrieval-Augmented Alignment Model)을 사용하여 **여러 개의 참조 **(Top-K)에서 정보를 집계합니다.
   • 구현:
     • Action-Conditioned Encoding: SigLIP-2 백본을 사용하여 이미지 패치 토큰을 추출하고, 이를 해당 행동 벡터 (action vector) 로 FiLM(Few-shot Learning with Modulation) 스타일 변조를 통해 조건부 인코딩합니다.
     • Dual-Weighted Attention: 검색된 여러 참조 이미지들의 방향성 단서를 통합할 때, **이중 가중치 **(dual-weighted) 전략을 사용합니다.
       • 의미적 가중치 (Gating): 학습된 게이트 네트워크가 쿼리와 참조 간의 의미적 관련성을 평가.
       • 유사도 가중치 (Similarity): 사전 계산된 시각적 유사도 점수 활용.
     • 이 두 가중치를 결합하여 노이즈가 있거나 정렬되지 않은 예시를 억제하고 작업에 관련된 선행 지식 (priors) 만을 강조합니다.

3. **실행 **(Execution)

   • 예측된 2D affordance (접촉점, 방향) 를 카메라 내부 파라미터와 점군 (point cloud) 을 이용해 3D 작업 공간으로 변환 (lifting) 합니다.
   • 역기구학 (IK) 을 통해 충돌 없는 궤적을 생성하고, 실제 환경에서는 카르테시안 임피던스 제어를 사용하여 안전한 조작을 수행합니다.

3. 주요 기여 (Key Contributions)

• 통합된 패러다임 제안: 검색 기반과 학습 기반 접근법의 장점을 결합한 RAAP 프레임워크를 제안하여, 데이터가 부족한 상황 (작업당 수십 개의 샘플) 에서도 강력한 일반화 성능을 달성했습니다.
• 새로운 정렬 모델 설계: 정적 (접촉점) 과 동적 (방향) affordance 를 분리하여 처리하고, 이중 가중치 어텐션 메커니즘을 통해 여러 참조를 효과적으로 집계하는 새로운 모델을 고안했습니다.
• 광범위한 평가 및 제로샷 성능: DROID, HOI4D 데이터셋 및 실제 로봇 플랫폼 (Franka Emika) 에서 평가하여, 기존 방법 (RAM, A0) 보다 **보지 못한 물체 **(unseen objects)와 **새로운 카테고리 **(cross-category)에서 우수한 성능을 입증했습니다. 특히 제로샷 (Zero-shot) 로봇 조작을 시뮬레이션과 현실 세계 모두에서 가능하게 했습니다.

4. 실험 결과 (Results)

• **정량적 평가 **(DROID/HOI4D)

  • **동적 affordance 예측 **(MAE) RAAP(K=3) 은 평균 오차 **32.55°**를 기록하여, 검색 기반 방법인 RAM(62.84°) 과 대규모 학습 모델인 A0(74.81°) 보다 약 50% 이상 낮은 오차를 보였습니다.
  • 특히 '문 열기/닫기'와 같은 복잡한 조작 작업에서 기존 방법들이 방향을 잘못 예측하는 반면, RAAP 는 정확한 방향을 예측했습니다.
  • **추적 참조 수 **(K) K=3 일 때 가장 최적의 성능을 보였으며, K 가 너무 적거나 많으면 성능이 저하됨을 확인했습니다.

• 정성적 및 실제 로봇 평가:

  • 실제 로봇 실험: unseen object(예: 훈련되지 않은 서랍) 와 cross-category(예: 전자레인지 열기 학습 후 캐비닛 열기) 시나리오에서 RAAP 는 80~100% 의 성공률을 기록했습니다.
  • 비교: A0 는 접촉점 예측 실패로 인해 거의 모든 작업에서 실패했고, RAM 은 방향 오차로 인해 불안정한 실행을 보였습니다. 반면 RAAP 는 견고한 성능을 유지했습니다.
  • 시뮬레이션: MuJoCo 환경에서 머그컵 조작을 학습하고 주전자 (kettle) 로 테스트한 결과, RAAP 는 85% 성공률을 보이며 다른 방법들을 압도했습니다.

5. 의의 (Significance)

이 논문은 로봇 조작 분야에서 데이터 효율성과 일반화 능력 사이의 균형을 성공적으로 잡은 사례입니다.

• 데이터 효율성: 대규모 데이터 학습 없이도 소수의 예시 (few-shot) 만으로 새로운 물체와 작업을 처리할 수 있어, 실제 로봇 적용 시 데이터 수집 비용을 크게 절감할 수 있습니다.
• 견고성: 정적 접촉점과 동적 동작 방향을 분리하여 처리함으로써, 각 요소의 고유한 불확실성을 효과적으로 관리하고 오차를 줄였습니다.
• 실용성: 시뮬레이션과 실제 물리 환경 모두에서 제로샷 조작이 가능함을 입증하여, 비구조화된 환경에서 로봇이 유연하게 적응할 수 있는 기술적 토대를 마련했습니다.

결론적으로 RAAP 는 기존 접근법의 한계를 극복하고, 제한된 데이터로도 정밀하고 안전한 로봇 조작을 가능하게 하는 혁신적인 프레임워크입니다.