On the Generalization Capabilities, Design Choices and Limitations of Keypoint Imitation Learning

기술 요약: 키포인트 모방 학습의 일반화 능력, 설계 선택 및 한계

문제 제기
비구조화된 환경에서의 로봇 조작은 보지 못한 물체, 자세, 장면 변화에 일반화될 수 있는 정책을 요구합니다. 모방 학습은 유망한 접근법이지만, 표준 RGB 기반 정책은 이러한 변화를 효과적으로 처리하기 위해 대규모 데이터셋을 일반적으로 요구합니다. 이는 키포인트와 같은 중간 표현의 탐색을 동기화시키는데, 이는 컴팩트하고 세밀한 의미론적 인코딩을 제공합니다. 시각적 기반 모델이 이제 작업별 훈련 없이 원샷 키포인트 추출을 가능하게 함에도 불구하고, 이러한 표현을 모방 학습 파이프라인에 어떻게 최적화하여 통합할지, 어떤 추출 전략이 가장 효과적인지, 그리고 깊이도나 분할 마스크와 같은 대안적인 물체 중심 표현보다 실제로 더 우수한 성과를 내는지 여부는 여전히 불분명합니다.

방법론
저자들은 3 단계 키포인트 모방 학습 (KIL) 파이프라인을 제안합니다:

1. 키포인트 지정: 인간 운영자가 각 물체 카테고리에 대해 참조 이미지에 3~6 개의 의미론적 키포인트를 수동으로 주석합니다.
2. 표현 추출: 시각적 기반 모델을 사용하여 시스템은 훈련 및 추론 중 모든 관찰 프레임에서 해당 키포인트를 추출합니다. 2D 위치는 보정된 RGB-D 카메라 내부 및 외부 파라미터를 사용하여 3D 로 들어 올립니다. 논문은 세 가지 추출 전략을 조사합니다:
   • 이미지 매칭 (IM): 참조 키포인트에 대한 기술자를 계산하고 관찰 프레임에서 코사인 유사도를 통해 최상의 매칭을 찾습니다.
   • 인스턴스 매칭 (IN): 오픈 보카불러리 탐지기를 통해 인스턴스 마스크를 먼저 생성한 후, 기술자 검색을 특정 물체 마스크로 제한함으로써 IM 을 확장합니다.
   • 추적 (T): 인스턴스 매칭으로 초기화된 전용 추적 모델을 사용하여 시간에 따라 키포인트를 추적합니다.
3. 정책 학습: 결과적으로 생성된 3D 키포인트 시퀀스는 트랜스포머 인코더에 의해 인코딩되어 확산 정책 (액션 헤드) 에 입력되어 로봇 동작을 예측합니다. 정책은 관찰 및 고유 상태의 이력을 입력으로 받습니다.

주요 기여

• 설계 가이드라인: 논문은 이전 KIL 방법들을 통합하고 추출 방법 (IM, IN, T), 기반 모델 (RADIO, DIFT, DINO), 그리고 정책 아키텍처 (트랜스포머 인코더 대 직접 연결) 를 체계적으로 비교함으로써 실용적인 가이드라인을 제공합니다.
• 대규모 평가: 저자들은 두 가지 로봇 플랫폼과 다섯 가지 다른 조작 작업 (예: 신발/머그컵 놓기, 병 따르기, 펜 집기) 에 걸쳐 2,000 회 이상의 실제 세계 롤아웃을 수행했습니다.
• 다중 인스턴스 확장: 이 연구는 이전의 단일 물체 연구의 한계를 해결하는 동일한 물체 카테고리의 여러 인스턴스가 관련된 작업으로 KIL 을 확장합니다.
• 한계 분석: 이 연구는 현재 기반 모델의 한계, 특히 큰 물체 방향 변화와 가림에 대한 견고성과 관련하여 명시적으로 식별하고 정량화합니다.

결과

• 일반화 성능: KIL 은 다섯 가지 작업에서 전체 성공률 **75%**를 달성하여 표준 RGB 기반 확산 베이스라인 (47%) 보다 현저히 우수한 성과를 보였습니다. 장면 변화 하에서 성능 격차는 극적으로 확대되었습니다 (KIL: 70% 대 RGB: 10%).
• 물체 중심 베이스라인과의 비교: KIL 은 깊이도 및 분할 마스크를 활용하는 물체 중심 베이스라인인 S2-diffusion(73%) 과 동등한 성능을 보였으며, 이는 키포인트가 모든 맥락에서 다른 중간 표현보다 본질적으로 더 우수한 일반화를 제공하지는 않음을 시사합니다.
• 추출 방법: 이미지 매칭, 인스턴스 매칭, 추적은 유사한 성능 (평균 성공률 70~75%) 을 보였습니다. 이미지 매칭은 단순성과 낮은 계산 비용으로 인해 기본값으로 선택되었습니다.
• 기반 모델: 이미지 매칭의 경우, RADIOv2.5-B(특정 작업에서 85%) 가 DINOv3-B 와 DIFT 보다 우수했습니다. 그러나 DIFT 는 인스턴스 매칭 또는 추적과 결합될 때 더 높은 견고성을 보였습니다.
• 인코더 설계: 전용 트랜스포머 인코더는 간단한 연결 접근법 (85% 성공) 과 동등한 성능을 보였지만, 3D 위치에 코사인 유사도 점수를 추가한 변형 (유사도 점수에 대한 과적합으로 7% 로 저하됨) 보다 현저히 우수했습니다.
• 다중 물체 작업: 두 개의 물체 조작이 필요한 작업에서 KIL 은 작업 완료율 **61~63%**를 달성하여 RGB 베이스라인 (48%) 을 능가하고 S2-diffusion(58%) 과 일치했습니다.
• 방향 견고성: 중요한 발견은 KIL 이 물체 방향에 민감하다는 것이었습니다. 물체 자세가 전체 ±180° 범위에 걸쳐 있을 때, KIL 성능은 이미지 매칭의 경우 55%, 추적의 경우 28% 하락했습니다. 반면 RGB 와 S2 베이스라인은 각각 10% 와 9% 만 하락하여 현재 기반 모델이 큰 방향 변화에 대한 견고성이 부족함을 나타냈습니다.

의의 및 주장
이 논문은 KIL 이 원시 RGB 정책보다 특히 방해물이나 배경 변화가 있는 장면에서 상당한 일반화 이점을 제공하는 데이터 효율적인 접근법이라고 결론지었습니다. 그러나 저자들은 KIL 이 S2-diffusion 과 같은 대안적인 물체 중심 표현을 보편적으로 능가하지는 않는다고 겸손하게 주장합니다. KIL 의 성능은 추출에 사용되는 기반 모델의 능력에 크게 의존합니다. 구체적으로, KIL 은 가림 처리 및 방향 불변성과 관련하여 이러한 모델의 한계를 계승합니다. 이 연구는 키포인트가 컴팩트한 표현을 제공하지만 그 유용성은 추출 파이프라인의 견고성에 의해 제한된다는 점을 명확히 하여, 향후 개선은 추출 모델의 엔드 투 엔드 미세 조정이나 하이브리드 표현을 필요로 할 수 있음을 시사합니다.