기술 요약: 자기관조 (Egocentric Manipulation) 를 위한 공간적 프롬프트 기반 시각적 궤적 예측

문제 정의: 공간적 프롬프트 기반 시각적 궤적 예측 (SP-VTP)

현재 로봇 조작 정책들은 종종 목표 지정을 위해 언어 지시나 이산적 작업 식별자에 의존합니다. 그러나 시각적으로 유사한 객체들이 포함된 혼잡한 환경에서는 언어적 설명 (예: "포크를 집으세요") 이나 작업 ID 가 모호하거나 특정 인스턴스나 배치 영역을 식별하지 못할 수 있습니다. 저자들은 이러한 시나리오에서 목표 지정은 언어적이기 전에 본질적으로 공간적이라고 주장합니다: "이 객체를 집어서 저곳에 놓으세요."

이를 해결하기 위해, 본 논문은 **공간적 프롬프트 기반 시각적 궤적 예측 (Spatially Prompted Visual Trajectory Prediction, SP-VTP)**이라는 새로운 설정을 공식화합니다. 이 프레임워크에서:

• 입력: 모델은 대상 객체와 대상 배치 영역을 나타내는 정적 공간 프롬프트 (점 또는 바운딩 박스) 가 포함된 첫 번째 프레임의 자기관조 (egocentric) 이미지를 받습니다.
• 작업: 모델은 스트리밍 자기관조 관측을 기반으로 미래 엔드 이펙터 (EE) 궤적을 예측해야 합니다.
• 출력: 마스크나 박스를 출력하는 시각적 그라운딩이나 추적과 달리, 출력은 상대적인 6D EE 운동과 그리퍼 상태의 시퀀스입니다.
• 과제: 이 문제는 네 가지 서로 다른 어려움을 결합합니다:
  1. 정적 작업 지정: 객체와 대상은 첫 번째 프레임에서만 정의됩니다.
  2. 동적 실행: 카메라가 이동하고, EE 가 장면을 가리며, 그립 후 객체들이 재배치됩니다.
  3. 인스턴스 모호성 해소: 혼잡함과 동일 카테고리 방해 요소는 지속적인 인스턴스 수준의 추적을 요구합니다.
  4. 위상 의존적 운동: 동일한 객체 - 대상 쌍은 실행 위상에 따라 다른 운동을 요구할 수 있습니다.

방법론

데이터셋: EgoSPT

SP-VTP 를 연구하기 위해 저자들은 자기관조 공간적 프롬프트 조작 궤적 데이터셋인 EgoSPT를 소개합니다.

• 수집: 데이터는 자기관조 비디오를 위해 GoPro(170° 어안 렌즈) 가 장착된 수정된 범용 조작 인터페이스 (UMI) 와 비주얼 - 관성 SLAM 을 통한 6-DoF EE 궤적 추적을 위해 iPhone 을 사용하여 수집되었습니다.
• 내용: 이 데이터셋은 시각적으로 유사한 다섯 개의 포크와 아홉 개의 대상 (접시, 그릇, 컵) 을 포함하는 2,841 개의 집기 - 놓기 에피소드로 구성됩니다.
• 구조: 난이도가 증가하는 세 가지 장면으로 조직화되어 있습니다:
  • 장면 1: 구조화된 레이아웃 (청결한 조건).
  • 장면 2: 혼잡한 레이아웃 (방해 요소 및 공간적 모호성).
  • 장면 3: 구성당 희소한 시연이 포함된 무작위 혼잡한 하위 장면들.
• 주석: 각 에피소드에는 첫 번째 프레임의 객체 및 대상 그라운딩 주석 (바운딩 박스) 과 복구된 3D EE 궤적이 포함됩니다.

모델: SPOT (공간적 프롬프트 객체 - 대상 정책)

저자들은 미래 궤적 청크를 생성하기 위해 공간적 프롬프트와 시각적 관측을 융합하도록 설계된 정책인 SPOT을 제안합니다. 아키텍처는 세 가지 주요 모듈로 구성됩니다:

1. 작업 인코더:

   • 첫 번째 프레임 ($I_0$) 과 공간적 프롬프트 (객체 $p_{obj}$ 및 대상 $p_{tgt}$) 를 처리합니다.
   • 이중 프롬프트 표현: 프롬프트는 두 가지 상호 보완적인 방식으로 인코딩됩니다:
     • 시각적: 바운딩 박스가 첫 번째 프레임에 렌더링됩니다.
     • 좌표: 박스 좌표는 푸리에 위치 특징과 MLP 를 사용하여 공간 토큰으로 인코딩됩니다.
   • 융합: 고정된 DINOv2 ViT-B/14 백본이 이미지 토큰을 추출합니다. 프롬프트 토큰 (역할 임베딩됨) 은 크로스 어텐션을 통해 이러한 시각적 토큰을 쿼리하여 작업 관련 증거를 추출하고, 전역 장면 컨텍스트를 특정 객체/대상 정보와 융합합니다.

2. 관측 인코더:

   • 작업 인코더와 공유된 시각적 공간을 보장하기 위해 동일한 고정된 시각적 백본을 사용하여 현재 자기관조 프레임 ($I_t$) 을 인코딩합니다.
   • 경량 MLP 및 시간적 위치 임베딩을 통해 최근 궤적 히스토리 ($h_t$) 를 통합합니다.
   • 현재 시각 토큰과 히스토리 토큰을 연결하여 실행 컨텍스트를 형성합니다.

3. 궤적 생성기:

   • 연결된 작업 및 관측 토큰을 조건으로 받습니다.
   • 상대적 이동, 6D 회전, 그리퍼 너비를 나타내는 미래 궤적 청크 ($A_t \in \mathbb{R}^{H \times 10}$) 를 예측합니다.
   • 목적: 기본 구현은 궤적의 속도장을 예측하기 위해 Flow Matching을 사용하지만, 확산 (diffusion) 헤드를 지원하기도 합니다. 모델은 보간된 궤적 토큰을 제거하는 방식으로 훈련됩니다.

평가 프로토콜

본 논문은 데이터 누출을 방지하고 일반화 능력을 과대평가하지 않기 위해 **장면 인식 분할 (scene-aware splits)**을 강조합니다. 동일한 장면 단위의 모든 에피소드는 단일 파티션 (훈련 또는 검증) 내에 유지됩니다. 평가 지표에는 최종 변위 오차 (FDE), 위치 L2, 회전 L2, 그리퍼 너비 L1 이 포함됩니다.

주요 결과

프롬프트 베이스라인

다양한 프롬프트 모드 (프롬프트 없음, 점, BBox, 시각적, BBox+시각적) 를 비교한 실험은 공간적 프롬프트가 프롬프트가 없는 베이스라인보다 성능을 크게 향상시킨다는 것을 보여줍니다.

• 시각적 프롬프트(렌더링된 박스)와 좌표 프롬프트(박스 토큰)의 조합이 가장 좋은 전체 결과를 보여주며, FDE 를 0.1739(프롬프트 없음) 에서 0.1147 로 감소시킵니다.
• 시각적 프롬프트만으로도 회전 정확도에 특히 효과적이며, 좌표 프롬프트는 혼잡한 장면에서 이동에 유익한 명시적 기하학을 제공합니다.

제거 실험 (Ablation Studies)

• 비전 인코더: DINOv2-Base는 엔드포인트 및 이동 정확도에서 다른 기반 모델 (SigLIP, SAM, EVA2, PE) 보다 우수하며, 특히 혼잡한 장면 (장면 2 및 3) 에서 두드러집니다.
• 고정 vs. 비고정: 시각적 백본을 고정하는 것이 미세 조정하는 것보다 더 나은 일반화를 제공하며, 이는 제한된 작업 분포에 백본을 적응시키는 것이 과적합을 초래할 수 있음을 시사합니다.
• 궤적 헤드: Flow Matching 헤드는 모든 지표에서 확산 (Diffusion) 헤드를 일관되게 능가합니다.
• 히스토리 호라이즌: 중간 정도의 히스토리 호라이즌 ($K=4$) 이 충분한 운동 컨텍스트를 제공하면서도 오래된 관측을 도입하지 않는 최적의 균형을 제공합니다.

정성적 성능

시각화는 SPOT 이 정적 프롬프트와 현재 관측으로부터 올바른 지역 운동 위상을 성공적으로 추론함을 보여줍니다. 장기 호라이즌 스티칭은 지역적 드리프트 (오차 누적) 를 축적하지만, 모델은 접근 및 복귀 운동을 포함하여 조작 궤적의 거친 기하학적 구조를 유지합니다.

중요성 및 주장

본 논문은 자기관조 조작을 위한 새롭고 간단하며 확장 가능한 작업 조건으로 SP-VTP를 확립한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 공식화: 언어 기반 계획이나 표준 추적과 구별되는, 자기관조 조작을 비전 중심의 공간적 프롬프트 기반 궤적 예측으로 framing 하는 첫 번째 설정을 정의합니다.
2. 데이터셋: 이 문제를 연구하는 데 필요한 그라운딩 주석과 3D 운동 복구를 제공하는 EgoSPT 를 소개합니다.
3. 정책: 렌더링된 및 좌표 공간적 프롬프트를 시각적 히스토리 및 융합하여 새로운 장면 구성에서 미래 궤적을 효과적으로 예측함을 보여주는 SPOT 을 제안합니다.
4. 평가: 레이아웃 암기가 아닌 진정한 교차 장면 일반화를 테스트하는 장면 인식 평가 프로토콜을 확립합니다.

저자들은 공간적 프롬프트를 혼잡한 환경에서 조작 목표를 지정하는 직접적이고 모호성이 낮은 인터페이스로 위치시키며, 시각적 컨텍스트가 가장 중요한 경우 언어 기반 지시문에 대한 실용적인 대안을 제시합니다.