기술 요약: AffordTrajDP

1. 문제 정의

기존의 시각-운동 정책(visuomotor policies), 특히 확산 모델(diffusion models)에 기반한 로봇 조작 방식은 흔히 조밀한 시각적 입력(예: 가공되지 않은 RGB 또는 포인트 클라우드)에 의존합니다. 이러한 접근 방식은 일반화 성능은 뛰어나지만, 객체의 외형 변화, 배경 혼란, 포즈 변화와 같은 환경적 섭동(perturbations)에 민감하다는 단점이 있습니다.

특히 정밀도가 중요한 작업(예: 어댑터 삽입, 페그-인-홀)에서는 **정적인 어포던스 사전 정보(static affordance priors)**가 제대로 작동하지 않는다는 구체적인 한계가 존재합니다. 최신 기법인 AffordDP와 같은 방식은 참조 데모로부터 정적인 접촉 지점과 접촉 후 궤적을 추출한 뒤, 이를 단일 강체 변환(rigid transformation)을 통해 타겟 장면으로 전이합니다. 그러나 일단 전이된 이후, 이러한 사전 정보는 고정된 상태로 유지됩니다. 만약 초기 접촉 이후에 객체가 움직이거나 위치가 변한다면(배치 섭동이나 접촉으로 인한 편차 때문), 고정된 사전 정보는 객체의 변화하는 포즈와 정렬되지 않게 됩니다. 이는 궤적 드리프트(trajectory drift), 진동, 그리고 지속적이고 정밀한 정렬이 필요한 작업에서의 실패를 초래합니다.

식별된 핵심 문제는 다음 두 가지를 결합하여 보존할 수 있는 조건화 신호(conditioning signal)의 부재입니다:

1. 어디를 접촉해야 하는가 (의미론적 접촉 위치).
   2 접촉 위치가 객체의 움직임에 따라 어떻게 변화해야 하는가 (시간적 일관성).

2. 방법론: AffordTrajDP

저자들은 객체 중심의 시간적 전파(object-centric temporal propagation)를 통해 **어포던스 궤적(affordance trajectories)**을 구축하는 동적 프레임워크인 AffordTrajDP를 제안합니다. 정적인 사전 정보 대신, 이 시스템은 실행 과정 내내 업데이트되는 시변(time-varying) 가이드 신호를 생성합니다.

핵심 파이프라인

1. 앵커 어포던스 추출 (의미론적 국지화):

   • RGB-D 관측치를 바탕으로, 시스템은 객체 메모리(GroundedSAM을 이용한 크롭 및 CLIP을 이용한 외형 임베딩으로 구축됨)에서 가장 유사한 소스 객체 인스턴스를 검색합니다.
   • 소스의 정적 접촉 지점($c$)을 밀집 시각 대응 관계(dense visual correspondence)를 사용하여 타겟 객체로 전이합니다. 이는 "어디"에 해당하는 앵커 지점을 제공합니다.

2. 미래 포즈 추정 (시간적 예측):

   • 확산 기반 궤적 모델이 현재 프레임을 기준으로 타겟 객체의 미래 SE(3) 포즈 궤적을 예측합니다.
   • 이 모델은 원시 센서 입력에 직접 조건화되는 대신, 포즈 이력을 바탕으로 객체의 운동 궤적($T_{tgt}(t)$)을 예측하며, 절대적인 장면 레이아웃으로부터 정규화하여 인스턴스 간 일반화 성능을 높입니다.
   • 모델은 결정론적 샘플링(deterministic sampling)을 보장하고 추론 지연 시간을 줄이기 위해 **Denoising Diffusion Implicit Models (DDIM)**를 사용합니다.

3. 동적 어포던스 전파:

   • 검색된 정적 앵커 접촉 지점($c_{tgt}$)은 예측된 미래 포즈 궤적을 통해 앞으로 전파됩니다.
   • 수학적으로, 각 미래 단계 $k$에 대해 접촉 지점은 강체 변환을 통해 업데이트됩니다: $p_{t+k} = T_{t+k} \cdot \tilde{c}$.
   • 이를 통해 동적 어포던스 궤적($\tau$)이 생성되며, 이는 객체의 예측된 움직임에 지속적으로 적응하여 접촉 후 단계에 대해 상태 일관적인 가이드를 제공합니다.

4. 액션 생성:

   • 생성된 동적 어포던스 궤적은 (트랜스포머를 통해) 인코딩되어 정적 어포드와 기타 관측값(포인트 클라우드, 고유 수용 감각 등)과 결합되어 확산 정책(diffusion policy)을 조건화합니다.
   • 정책은 이 시변 기하학적 사전 정보에 조건화되어 가우시안 노이즈로부터 액션을 디노이징하여 생성합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

1. 새로운 문제 정식화: 저자들은 기존 어포던스 가이드 정책의 한계, 즉 정적 사전 정보는 접촉 후 움직이는 객체와 정렬을 유지할 수 없다는 점을 공식화했습니다. 이들은 AffordTrajDP를 상태 일관적이고 시변하는 어포던스 궤적을 구축하여 이를 해결하는 최초의 프레임워크로 제안합니다.
2. 결합 조건화의 필요성과 충분성: 통제된 절제 연구(ablation studies)를 통해, 저자들은 의미론적 접촉 추출과 포즈-궤적 전파가 모두 높은 성능을 위해 필요하며 동시에 충분함을 입증했습니다.
   • 접촉 추출만 사용할 경우 성능이 향상되지만 정체됩니다.
   • 의미론적 앵커 없이 궤적 전파만 수행하면 신뢰할 수 없으며, 미학습 인스턴스(예: StackCube 미학습 사례에서 성공률 20%로 하락)에서 베이스라인보다 낮은 성능을 보일 수 있습니다.
   • 두 가지를 결합했을 때만 일관되고 큰 폭의 이득(66.1% vs 35.0% 베이스라인)을 얻을 수 있습니다.
3. 실증적 검증: 정밀 삽입 및 객체 정렬을 포함한 7가지 작업에 대해 시뮬레이션(ManiSkill3)과 두 개의 실제 로봇 플랫폼(Galaxea A1 및 UR7e)에서 광범 rộng한 평가를 수행했습니다.

4. 실험 결과

시뮬레이션 (ManiSkill3)

Franka Panda 로봇을 사용하여 6가지 테이블탑 작업(PickCube, PegInsertion, PlugCharger, StackCube, PokeCube, PushCube)에서 평가되었습니다.

• 전체 성공률: AffordTrajDP는 **70.0%**를 달성하여 DP3(52.2%), AffordDP(57.8%), SPOT(62.1%)을 능가했습니다.
• 정밀 작업: 정밀도가 중요한 삽입 작업(PegInsertion, PlugCharger)에서 가장 큰 이득이 관찰되었으며, 여기서 동적 가이드는 정적 베이스라인에 비해 드리프트를 크게 감소시켰습니다.

실제 환경 실험

두 플랫폼에서 평가되었습니다:

• Galaxea A1 (L515 카메라): StackCube, PickCup, AdapterInsertion 작업 수행.
• UR7e (D454 카메라): PickCup, Ring-on-Peg, Put-in-Bowl, USB Insertion 작업 수행.
• 일반화: 외형과 기하학적 구조가 다른 기존에 본 적 없는(unseen) 객체 인스턴스에 대해서도 테스트되었습니다.
• 성능:
  • Galaxea A1에서 전체 방법론은 **66.1%**의 평균 성공률을 기록하며, DP3 베이스라인(35.0%)을 크게 앞질렀습니다.
  • UR7e에서는 **72.5%**의 평균 성공률을 달성하여, DP3(40.8%)와 SPOT(54.2%)을 능가했습니다.
  • AdapterInsertion: 정적 사전 정보가 접촉 후 드리프트로 인해 자주 실패했던 이 작업에서 가장 유의미한 개선이 나타났으며, AffordTrajDP는 안정적인 가이드를 제공했습니다.

절제 연구 통찰

• 의미론적 앵커: 의미론적 접촉 지점을 사용하는 것이 객체 중심을 사용하는 것보다 미학습 인스턴스에서 더 우수합니다.
• 궤적 전파: 예측된 궤적을 따라 접촉 지점을 전파하는 것이 매우 중요합니다. 의미론적 앵커가 없다면 궤적 조건화는 노이즈로 작용합니다.
• 오류 분석: 저자들은 포즈-궤적 예측 오류가 에피소드 기간 동안 누적되어 증가하는 드리프트로 이어지지 않는다는 것을 관찰했으며, 이는 전파 메커니즘이 견고함을 시사합니다.

5. 의의 및 주장

본 논문은 AffordTrajDP가 어포던스 가이드 모방 학습의 근본적인 간극, 즉 어디와 상호작용할 것인가와 그 상호작용이 시간이 지남에 따라 어떻게 진화할 것인가 사이의 단절을 해결한다고 주장합니다.

• 강건성: 상태 일관적이고 시변하는 가이드를 제공함으로써, 이 방법은 접촉 후 동작을 안정화하며, 작은 불일치가 누적될 수 있는 정밀도가 중요한 작업에 특히 효과적입니다.
• 일반화: 이 접근 방식은 시각적 일반화나 정적 사전 정보에만 의依赖하는 방식보다 미학습 객체 인스턴스 및 다양한 로봇 구현체에 대해 강력한 일반화 성능을 보여줍니다.
• 신중한 주장: 저자들은 오류 분석에 대해 신중한 태도를 취합니다. 그들은 (포즈-궤적 예측 오류가) 누적되지 않는다는 발견이 통제된 노이즈 주입 절제 연구가 아닌 상관관계 기반의 단일 작업 비교에 기초했다는 점을 인정합니다. 따라서 이 비누적 특성이 심한 폐쇄(occlusion)나 노이즈 상황에서도 유지될 것이라는 가설을 확립된 결과가 아닌 향후 연구 방향으로 제시합니다.
• 향후 방향: 이 프로토콜을 더 풍부한 접촉 의미론, 불확실성을 고려한 포즈 예측, 그리고 더 넓은 범위의 조작 작업을 처리하기 위한 촉각/힘 피드백을 포함하도록 확장하는 것을 제안합니다.