Compositional Motion Generation from Demonstration with Object-Centric Neural Fields

기술 요약: 객체 중심 신경장(Neural Fields)을 이용한 시연 기반의 구성적 동작 생성

문제 정의
시연으로부터 학습(Learning from Demonstration, LfD)은 제한된 수의 시연으로부터 다양하고 장기적인 행동을 표현해야 하는 핵심적인 과제에 직면해 있다. 동작을 단일한 시퀀스로 취급하는 것은 작업의 구성적 구조(예: 도달, 잡기, 놓기 등 순차적인 객체 단위 상호작용)를 간과하기 쉽다. 동작 프리미티브(Movement Primitives, MPs)는 궤적의 압축된 표현을 제공하지만, 그 구성성은 수동으로 부여되어야 하며, 일관되게 추정하기 어려운 수작업으로 설계된 저차원 특징에 의존한다. 반대로, 이미지로부터 직접 특징을 학습하는 기존 방식은 대규모 데이터셋을 필요로 하여, MP가 가진 데이터 효율성을 희생시킨다. 또한, 기존의 신경장 기반 접근 방식은 장면 수준에서 작동하는 경우가 많아 객체 수에 따라 확장성이 떨어지거나, 전체 궤적 생성을 위한 시각적 조건화(visual conditioning)를 지원하지 못한다.

방법론
저자들은 공유된 객체 수준 표현을 통해 인지와 동작을 연결하는 생성적 LfD 프레임워크를 제안한다. 이 접근 방식은 두 가지 주요 단계로 구성된다:

1. 구성적 장면 모델링 (Spatial MoE):
   프레임워크는 객체 중심의 신경장을 기반으로 한 공간적 전문가 혼합(Mixture-of-Experts, MoE)을 사용하여 장면을 모델링한다. 각 이미지는 고정된 배경과 $N$개의 객체별 신경장의 조합으로 렌더링된다.

• 표현: 각 객체 $i$는 잠재 벡터 $z_i$와 외형을 예측하는 좌표 기반 MLP($F_i$)로 표현된다. $z_i$에 의해 조건화된 변형 네트워크($\Delta_i$)는 정준 좌표(canonical coordinates)를 변형된 좌표로 매핑하여 위치 및 기하학적 변화를 포착한다.
• 학습: 모델은 소프트 마스크 기반의 중요도 샘플링 전략을 채택한다. 이는 입력 마스크가 거칠더라도 각 전문가가 동일한 객체로 붕괴되지 않고 독립적으로 학습되도록 보장한다. 학습은 배경 추정, 위치 인식 줌 커리큘럼을 통한 객체 중심 사전 학습, 그리고 공동 구성적 정교화 단계로 진행된다.
• 잠재 재라벨링(Latent Relabeling): 일관성을 보장하기 위해, 저자들은 각 객체의 관찰된 변화 경계를 나타내는 "코너 세트(corner set)" $C_i$를 정의한다. 학습 및 추론 과정에서 잠재 벡터는 입력 이미지를 가장 잘 재구성하는 코너들의 볼록 결합(convex combinations)을 탐색함으로써 복구된다. 이는 잠재 공간을 정규화하여 일반화 범위를 시연된 지지 영역 내로 제한한다.

2. 구성적 동작 생성 (Temporal MoE):
   동작은 객체 잠재 벡터에 궤적 생성을 조건화하는 시간적 MoE를 사용하여 생성된다.

• 게이팅 메커니즘: 시간 의존적 게이팅 메커니즘은 각 객체 전문가에 대한 가중치 $w_i(t)$를 계산한다. 이를 통해 서로 다른 궤적 구간이 서로 다른 객체 서브셋의 영향을 받도록 할 수 있다 (예: "집기" 단계는 객체의 위치에 의존하고, "놓기" 단계는 목표물에 의존함).
• 조건화: 프레임워크는 특성별 선형 변조(Feature-wise Linear Modulation, FiLM)를 활용하여 객체 특정 정보를 궤적 생성기에 주입한다. 집계된 조건화 신호는 네트워크 파라미터를 변조하여, 모델이 시각적 입력으로부터 직접 매끄러운 객체 조건부 동작 프리미티브를 학습할 수 있게 한다.
• 최적화: 모델은 시연된 궤적의 음의 로그 가능도(negative log-likelihood)를 최소화하며, 초기 학습 시 부적절한 의존성을 방서하기 위해 잠재 드롭아웃(latent dropout)을 사용한다.

주요 기여

• 객체 중심 생성 장면 모델: 잠재 조건부 변형을 사용하는 공간적 MoE를 통해 이미지로부터 매끄럽고 해석 가능한 객체 중심 표현을 학습하는 방법.
• 동작을 위한 시간적 게이팅: 순차적 구성성을 달로하기 위해 시간적 MoE를 사용하는 동작 생성 프레임워크로, 시각적 구조에 동작을 접지(grounding)하는 동시에 프리미티브의 데이터 효율성을 유지함.
• 데이터 효율적인 LfD 프레임워크: 시각적 입력으로부터 직접 동작 프리미티브를 학습하며, 다양한 장면 구성에 걸쳐 일반화가 가능한 통합 시스템으로서, 이미지 기반 베이스라인보다 훨씬 적은 수의 시연으로도 높은 성능을 보임.
• 3D 및 실세계 검증: 3D 장면 표현(점유 필드 활용)에서 작동하며, 언어 기반 세그멘테이션 모델을 통해 카테고리 수준에서 일반화됨을 입증함.

실험 결과
프레임워크는 시뮬레이션 및 실제 로봇 실험에서 평가되었다:

• 시뮬레이션: 다양한 객체 위치와 기하학적 변화가 있는 네 가지 조작 작업(벽 회피, 경사면 집기 및 놓기, 컵 쌓기, 큐브 쌓기)에 대해 테스트되었다.
  • 데이터 효율성: 제안된 방법은 1030개의 시연만으로 낮은 평균 유클리드 거리(MED)와 높은 성공률을 달いました. 이 방법은 310배 더 많은 데이터를 학습한 베이스라인들(Conditional Neural Movement Primitives, Diffusion Policy, CNN-FiLM 포함)을 일관되게 능가했다.
  • 어블레이션 연구: 시간적 게이팅을 제거했을 때 오차가 증가하였으며, 이는 시간 가변적 잠재 집계의 가치를 확인시켜 준다. 객체 중심 접근 방식은 전역 특징 베이스라인(CNN-FiLM, DINO-FiLM)보다 우수한 성능을 보였다.
• 실제 로봇 실험:
  • 강건성: 시스템은 방해 객체가 있고 조명이 변하는 환경에서도 집기 및 놓기 작업을 성공적으로 수행했다.
  • 카테고리 수준 일반화: 시각-언어 모델을 사용한 세그멘테이션을 통해, 로봇은 재학습 없이도 동일한 의미적 범주 내의 미학습 객체(예: 다른 모양의 머그컵이나 공)에 대해 일반화에 성공했다.
  • 3D 일반화: 서랍 열기 작업에서 모델은 ESDF 스캔으로부터 도출된 3D 점유 필드를 활용했다. 단 4번의 시연만으로 학습되었음에도 불구하고, 새로운 서랍 열기 각도와 박스 위치에 성공적으로 일반화하여 센티미터 미만의 파지 정확도를 달성했다.

의의
본 논문은 객체 수준에서의 구성적 모델링이 LfD를 위한 강력한 패러다임을 제공한다고 주장한다. 객체 중심 신경 표현을 시간적 전문가 혼합과 결로함으로써, 이 프레임워크는 해석 가능한 잠재 구조와 체계적인 일반화를 제공한다. 본 연구의 의의는 제한된 시연으로도 높은 작업 성능을 달성하여, 전통적인 프리미티브의 데이터 효율성과 딥러닝의 지각적 풍부함 사이의 간극을 메운 데 있다. 저자들은 이 방법이 중간 정도의 노이즈와 방해 요소에는 강건하지만, 객체가 뚜렷한 영역을 차지하고 장면 레이아웃이 일관적이라는 가정에 의존한다고 언급했다. 향후 연구는 더 넓은 장면 수준의 일반화를 위해 신경 복사 장(Neural Radiance Field) 기반의 장면 표현을 통합하는 방향으로 확장될 예정이다.