Imitating What Works: Simulation-Filtered Modular Policy Learning from Human Videos

논문 요약: 인간 비디오를 통한 시뮬레이션 필터링 모듈러 정책 학습 (PSI)

1. 문제 정의 (Problem)

로봇이 인간의 비디오를 관찰하여 조작 (Manipulation) 기술을 학습하는 것은 확장 가능한 데이터 소스를 확보할 수 있어 유망한 접근법입니다. 특히 ** prehensile manipulation **(잡아당기는 조작, 즉 물체를 잡은 후 이동시키는 작업) 의 경우, 인간 비디오는 잡은 후의 동작 (post-grasp motion) 을 학습하는 데 강력한 신호를 제공하지만, **잡기 **(grasping) 에는 한계가 있습니다.

• **Embodiment Gap **(구현체 간격) 인간과 유사한 손 (anthropomorphic hands) 을 가진 로봇은 인간의 손 자세를 매핑 (retargeting) 할 수 있지만, 평행 턱 그리퍼 (parallel-jaw grippers) 와 같은 비인간형 엔드 이펙터를 가진 로봇은 인간의 잡기 행동을 직접 학습하기 어렵습니다.
• Modular Policy 의 한계: 기존 연구는 잡기와 이동을 분리하는 모듈러 방식을 사용했습니다. 그러나 기존 방법들은 단순히 안정적인 잡기 (stable grasp) 만을 생성하는 외부 그리퍼 생성기를 사용했을 뿐, **작업 호환성 **(task-compatibility) 을 고려하지 않았습니다. 즉, 물체를 잡는 것은 안정적일지라도, 그 잡기 자세가 이후의 작업 (예: 문 손잡이 돌리기, 병 기울이기 등) 을 수행하기에 적합하지 않아 실패하는 경우가 많았습니다.
• 데이터 노이즈: 인간 비디오에서 추출된 6 자유도 (6-DoF) 궤적 데이터는 추적 오류나 로봇의 물리적 제약으로 인해 실행 불가능한 경우가 많아, 이를 필터링하지 않고 학습하면 정책 성능이 저하됩니다.

2. 방법론 (Methodology)

저자들은 **Perceive-Simulate-Imitate **(PSI) 라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 인간 비디오 데이터만 사용하여 로봇 조작 정책을 학습하며, 로봇 실물 데이터는 전혀 필요로 하지 않습니다.

• **Step 1: Perceive **(인지)

  • 인간 조작 비디오에서 **객체의 6-DoF 포즈 **(6-DoF Pose) 궤적을 추출합니다.
  • 광유동 (Optical Flow) 대신 6-DoF 포즈를 사용하며, 이는 엔드 이펙터 동작으로 직접 변환이 용이하고 깊이 정보 오차를 줄여줍니다.
  • Model-based: FoundationPose 를 사용 (3D 모델이 있는 경우).
  • Model-free: ICP(Iterative Closest Point) 와 Pose Graph Optimization 을 결합하여 사용 (3D 모델이 없는 경우).
  • Grounding SAM 을 통해 객체 마스크를 생성하고, Cutie 를 통해 프레임 간 마스크를 전파합니다.

• **Step 2: Simulate **(시뮬레이션)

  • 추출된 6-DoF 궤적과 여러 후보 잡기 (grasp) 쌍을 로봇 시뮬레이터 (Robosuite) 에서 실행합니다.
  • 궤적 필터링: 시뮬레이션에서 실행 불가능하거나 추적 오류로 인한 궤적은 폐기합니다.
  • 작업 호환성 라벨링: 각 궤적에 대해 다양한 잡기 자세를 시도하여, 해당 궤적을 성공적으로 수행할 수 있는 **잡기 적합성 **(grasp suitability) 을 이진 레이블로 생성합니다.
  • 이 과정을 통해 잡기 안정성 (stability) 과 작업 호환성 (task-compatibility) 을 동시에 고려한 고품질 데이터셋을 구축합니다.

• **Step 3: Imitate **(모방)

  • 필터링된 데이터로 오픈 루프 (open-loop) 비주얼 모터 정책을 행동 복제 (Behavior Cloning) 로 학습합니다.
  • 입력: RGB 이미지, 객체 마스크, 2D 목표 지점 (픽 앤 플레이 등).
  • 출력: 6-DoF 궤적 예측 및 K 개의 기준 잡기 (anchor grasps) 에 대한 성공 확률 (Grasp Score).
  • 학습 전략: 궤적 손실 ($L_{traj}$) 과 잡기 손실 ($L_{grasp}$) 을 2 단계로 나누어 학습하여 잡기 레이블의 노이즈 문제를 완화합니다.

• 실행 시 Modular 결합:

  • 실제 실행 시에는 기존에 훈련된 **안정적인 잡기 생성기 **(Grasp Generator) 를 사용하여 안정적인 후보 잡기들을 생성합니다.
  • PSI 정책이 학습한 **잡기 점수 모델 **(Grasp Scoring Model) 을 사용하여, 생성된 후보 잡기 중 작업에 가장 적합한 (Task-compatible) 잡기를 선택합니다.

3. 주요 기여 (Key Contributions)

1. PSI 프레임워크 제안: 로봇 실물 데이터 없이 인간 비디오만으로 작업 호환성을 갖춘 잡기 및 조작 기술을 학습할 수 있는 모듈러 프레임워크를 최초로 제시했습니다.
2. 시뮬레이션 기반 필터링 및 라벨링: 시뮬레이션을 통해 추출된 궤적의 유효성을 검증하고, 작업 호환성을 갖춘 잡기 레이블을 자동으로 생성하여 지도 학습을 가능하게 했습니다.
3. 6-DoF 포즈 기반 모방 학습: 광유동 (Flow) 기반 접근법보다 직접적인 6-DoF 포즈 추정이 더 정확한 궤적 예측과 높은 성공률을 보임을 입증했습니다.
4. 실제 로봇 검증: xArm7 로봇을 사용하여 4 가지 복잡한 조작 작업 (픽 앤 플레이, 따르기, 저어주기, 그리기) 에서 기존 방법들 (General-Flow 등) 보다 월등히 높은 성공률을 달성했습니다.

4. 실험 결과 (Results)

• 성능 비교: PSI 는 기존 방법 (General-Flow, Naive Grasp 등) 에 비해 모든 작업에서 뛰어난 성능을 보였습니다.
  • Pick-and-Place: PSI(FP) 16/20 vs General-Flow 7/20
  • Pouring: PSI(FP) 13/20 vs General-Flow 4/20
  • Stirring: PSI(FP) 20/20 vs General-Flow 1/20
  • Drawing: PSI(FP) 12/20 vs General-Flow 0/20
• 필터링의 중요성: 시뮬레이션 기반 필터링을 적용하지 않거나 작업 호환성을 고려하지 않은 잡기를 사용할 경우 실패율이 급격히 증가했습니다.
• 다양한 로봇 적용성: xArm7, Franka Panda, Kinova Gen3, UR5e 등 다양한 로봇 팔에서 시뮬레이션 및 실제 실험을 통해 프레임워크의 일반화 능력을 입증했습니다.
• 프리트레이닝 효과: HOI4D 데이터셋을 PSI 파이프라인으로 전처리하여 프리트레이닝을 수행하면, 소량의 데이터로도 더 효율적인 학습이 가능함이 확인되었습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 고비용의 로봇 실물 데이터 수집 없이도 정밀한 조작 기술을 학습할 수 있는 길을 열었습니다.
  • 모듈러 아키텍처의 단점 (잡기와 이동의 불연속성) 을 시뮬레이션을 통해 해결하여, 로봇이 복잡한 작업 (예: 문 손잡이 돌리기) 을 성공적으로 수행할 수 있게 했습니다.
  • 향후 대규모 일반 목적 (Generalist) 로봇 모델 학습을 위한 고품질 데이터 생성 파이프라인으로 확장 가능합니다.
• 한계:
  • 6-DoF 포즈 표현은 강체 (Rigid) 또는 준강체 객체에 국한되며, 관절이 있는 객체나 변형 가능한 객체에는 적용이 어렵습니다.
  • 현재 모델은 비디오의 첫 번째 프레임만 관찰하므로 (오픈 루프), 인간 손에 의한 가림 (Occlusion) 이 심한 중간 프레임이 포함된 경우 실제 환경에서 도메인 갭이 발생할 수 있습니다.

이 논문은 인간 비디오 데이터를 효율적으로 활용하여 로봇의 복잡한 조작 능력을 향상시키는 데 있어 중요한 이정표가 되는 연구입니다.