Pose6DAug: Physically Plausible Multi-view Object Swapping for Robot Data Augmentation

기술 요약: Pose6DAug

문제 정의
시각-언어-행동(VLA) 정책은 범용적인 로봇 조작에서 상당한 잠재력을 보여주었으나, 외형이나 기하학적 구조가 다양한 미학습(out-of-distribution, OOD) 객체를 마주했을 때 빈번하게 실패한다. 이를 해결하기 위한 표준적인 방법은 모든 실패 사례마다 새로운 다중 뷰 원격 조종(teleoperation) 데이터를 수집하는 것이지만, 이는 비용이 매우 많이 들고 시간이 오래 걸려 로봇 학습의 병목 현상을 초래한다. 기존의 데이터 증강 전략들은 중대한 트레이드오프에 직면해 있다. 시뮬레이션 기반 방법(예: MimicGen)은 정교한 탐색이나 거부 샘플링(rejection sampling)이 필요하기 때문에 복잡한 객체 기하학에 대해 유효한 궤적을 생성하는 데 어려움을 겪는 경우가 많으며, 2D 비디오 생성 모델(예: VACE)은 명시적인 3D 인지 능력이 부족하다. 결과적으로 2D 편집 방식은 심한 폐쇄(occlusion)와 1인칭 시점(egocentric viewpoint) 상황에서 다중 뷰 일관성과 물리적 타당성을 유지하는 데 어려움을 겪으며, 이는 훈련 과정에서 상충하는 시각적 신호를 유발한다.

방법론
저자들은 기존의 성공적인 에피소드로부터 타겟팅된 반사실적(counterfactual) 데몬스트레이션을 합성하는, 실패 기반의 3D 인지 데이터 증강 프레임워크인 Pose6DAug를 제안한다. 핵심 통찰은 성공적인 에피소드가 이미 물리적으로 유효한 행동 궤적과 보정된 다중 뷰 관측치를 인코딩하고 있다는 점이다. 즉, 기존의 궤적은 그대로 유지하면서 조작되는 객체만을 교체함으로써, 새로운 근거 있는(grounded) 데몬스트레이션을 생성할 수 있다.

파이프라인은 세 단계로 작동한다:

1. 타겟 메쉬 재구성 및 6D 포즈 추출: 이 방법은 시뮬레이터의 그라운드 트루스 자산에 의존하는 대신, 외부 인지 모델(예: SAM3D)을 사용하여 단일 관측으로부터 타겟 객체의 3D 메쉬를 재구성한다. 또한 소스 에피소드로부터 시간적으로 일관된 6D 포즈 궤적($T^w_o(t)$)을 추출하는데, 이는 시뮬레이터 상태나 외부 포즈 추정기에서 가져온다. 이 궤적은 알려진 외부 파라미터(extrinsics)를 사용하여 각 카메라의 좌표계로 변환되어 공간적 근거를 확보한다.
2. 객체 증강: 데이터 다양성을 높이기 위해, 물리적 타당성을 유지하면서 타겟 메쉬에 기하학적 섭동(perturbation)을 적용한다. 여기에는 무작위 회전/반전, 그리퍼 접근 축 방향의 이동, 그리고 객체가 그리퍼와 비교하여 잡을 수 있는 범위 내에 머물도록 하는 수직 스케일링이 포함된다.
3. 3D 메쉬-포즈 가이드 비디오 합성: 프레임 독립적인 생성 편집 대신, 이 방법은 기하학 가이드 렌더링을 사용하여 증강된 비디오를 합성한다. 세그멘테이션 마스크를 통해 원래의 객체를 제거하고, 비디오 인페인팅(inpainting)을 사용하여 배경을 복원한다. 그 후 추출된 6D 포즈 궤적에 따라 타겟 메쉬를 인페인팅된 프레임에 렌더링한다. 엄격한 깊이 순서 레이어링(배경 $\to$ 타겟 객체 $\to$ 로봇/그리퍼)은 올바른 폐쇄 처리와 다중 뷰 일관성을 보장한다.

핵심 기여

• 3D 인지 객체 교체: 2D 생성 모델과 달리, Pose6DAub는 명시적인 메쉬에 의해 구동되는 운동학적으로 일관된 6D 포즈 궤적을 통해 타겟 객체를 3D 공간에 고정한다. 이를 통해 모든 카메라 뷰와 타임스텝에 걸쳐 기하학적 일관성을 보장한다.
• 실패 기반 증강: 이 프레임워크는 기존 분포 내(in-distribution) 객체의 성공적인 에피소드를 재사용하여 새로운 어려운 객체를 위한 데몬스트레이션을 생성함으로써, 특정 실패 모드를 직접적으로 겨냥한다.
• 물리적 타당성: 원래의 행동 궤적을 보존하고 로봇과 객체 사이의 강체 결합(rigid coupling)을 강제함으로써, 합성된 상호작용(예: 파지 지점)이 물리적으로 허용 가능한 상태임을 보장한다.
• 확장성: 이 접근 방식은 새로운 원격 조종 데이터나 복잡한 시뮬레이션 기반 궤적 탐색의 필요성을 제거하여, 확장이 용이한 경로를 제공한다.

실험 결과
본 방법은 다양한 가전제품이 포함된 "Counter-to-Cabinet" pick-and-place 태스크를 중심으로 RoboCasa 벤치마크에서 평가되었다.

• 전체 성능: 실패 에피소드(기본 정책이 처음에 실패한 경우)에서 Pose6DAug는 22.8%의 평균 성공률을 달성하여, 2D 기반인 VACE(16.4%)와 시뮬레이션 기반인 MimicGen(15.8%)을 능가했다.
• 어려운 샘의 회복: 가장 까다로운 8개의 OOD 객체 인스턴스에 대해서만 평가했을 때, Pose6DAug는 21.2%의 성공률을 기록하며 VACE(15.0%)와 MimicGen(5.7%)을 크게 앞질렀다.
• 전환 비율(Turnover Ratio): Pose6DAug는 이전에는 해결 불가능했던 인스턴스의 **24.5%**를 성공적인 롤아웃으로 전환시킨 반면, VACE는 18.2%, MimicGen은 17.2%를 기록했다.
• 정성적 분석: 시각적 비교 결과, Pose6DAug는 좌측, 우측, 손목(1인칭) 뷰 전반에서 일관된 객체 정체성, 기하학 및 접촉 지점을 유지하는 반면, 베이스라인 모델들은 정체성 드리프트, 스케일 불일치, 물리적으로 부적절한 궤적을 보였다.

의의 및 주장
본 논문은 다중 뷰 및 물리적으로 일관된 증강이 확장 가능한 VLA 일반화를 향한 실질적이고 효과적인 경로라고 주장한다. 명시적인 3D 앵커링을 통해 운동학적 유효성과 시각적 사실주의 사이의 간극을 메움으로써, Pose6DAug는 새로운 데이터 수집이라는 과도한 비용 없이도 정책이 새로운 객체로 일반화될 수 있도록 한다. 실험 결과는 3D 기하학에 기반한 시각적 증강이 로봇 학습을 확장하는 데 있어 매우 중요하다는 것을 보여준다. 일관되지 않은 2D 증강은 성능을 저하시키는 노이즈 섞인 감독 신호를 도입할 수 있기 때문이다. 저자들은 시각적 증강을 3D 기하학에 접지(grounding)하는 것이 다양한 실제 환경에서 로봇 학습을 확장하는 유망한 방향이라고 제언한다.