기술 요약: PointAction

문제 정의

현재의 로봇 학습은 다양한 환경과 로봇 형태(embodiment)에 걸쳐 다양한 조작 작업을 수행할 수 있는 범용 정책을 구축하는 것을 목표로 합니다. 시각-언어-행동(VLA) 모델은 대규모 사전 학습된 시각-언어 백본을 활용하여 진전을 이루었으나, 물리적 접촉과 움직임을 통해 장면이 어떻게 진화하는지에 대한 명시적인 모델이 부족한 경우가 많습니다. 결과적으로, 쌍을 이룬 관측-행동 데이터로 학습된 정책은 훈련 분포 외부의 미래 물리적 변화를 추론해야 하는 작업에서 어려움을 겪습니다.

이를 해결하기 위해 비디오 행동 모델(Video-Action Models, VAMs)이 등장하였으며, 이는 사전 학습된 비디오 확산 모델을 사용하여 미래의 장면 전개(rollout)를 예측함으로써 추론 흔적(reasoning trace)으로 사용합니다. 그러나 기존의 VAM은 두 가지 주요하고 결합된 장애물에 직면해 있습니다:

1. RGB 전용의 모호성: 중간 표현이 일반적으로 RGB 중심입니다. 이는 메트릭 3D 모션, 접촉 관련 기하학 및 미세한 공간적 제약을 암시적인 상태로 남겨두어, 정책이 외관의 변화로부터 제어 명령을 학습하는 어려운 매핑 과정을 거치게 만듭니다.
2. 감독의 확장성: 암시적인 그라운딩을 학습하려면 방대한 양의 쌍을 이룬 관측-행동 데이터가 필요하며, 이는 비용이 많이 들고 특정 로봇 형태에 종속되며 다양한 작업으로 확장하기 어렵습니다.

방법론: PointAction

PointAction은 명시적인 포인트 기반 4D 모델링을 통해 비디오 예측과 로봇 제어를 연결하는 프레임워크를 제안합니다. 핵심 통찰은 동적인 3D 포인트맵이 자연스러운 중간 표현 역할을 하여, 예측된 전개가 작업 관련 3D 기하학이 어떻게 움직이는지를 노출함으로써 더 실행 가능한 형태로 만든다는 것입니다. 이 표현 방식은 로봇 특정의 행동 라벨에만 의존하지 않고도 (다중 뷰 재구성 또는 깊이 단서를 통해) 비디오 데이터로부터 광범위한 장면 역학을 학습할 수 있게 합니다.

이 프레임워크는 비디오-투-액션 학습을 두 개의 별개 구성 요소로 분리합니다:

1. 범용 비디오-투-포인트 모델 (Universal Video-to-Point Model)

이 구성 요소는 다양한 작업과 로봇 형태를 아우르는 대규모 비디오 데이터로 사전 학습된 파운데이션 모델입니다.

• 아키텍처: 기초 로봇 비디오 모델(LVP)을 미세 조정하여 미래의 RGB 프레임과 동적인, 픽셀 정렬된 3D 포인트맵(XYZ)을 공동으로 예측합니다.
• 공간적으로 정렬된 모달리티 퓨전: XYZ를 단순한 입력 채널로 취급하는 대신, 모델은 프리즈된 VAE 인코더를 사용하여 RGB 프레임과 XYZ 포인트맵을 동일한 잠재 공간(latent space)으로 독립적으로 인코딩합니다. 이 잠재 변수들은 공간적 너비 방향을 따라 결합됩니다. 이는 RGB 백본의 사전 학습된 채널 구조를 보존하면서 디퓨전 트랜스포머(DiT)의 셀프 어텐션이 국소적인 RGB-XYZ 상호작용을 모델링할 수 있게 합니다.
• 학습: 모델은 플로우 매칭(Flow Matching) 목적 함수와 디퓨전 포싱(Diffusion Forcing) 전략을 사용하여 학습됩니다. 여기서 히스토리 컨텍스트는 특정 확률로 깨끗하게 유지되며, 모델은 작업 지침에 조건화된 미래 궤적의 플로우 필드(flow field)를 예측합니다.
• 로봇 중심 추출: 모델은 조밀한 장면 포인트맵을 예측하므로, 추론 시에는 "robot"이라는 프롬프트가 주어진 기성 비디오 세그멘테이션 모델(SAM 3)을 사용하여 로봇 중심의 마스크를 적용합니다. 이를 통해 전체 장면 포인트맵으로부터 로봇 중심의 포인트 궤적($\tilde{u}_{robo}$)을 추출합니다.

2. 형태별 포인트-투-액션 디코더 (Embodiment-Specific Point-to-Action Decoder)

이 경량 구성 요소는 예측된 포인트 역학을 특정 로봇을 위한 실행 가능한 제어로 매핑합니다.

• 기능: 예측된 포인트 궤적과 현재 로봇 상태($s_t$)를 입력으로 받아 액션 청크(action chunks)를 생성합니다.
• 아키텍처: 3D 디퓨전 폴리시(3D Diffusion Policy)에서 영감을 받은 경량 조건부 디퓨전 모델입니다. 각 예측 프레임에 대해, 포인트 집합은 최장 거리 샘플링(Farthest Point Sampling, FPS)을 통해 다운샘플링되고 PointNet 스타일의 MLP에 의해 인코딩됩니다. 이후 얇은 DiT 기반 디코더가 각 프레임의 포인트 특징과 초기 로봇 상태(AdaLN을 통해 주입됨)에 조건화되어 전체 액션 시퀀스를 병렬로 노이즈를 제거합니다.
• 장점: 이러한 분리를 통해 비용이 많이 드는 롤아웃 모델은 다양한 작업과 형태에 걸쳐 공유될 수 있는 반면, 작은 액션 디코더만이 새로운 로봇에 적응하기 위한 쌍을 이룬 감독(supervision)을 필요로 합니다.

주요 기여

1. 비디오-투-액션 학습을 위한 포인트 기반 인터페이스: 비디오 예측과 로봇 제어 사이의 명시적인 인터페이스로서 동적인 3D 포인트맵을 도입하여, RGB 전용 그라운딩에 내재된 모호성을 크게 줄였습니다.
2. 형태별 디코딩을 통한 확장 가능한 사전 학습: 범용 비디오-투-포인트 모델(대규모 비디오 데이터로 사전 학습 가능)과 제한된 액션 감독을 통해 특정 로봇에 적응하는 경량 포인트-투-액션 디코더를 분리하는 패러다임을 제시했습니다.
3. 강력한 4D 생성 및 조작 결과: 본 프레임워크는 로봇 장면에 대해 최첨단 4D 생성 품질을 달성하였으며, 기존 베이스라인 대비 개선된 시뮬레이션 성능과 실세계 전이 능력을 입증했습니다.

실험 결과

저자들은 시뮬레이션 및 실세계 로봇(사전 학습 시 보지 못한 xArm7 및 YAM 포함)에서 PointAction을 평가했습니다.

• 시뮬레이션 (RoboCasa365): PointAction은 인-디스트리뷰션(In-Distribution, 47.7%) 및 아웃-오브-디스트리뷰션 환경(Out-of-Distribution Environment, 44.1%) 모두에서 가장 높은 성공률을 기록하며, Cosmos Policy 및 VLA 모델(GR00T, $\pi$0.5)과 같은 강력한 베이스라인을 능가했습니다. 또한 미학습 작업에 대한 제로샷 일반화 능력(성공률 17.0% vs 베이스라인 약 8-14%)에서도 우월함을 보여주었습니다.
• 교차 형태 실세계 실험: xArm7 및 YAM 암에서 PointAction은 모든 작업에서 최근의 VLA 모델들을 크게 앞질렀습니다. 예를 들어, xArm7에서 PointAction은 평균 43.0%의 성공률을 기록한 반면, $\pi$0.5는 22.7%에 그쳤습니다. 정성적 결과에서 PointAction은 베이스라인이 잘못된 액션을 환각(hallucinate)하는 실패 사례에서도 운동학적으로 타당한 궤적을 생성함을 보여주었습니다.
• 4D 생성 품질: PointAction은 모든 시각적(PSNR, SSIM, FVD) 및 기하학적(AbsRel, Chamfer Distance) 지표에서 최첨단 4D 생성 모델(TesserAct, 4DNeX, Wan 2.1)보다 뛰어난 성능을 보였습니다. 저자들은 통합된 공동 생성 방식이 오류를 누적시키는 계단식 접근 방식(RGB를 먼저 생성한 후 3D를 재구성하는 방식)의 문제를 피한다고 언급했습니다.
• 절제 연구 (Ablation Studies): 실험을 통해 XYZ 포인트맵을 사용하는 것이 결정적임을 확인했습니다. RGB 전용 입력은 성능의 상당한 저하를 일으켰습니다. 또한, 포인트를 로봇 표면으로 마스킹하는 것(Robot-Only)이 전체 장면 포인트를 사용하는 것보다 더 나은 결과를 가져왔으며, 이는 작업 관련 기하학에 집중하는 것이 유효함을 입증했습니다.

의의 및 주장

본 논문은 PointAction이 비디오 프라이어(prior)와 제어를 모두 포인트 기반의 범용 액션 공간에 그라운딩함으로써, 2D 비디오-액션 모델에 내재된 기하학적 모호성을 성공적으로 해소했다고 주장합니다. 4D 월드 모델링을 RGB와 XYZ의 공동 생성으로 공식화함으로써, 이 프레임워크는 액션 표현을 학습하기 위한 확장 가능한 패러다임을 제공합니다.

저자들은 3D 포인트 역학이 형태 불가지론적(embodiment-agnostic) 액션 인터페이스 역할을 하여, 단일 사전 학습된 비디오 모델이 최소한의 적응만으로 다양한 로봇 형태에 전이될 수 있음을 강조합니다. 현재 시스템은 비디오 모델의 추론 속도에 제한이 있고 오픈 루프 실행에 의존하고 있으나, 저자들은 백본을 효율적인 자기회귀(autoregressive) 아키텍처로 증류(distilling)함으로써 향로 실시간 폐루프 제어가 가능해질 수 있다고 제안합니다.