🤖 AI

AcrossVAM1.0: Particle World Modeling for Text-Assisted Robot Video Prediction

AcrossVAM1.0은 미래 프레임을 객체 중심의 입자 역학과 조밀한 외형으로 분해함으로써 로봇 비디오 예측을 개선하는 경량 텍스트 보조 비디오 액션 모델로, 언어 접지 및 지각 품질의 현재 한계에도 불구하고 명시적인 입자 모델링이 궤적 오차를 줄인다는 것을 입증한다.

원저자: Yafei Zhang, Nan Wu

게시일 2026-08-31

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yafei Zhang, Nan Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 미래를 보는 법을 배우는 과정을 이해하기 위해서는, 먼저 로봇이 현재를 어떻게 보는지 이해해야 합니다. 물리적 인공지능의 세계에서 로봇은 단순히 정적인 이미지를 처리하는 것이 아니라, 그 이미지가 세상과 상호작용할 때 어떻게 변할지를 예측해야 합니다. 이것이 바로 비디오 예측의 과제입니다. 즉, 기계에게 장면을 보고 다음 몇 순간 동안 어떤 일이 일나를 추측하도록 가르치는 것입니다. 인간에게 이것은 자연스러운 본능입니다. 탁자 끝에 놓인 컵을 본다면, 당신은 그것을 밀었을 때 떨어질 것이라는 사실을 압니다. 그러나 로봇에게 이것은 복잡한 내부 시뮬레이션을 요구합니다. 로봇은 움직일 부분과 움직이지 않을 부분을 분리해야 하며, "파란색 큐브를 집어라"와 같은 단순한 명령이 로봇의 팔과 환경에 따라 얼마나 다양한 시각적 결과를 초래할 수 있는지 이해해야 합니다. 목표는 단순히 미래의 예쁜 그림을 만드는 것이 아니라, 로봇이 자신의 행동을 안전하고 효과적으로 계획하는 데 사용할 수 있는 신뢰할 수 있는 움직임의 지도를 만드는 것입니다.

Across Physical AI와 중국과학원(Chinese Academy of Sciences)의 연구진은 AcrossVAM1.0이라 불리는 시스템을 통해 이 문제에 대한 새로운 접근 방식을 취했습니다. 비디오 프레임의 모든 픽셀을 한꺼번에 예측하려고 시도하는 대신(이는 종종 흐릿하거나 혼란스러운 결과를 초래합니다), 그들은 이 과업을 두 개의 뚜렷한 작업으로 나누었습니다. 그들은 일반적인 로봇 비디오에서 이미지의 대부분은 사실 정적이라는 점을 깨달았습니다. 탁자, 벽, 바닥는 움직이지 않습니다. 오직 로봇의 팔, 그리퍼, 그리고 그것이 잡고 있는 물체만이 위치를 바꿉니다. 연구팀은 이러한 움직이는 부분들을 별개의 의미론적 입자(semantic particles)로 취급하는 모델을 설계했습니다. 로봇의 팔과 그리퍼를 연속적인 픽셀의 흐름이 아니라, 고유한 위치, 크기, 속도를 가진 몇 개의 특정 추적 대상이라고 상상해 보십시오. 모델은 나머지 장면을 안정적인 배경으로 취급하면서, 이 몇 개의 움직이는 부분이 공간을 통해 정확히 어떻게 이동할지를 예측하는 데 계산 능력을 집중합니다.

이 시스템은 먼저 네 개의 비디오 프레임과 "파란색 큐브를 집어라"와 같은 텍text 명령어를 살펴봅니다. 시스템은 사전 학습된 고정된 비전 시스템을 사용하여 로봇, 팔, 그리퍼를 식별하고, 이를 그것들이 어디에 있고 크기가 얼마인지를 설명하는 단순한 데이터 포인트로 변환합니다. 단 0.28백만 개의 학습 가능한 파라미터만을 포함하는 작고 효율적인 '두뇌'가 이 데이터 포인트들을 가져가서 다음 다섯 순간 동안 그것들이 어디에 있을지를 계산합니다. 이 모델의 일부는 엄격하게 움직임에만 집중하며 텍스트 명령의 안내를 받는데, 이는 예측된 움직임이 실제로 주어진 명령과 일치하도록 보장하기 위함입니다. 모델이 움직이는 부분의 경로를 파악하고 나면, 두 번째의 별도 프로세스가 세부 사항을 채워 넣습니다. 이 프로세스는 비디오의 마지막 알려진 프레임을 가져와 정적인 배경의 미세한 질감과 색상을 복원하여, 벽과 탁자가 선명하고 실제처럼 보이도록 합니다. 마지막으로, 스마트한 블렌딩 메커니즘이 예측된 로봇의 움직임과 고품질의 정적 배경을 결-합하여 완전한 미래의 비디오를 만들어냅니다.

이러한 접근 방식의 결과는 움직임과 이미지 품질 사이의 명확한 트레이드오프(trade-off)를 보여줍니다. 연구진이 실제 로봇 움직임 벤치마크에서 모델을 테스트했을 때, 입자 기반 예측은 움직임 자체의 정확도를 크게 향상시켰습니다. 로봇 팔의 경로 오차는 아무것도 움직이지 않는다고 가정하는 단순한 방식에 비해 21.0% 감소했습니다. 모델은 전체 이미지를 한꺼번에 추측하려 했던 이전 방법들보다 훨씬 더 정밀하게 팔과 그리퍼의 궤적을 성공적으로 예측했습니다. 그러나 모델이 완벽한 것은 아닙니다. 로봇 부품을 정확하게 움직이는 데는 뛰어나지만, 최종 이미지의 전반적인 시각적 품질에는 여전히 약간 어려움을 겪습니다. 예측된 비디오가 실제 비디오와 얼마나 유사한지를 측정하는 테스트에서, 새 모델은 특히 장면의 미묘한 질감을 다루는 데 있어 마지막 프레임을 그대로 복사하는 단순한 방식보다 약간 낮은 점수를 기록했습니다. 연구진은 모델이 로봇을 움직이기 위해 텍end 명령을 따를 수는 있지만, 언어와 구체적인 경로 사이의 연결 고리는 여전히 약하다는 것을 발견했습니다. 대부분의 경우 명령을 약간만 바꾸어도 예측된 경로는 거의 변하지 않았습니다.

이 연구는 로봇에게 보는 법을 가르치는 것에 대한 근본적인 통찰을 강조합니다. 즉, 장면의 모든 픽셀을 동시에 예측하려고 하기보다는 특정 객체의 움직임을 이해하는 것이 더 낫다는 것입니다. 움직임을 예측하는 작업과 이미지의 세부 사항을 복원하는 작업을 분리함으로써, 연구진은 가볍고 해석 가능한 시스템을 만들었습니다. 그들은 내부의 '입자'들을 살펴봄으로써 로봇이 무엇이 움직이고 있다고 생각하는지, 그리고 그것이 어디로 가고 있다고 생각하는지를 정확히 알 수 있습니다. 이 시스템이 아직 기존의 모든 방법들을 대체할 준비가 된 것은 아닙니다. 왜냐하면 여전히 사실적인 이미지를 생성하고 복잡한 언어 명령을 엄격하게 준수하는 능력을 개선해야 하기 때문입니다. 하지만 이 시스템은 유망한 새로운 방향을 제시합니다. 이는 로봇 시각의 미래가 장면의 모든 세부 사항을 암기하려는 거대하고 복잡한 시스템이 아니라, 움직이는 부품의 물리학을 이해하는 단순하고 구조화된 모델에 있을 수 있음을 시사합니다. 앞으로의 과제는 움직이는 부분과 정적인 배경이라는 이 두 가지 정보의 흐름을 어떻게 결합할 것인지 정교화하고, 로봇의 언어 이해력을 더욱 강력하고 신뢰할 수 있게 만드는 것입니다.

기술 요약: AcrossVAM1.0

문제 정의

로봇 비디오를 예측하는 것은 독특한 과제를 안겨줍니다. 장면의 대다수 픽셀은 정적이지만, 핵심 정보는 작은 관절 부위(예: 로봇 팔과 그리퍼)의 움직임에 있기 때문입니다. 단일 구조의 픽셀 기반 모델들은 단순히 마지막 관찰된 프레임을 복사하는 것만으로도 경쟁력 있는 글로벌 이미지 지표를 달성할 수 있기 때문에, 필수적인 움직임 역학을 학습하는 데 실패하는 경우가 많습니다. 또한, 기존의 월드 모델들은 움직임 추론, 객체 대응(correspondence), 고주파 텍스처 합성을 하나의 조밀한 잠재 공간(dense latent space) 안에 엉키게 만들어, 특정 구성 요소를 분리하고 개선하는 것을 어렵게 만듭니다. 아울러, 자연어로 비디오 모델을 조건화(conditioning)하더라도 예측된 궤적이 실제로 지시 사항에 의존한다는 보장이 없습니다. 모델들이 장면의 사전 지식(prior)이나 데이터셋의 편향에 의존할 수 있기 때문입니다.

방법론

AcrossVAM1.0은 미래 예측을 **시맨틱 파티클 역학(semantic particle dynamics)**과 **인과적 외관 합성(causal appearance synthesis)**이라는 두 개의 별도 스트림으로 분해하는 텍스트 보조 객체 중심 비디오 액션 모델을 제안합니다.

1. 시맨틱 파티클 코덱 (Semantic Particle Codec)

이 모델은 동결된 SAM3-DLP 코덱을 사용하여 컨텍스트 프레임을 시맨틱 표현으로 분해합니다. 전체 이미지를 처리하는 대신 다음을 추출합니다:

세 개의 시맨틱 파티클: 로봇 전체, 팔, 그리고 그리퍼를 나타냅니다.
배경 잠재 변수(Background latent): 정적인 장면 요소를 포착합니다.
파티클 상태(Particle State): 각 파티클 $z_t$ 는 위치( $p$ ), 스케일( $s$ ), 깊이( $d$ ), 존재 여부( $q$ ), 그리고 외관( $a$ )을 인코딩합니다.
정체성 정렬(Identity Alignment): 순서가 정해지지 않은 제안(proposals)에 대해, 모델은 위치와 외관 유사성을 기반으로 헝가리안 매칭(Hungarian matching)을 적용하여 프레임 간의 시간적 대응 관계를 보장합니다.

2. 텍스트 조건부 역학 (Text-Conditioned Dynamics)

경량화된 시공간 트랜스포머(Spatio-Temporal Transformer) (학습 가능한 파라미터 0.28M)가 파티클의 미래 상태를 예측합니다.

입력: 결합된 기하학, 속도, 깊이, 존재 여부 및 학습된 임베딩.
언어 조건화: 동결된 OpenCLIP 인코더가 자연어 지시 사항을 처리합니다. 이 임베딩은 **FiLM (Feature-wise Linear Modulation)**을 통해 트랜스포머의 내부 레이어를 변조합니다. 이러한 설계는 언어가 오직 역학 핵심부에만 영향을 미치도록 하여, 그 효과를 궤적 수준에서 측정 가능하게 만듭니다.
학습: 모델은 일보 전이 손실(one-step transition loss)과 자기회귀 롤아웃 손실(autoregressive rollout loss)의 조합을 사용하여 학습됩니다.

3. 인과적 움직임-외관 디코더 (Causal Motion–Appearance Decoder)

고해 fidelity 비디오를 재구성하면서 미래 정보를 유출하지 않도록, 디코더는 두 개의 병렬 스트림으로 작동합니다.

움직임 스트림(Motion Stream): 동결된 렌더러가 예측된 파티클과 배경 잠재 변수를 구조적 RGB 제안(proposal) 및 알파 맵으로 매핑합니다. 이는 올바른 기하 구조와 움직임을 포착하지만 미세한 텍스처는 부족합니다.
외관 스트림(Appearance Stream): 조밀한 인코더가 오직 마지막에 관찰된 컨텍스트 프레임으로부터만 특징을 추출합니다(미래 프레임은 절대 사용하지 않음). 조건부 잔차 사전 확률(conditional residual prior)은 이러한 컨텍스트 특징과 파티클 움직임을 기반으로 미래의 세부 사항을 예측합니다.
융합(Fusion): **학습된 신뢰도 마스크(learned confidence mask)**가 생성된 움직임/디테일을 원본 컨텍스트 프레임(지속성)과 블렌딩합니다. 이를 통해 모델은 정적인 영역을 보존하는 동시에 움직이는 부품을 합성할 수 있습니다.

주요 기여

시맨틱에 닻을 내린 파티클 월드 모델 (Semantically Anchored Particle World Model): 저자들은 복잡한 로봇 비디오 역학을 압축된 궤적 문제로 축소하는 모델을 소개합니다. 역학 핵심부는 매우 가볍고(0.28M 파라미터), 부분별 움직임을 노출하여 진단을 용이하게 합니다.
인과적 움직임-외관 디코더 (Causal Motion–Appearance Decoder): 예측된 파티클 기하 구조와 컨텍스트 전용 조밀 외관을 결합하는 새로운 아키텍처입니다. 이는 정적인 영역의 선명도와 움직이는 객체의 충실도 사이의 트레이드오프를 명시적으로 제어하여, 미래의 외관이 예측에 유출되는 것을 방지합니다.
엄격한 평가 프레임링 (Rigorous Evaluation Framework): 본 논문은 지속성(persistence), 셔플된 언어 제어, 무작위 레이블, 오라클 파티클, 로봇별 분할 등을 포함한 다양한 베이스라인과 모델을 비교 평가합니다. 이러한 분해는 움직임 모델링의 신뢰성을 언어 그라운딩 및 외관 전달의 한계로부터 격리하여 검증합니다.

실험 결과

모델은 다양한 실제 로봇 궤적(Franga, WidowX, Mobile ALOHA 등)으로 구성된 VRS (Video Robot Segmentation) 벤치마크에서 평가되었습니다.

움직임 예측: 파티클 역학은 지속성 베이스라인 대비 궤적 오차를 21.0% 감소시켰습니다.
이미지 품질: 세 가지 delivery-mask 시드에 대해, AcrossVAM1.0은 글로벌 PSNR을 19.97에서 20.573으로, SSIM을 0.796에서 0.8004로 개선했습니다.
움직임 영역 품질: 원시 파티클 생성은 움직임 영역 PSNR을 11.89에서 13.23으로 개선했습니다. 최종 전달된 모델은 12.87의 움직임 영역 PSNR을 유지하며, 지속성(11.89)을 크게 상회했습니다.
한계점:
- LPIPS: 모델은 지각적 유사성(0.1304 vs 0.122)에서 지속성을 이기지 못했으며, 이는 정적 영역의 충실도가 여전히 불완전함을 나타냅니다.
- 언어 그라운딩: 올바른 언어와 셔플된 언어 간의 차이는 궤적 오차를 단 **2.8–3.1%**만 변화시켰으며, 이는 모델이 "완전한 지시 제어"보다는 "텍스트 보조" 상태임을 시사합니다.
- 일반화: 성능은 로봇 플랫폼에 따라 달랐으며, leave-one-robot-out 실험에서 Franka에서는 상당한 이득을 보였으나 Mobile ALOHA에서는 성능 저하가 나타났습니다.

의의 및 주장

본 논문은 명시적인 파티클 역학이 로봇 비디오 예측을 위한 유망한 저차원 인터페이스 역할을 하며, 움직임 추론과 텍스처 합성을 성공적으로 분리한다고 주장합니다. 인지 및 언어 인코더를 동결함으로써, 저자들은 작은 학습 가능 역학 핵심이 로봇의 움직임을 효과적으로 모델링할 수 있음을 입증했습니다.

그러나 저자들은 현재 시스템에 대해 겸허한 태도를 취합니다. 그들은 강건한 언어 그라운딩과 외관 전달이 여전히 주요한 미해결 과제로 남아 있다고 명시적으로 밝힙니다. 이 모델은 아직 범용적인 액션 제어를 달 Achieve하지 못하며, "픽셀 선택 오라클"(생성과 지속성 중 최선의 픽셀을 선택하는 모델)과의 격차는 어디를 합성할지 결정하는 것이 여전히 병목 구간임을 보여줍니다. 이 연구는 집계된 이미지 지표 뒤에 실패 모드를 숨기지 않는 해석 가능한 비디오 액션 모델의 토대를 제공하지만, 신뢰할 수 있는 교차 로봇 전이와 강력한 지시 의존성을 달성하기 위해서는 상당한 작업이 필요함을 인정하고 있습니다.