💻 computer science

Vid2WAM: Distilling Video Diffusion Priors into World Action Models

Vid2WAM은 대규모 비디오 파운데이션 모델로부터 시각적 확산 사전 지식(visual diffusion priors)을 소형 월드 액션 모델(World Action Models)로 전이함으로써, 광범위한 전문가 시연에 의존하지 않고도 일반화 능력과 데이터 효율성을 향상시키는 오프라인 증류 프레임워크이다.

원저자: Chenhao Qiu, Ruixiang Wang, Runyi Zhao, Sixu Lin, Songen Gu, Shufeng Nan, Guiliang Liu, Kui Jia, Yanwei Fu, Simo Wu

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chenhao Qiu, Ruixiang Wang, Runyi Zhao, Sixu Lin, Songen Gu, Shufeng Nan, Guiliang Liu, Kui Jia, Yanwei Fu, Simo Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 요리하는 법을 가르치려 한다고 상상해 보세요. 전통적인 방식이라면, 로봇의 손을 잡고 양파를 썰고, 냄비를 젓고, 팬케이크를 뒤집는 모든 단계를 물리적으로 안내하며 완벽한 오믈렛 하나를 만들기 위해 수천 시간의 '전문가' 시연을 기록해야 했을 것입니다. 이것이 로봇을 가르치는 옛날 방식입니다. 인간이 하는 것을 똑같이 따라 할 때까지, 반복해서 보여주는 것이죠. 하지만 만로 로봇이 '상상'함으로써 배울 수 있다면 어떨까요? 로봇이 단순히 인간의 요리를 관찰하는 대신, 눈을 감고 머릿속으로 전체 요리 과정을 시각화한 다음, 그 비전을 현실로 만들기 위해 필요한 근육의 움직임을 스스로 찾아낼 수 있다면 어떨까요? 이것이 바로 '월드 액션 모델(World Action Models)'이라는 흥미로운 최전선입니다. 이들은 단순히 현재의 순간에 반응하는 것이 아니라 미래를 예측하는 특별한 로봇 두뇌입니다. 이들은 "내가 이렇게 하면, 5초 후에 세상은 어떤 모습일까?"라고 자문합니다. 미래를 예측하는 법을 배움으로써, 이들은 단순히 인간의 동작을 복사해서 붙여넣는 로봇보다 훨씬 더 잘 인과관계를 이해하게 됩니다. 하지만 여기에는 함정이 있습니다. 이 스마트한 '미래 예측형' 로봇들도 보통 올바르게 상상하는 법을 배우기 위해 여전히 방대한 양의 실제 인간 기록 라이브러리가 필요하다는 점입니다.

여기서 Vid2WAM이라는 새로운 방법이 로봇 훈련을 위한 마법 같은 지름길 역할을 합니다. 연구진은 대담한 질문을 던졌습니다: "우리가 정말 인간에게 미래를 보여달라고 요청해야 할까, 아니면 아주 똑똑한 비디오 AI에게 그것을 꿈꿔내라고 부탁할 수 있을까?" 그들은 거대한 사전 학습된 비디오 모델(수백만 시간의 영화를 시청하여 물체가 어떻게 움직이고, 떨어지고, 상호작용하는지 알고 있는 AI라고 생각하세요)을 가져와 이를 '교사'로 사용했습니다. 이 교사는 특정 로봇을 직접 볼 필요가 없습니다. 그저 시작 장면의 사진 한 장과 "샌드위치를 만들어줘"와 같은 문장만 있으면 됩니다. 그러면 교사는 다음에 일어날 일에 대한 완벽하고 상상적인 영상을 생성해 냅니다.

여기서 마법이 일어납니다. 연구진은 단순히 이 상상 속의 영상을 로봇에게 '무엇을' 해야 하는지 보여주는 데 사용한 것이 아니라, 로봇에게 '어떻게 생각해야 하는지'를 가르치는 데 사용했습니다. 그들은 교사의 상상 속 미래를 가져와 두 가지 단계의 레슨으로 분해하는 시스템을 구축했습니다. 첫째, 로봇의 '미래 두뇌'가 시각적 변화(빵이 구워지거나 치즈가 녹는 과정 등)를 예측하도록 가르칩니다. 둘째, '역역학 모델(Inverse Dynamics Model)'이라 불리는 영리한 '역설계' 도구를 사용하여 그 상상 속 영상을 만들어내기 위해 어떤 로봇 팔의 움직임이 필요할지 추측합니다. 이를 통해 '의사 행동(pseudo-actions)' 세트, 즉 실제 동작은 아니지만 매우 정교하게 계산된 추측값들을 만들어냅니다.

로봇이 이러한 가짜 추측 때문에 혼란에 빠지지 않도록, 팀은 특별한 '노이즈 캔슬링' 필터를 추가했습니다. 연구진은 교사의 영상이 훌륭하긴 하지만, '역설계' 도구가 작은 실수를 할 수 있다는 점을 깨달았습니다. 그래서 그들은 실제 인간의 데이터를 통해 움직임의 일반적인 규칙을 배우되, 가짜 데이터에 대해서는 맞춤형 '보정 레이어'를 추가하는 시스템을 구축했습니다. 이렇게 함으로써 로봇은 실제 인간으로부터 탄탄한 기초를 배우는 동시에, AI의 상상력으로부터 창의적이고 일반화 가능한 기술을 배울 수 있게 되었습니다. 즉, 상상의 오류가 실제 성능을 망치지 않도록 한 것입니다.

결과는 인상적입니다. 시뮬레이션과 실제 로봇 팔 테스트에서, 이 새로운 방식은 로봇이 새로운 과업을 훨씬 더 빠르게, 그리고 훨씬 적은 양의 실제 인간 시연만으로도 학습할 수 있게 해주었습니다. 특정 종류의 티슈를 집거나 새로운 물체를 다루는 것과 같이 한 번도 본 적 없는 완전히 새로운 과업에 직면했을 때, Vid2WAM 로봇은 기존 방식보다 훨씬 더 높은 성공률을 보였습니다. 이들은 단순히 특정 경로를 암기하는 것이 아니라 과업의 '개념'을 이해함으로써 더 잘 일반화할 수 있었습니다. 가장 좋은 점은, 일단 로-봇이 이 방식으로 학습하고 나면 더 이상 거대한 비디오 교사나 역역학 도구가 필요하지 않다는 것입니다. 로봇은 장면을 보고 바로 행동할 수 있는 작고 빠르며 효율적인 존재가 되어, 비디오 AI의 '지혜'를 자신의 두뇌 안에 간직하게 됩니다. 이 논문은 강력한 비디오 모델을 오프라인 교사로 활용함으로써, 값비싼 인간의 시연 영상을 수백만 시간 촬영할 필요 없이도 로봇을 더 창의적이고 적응력 있게 가르칠 수 있음을 시사합니다.

기술 요약: Vid2WAM

문제 정의

World Action Models (WAMs)는 미래의 시각적 역동성과 행동을 공동으로 모델링함으로써 로봇 정책 학습을 강화하며, 정적인 의미론적 레이블을 넘어 조밀한 시공간적 감독(supervision)을 제공합니다. 그러나 현재의 WAM은 심각한 확장성 병목 현상에 직면해 있습니다: 이들의 미래 감독은 비용이 많이 들고 작업 특화된 전문가 데모에 엄격하게 의존합니다. 이러한 의존성은 기록된 궤적에 포함된 분포로 일반화하는 것을 제한하며, 그러한 데이터가 없는 새로운 작업으로의 적응을 방해합니다. 비디오 파운데이션 모델은 객체의 움직임과 장기적 역동성에 관한 풍부한 사전 지식(prior)을 보유하고 있지만, 기존 방법들은 생성된 롤아웃(rollouts)을 단순히 역역학 모델(Inverse Dynamics Models, IDM)을 통한 의사 행동(pseudo-action) 레이블의 소스로만 취급합니다. 이러한 접근 방식은 비디오 생성 과정의 풍부한 예측 지식을 버리고, 불완전한 행동 복구로부터 발생하는 오류에 정책을 노출시키는 정보 병목 현상을 초래합니다.

방법론: Vid2WAM

저자들은 대규모 비디오 확산 사전 지식(visual diffusion priors)을 소형 WAM 학생 모델로 전이하는 오프라인 증류(distillation) 프레임워크인 Vid2WAM을 제안합니다. 이 프레임워크는 세 단계로 작동합니다:

1. 교사 모델 적응 및 롤아웃 생성

대규모로 사전 학습된 비디오 확산 모델("교사 모델")을 제한된 양의 로봇 구현 특화 데모 비디오에 미세 조정합니다. 이 적응 과정은 교사 모델이 일반적인 움직임 예측 능력은 유지하면서도, 로봇의 물리적 제약과 외형에 특화되도록 합니다. 초기 관찰값과 언어 지시가 주어지면, 동결된 교사 모델은 작업 조건부 미래 시각 롤아웃( $\hat{v}_{1:T}$ )을 생성합니다.

2. 이중 채널 감독 (Dual-Channel Supervision)

Vid2WAM은 두 가지 상호 보완적인 채널을 통해 교사 모델의 지식을 학생 모델로 증류합니다:

미래 시각 역동성: 생성된 비디오 롤아웃은 픽셀로 디코딩된 후 학생의 잠재 공간(latent space)으로 재인코딩됩니다( $\hat{z}_{1:T}$ ). 이 잠재 변수들은 학생의 미래 예측 브랜치에 직접적인 감독을 제공하여, 실제 미래 프레임에 의존하지 않고도 장면의 시간적 진화를 학습할 수 있게 합니다.
구현 특화 행동: 행동 레이블이 있는 궤적에서 학습된 역역학 모델(IDM)은 생성된 롤아웃으로부터 의사 행동( $\hat{a}_{1:H}$ )과 상태 시퀀스를 복구합니다. 이는 학생의 행동 예측 브랜치를 위한 감독 역할을 합니다.

3. 소스 인식 잔차 적응 (Source-Aware Residual Adaptation)

비디오 생성 아티팩트와 IDM 오류에서 기인하는 합성 의사 행동의 노이즈를 해결하기 위해, Vid2WAM은 **소스 인식 잔차 행동 어댑터(source-aware residual action adapters)**를 도입합니다.

학생 모델은 실제 데모와 의사 데이터 모두에 대해 공통된 비디오 및 행동 백본을 공유합니다.
경량화된 잔차 어댑터가 공유 행동 백본의 전후에 배치되며, "실제(real)" 도메인과 "의사(pseudo)" 도메인을 위한 별도의 파라미터를 가집니다.
이 어댑터들은 공유된 표현 주변에서 소스별 보정치를 학습합니다. 추론 시에는 실제 도메인 어댑터만 유지되어, 공유된 지식은 보존하면서 의사 행동 분포와 관련된 노이즈를 효과적으로 필터링합니다.

추론

배포 시에는 비디오 교사, IDM, 미래 예측 헤드, 그리고 의사 소스 어댑터가 제거됩니다. 시스템은 오직 소형 WAM 학생 모델에만 의존하며, 이 모델은 현재 관찰값과 언어 지시를 입력받아 실행 가능한 행동 청크(action chunks)를 직접 생성하여 저지연 추론을 보장합니다.

주요 기여

감독 소스의 재고: 본 논문은 WAM의 미래 감독이 반드시 타겟 작업의 전문가 궤적에서 유래해야 한다는 가설에 이의를 제提出합니다. 비디오 파운데이션 모델에서 생성된 미래를 직접적인 감독으로 사용하는 증류 프레임워크를 정립했습니다.
이중 채널, 소스 인식 전이: 저자들은 미래 시각 역동성과 IDM 기반 행동을 공동으로 증류하는 전략을 도입했습니다. 결정적으로, 노이즈가 있는 의사 행동으로부터의 간섭를 완화하기 위해 잔차 어댑터를 사용하여, 모델이 견고함을 해치지 않으면서 합성 데이터를 활용할 수 있도록 했습니다.
효율적인 배포: 본 프레임워크는 고품질의 미래 사전 지식이 오프라인으로 증류될 수 있음을 입증하여, 학생 모델이 실시간 로봇 제어에 필요한 저지연 추론을 유지하면서도 강력한 일반화 능력과 데이터 효율성을 달도록 합니다.

실험 결과

저자들은 시뮬레이션 벤치마크(RoboTwin 2.0, LIBERO, LIBERO-Plus)와 실제 양팔 로봇 플랫폼에서 Vid2WAM을 평가했습니다.

새로운 작업 일반화: "새로운 레짐(novel regime)"(타겟 작업에 대한 전문가 궤적이 존재하지 않는 경우)에서 Vid2WAM은 베이스라인 모델들을 크게 앞질렀습니다. RoboTwin 2.0에서, 깨끗한 환경과 무작위 환경 조건 모두에서 Fast-WAM 대비 성공률을 각각 9.7 및 12.5 퍼센트 포인트 향상시켰습니다. LIBERO에서는 모든 방법 중 가장 높은 평균 성공률을 달enc성했습니다.
데이터 효율성: 저데이터 레짐(제한된 전문가 데모) 하에서, Vid2WAM은 사전 학습된 VLA 모델(예: $\pi0.5$ , Motus) 및 기타 WAM 베이스라인보다 일관되게 우수한 성능을 보였으며, 합성 감독을 통해 희소한 실제 데이터로부터 학습하는 탁월한 능력을 입증했습니다.
강건성: Vid2WAM은 특히 LIBERO-Plus 벤치마크에서 카메라 뷰, 로봇 초기 상태, 언어, 조명 및 배경 노이즈의 변화에 대해 개선된 강건성을 보여주었습니다.
실제 세계 성능: 실제 양팔 로봇에서, Vid2WAM은 실제 행동 레이블이 있는 궤적이 전혀 없었음에도 불구하고(예: 테스트 튜브 집기, 티슈 가져오기 등), 교사가 생성한 감독에 의존하여 새로운 작업을 성공적으로 수행했습니다.
추론 지연 시간: 증류된 학생 모델은 Fast-WAM과 유사한 추론 지연 시간(RTX 4090 기준 약 212ms)을 유지하며, 온라인 교사 정책이나 Motus와 같은 더 큰 모델보다 훨씬 빠릅니다.

의의 및 주장

본 논문은 Vid2WAM이 대규모 멀티모달 파운데이션 모델의 예측 능력을 효율적인 로봇 정책으로 전이하는 확장 가능한 패러다임을 구축한다고 주장합니다. 미래 감독을 타겟 작업의 철저한 데모로부터 분리함으로써, 이 방법은 로봇이 제한된 실제 데이터만으로도 새로운 작업과 환경에 적응할 수 있게 합니다. 저자들은 이 접근 방식이 배포 시 온라인 비디오 생성을 요구하지 않아 실제 로봇 시스템에 실용적임을 강조합니다. 결과는 대규모 사전 학습 모델이 일반적인 시각적 이해와 특정 로봇 제어 사이의 간극을 메우는 효과적인 오프라인 지식 소스로 기능할 수 있음을 시사합니다.