🤖 AI

Video Generation Models are General-Purpose Vision Learners

이 논문은 사전 학습된 텍스트-비디오 확산 백본을 기반으로 구축된 피드포워드 인지 모델인 GenCeption을 제안하며, 대규모 비디오 생성이 다양한 컴퓨터 비전 작업 전반에 걸쳐 최첨단의 데이터 효율적이고 범용적인 시각 지능을 달성하기 위한 우수한 사전 학습 패러다임임을 입증한다.

원저자: Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, Andrew Zisserman, Joao Carreira, Kaiming He, Misha Andriluka, Eduard Gabriel Bazavan, Andrei Zanfir, Cristian Sminchisescu

게시일 2026-07-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, Andrew Zisserman, Joao Carreira, Kaiming He, Misha Andriluka, Eduard Gabriel Bazavan, Andrei Zanfir, Cristian Sminchisescu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 완벽한 스테이크, 폭신한 오믈렛, 혹은 매콤한 커리를 만드는 완벽한 레시피를 따르는 데 천재적인 초지능 로봇 셰프를 만들기 위해 수년간 공을 들였다고 상상해 보십시오. 하지만 여기 함정이 있습니다. 만약 당신이 셰프에게 "주방 온도를 말해줘"라거나 "냉장고에 달걀이 몇 개 있는지 세어봐"라고 요청한다면, 그들은 그저 멍하니 바라볼 뿐입니다. 그들은 무언가를 '만드는' 데는 달인이지만, 자신이 만들고 있는 세상에 대해 '이해하는' 데는 서툽니다.

오랫동안 컴퓨터 비전(컴퓨터에게 보는 법을 가르치는 분야)은 마치 그 로봇 셰프와 같았습니다. 우리는 모든 개별적인 작업에 특화된 별도의 로봇들을 만들어 왔습니다. 깊이를 측정하는 로봇, 얼굴을 추적하는 로봇, 가장자리를 찾는 로бо트가 따로 있었죠. 그들은 각자의 특정 작업에는 뛰어났지만, 서로 대화하거나 완전히 새로 구축하지 않고는 새로운 기술을 배울 수 없었습니다.

그러던 중, Google DeepMind와 여러 대학의 연구진이 기발한 질문을 던졌습니다. "만약 우리가 그 완벽한 영상을 생성함으로써 학습하는 그 로봇 셰프에게, 범용적인 탐정 역할을 맡긴다면 어떻게 될까?"

"Video Generation Models are General-Purpose Vision Learners"라는 제목의 이 논문은 그 대답이 강력한 "그렇다"라고 제안합니다. 그들은 GenCeption이라는 새로운 모델을 소개합니다.

마법 같은 기술: "만들기"에서 "알기"로

기존의 비전 모델 학습 방식을 학생에게 플래시 카드를 보여주며 가르치는 것에 비유해 봅시다. 나무 그림을 보여주며 "나무"라고 말하고, 자동차 그림을 보여주며 "자동차"라고 말하는 식입니다. 효과는 있지만, 느리고 경직되어 있습니다.

저자들이 GenCeption이라고 부르는 이 새로운 방식은, 학생에게 세상에 대한 수백만 가지의 서로 다른 이야기를 쓰게 하는 것과 같습니다. 카메라를 향해 손을 흔드는 고릴라에 대한 이야기를 쓰려면, 학생은 고릴라가 어떻게 생겼는지, 손이 어떻게 움직이는지, 빛이 털에 어떻게 닿는지, 그리고 카메라 각도가 시간에 따라 어떻게 변하는지를 반드시 이해해야 합니다. 이야기를 논리적으로 만들기 위해서라도 그들은 세상의 물리 법칙을 내면화해야만 합니다.

논문은 이러한 텍text-to-video generation(텍스트 기반 영상 생성) 과정이 사실 비전을 위한 궁극의 훈련장이라고 주장합니다. 모델이 텍스트 프롬프트(예: "카메라를 향해 손을 흔드는 고릴라")로부터 고품질의 영상을 생성하도록 훈련함으로써, 모델은 의도치 않게 방대한 양의 "세상 지식(world knowledge)"—즉, 3D 공간이 어떻게 작동하는지, 물체가 어떻게 움직이는지, 빛이 어떻게 행동하는지—을 습득하게 됩니다.

거대한 변화: 모든 것을 다스리는 하나의 모델

연구진은 거대한 영상 생성 모델(정적인 노이즈를 점진적으로 선명한 이미지로 바꾸는 '디퓨전 모델' 기술 기반)을 가져와서 이를 새롭게 단장시켰습니다.

모델이 한 프레임씩 천천히 "꿈을 꾸듯" 영상을 생성하게 두는 대신(이는 시간이 너무 오래 걸립니다), 그들은 이를 피드포워드(feed-forward) 모델로 수정했습니다. 이렇게 생각해보세요. 모델이 정답을 추측하기 위해 50단계를 거치는 대신, 입력을 보고 단 한 번의 빠르고 번개 같은 단계로 정답을 내뱉도록 훈련한 것입니다.

그 후, 그들은 단 하나의 모델이 텍스트 프롬프트만 바꾸는 것만으로 모든 것을 할 수 있도록 가르쳤습니다.

프롬프트: "Depth(깊이)" → 모델은 깊이 맵(사물이 얼마나 멀리 있는지)을 출력합니다.
프롬프트: "Surface Normal(표면 법선)" → 모델은 표면이 향하는 방향을 출력합니다.
프롬프트: "Segmentation(세그멘테이션)" → 모델은 물체의 윤곽을 그려냅니다.
프롬프트: "3D Keypoints(3D 키포인트)" → 모델은 사람의 신체 관절을 찾아냅니다.

이것은 마치 주머니에 별도의 칼, 드라이버, 가위를 따로 가지고 다닐 필요 없이, 필요한 도구가 요청에 따라 자동으로 나타나는 스위스 아미 나이프와 같습니다.

결과: 전문가들을 이기다

연구진은 깊이를 측정하는 것부터 스키를 타는 사람의 포즈를 추적하는 것까지 방대한 목록의 작업들을 대상으로 GenCeption을 테스트했습니다. 결과는 놀라웠습니다.

전문가를 능가하다: 많은 경우, 이 단일 "범용" 모델은 해당 작업을 위해 특별히 제작된 전문 모델만큼, 혹은 그보다 더 우수한 성능을 보였습니다. 예를 들어, 이 모델은 깊이 전문가인 DepthAnything3나 세그멘테이션 전문가인 SAM3와 대등하거나 더 나은 성능을 보여주었습니다.
데이터의 마술사: 가장 놀라운 부분 중 중 하나는 이 모델이 얼마나 적은 데이터를 필요로 했는가 하는 점입니다. 저자들은 GenCeption이 최고 수준의 모델인 D4RT 및 VGGT-Ω와 대등한 성능을 달성하면서도, 실제로는 이들보다 7배에서 500배나 적은 학습 데이터를 사용했다는 것을 발견했습니다. 이는 모델이 게임의 규칙을 너무 잘 배웠기 때문에 모든 플레이를 일일이 암기할 필요가 없었음을 의미합니다.
범용성: 이 모델은 거의 전적으로 합성 데이터(인간을 생성한 컴퓨터 그래픽 영상)로 훈련되었습니다. 그럼에도 불구하고, 연구진이 한 번도 본 적 없는 동물이나 로봇, 혹은 사람의 실제 영상을 보여주었을 때도 여전히 작동했습니다. 모델은 본 적 없는 영상 속에서도 고양이의 수염을 추적하거나 털을 분리해낼 수 있었습니다. 이는 모델이 단순히 특정 사진을 암기한 것이 아니라, "털"이나 "머리카락"이라는 개념을 학습했음을 시사합니다.

이 논문이 주장하지 않는 것

이 논문이 무엇을 주장하지 않는지 아는 것도 중요합니다. 저자들은 이것이 아직 세상의 모든 문제를 해결하는 마법 지팡이가 아니라고 조심스럽게 밝히고 있습니다.

그들은 모든 비전 작업을 위해 새로운 맞춤형 구조를 구축해야 한다는 생각에 명시적으로 반대합니다. 그들은 이러한 "특화된 모델" 방식이 이 통합된 접근 방식보다 덜 효율적임을 보여줍니다.
또한, 모델이 매우 뛰어나긴 하지만 완벽하지는 않다는 점도 언급했습니다. 모든 작업을 하나의 훈련 세션으로 결합하려고 했을 때, 모델은 3D 인간 키포인트 추정(신체 관절 추적)에서 약간 혼란을 겪었습니다. 성능이 해당 작업만을 위해 훈련되었을 때보다 약간 떨어졌습니다. 이는 "범용" 접근 방식이 강력하긴 하지만, 서로 매우 다른 유형의 작업들을 섞을 때 해결해야 할 과제가 여전히 남아 있음을 시사합니다.
또한, 합성 데이터로 훈련된 후 실제 영상을 처리하는 능력은 그들이 명시적으로 프로그래밍한 것이 아니라, 훈련 과정에서 나타난 창발적 행동(emergent behavior), 즉 행복한 우연임을 명확히 했습니다.

결론

이 논문은 컴퓨터 비전의 미래가 더 많은 특화된 로봇을 만드는 것이 아니라, 세상을 아주 생생하게 "상상"하게 함으로써 세상을 완벽하게 이해하는 하나의 슈퍼 로봇을 가르치는 데 있을지도 모른다고 제안합니다.

영상 생성을 사전 훈련 도구로 사용함으로써, GenCeption은 모델이 세상을 창조하려는 시도만으로도 세상을 보고, 측정하고, 이해할 수 있다는 것을 보여주었습니다. 이는 "모든 문제에 대한 솔루션을 설계하는 것"에서 "모든 문제를 해결할 수 있는 스마트한 토대를 만드는 것"으로의 전환입니다.

저자들은 이 경로—생성 모델을 인지(perception)의 기초로 사용하는 것—가 거대 언어 모델(LLM)이 텍스트를 혁신했던 것처럼, 진정한 범용 비전 지능을 구축하는 열쇠가 될 수 있다고 제안합니다. 이는 유망한 단계이지만, 논문에서 언급했듯이, 이 범용적인 두뇌를 모든 작업에 완벽하게 만드는 정확한 방법을 알아내는 과정은 아직 초기 단계에 있습니다.

기술 요약: GenCeption – 범용 시각 학습 도구로서의 비디오 생성 모델

1. 문제 제식 (Problem Statement)

현재 컴퓨터 비전은 특정 작업(예: 깊이 추정, 세그멘테이션, 포즈 추정 등을 위한 별도의 모델)에 대해 별도의 아키텍처가 필요한 "특화된 모델" 시대에 머물러 있습니다. 이는 다음 토큰 예측(next-token prediction)에 의해 구동되는 단일 아키텍처를 통해 다양한 작업을 수행할 수 있는 통합된 파운데이션 모델로 진화한 자연어 처리(NLP)와 대조적입니다.

본 논문은 컴퓨터 비전에 차세대 토큰 예측과 유사한 보편적인 사전 학습 목적 함수(pre-training objective)가 결여되어 있다고 주장합니다. 기존의 비전 사전 학습 패러다임(예: 대조 학습, MAE/VideoMAE와 같은 마스크드 오토인코더)은 본질적인 시공간적 이해, 네이티브 비전-언어 정렬, 또는 범용 지능으로 효과적으로 확장할 수 있는 능력이 부족한 경우가 많습니다. 저자들은 이 분야가 작업별 엔지니어링에서 벗어나, 4D 물리 법칙을 내재화하고 자연어 지시를 따를 수 있는 통합된, 작업 불가지론적(task-agnostic) 아키텍처로의 패러다임 전환이 필요하다고 주장합니다.

2. 방법론: GenCeption

저자들은 대규모 텍-투-비디오(text-to-video) 생성 확산 모델을 인지 작업을 위한 사전 학습 베이스로 재활용하는 범용 비디오 인지 모델인 GenCeption을 소개합니다. 이 방법론은 세 가지 핵심 원칙을 기반으로 합니다.

A. 표현 학습으로서의 멀티모달 생성 사전 학습

GenCeption은 인지를 위해 모델을 처음부터 학습시키는 대신, 사전 학습된 텍스트-투-비디오 확산 백본(구체적으로 WAN 2.1)을 활용합니다. 텍스트를 조건으로 고해상도 비디오 시퀀스를 생성하는 생성 목적 함수는 모델이 다음을 내재화하도록 강제합니다:

시공간적 사전 지식(Spatio-temporal priors): 3D 기하학, 객체 영속성, 물리 법칙.
비전-언어 정렬(Vision-language alignment): 언어적 의미와 연결된 시각적 개념에 대한 네이티브한 이해.

B. 작업 불가지론적 통합 아키텍처

GenCeption은 다양한 비전 작업을 통합된 시퀀스-투-시퀀스 매핑 문제로 취급합니다.

통합 표현: 모든 밀집 인지 작업(깊이, 표면 법선, 세그멘테이션, 덴스 포즈, 카메라 레이맵)은 표준 3채널 RGB 공간 내의 $[0, 1]$ 범위로 매핑됩니다. 예를 들어, 깊이 맵은 정규화되어 RGB 채널로 매핑되며, 카메라 포즈는 "레이맵(Raymaps)"(공간적으로 분할된 회전 및 이동 성분)으로 표현됩니다.
희소 작업(Sparse Tasks): 2D/3D 키포인트와 같은 구조화된 출력을 위해, 모델은 비디오 잠재 변수(latents)에 학습 가능한 토큰을 추가합니다. MLP는 이 토큰들을 디코딩하여 프레임당 좌표를 예측합니다.
지시 제어(Instruction Steering): 특정 대상 작업은 오직 텍스트 프롬프트(예: "Depth", "Segmentation", "Pose")에 의해서만 정의되며, 이를 통해 작업별 헤드나 아키텍처 수정의 필요성을 제거합니다.

C. 피드 포워드 재구성 (Feed-Forward Reformulation)

확산 모델은 일반적으로 느리고 반복적인 디노이징에 의존하지만, 인지는 효율성을 요구합니다. GenCeption은 다단계 확산 과정을 단일 단계의 피드 포워드 모델로 변로합니다:

Diffusion Transformer(DiT)의 입력은 노이즈가 섞인 잠재 변수가 아닌, 입력 비디오의 **깨끗한 잠재 변수(clean latent)**입니다.
컨디셔닝 타임스텝은 $t=0$ (생성 과정의 끝)으로 고정됩니다.
모델은 속도 $v = \epsilon - x_0$ (Rectified Flow 목적 함수 기반)를 예측합니다. 출력은 대상 잠재 변수와 일치하도록 부호를 반전시켜( $-v = x_0 - \epsilon$ ) 직접적인 단일 패스 추론을 가능하게 합니다.

D. 학습 전략

데이터: 모델은 모든 모달리티(깊이, 법선, 마스크, 포즈)에 대한 그라운드 트루스를 확보하기 위해 주로 합성 데이터(RenderPeople 에셋과 CMU 모션 캡처에서 생성된 7,500개의 비디오)를 사용하여 학습됩니다. 실세계 데이터셋은 표현 참조 세그멘테이션(expression-referring segmentation)에만 사용됩니다.
손실 함수: 모든 작업에 대해 잠재 공간(밀집 작업의 경우) 또는 출력 공간(희소 작업의 경우)에서 통합 $L_2$ 손실이 적용됩니다. 깊이의 스케일 불변성과 같은 작업별 제약 조건은 커스텀 손실 함수 대신 데이터 전처리(예: 장면 중앙값에 의한 깊이 맵 정규화)를 통해 처리됩니다.

3. 주요 기여 (Key Contributions)

패러다임 전환: 본 논문은 대규모 텍스트-투-비디오 생성이 기존의 자기 지도 학습 방식(예: V-JEPA, VideoMAE)보다 컴퓨터 비전에 더 우수한 사전 학습 패러다임임을 제안하며, 이는 시공간적 진화, 비전-언어 정렬, 그리고 확장성 요구를 충족합니다.
통합 아키텍처: GenCeption은 텍스트 프롬프트만으로 제어되는 단일 백본, 헤드 및 손실 함수를 사용하여 이질적인 작업(밀집 및 희소 작업)을 수행할 수 있는 단일 모델임을 입증합니다.
효율성: 확산 과정을 단일 피드 포워드 패스로 변환함으로써, 정확도를 희생하지 않고도 실시간 추론 속도(예: 1.3B 모델 기준 13.6 FPS)를 달고합니다.
창발적 행동(Emergent Behaviors): 모델은 합성 인간 데이터로만 학습되었음에도 불구하고, 심투리얼(sim-to-real) 전이 및 분포 외(OOD) 객체 카테고리(예: 동물 및 로봇)에 대한 제로샷 일반화 능력을 보여줍니다.

4. 실험 결과

저자들은 다양한 벤치마크 세트를 통해 GenCeption을 전문화된 최첨단(SOTA) 모델들과 비교 평가했습니다.

전문 모델 대비 성능: GenCeption은 여러 작업에서 전문화된 모델들과 대등하거나 이를 능가하는 성능을 보였습니다:
- 깊이 추정(Depth Estimation): DepthAnything V3, D4RT, VGGT-Ω를 능가하거나 대등함.
- 표면 법선(Surface Normals): NormalCrafter 및 Lotus-2를 능가함.
- 세그멘테이션(Segmentation): 복잡한 문장을 이해하는 데 있어 SAM3보다 뛰어난 성능을 보이며 전경 및 표현 참조 세그멘테이션에서 경쟁력 있는 결과를 달성함.
- 3D 포즈(3D Pose): Genmo 및 TRAM보다 강력한 3D 키포인트 예측을 제공함.
사전 학습 비교: 유사한 설정 하에서, 비디오 생성 사전 학습 백본(WAN 2.1)은 V-JEPA 및 VideoMAE V2와 같은 대안적인 사전 학습 패러다임을 크게 앞질렀습니다.
데이터 효율성: 모델은 선도적인 모델들(D4RT, VGGT-Ω)과 대등한 성능을 달성하면서도 7배에서 최대 500배 적은 학습 데이터를 사용했습니다.
확장성(Scaling): 예비 결과에 따르면 모델 크기(1.3B에서 14B까지)와 데이터 볼륨이 증가함에 따라 성능이 향상됩니다.

5. 의의 및 주장 (Significance and Claims)

본 논문은 비디오 생성이 단순한 합성 도구가 아니라 범용 비전 지능을 향한 기초적인 경로라고 주장합니다.

"월드 모델(World Model)" 가설: 저자들은 대규모 비디오 생성 중에 학습된 풍부한 시공간적 사전 지식이 효과적으로 "월드 모델"을 구성하며, 이것이 인지를 위해 직접 활용될 수 있다고 제안합니다.
확장성: 작업 명세를 아키텍처의 변경이 아닌 데이터 형식 설계로 전환함으로써(LLM이 텍스트를 통해 다양한 작업을 처리하는 방식과 유사), 이 패러다임은 끊임없이 확장되는 시각적 작업 스펙트럼으로의 원활한 확장을 가능하게 합니다.
창발적 일반화: 합성 인간 데이터로 학습된 모델이 명시적인 학습 없이도 실세계 영상 및 미학습 객체 카테고리(동물, 로봇)로 일반화할 수 있다는 능력은, 생성적 사전 학습이 세상의 근본적인 물리적 및 의미적 규칙성을 포착하고 있음을 시사합니다.

저자들은 이러한 접근 방식이 특정한 작업에 국한된 기존 컴퓨터 비전 모델의 한계를 넘어, 물리적 세계를 위한 진정으로 통합된 비전 지능을 향한 길을 열어준다고 결론짓습니다.