기술 요약: Gen4U: 확산을 통한 비디오 생성과 이해의 통합

문제 정의

현재의 시각적 표현 학습 패러다임은 정밀한 저수준 기하학(low-level geometry)과 고수준 의미론(high-level semantics)을 조화시키는 데 어려움을 겪는 근본적인 트레이드오프에 직면해 있습니다. 대조 학습(Contrastive methods)과 거대 시각-언어 모델(VLMs)은 의미론적 이해에는 뛰어나지만 시공간적 세부 사항을 간과하는 경-향이 있습니다. 반대로, 마스크 오토인코더(MAE)와 같은 픽셀 수준 재구성 방식은 국소적 기하학 및 움직임을 보존하지만 광범위한 의미론적 작업으로 일반화하는 데 실패합니다. 최근 연구들은 고정된(frozen) 비디오 확산 모델이 저수준 기하학은 포착하지만 고수준 의미론적 인지는 부족하다는 점을 시사했으나, 광범위한 미세 조정 없이 생성 및 다양한 이해 작업을 모두 지원할 수 있는 단일하고 태스크 불가지론적인(task-agnostic) 기초 비디오 모델을 찾는 문제는 여전히 해결되지 않은 과제로 남아 있습니다.

방법론

저자들은 **Gen4U (Generation for Understanding)**를 소개합니다. 이 프레임워크는 고정된 대규모 비디오 확산 모델을 경쟁력 있는 비디오 인코더로 재용도화(repurpose)합니다. 이 방법론은 확산 모델의 잠재 공간 구조를 체계적으로 분석하여 특징 추출을 위한 최적의 지점을 식별하는 데 기반을 둡니다.

1. 잠재 공간 분석 (Latent Space Analysis)

저자들은 독점 모델(Veo3)과 오픈 웨이트 모델(Wan2.2-T2V-A14B) 모두의 네트워크 깊이와 노이즈 레벨에 따른 중간 활성화 값을 조사합니다. 이를 위해 다음을 활용합니다:

• 상호 k-최근접 이웃(MkNN) 정렬: 학습된 매핑 없이 확산 표현의 이웃 구조를 기존 인코더(예: Gemma-2 텍스트 인코더, DINOv2, VideoMAEv2)와 비교하는 제로샷 메트릭입니다.
• 프로빙 메커니즘(Probing Mechanisms): 특징의 품질을 하위 태스크에 대해 평가하기 위해 선형 프로브(linear probes, 전역 풀링 후 선형 투영)와 어텐션 프로브(attention probes, 태스크 특화 쿼리를 가진 교차 어텐션 헤드)를 사용합니다.

2. 특징 추출 전략

핵심 통찰은 확산 표현이 이중 축(깊이와 노이즈)을 따라 진화한다는 것입니다.

• 의미론적 병목(Semantic Bottleneck): 분석 결과, 글로벌 의미론이 가장 선형적으로 분리 가능한 지점인 약 60% 노이즈 레벨에서 일관된 "의미론적 병목"이 발견되었습니다.
• 특징 복잡도: 중간 정도의 노이즈 레벨은 선형적으로 분리 가능한 글로벌 의미론을 제공하지만, 더 낮은 노이즈 레벨에서는 미세한 세부 사항이 지속되나 공간적으로 흩어지는 경향이 있습니다. 이러한 흩어진 특징들은 효과적으로 디코딩하기 위해 어텐션 메커니즘이 필요한 반면, 의미론적 병목 지점에서의 글로벌 의미론에는 선형 프로브만으로도 충분합니다.
• 단일 순전파(Single Forward Pass): Gen4U는 단일 최적 블록과 노이즈 레벨에서 특징을 추출하며, 이는 확산 백본을 통한 단 한 번의 순전파만을 요구합니다. 이를 통해 반복적인 디노이징에 따르는 높은 추론 비용을 회피하여, 표준적인 판별적 인코더와 계산량 측면에서 유사한 수준을 유지합니다.

3. 하위 태스크 적응 (Downstream Adaptation)

고정된 생성적 표현은 특정 하위 태스크를 위해 학습된 경량 디코더(예: 원 블록 어텐션 디코더 또는 소형 언어 모델)와 결합됩니다. 사전 훈련된 생성 가중치는 고정된 상태를 유지하여 모델의 비디오 생성 능력을 보존합니다.

주요 기여

1. 잠재 공간 매핑: 논문은 확산 특징의 진화를 매핑하여 이해 작업을 위한 최적의 추출 지점을 식별합니다. 이는 최첨단 비디오 확산 모델이 깊이와 노이즈에 따라 체계적으로 진화하는 매우 구조화된 잠재 공간을 보유하고 있음을 밝혀냅니다.
2. 통합 패러다임: Gen4U는 고정된 비디오 확산 모델이 범용 비디오 인코더로서 기능할 수 있음을 입증하여 생성과 이해를 통합합니다. 이 프레임워크는 생성 가중치를 변경하지 않고도 의미론적 및 비의미론적 목적 모두에서 강력한 성능을 달えます.
3. 이중 능력: 본 연구는 이러한 모델들이 풍부한 고수준 이해(의semantics)와 강력한 저수준 기하학 인지(움직임, 깊이, 포즈)를 모두 포착함을 보여주며, 확산 모델이 고수준 의미론에 어려움을 겪는다는 기존의 믿음에 도전합니다.

실험 결과

저자들은 Veo3 모델을 사용하여 광범위한 태스크에 대해 Gen4U를 평가합니다:

• 비디오 분류: 도전적인 Something-Something V2 (SSv2) 데이터셋에서 Gen4U는 71.3%의 Top-1 정확도(데이터 증강 시 72.6%)를 달성하여, 고정된 표현 설정에서 강력한 베이스라인인 4DS(68.2%)와 V-JEPA(72.2%)를 능가했습니다.
• 기하학적 이해:
  • 깊이 추정(Depth Estimation): ScanNet에서 Gen4U는 0.075의 AbsRel을 달성하였으며, 이는 이전 연구에서 보고된 고정 특징 베이스라인보다 10.7% 상대적으로 개선된 수치입니다.
  • 카메라 포즈 추정: 모델은 **1.10의 EPE(End-Point Error)**를 기록하며 DINOv2 베이스라인(1.08)과 대등한 성능을 보였습니다.
• 캡셔닝:
  • 비디오 캡셔닝: SSv2에서 Gen4U는 합리적인 캡션을 생성합니다. VATEX 데이터셋에서는 LLM 디코더가 고정된 상태임에도 불구하고 VideoPrism(CIDEr 31.7)을 크게 앞질러 44.8의 CIDEr를 달성했습니다.
  • 이미지 캡셔닝: MS-COCO에서 만족스러운 성능을 보였으나, 텍스트 정렬에 특화된 SigLIP 기반 베이스라인보다는 뒤처집니다. 저자들은 고해상도 입력과 노이즈 레벨 데이터 증강을 사용하는 것이 이 격차를 줄이는 데 도움이 된다고 언급했습니다.

의의 및 주장

본 논문은 규모 있는 비디오 생성을 위해 순수하게 훈련하는 것만으로도 모델에 강력하고 범용적인 특징을 부여하기에 충분하다고 주장합니다. 생성적 표현과 텍스트/시각적 인코더 간의 정렬이 암묵적으로 출현한다는 사실은 이전에 보고되지 않은 중요한 발견입니다.

• 통합: Gen4U는 생성과 이해 패러다임을 통합하며, 단일 시각 모델이 두 영역 모두에서 공유될 수 있음을 시사합니다.
• 효율성: 단일 순전파로부터 특징을 추출함으로써 프레임워크는 반복적인 디노이징의 계산 오버헤드를 피하며, 판별적 인코더만큼 효율적입니다.
• 표현력: 결과는 확산 모델이 저수준 기하학에 국한된다는 통념에 도전하며, 최첨단 모델이 중간 특징 내에 풍부한 의미론적 정보를 인코딩하고 있음을 입증합니다.

저자들은 주요 분석이 독점 모델(Veo3)에 의존하여 재현성에 제한이 있다는 점을 인정하면서도, 오픈 웨이트 모델인 Wan 2.2를 사용하여 발견의 일반화 가능성을 검증했습니다. 결론적으로, 본 연구는 지각 태스크를 위한 확산 모델의 표현력에 대한 추가 연구를 장려합니다.