기술 요약: 이미지 생성을 위한 범용 토크나이저로서의 비전 파운데이션 모델

1. 문제 제기

현재의 이미지 생성 패러다임, 즉 이산 공간의 자기회귀 (AR) 모델과 연속 공간의 반복적 노이즈 제거 모델은 모두 원시 픽셀을 잠재 표현으로 압축하기 위해 이미지 토크나이저에 크게 의존합니다. 전통적인 토크나이저 (예: AR 을 위한 VQGAN, 노이즈 제거를 위한 VAE) 는 주로 픽셀 수준의 재구성에 중점을 두고 처음부터 훈련됩니다. 이러한 접근 방식은 공간적 중복성이 잠재 공간에 부담을 주고 고수준 의미론이 결여된 결과를 초래합니다. 그 결과, 이러한 의미론적으로 결여된 표현은 AR 모델의 훈련 수렴을 지연시키고, 생성 모델이 고충실도 클래스 조건부 합성을 달성하기 위해 클래스 프리 가이드 (CFG) 와 같은 계산 비용이 많이 드는 기법에 의존하도록 강요합니다.

DINOv2 와 CLIP 과 같은 비전 파운데이션 모델 (VFM) 은 의미론적으로 풍부한 특징을 추출하는 데 뛰어난 능력을 입증해 왔지만, 이를 생성에 활용하려는 이전 시도들은 대부분 VFM 특징을 부수적인 가이드나 증류 대상으로 취급했을 뿐, 고유한 생성 사전 지식으로 간주하지는 않았습니다. 이로 인해 VFMs 를 독립적이고 매우 효율적인 토크나이저로 활용할 수 있는 잠재력은 largely 미개척 상태로 남아 있습니다.

2. 방법론: VFMTok

저자들은 동결된 비전 파운데이션 모델 (VFM) 위에 직접 구축된 범용 비전 토크나이저인 VFMTok을 제안합니다. 이 아키텍처는 표준 2D 그리드 특징의 한계를 극복하기 위해 두 가지 주요 혁신을 도입합니다:

A. 영역 적응형 양자화 프레임워크

표준 VFM 은 경직된 2D 그리드에서 특징을 추출하는데, 이는 종종 유사한 패턴 (예: 질감 또는 투명도) 을 가진 영역에서 중복성을 초래합니다. VFMTok 은 이를 다음과 같이 해결합니다:

• 변형 가능 어텐션 샘플링: 고정된 그리드 대신, 학습 가능한 앵커 쿼리를 사용하여 변형 가능 교차 어텐션을 통해 불규칙하고 데이터 의존적인 공간 위치에서 특징을 샘플링합니다.
• 적응형 집계: 이 메커니즘은 의미론적으로 일관된 영역을 식별하여 공간적 중복성을 제거하면서도 이미지를 훨씬 적은 수의 토큰 (예: 576 개에서 256 개로 감소) 으로 표현할 수 있게 합니다.

B. 의미론적 재구성 목적

잠재 공간이 동결된 VFM 의 풍부한 의미론을 유지하도록 보장하기 위해, VFMTok 은 이중 재구성 목적을 사용합니다:

1. 픽셀 수준 재구성: 시각적 충실도를 유지하기 위해 원본 이미지 픽셀을 재구성합니다.
2. 특징 수준 재구성: VFM 의 최종 층에서 고수준 의미론적 특징을 재구성합니다. 이는 예측된 특징과 동결된 VFM 타겟 간의 코사인 유사도 손실을 통해 달성됩니다.

• 아키텍처: 이 시스템은 동결된 VFM 인코더, 병목 모듈 (이산 공간을 위한 벡터 양자화 또는 연속 공간을 위한 선형 투영 중 하나), 그리고 이미지 및 특징 재구성 분기를 모두 처리하는 경량 ViT 디코더로 구성됩니다.

C. 다용도성

VFMTok 은 다음 두 가지 모두에서 작동할 수 있는 범용 토크나이저로 설계되었습니다:

• 이산 잠재 공간: 벡터 양자화를 통한 자기회귀 (AR) 생성.
• 연속 잠재 공간: 직접 차원 감소를 통한 노이즈 제거 생성 (이 맥락에서 VFMAE라고 함).

3. 주요 기여

• 토크나이저로서의 동결된 VFM: 이 논문은 동결된 VFM(자기지도 및 언어지도 모두 포함) 이 매우 효과적인 토크나이저로 작용함을 보여줍니다. 이들의 고유한 의미론적 풍부함은 AR 모델의 수렴을 가속화하고, AR 및 노이즈 제거 패러다임 모두에서 CFG 없이 고충실도 합성을 가능하게 합니다.
• 영역 적응형 양자화: 공간적 중복성을 활용하여 매우 컴팩트한 토크나이징을 달성하는 새로운 프레임워크로, 생성 품질을 희생하지 않으면서 시퀀스 길이를 획기적으로 단축합니다.
• 통합 프레임워크: 이산 및 연속 값 공간 모두에 대한 광범위한 검증을 통해 동결된 VFM 을 효율적인 시각적 생성을 위한 강력한 기본 구성 요소로 확립합니다.
• 메커니즘 분석: 사전 훈련 목적의 특정 조합이 토크나이저 성능을 결정한다는 것을 보여주는 포괄적인 실증 연구입니다.

4. 실험 결과

저자들은 ImageNet 데이터셋에서 VFMTok 을 최첨단 토크나이저 및 생성 모델과 비교하여 광범위한 실험을 수행했습니다.

이산 생성 (AR 모델)

• 수렴 속도: VFMTok 은 기존 VQGAN 대비 AR 모델 수렴 속도를 3 배 가속화합니다.
• 성능: VFMTok 을 탑재한 14 억 파라미터 AR 모델은 ImageNet 클래스 조건부 합성에서 gFID 1.36을 달성하여 새로운 최첨단 기록을 세웠습니다. 이는 더 적은 파라미터를 사용하면서도 더 큰 모델 (예: LlamaGen-3B) 보다 우수한 성능을 보입니다.
• 효율성: 컴팩트한 잠재 공간 (기저 모델의 576 개 이상 대비 256 개) 은 AR 추론에서 4 배의 생성 속도 향상을 가져옵니다.
• CFG 없는 합성: 잠재 공간의 풍부한 의미론 덕분에 VFMTok 은 클래스 프리 가이드 (CFG) 없이도 고충실도 합성을 가능하게 하며, 반면 기저 모델은 CFG 없으면 성능이 크게 저하됩니다.

연속 생성 (노이즈 제거 모델)

• 성능: VFMTok(이 맥락에서 VFMAE 로 명명됨) 을 노이즈 제거 모델에 통합하면 ImageNet 에서 gFID 1.25라는 뛰어난 성과를 냅니다.
• 효율성: 이 모델은 다른 VFM 기반 접근법에서 사용되는 더 큰 차원에 비해 매우 컴팩트한 잠재 차원 (32 채널) 으로 이를 달성하며, 80 에포크 만에 강력한 결과를 얻는 등 훨씬 빠르게 수렴합니다.

구성 요소 분석 및 VFM 선택

• 애블레이션: 연구는 VQGAN 인코더를 동결된 VFM 으로 교체하고, 영역 적응형 샘플링을 추가하며, 다수준 특징 재구성을 통합하는 것이 모두 성능에 결정적임을 확인합니다.
• 최적의 VFM: 논문은 **대조 학습 (C.L.)**과 **잠재 마스크 이미지 모델링 (Latent-MIM)**을 공동으로 최적화한 VFM(예: DINOv2, SigLIP2) 이 최적의 백본을 제공한다고 규명합니다. Pixel-MIM 만 의존하는 모델은 재구성에는 뛰어나지만 생성에는 실패하는 반면, C.L. 만 의존하는 모델은 의미론에는 뛰어나지만 재구성 충실도가 부족합니다.

5. 중요성 및 주장

이 논문은 토크나이저를 처음부터 훈련하는 패러다임에서 사전 훈련된 VFM 을 활용하는 패러다임으로 전환함으로써 미래 이미지 토크나이저 설계의 강력한 기반을 확립했다고 주장합니다. 주요 중요성은 다음과 같습니다:

1. 인코더 훈련 제거: 동결된 VFM 이 효과적인 인코더로 작용할 수 있음을 보여줌으로써 광범위한 인코더 훈련의 필요성을 제거합니다.
2. CFG 없는 생성: 의미론적으로 풍부한 잠재 공간이 계산 집약적인 클래스 프리 가이드의 필요성을 대체할 수 있음을 증명하여 추론 속도를 획기적으로 가속화합니다.
3. 이론적 통찰: 최적의 토크나이징을 위한 VFM 은 대조 학습과 잠재 수준 마스크 이미지 모델링을 결합한 것이라는 명확한 지침을 제공하여, 시각적 이해와 생성 사전 지식 간의 간극을 메웁니다.

저자들은 그들의 접근 방식이 합성 품질과 토큰 효율성을 개선할 뿐만 아니라, VFMs 가 생성 모델에 어떻게 혜택을 주는지에 대한 체계적인 이해를 제공하여 향후 고품질이고 효율적인 시각적 생성 시스템의 설계를 안내한다고 결론지었습니다.