기술 요약: SelfBootTok – 부트스트랩된 토큰화를 통한 이미지 압축과 생성의 균형

1. 문제 정의

현재의 이미지 토큰화 방식은 압축 효율성과 생성 품질 사이에서 근본적인 트레이드오프(trade-off)에 직면해 있습니다. 표준적인 접근 방식들은 전역적 의미론(global semantics)과 국소적 세부 사항(local details)을 모든 토큰에 혼합함으로써 중복된 정보를 인코딩하는 경향이 있습니다. 이러한 "혼합"은 토큰 간의 중복성을 생성하고, 생성 모델의 학습을 복잡하게 만듭니다. 왜냐하면 생성기가 고수준의 의미론과 미세한 시각적 세부 사항을 동시에 학습해야 하기 때문입니다. 또한, 기존의 1D 토크나이저는 높은 압축률을 제공하지만, 재구성 충실도(reconstruction fidelity)나 생성 성능을 희생하지 않으면서 제한된 토큰 예산 내에서 전역적 문맥과 국소적 구조적 세부 사항을 모두 포착하는 데 어려움을 겪는 경우가 많습니다. 핵심 과제는 시각적 정보를 깔끔하게 분해하여 토큰 수준의 중복을 줄이는 동시에, 확장 가능한 학습과 효율적인 생성을 가능하게 하는 것입니다.

2. 방법론: SelfBootTok

저자들은 글로벌-로컬 분해(global-local decomposition) 전략과 **자기 지도식 부트스트랩 학습(self-supervised bootstrapped learning)**을 결합하여 이러한 문제를 해결하는 1D 이미지 토크나이저인 SelfBootTok을 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다.

A. 글로벌-로컬 분해 (Global-Local Decomposition)

모든 토큰을 균일하게 취급하는 대신, SelfBootTok은 시각적 정보를 별도의 그룹으로 분리합니다:

• 글로벌 토큰 ($z_G$): Vision Transformer (ViT) 인코더를 통해 추출된 고수준의 의미론적 표현입니다.
• 로컬 토큰 ($z_{L1}, z_{L2}$): 두 개의 병렬 브랜치를 통해 포착되는 미세한 시각적 세부 사항입니다:
  • 로컬 1D 토큰: 글로벌 토큰으로부터 MLP를 통해 예측됩니다.
  • 로컬 2D 토큰: 글로벌 토큰으로부터 인과적 트랜스포머(causal transformer)를 통해 예측됩니다.
    모델은 미분 가능성을 보장하기 위해 소프트 벡터 양자화(soft vector quantization)를 사용하는 멀티 코드북 설계($C_{global}, C_{local1D}, C_{local2D}$)를 채택하여, 각 그룹이 특정 정밀도에 특화될 수 있도록 합니다.

B. 자기 지도식 부트스트랩 학습 (Self-Supervised Bootstrapped Learning)

핵핵심적인 혁신은 자기 부트스트래핑 패러다임입니다. 모델은 레이블이 없는 이미지를 사용하여 글로벌 토큰으로부터 독점적으로 로컬 세부 사항을 예측하도록 학습됩니다.

• 학습 (Training): 토크나이저는 글로벌 토큰 표현을 기반으로 로컬 특징(DINOv2, SigLIP 또는 I-JEPA와 같은 사전 학습된 인코더와 정렬된 특징)을 재구성하도록 학습됩니다.
• 생성 (Generation): 생성 단계 동안, 생성기는 오직 글로벌 토큰($z_G$)만을 생성합니다. 로컬 토큰($z_{L1}, z_{L2}$)은 생성된 글로벌 토큰을 바탕으로 고정된(frozen) 로컬 정렬기(MLP 및 Transformer)에 의해 자동으로 예측됩니다.
• 이점: 이는 시각적 세부 사항을 학습하는 부담을 생성기에서 토크나이저로 옮깁니다. 생성기는 오직 고수준의 의미론에만 집중할 수 있어, 복잡도와 데이터 요구량을 크게 줄일 수 있습니다.

C. 최적 운송(Optimal Transport)을 통한 2D에서 1D로의 정렬

2D 구조적 사전 지식(priors)을 1D 토큰 시퀀스에 통합하기 위해, 이 방법은 최적 운송(Optimal Transport, OT) 프레임워크를 활용합니다.

• 로컬 2D 정렬기는 2D VAE 잠재 특징(latent features)과 정렬된 1D 시퀀스를 예측합니다.
• 이 정렬은 엔트로피 정규화된 최적 운송 손실을 최소화하며(Sinkhorn 알고리즘을 통해 해결됨), 이는 2D 공간 분포를 구조적 정보를 보존하면서 압축된 1D 시퀀스로 효과적으로 매핑합니다.

D. 병렬 최적화 및 스케일링 (Parallel Optimization and Scaling)

이 프레임워크는 토크나이저와 생성기를 병렬로 최적화할 수 있는 독특한 학습 전략을 지원합니다.

1. 토크나이저는 글로벌 토큰을 생성하고 로컬 세부 사항을 예측하도록 학습됩니다.
2. 글로벌 토큰 구성 요소가 학습되면, 이를 **고정(frozen)**합니다.
3. 그 후 생성기를 다시 학습시키지 않고도 생성기와 더 큰 로컬 정렬기를 병렬로 확장하여 학습할 수 있습니다. 이는 토크나이저의 크기와 생성기의 설계를 분리하여 효율적인 스케일링을 가능하게 합니다.

3. 주요 기여

1. 깔끔한 정보 분해: SelfBootTok은 글로벌 의미론과 로컬 세부 사항을 별도의 토큰 그룹으로 분리함으로써 중복성을 해결하고, 생성기의 과업을 단순화합니다.
2. 자기 부트스트랩 예측: 모델은 레이블이 없는 데이터를 사용하여 글로벌 토큰으로부터 미세한 로컬 세부 사항을 직접 예측하며, 이를 통해 세부 사항 학습을 위한 광범적인 텍스트-이미지 쌍의 필요성을 제거하고 생성 과정의 일부를 압축 파이프라인으로 이동시킵니다.
3. 효율적인 생성: 생성기가 글로벌 토큰만을 생성하도록 함으로써, 생성기를 다시 학습시켜야 하는 스케일링 방식과 비교했을 때 계산 비용을 약 40%, 학습 시간을 54% 단축합니다.
4. 확장 가능한 아키텍처: 동일한 학습된 생성기를 재사용하면서 로컬 정렬기(10M에서 600M 파라미터까지)를 확장할 수 있어, 생성 모델을 재학습시키지 않고도 새로운 SOTA(state-of-the-art) 성능을 달-성합니다.

4. 실험 결과

실험은 ImageNet-256 ($256 \times 256$) 데이터셋과 64개의 토큰 예산을 사용하여 수행되었습니다.

• 재구성 품질 (Reconstruction Quality): SelfBootTok은 0.66의 재구성 FID(rFID)를 달성하여, 다른 1D 토크나이저들(예: SoftVQ 0.88, TiTok-B 1.70)을 능가하였으며, 256개의 토큰을 사용하는 방식들(예: SD-VAE)과 대등한 성능을 보였습니다.
• 생성 성능 (Generation Performance): 이 방법은 1D 토크나이저 중에서 1.56이라는 SOTA 생성 FID(gFID)를 달성했습니다. 이는 훨씬 적은 수의 토큰을 사용함에도 불구하고, 최고 수준의 2D 토크나이저(VA-VAE: 1.35) 및 자기회귀 모델(MAR-H: 1.55)과 대등한 수준입니다.
• 효율성: 병렬 학습 전략을 통해 총 계산 비용을 4.9B 파라미터/60K GFLOPs에서 2.95B/36.6K GFLOPs로 줄였으며, 학습 시간을 28일에서 13일로 단축했습니다.
• 절제 연구 (Ablation Studies): 1D 및 2D 로컬 브랜치의 포함과 I-JEPA를 사용한 정렬이 최상의 성능을 낸다는 점을 확인했습니다. 자기 부트스트래핑 설계는 모든 지표(rFID, PSSR, SSIM)에서 재구성 성능을 유의미하게 향상시켰습니다.

5. 의의 및 주장

본 논문은 SelfBootTok이 압축과 생성의 균형을 효과적으로 맞추는 새로운 이미지 토큰화 패러다임을 구축한다고 주장합니다. 자기 부트스트래핑을 통해 시각적 세부 사항의 학습을 토크나이저로 넘김으로써 다음과 같은 효과를 가능하게 합니다:

• 우수한 효율성: 생성기는 고품질 이미지를 생성하기 위해 글로벌 토큰만을 필요로 하므로 훨씬 더 효율적이 됩니다.
• 확장성: 더 많은 데이터나 파라미터를 사용하여 로컬 표현 학습을 확장하면서도 생성기를 재학습할 필요가 없습니다.
• SOTA 성능: 단 64개의 토큰만으로 최상위 수준의 생성 품질(gFID 1.56)을 달성함으로써, 글로벌 정보와 로컬 정보가 적절히 분해될 때 압축된 잠재 표현이 고충실도 생성을 위한 충분한 세부 사항을 보유할 수 있음을 입증했습니다.

저자들은 이 접근 방식이 이미지 토큰화에서 자기 부트스트래핑의 잠재력을 검증하며, 현재 1D 토크네이션 방식이 겪고 있는 중복성과 확장성 문제를 해결하는 방안을 제시한다고 강조합니다.