기술 요약: TaTok – 이론적 기반을 갖춘 적응형 이미지 토큰화

1. 문제 제기

긴 이미지 시퀀스 처리 및 통합 멀티모달 모델에 필수적인 현재 이산형 이미지 토큰화 방법들은 가변적인 정보 밀도를 가진 이미지들에 고정된 압축률을 경직되게 적용함으로써 비롯된 두 가지 근본적인 이론적 결함을 안고 있습니다:

1. 정보 부족: 기존 패치 토큰 전용 방식은 전역적 의미론적 및 구조적 정보를 완전히 포착하지 못합니다. 데이터 처리 부등식 (Data Processing Inequality) 과 레이트-왜곡 (Rate-Distortion) 이론에 기반한 이론적 분석은 결정론적 패치 분할과 양자화가 불가피한 재구성 손실 하한 ($D_{min} > 0$) 을 초래함을 증명합니다. 결과적으로, 고주파 세부 사항과 연속적인 회색조 정보는 로컬 패치 토큰만으로는 완전히 복원될 수 없습니다.
2. 정보 중복: 자연 이미지는 강한 국소 정상성 (local stationarity) 과 비국소적 의미론적 상관관계를 보입니다. Vision Transformer(ViT) 인코더로 처리될 때, 이러한 상관관계는 패치 토큰들 간의 상당한 상호 정보 중첩을 초래합니다. 이 중복성은 계산 복잡도를 증가시키고 (자기 주의 메커니즘의 경우 $O(N^2)$로 스케일링), 블로킹 아티팩트나 과도한 평활화를 통해 재구성 품질을 저하시키지만, 현재 방법들은 품질을 희생하지 않고 이를 제거할 수 있는 원칙적인 메커니즘이 종종 부재합니다.

기존 접근법들은 전역적 컨텍스트를 위한 계층적 집계나 희소 선택을 위한 휴리스틱 규칙을 사용하여 이러한 문제들을 개별적으로 해결하려 시도했으나, 전역 정보를 모델링하고 중복성을 제거하는 동시에 시너지 효과를 내는 이론적 기반의 통합 솔루션을 제공하지는 못했습니다.

2. 방법론: TaTok 프레임워크

저자들은 전역 정보 모델링과 동적 중복성 제거를 엔드-투-엔드 학습 가능한 시스템으로 통합한, 이론적 기반을 갖춘 적응형 이미지 토큰화 프레임워크인 TaTok을 제안합니다.

2.1 전역 토큰 증강 (정보 부족 해결)

패치 전용 방식에 내재된 정보 손실을 보완하기 위해, TaTok은 학습 가능한 전역 토큰($g$)을 도입합니다.

• 이론적 기반: 상호 정보 이론에 영감을 받아, 저자들은 (Lemma 3.1) 이미지의 전체적 정보 $G(x)$를 근사하는 전역 토큰 $g$로 토큰 시퀀스를 증강하면 토큰 시퀀스와 원본 이미지 간의 상호 정보가 증가함을 증명합니다: $I(x; [g; z]) = I(x; z) + I(x; g | z)$.
• 영향: 정리 3.2는 이러한 증강이 재구성 손실의 이론적 하한을 낮춘다는 것을 보여줍니다 ($\epsilon'_{inf} < \epsilon_{inf}$), 이를 통해 더 적은 토큰으로도 고충실도 복원이 가능해집니다. 전역 토큰은 조건부 엔트로피 $h(G(x) | g)$를 최소화하도록 최적화되어, 증강된 시퀀스의 상호 정보를 직접적으로 향상시킵니다.

2.2 동적 토큰 필터링 (DTF) (중복성 해결)

중복성을 제거하기 위해 TaTok은 누적 조건부 엔트로피에 기반한 동적 토큰 필터링 (DTF) 알고리즘을 사용합니다.

• 메커니즘: 고정된 수의 토큰 대신, DTF는 사전 정의된 정보 요구 사항을 충족하는 데 필요한 최소한의 패치 토큰 수 ($N$) 를 적응적으로 선택합니다.
• 선택 기준: 패치 토큰은 전역 토큰을 고려할 때 각 패치가 기여하는 고유한 정보를 정량화하는 조건부 엔트로피 $H(z_i | g)$에 따라 정렬됩니다.
• 제약 조건: 선택 과정은 이중 제약 조건을 만족해야 합니다:
  1. 최소 정보 제약: 누적 정보는 레이트-왜곡 이론에서 유도된 임계값 $T$를 충족해야 합니다.
  2. 정보 손실률 제약: 손실된 고유 정보의 비율은 사전 정의된 비율 $\epsilon$을 초과해서는 안 됩니다.
• 과정: 알고리즘은 제약 조건이 충족될 때까지 고유 정보의 내림차순으로 토큰을 누적하여 정보량이 풍부한 패치만 유지되도록 합니다.

2.3 토큰 해제 및 학습

• 재구성: 선택된 상위 $N$개 패치 토큰은 전역 토큰과 연결되어 증강된 시퀀스를 형성합니다. 이는 양자화되어 디코더 (확장된 ViT) 로 입력되어 이미지를 재구성합니다. 원래 패치 수와 정렬하기 위해 시퀀스는 학습 가능한 마스크 토큰으로 패딩됩니다.
• 손실 함수: 프레임워크는 복합 손실 함수를 사용하여 엔드-투-엔드로 학습됩니다:
  • 재구성 손실 ($L_{rec}$): 픽셀 단위 MSE.
  • 양자화 손실 ($L_{commit}$): 증강된 토큰을 코드북과 정렬합니다.
  • 전역 의미론적 정렬 손실 ($L_{glob}$): 전역 토큰과 이미지의 전체적 정보 간의 조건부 엔트로피를 최소화합니다.

3. 주요 기여

1. 결함의 이론적 증명: 본 논문은 정보 이론을 사용하여 기존 이산형 토크나이저가 레이트-왜곡 제약으로 인한 불가피한 정보 부족과 이미지 상관관계로 인한 고유한 정보 중복성을 안고 있음을 엄밀하게 증명합니다.
2. 통합 프레임워크 (TaTok): 학습 가능한 전역 토큰과 동적 필터링 메커니즘을 통합한 최초의 엔드-투-엔드 학습 가능 토크나이저를 제안합니다. 이 조합이 패치 전용 방식에 비해 재구성 손실 하한을 낮춘다는 것을 이론적으로 증명합니다.
3. 적응형 효율성: 고정된 그리드가 아닌 정보의 풍부함에 따라 토큰을 할당함으로써 TaTok 은 품질을 희생하지 않고 우수한 압축률을 달성합니다.

4. 실험 결과

실험은 ImageNet 256×256 이미지 생성 및 재구성 작업에서 수행되었습니다.

• 재구성 품질: TaTok 은 코드북 크기 4096 기준 56.4 개의 토큰만을 사용하여 재구성 FID(rFID) 1.51을 달성했습니다. 이는 1024 개의 토큰으로 rFID 1.28 을 기록한 ViT-VQGAN 과 57 개의 토큰으로 rFID 1.75 를 기록한 TiTok-B-57 과 같은 최첨단 방법들보다 우월한 토큰당 정보 보존 능력을 보여줍니다.
• 생성 품질: MaskGIT-ViT 생성기와 결합하여 TaTok 은 생성 FID(gFID) 1.89를 달성했으며, 이는 MaskGIT-VQGAN(gFID 6.18) 과 TiTok-B-64(gFID 2.48) 을 능가합니다.
• 효율성: TaTok 은 표준 베이스라인 대비 4.5 배의 압축률 개선을 보여줍니다. 추론 속도의 경우, MaskGIT-VQGAN(9.7 샘플/초) 대비 8.7 배의 처리량 가속 (A100 에서 94.3 샘플/초) 을 달성하면서 훨씬 적은 파라미터 (177M 대 3.8B) 를 사용합니다.
• 애블레이션 연구:
  • 전역 토큰: 실험은 전역 토큰을 추가하면 재구성이 크게 향상됨 (16 개 토큰 사용 시 rFID 가 2.17 에서 1.51 로 감소) 을 확인하여 "정보 부족" 가설을 검증했습니다.
  • 중복성: 패치 토큰의 50% 를 무작위나 위치에 따라 잘라내도 rFID 저하가 미미하여 높은 중복성을 확인했습니다. 그러나 50% 이상 제거하면 품질이 붕괴되어 적응형 선택의 필요성을 입증했습니다.
  • 필터링 전략: TaTok 의 엔트로피 기반 선택은 무작위, 균일, 또는 고정 위치 (처음/마지막 N 개) 샘플링 전략보다 현저히 우수합니다.

5. 의의 및 주장

본 논문은 TaTok 이 현재 토크나이저들의 "일률적"인 압축 전략에 대한 이론적으로 타당한 대안을 제공한다고 주장합니다. 레이트-왜곡 이론을 통해 정보 밀도와 토큰 수 간의 트레이드오프를 명시적으로 모델링함으로써 TaTok 은 다음을 가능하게 합니다:

• 소형이면서도 정확한 표현: 더 적은 토큰으로 최첨단 생성 품질 달성.
• 확장성: 멀티모달 모델에서 효율적인 장시퀀스 처리를 위한 기반 제공.
• 새로운 통찰: 이 연구는 에지 패치 토큰이 종종 불균형적으로 큰 위치 정보를 운반한다는 사실을 밝혀냈으며, 이는 2D 공간 데이터가 1D 토큰 시퀀스에 어떻게 인코딩되는지에 대한 이해를 확장합니다.

저자들은 TaTok 을 단순한 점진적 개선이 아닌, 이산형 비주얼 토크나이저의 효율성을 제한해 온 정보 부족과 중복성이라는 핵심 병목 현상을 해결하는 적응형, 정보 이론적 토큰 할당으로의 전환으로 위치시킵니다.