InfoTok: Information-Theoretic Regularization for Capacity-Constrained Shared Visual Tokenization in Unified MLLMs

1. 문제 정의 (Problem Statement)

배경:
통합 멀티모달 대규모 언어 모델 (Unified MLLMs) 은 이미지 이해 (Image Understanding) 와 이미지 생성 (Image Generation) 을 단일 프레임워크 내에서 수행하는 것을 목표로 합니다. 이를 위해 고차원 이미지를 LLM 이 처리할 수 있는 토큰 시퀀스로 변환하는 공유 비주얼 토키나이저 (Shared Visual Tokenizer) 가 핵심 구성 요소입니다.

핵심 문제:
기존의 공유 토키나이저 설계는 주로 아키텍처 중심 (Architecture-driven) 이며, 어떤 정보를 보존해야 하는지에 대한 명시적인 기준이 부족합니다.

• 이해 (Understanding): 의미적 추상화 (Semantic Abstraction) 를 선호합니다.
• 생성 (Generation): 세밀한 지각적 디테일 (Perceptual Detail) 에 의존합니다.
  이 두 가지 상충되는 요구사항을 단일 토큰 공간에서 해결하기 위해 기존 방법들은 코드북 확장이나 어드밴스드 정렬 기법 등을 사용하지만, 제한된 계산 자원 (Compute-bounded) 하에서 어떤 정보를 우선시하고 어떤 정보를 버려야 하는지에 대한 이론적 근거가 부재합니다. 즉, 토큰이 고엔트로피의 불필요한 노이즈를 보존하거나, 반대로 생성에 필요한 중요한 디테일을 잃어버리는 문제가 발생합니다.

2. 제안 방법: InfoTok (Methodology)

저자들은 공유 토키나이저를 제한된 표현 예산 (Representational Budget) 을 가진 학습자로 간주하고, 정보 이론 (Information Theory) 에 기반한 정규화 기법인 정보 병목 (Information Bottleneck, IB) 원리를 적용한 InfoTok을 제안합니다.

핵심 아이디어:
공유 토큰은 고차원 이미지에서 재사용 가능한 구조 (Reusable Structure, 예: 의미적 개체, 구성적 단서) 를 우선적으로 보존하고, 활용하기 어려운 고엔트로피 변이 (High-entropy variations) 와 중복 정보는 제거해야 합니다.

수학적 formulation:
InfoTok 은 이미지 ($I$), 공유 토큰 ($Z$), 그리고 멀티모달 출력 ($Y$) 간의 정보 흐름을 제어하는 목적 함수를 정의합니다.
$$\mathcal{L}_{InfoTok} = \mathcal{L}_{IB}^{(u)} + \mathcal{L}_{IB}^{(g)}$$
여기서 각 항은 다음 세 가지 목표를 균형 있게 조절합니다:

1. 압축성 (Compactness): $I(\tilde{Z}; I)$를 최소화하여 토큰 예산 내에서 불필요한 입력 정보를 제거합니다.
2. 충분성 (Sufficiency): $I(\tilde{Z}; Y^{GT})$를 최대화하여 이미지 이해 및 생성 작업에 필요한 핵심 정보를 보존합니다.
3. 정렬 (Alignment): $I(\tilde{Z}; T)$를 최대화하여 시각 토큰과 텍스트 임베딩 간의 일관성을 강화합니다.

구현 (Instantiation):
고차원 공간에서 상호 정보량 (Mutual Information, MI) 을 직접 계산하는 것은 불가능하므로, InfoTok 은 두 가지 실용적인 의존성 추정기를 사용하여 구현됩니다:

• 변분 정보 병목 (Variational IB, VIB): 변분 하한을 통해 MI 를 추정합니다.
• 힐베르트-슈미트 독립성 기준 (HSIC): 커널 기반의 비모수적 의존성 측정치를 사용합니다.

또한, 정규화된 토큰 ($\tilde{Z}$) 의 구조를 공유 인코더 ($Z$) 로 전달하기 위해 증류 (Distillation) 손실 항을 추가하여 학습 안정성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 용량 제약 관점 (Capacity-Constrained Perspective) 도입: 공유 토키나이저가 계산 자원에 제한을 받는 학습자임을 명시화하고, 재사용 가능한 구조에 예산을 할당해야 한다는 원칙을 제시했습니다.
2. 정보 이론 기반 정규화 프레임워크 (InfoTok): IB 원리를 기반으로 공유 토큰 학습을 위한 명시적인 정규화 목적 함수를 제안했습니다. VIB 와 HSIC 를 통해 계산 가능한 형태로 구체화했습니다.
3. 데이터 없이 성능 향상: 추가적인 학습 데이터 없이 기존 통합 MLLMs (Harmon, OpenUni, Show-o2) 에만 InfoTok 을 적용하여 이해와 생성 성능을 동시에 개선했습니다.
4. 이론적 및 실험적 검증: 정보 정규화가 공유 토큰 공간의 안정성과 일반화 능력을 향상시킨다는 이론적 분석과 광범위한 실험 결과를 제시했습니다.

4. 실험 결과 (Results)

실험 설정:

• 모델: Harmon, OpenUni, Show-o2 등 3 가지 대표적인 통합 MLLM 에 적용.
• 데이터: 각 모델의 기존 학습 데이터만 사용 (추가 데이터 없음).
• 벤치마크:
  • 이해: UniBench, GQA, SEED, POPE, MME, MMV2, MMMU
  • 생성: Geneval, Geneval++, WISE

주요 성과:

• 일관된 성능 향상: 모든 평가된 모델에서 이미지 이해와 생성 성능이 동시에 향상되었습니다. 특히 작은 규모의 모델 (1.5B~2.0B) 이 InfoTok 을 적용하면 더 큰 모델 (7.0B) 과 경쟁하거나 능가하는 결과를 보였습니다.
• 정성적 개선: 생성된 이미지가 프롬프트 지시를 더 정확하게 따르고 (예: 객체 위치, 색상, 개수), 불필요한 디테일이 줄어든 더 깔끔한 결과를 생성했습니다.
• 주파수 분석 (Frequency Analysis): InfoTok 을 적용한 후 시각 토큰이 저주파 성분 (구조, 레이아웃) 과의 정렬은 증가하고, 고주파 성분 (텍스처, 노이즈) 과의 정렬은 감소하는 것을 확인했습니다. 이는 모델이 노이즈가 아닌 구조적 정보를 학습하도록 유도했음을 의미합니다.
• 강건성: VIB 와 HSIC 두 가지 추정기 모두에서 유사한 성능 향상을 보였으며, 하이퍼파라미터 변화에 민감하지 않았습니다.

5. 의의 및 결론 (Significance)

• 아키텍처 중심에서 정보 제어 중심으로의 패러다임 전환: 기존 통합 MLLM 연구가 모델 크기 확장이나 복잡한 아키텍처 설계에 집중했다면, InfoTok 은 공유 토큰 내의 정보 흐름을 명시적으로 제어함으로써 성능을 개선할 수 있음을 증명했습니다.
• 범용 설계 도구: 정보 이론적 정규화는 특정 아키텍처에 국한되지 않는 일반적인 설계 도구로, 제한된 토큰 예산 하에서 의미적 추상화와 생성적 디테일 사이의 균형을 찾는 데 효과적입니다.
• 실용성: 추가 데이터나 복잡한 구조 변경 없이 기존 모델에 플러그인 (Plug-and-play) 방식으로 적용 가능하여, 통합 멀티모달 모델 개발에 실용적인 가이드라인을 제공합니다.

결론적으로, InfoTok 은 통합 MLLM 의 핵심 구성 요소인 시각 토키나이저를 정보 병목 원리를 통해 최적화함으로써, 이해와 생성이라는 상충되는 작업을 단일 토큰 공간에서 효율적으로 수행할 수 있는 새로운 길을 제시합니다.