HYDRA: 표현 조화 토크나이저를 통한 멀티모달 생성 및 이해의 통합

1. 문제 정의 (Problem)

기존의 통합 멀티모달 모델 (Unified Multimodal Models, UMMs) 은 시각적 이해 (Visual Understanding) 와 이미지 생성 (Image Generation) 을 단일 파라미터 공간에서 수행하려 시도하지만, 두 작업 간의 **근본적인 표현적 불일치 (Representational Divergence)**로 인해 어려움을 겪고 있습니다.

• 이해 (Understanding): 고차원의 추상적인 의미 (Semantic Abstractions) 가 필요함.
• 생성 (Generation): 정밀한 구조적 원시 데이터 (Structural Primitives) 와 세부적인 픽셀 정보가 필요함.

기존 접근법들은 이 모순을 해결하기 위해 다음과 같은 타협을 강요받으며 한계가 있었습니다:

1. 분리된 인코더 (Decoupled Encoders): 이해와 생성에 별도의 인코더를 사용하여 입력 표현의 통합 (Unification) 이 부족함.
2. 순차적 인코더 (Sequential Encoders): VAE 위에 의미 인코더를 쌓는 방식은 정보 흐름의 일관성 (Coherence) 을 해치고, VAE 의 압축으로 인해 세부 정보가 손실됨.
3. 단일 공유 인코더 (Single Shared Encoder): 하나의 인코더를 공유하지만, 고주파 세부 정보 보존과 의미 추상화라는 상충되는 목표로 인해 학습 과정의 호환성 (Compatibility) 문제가 발생하여 최적화가 어렵거나 성능이 저하됨.

2. 방법론 (Methodology)

저자들은 HYDRA-TOK와 HYDRA라는 두 가지 핵심 구성 요소를 제안하여 위 문제를 해결합니다.

A. HYDRA-TOK: 표현 조화 순수 ViT 토크나이저
기존의 VAE 기반 토크나이저를 대체하는 순수 ViT (Vision Transformer) 기반 프레임워크입니다. 핵심 아이디어는 "입력 데이터를 재구성할 수 있는 컴팩트한 특징 공간이 의미 이해의 견고한 기반이 될 수 있다"는 것입니다.

• 점진적 학습자 (Progressive Learner) 설계:
  • Gen-ViT (Generation ViT): 고충실도 생성을 위해 구조를 보존하는 저수준의 원시 데이터 (Primitives) 를 추출합니다.
  • GSB (Generation-Semantic Bottleneck): Gen-ViT 와 Sem-ViT 사이에서 작동하는 핵심 모듈입니다.
    • 압축 (Compress): 특징을 저차원 공간으로 압축하여 노이즈를 필터링합니다.
    • 재구성 (Reconstruct): 원래 차원으로 복원하여 의미 추상화를 위한 기반을 마련합니다.
    • 이 과정을 통해 생성의 안정성과 의미의 명확성을 동시에 확보합니다.
  • Sem-ViT (Semantic ViT): 구조적 기반을 고차원의 의미 공간으로 변환하여 추상화를 수행합니다.
• 학습 목표: 재구성 손실 (Reconstruction), 정규화 손실 (KL, Consistency), 그리고 사전 훈련된 ViT 를 활용한 지식 증류 (Distillation) 를 결합하여 최적의 균형을 찾습니다.

B. HYDRA: 네이티브 통합 프레임워크
HYDRA-TOK 가 제공하는 일관된 시각 표현을 기반으로 이해와 생성을 단일 파라미터 공간에 통합합니다.

• 통합 입력 표현: 시각 신호를 텍스트와 호환되는 연속 시퀀스로 처리합니다. 생성 시에는 확산 노이즈를, 이해 시에는 결정론적 잠재 변수를 사용하여 태스크 인식 주입 전략을 적용합니다.
• 듀얼 헤드 (Dual-Head) 메커니즘:
  • 언어 헤드 (Language Head): 텍스트 예측을 위한 자기회귀 (Autoregressive) 방식.
  • 비전 헤드 (Vision Head): 이미지 생성을 위한 정제 흐름 매칭 (Rectified Flow Matching) 방식.
• 통합 학습: 단일 LLM 백본을 공유하면서 입력/출력 레이어만 전문화하여, 이해와 생성이 서로를 강화하는 조화로운 학습을 유도합니다.

3. 주요 기여 (Key Contributions)

1. HYDRA-TOK 제안: 양자화 오류 없이 입력 표현을 통합하고, 점진적 학습자 (Gen-ViT → GSB → Sem-ViT) 를 통해 이해 - 생성 간 갈등을 해결한 최초의 순수 ViT 기반 토크나이저.
2. HYDRA 프레임워크: 단일 파라미터 공간 내에서 이해와 생성을 통합한 네이티브 UMM 구현. 듀얼 헤드 메커니즘을 통해 원활한 태스크 수행 가능.
3. 새로운 SOTA 달성: 기존 네이티브 UMM 들보다 평균 약 10 점 이상 높은 이해 성능과 동시에 최고 수준의 이미지 생성 성능을 달성하여, 이해와 생성이 경쟁 관계가 아닌 상호 보완적임을 입증.

4. 실험 결과 (Results)

HYDRA 는 1.5B 및 7B 파라미터 규모에서 광범위한 벤치마크를 통해 검증되었습니다.

• 이미지 재구성 (Reconstruction):
  • ImageNet-1K 에서 rFID 0.08을 기록하여 기존 통합 토크나이저 (BLIP3-o 등) 는 물론 전용 생성 토크나이저 (FLUX-VAE 등) 보다도 뛰어난 재구성 품질을 보였습니다.
• 멀티모달 이해 (Understanding):
  • 8 가지 주요 벤치마크 (MME, AI2D, MMB, SEED, MMStar 등) 에서 기존 네이티브 UMM 들보다 평균 약 10.0 점 높은 성능을 기록했습니다.
  • 특히 OCR 벤치마크 (OCRBench) 에서 고주파 세부 정보를 잘 보존하여 기존 모델들 (Show-o2 등) 보다 압도적인 점수 차이를 보였습니다.
• 이미지 생성 (Generation):
  • GenEval: 0.86 (7B 기준), DPG-Bench: 86.4, WISE: 0.53 으로 SOTA 를 달성했습니다.
  • 이는 전용 생성 모델 (FLUX.1 등) 과 경쟁할 수 있는 수준이며, 통합 모델 중에서는 가장 높은 성능입니다.
• 학습 역학 분석:
  • 결합 학습 (Joint Training) 이 개별 학습 (Separate Training) 보다 초기 수렴 속도와 최종 품질 모두에서 우월함을 입증했습니다. 생성 작업의 세부 구조적 제약이 이해의 정밀도를 높이는 것으로 확인되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 멀티모달 AI 분야에서 이해 (Understanding) 와 생성 (Generation) 이 상충되는 목표가 아니라, 조화로운 표현 (Representation-Harmonized) 을 통해 상호 강화될 수 있는 보완적 힘임을 증명했습니다.

• 아키텍처적 혁신: VAE 나 분리된 인코더에 의존하지 않는 순수 ViT 기반의 통합 토크나이저를 통해 정보 흐름의 일관성과 학습 과정의 호환성을 동시에 달성했습니다.
• 미래 지향성: HYDRA 는 더 크고 다양한 멀티모달 태스크를 처리할 수 있는 확장 가능한 기반을 제공하며, 차세대 네이티브 통합 멀티모달 모델의 새로운 표준을 제시합니다.

결론적으로, HYDRA 는 표현의 조화를 통해 멀티모달 이해와 생성의 간극을 메우고, 두 영역 모두에서 최첨단 성능을 달성한 획기적인 모델입니다.