기술 요약: UniAR – 공유 컨텍스트를 활용한 통합 멀티모달 자기회귀 모델링

문제 정의

통합 멀티모달 모델(Unified Multimodal Models, UMMs)은 시각적 이해와 생성을 단일 시스템 내에 통합하여, 모델이 재인코딩 없이 자신이 생성한 시각적 콘텐츠를 스스로 해석할 수 있도록 하는 것을 목표로 합니다. 그러나 기존 방식들은 일반적으로 고수준의 의미론적 이해(understanding)에 최적화된 토크나이저와 저수준의 세부 사항(generation)을 위한 토크나이저라는 두 개의 서로 다른 시각적 토크나이저에 의존합니다. 이러한 이중 토크나이저 구조는 표현 공간을 분리시켜, 생성된 이미지를 이해하기 위해 다시 인코딩해야 하는 상황을 만듭니다. 이는 "공유 컨텍스트(shared context)"라는 목표를 저해하며 진정한 통합을 방해합니다. 또한, 판별적 이해와 생성적 세부 사항이라는 상충하는 요구사항을 동시에 만족시키면서 효율적으로 어휘 집합(vocabulary)을 확장할 수 있는 단일 토크나이저를 설계하는 것은 여전히 큰 과제로 남아 있습니다.

방법론

저자들은 단일 이산 시각적 토크나이저를 사용하여 이해와 생성을 연결하는 통합 자기회귀 프레임워크인 UniAR를 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 통합 시각적 토크나이저 (Unified Visual Tokenizer)

UniAR는 사전 학습된 비전 인코더(SigLIP2-So400M ViT)를 **이진 구형 양자화(Binary Spherical Quantization, BSQ)**를 통해 이산 토크나이저로 적응시킵니다.

• 룩업 프리 비트와이즈 양자화 (Lookup-Free Bitwise Quantization): VQ-VAE와 같이 특징을 명시적인 코드북에 매핑하는 대신, BSQ는 시각적 특징을 이산적인 이진 벡터($u \in \{0, 1\}^{64}$)로 양자화합니다. 이는 명시적인 코드북의 필요성을 제거하며, 최소한의 오버헤드로 이론적 어휘 크기를 기하급적으로($2^{64}$) 확장합니다.
• 다층 특징 융합 (Multi-Level Feature Fusion): 고수준의 의미론과 저수준의 세부 사항 사이의 긴장을 해결하기 위해, 토크나이저는 비전 인코더의 여러 레이어(최종 레이어 및 3개의 중간 레이어)에서 추출된 특징을 집계합니다. 이러한 계층적 설계는 미세한 디테일과 의미적 단서를 모두 보존합니다.
• 학습 목적 함수 (Training Objective): 토크나이저는 원래 LLM의 교차 엔트로피(Cross-Entropy, CE) 손실과 BSQ 소프트 엔트로피 손실의 조합을 사용하여 엔드투엔드로 미세 조정됩니다. 적응이 완료되면, 일관된 시각적 인덱스를 보장하기 위해 비전 인코더는 동결됩니다.

2. 통합 자기회귀 모델 (Unified Autoregressive Model)

사전 학습된 LLM 백본(Qwen3-8B)을 기반으로 구축된 이 모델은 시각적 토큰과 텍스트 토큰을 차세대 토큰 예측 패러다임 하에서 동일하게 취급합니다.

• 병렬 비트와이즈 예측 (Parallel Bitwise Prediction): 시각적 시퀀스 길이를 줄이고 생성을 가속화하기 위해, UniAR는 병렬 비트와이즈 예측 메커니즘을 채택합니다. 이는 $2 \times 2$ 공간 그리드 내에서 다층 시각 이진 벡터를 동시에 예측합니다. 이를 통해 자기회귀 예측에서 32배의 시각적 압축률을 달성합니다.
• 시각적 예측 헤드 (Visual Prediction Head): 모델은 BSQ 인덱스 그룹에 대한 로짓(logits)을 출력합니다. 출력 차원은 $d_{vis} = 2 \times d_{BSQ} \times g$로 정의되며, 여기서 $g$는 계층적 레벨 및 공간 단위의 수를 나타냅니다.
• 인덱스 플리핑을 통한 강건성 (Robustness via Index Flipping): 교사 강요(teacher-forcing) 학습과 자기회귀 추론 사이의 간극을 메우기 위해, 모델은 프리트레이닝 중에 무작위 시각 인덱스 플리핑을 적용합니다. 이는 누적 오류를 시뮬레이션하여 고온도 샘플링(high-temperature sampling) 시 안정성을 높이고 후속 강화 학습을 용이하게 합니다.

3. DiT 기반 시각적 디코더 (DiT-Based Visual Decoder)

디퓨전 트랜스포머(Diffusion Transformer, DiT) 디코더는 예측된 이산 시각 토큰으로부터 고충실도 이미지를 재구성합니다.

• 토큰-이미지 변환 (Token-to-Image Translation): 디코더는 시각적 토큰에만 조건화되어(시각 신호를 노이즈가 섞인 은닉 상태에 요소별로 더함으로써) 이미지를 재구성하며, 텍스트 프롬프트를 입력으로 받지 않습니다. 이 설계는 모든 의미적 및 구조적 생성을 자기회귀 모델에 맡깁니다.
• 해상도 업샘플링 (Resolution Upsampling): 자기회귀 모델링의 계산 부담을 완화하기 위해, 디코더는 해상도 업샘플링 전략(2D bicubic interpolation)을 사용합니다. 이를 통해 256개의 시각 토큰만을 예측하면서도 고해상도 이미지(예: $1024 \times 1024$)를 생성할 수 있습니다.

학습 파이프라인 (Training Pipeline)

UniAR는 세 단계의 학습 과정을 따릅니다.

1. 프리트레이닝 (Pre-training): 이해와 생성 데이터의 비율을 1:1로 하여 멀티모달 코퍼스(1T 토큰)에서 대규모 프리트레이닝을 수행합니다. 시각적 생성은 그리드 차원으로 정의된 공간적 사전 확률(spatial priors)에 따라 특정 해상도(512×512 또는 960×960)로 제한됩니다.
2. 지도 미세 조정 (Supervised Fine-Tuning, SFT): ChatML 형식을 사용하여 선별된 고품질 데이터(약 50B 토큰)로 학습합니다.
3. 강화 학습 (Reinforcement Learning, RL): 품질, 텍스트 렌더링, 지시 이행을 정교화하기 위해 이미지 생성 작업에만 독점적으로 적용됩니다. 비전 디코더는 보상 계산을 위한 이미지를 디코딩하는 이 단계에서만 도입됩니다.

주요 기여 (Key Contributions)

1. 단일 토크나이저를 통한 통합 프레임워크: UniAR는 다층 비트와이즈 시각 토큰을 활용하여 재인코딩 없이 공유 컨텍스트 내에서 생성과 이해를 효과적으로 통합하는 최초의 통합 모델입니다.
2. 효율적인 비트와이즈 양자화: 다층 특징에 대한 룩업 프리 비트와이즈 양자화의 채택은 낮은 오버헤드로 이론적 어휘 크기를 크게 확장하는 동시에, 다층 융합을 통해 생성적 요구와 판별적 요구 사이의 간극을 메웁니다.
3. 병렬 비트와이즈 예측 및 효율적 디코딩: 병렬 비트와이즈 예측의 도입은 시각적 시퀀스 길이를 줄이며, 해상도 업샘플링을 포함한 DiT 기반 디코더는 컴팩트한 시각 시퀀스를 통해 효율적인 고해상도 생성을 가능하게 합니다.

실험 결과

광범적인 실험을 통해 UniAR가 시각적 이해에서 경쟁력을 유지하면서도 이미지 생성 및 편집 분야에서 최첨단(SOTA) 성능을 달 Ach성함을 입증했습니다.

• 지시 이행 (Instruction Following): GenEval에서 UniAR는 전체 점수 0.86(프롬프트 재작성 시 0.86)을 기록하며, GPT-4o(0.84) 및 FLUX.1-dev(0.82)와 같은 생성 전용 모델을 능가했습니다. 특히 객체 카운팅, 색상-속성 결합, 공간 관계에서 강점을 보였습니다.
• 텍스트 렌더링 (Text Rendering): UniAR는 텍스트 렌더링 벤치마크에서 SOTA 결과를 달성했습니다. OneIG-EN에서 0.873(GPT-4o 상회)을, LongText-EN에서 0.917(Gemini 2.5 Flash Image 상회)을 기록했습니다.
• 이미지 편집 (Image Editing): ImgEdit Bench에서 UniAR는 3.73점을 획득하여, Flux.1 Kontext(3.71)와 같은 특화된 편집 모델 및 OmniGen2(3.44)와 같은 통합 모델보다 높은 성능을 보였습니다.
• 멀티모달 이해 (Multimodal Understanding): UniAR는 OCR 중심 작업(OCRBench, DocVQA, InfoVQA) 및 비디오 이해(MVBench)에서 기존 통합 모델들을 크게 앞섭니다. Qwen3-VL과 같은 SOTA 오픈소스 VLM과 대등한 성능을 보여주었으나, 순수 텍스트 프리트레이닝 데이터의 부족과 이해 작업을 위한 RL 부재로 인해 MMMU에서는 약간 뒤처지는 모습을 보였습니다.
• 창발적 능력 (Emergent Capabilities): 모델은 교차 생성 및 이해를 수행하는 창발적 능력을 보여줍니다. 다회차 교차 데이터에 대한 특정 학습 없이도, UniAR는 이미지를 생성한 후 동일한 컨텍스트 내에서 자신의 출력물에 대해 세밀한 질문에 답할 수 있으며, 이는 재인코딩의 필요성을 제거합니다.

의의 및 주장

본 논문은 UniAR가 멀티모달 모델링의 진정한 통합을 향한 중요한 진전임을 주장합니다. 단일 이산 시각적 토크나이저와 공유 자기회回归 컨텍스트를 활용함으로써, Uni-AR는 시각적 이해와 생성 사이의 내재적 긴장을 해결합니다. 저자들은 다음과 같은 점을 강조합니다:

• 서로 다른 토크나이저와 그에 따른 재인코딩 오버헤드를 제거합니다.
• 효율적인 비트와이즈 양자화 및 병렬 예측을 통해 고충실도 생성과 견고한 지시 이행을 달성합니다.
• 단일한 표현 공간이 생성된 콘텐츠를 스스로 해석하는 것과 같은 창발적 능력을 가능하게 함을 입증하며, 이는 파편화된 아키텍처로는 달성하기 어려운 부분입니다.

이 연구는 다층 특징 융합, 룩업 프리 양자화, 그리고 병렬 비트와이즈 예측의 결 조합이 통합 멀티모달 시스템을 위한 확장 가능하고 효율적인 경로를 제공한다는 점을 시사합니다.