기술 요약: 병목 현상 없는 통합 멀티모달 모델을 위한 표현 강제화 (Representation Forcing)

1. 문제 정의

통합 멀льти모달 모델(Unified Multimodal Models, UMMs)은 단일 트랜스포머 백본 내에서 인지(텍스트 출력)와 생성(픽셀 출력)을 통합하는 것을 목표로 합니다. 그러나 현재의 최첨단 UMM들은 **구조적 병목 현상(structural bottleneck)**에 의존하고 있습니다. 즉, 별도로 사전 학습된 고정된 변이형 오토인코더(VAE)를 이미지 생성에 활용합니다. 이 패러다임에서 이미지는 디퓨전(diffusion) 전 잠재 공간(latent space)으로 압축되었다가 고정된 디코더를 통해 복원됩니다.

이러한 의존성은 두 가지 주요 문제를 야기합니다:

1. 최적화 불일치(Optimization Mismatch): 잠재 공간이 통합 모델의 특정 목적이 아닌, 재구성(reconstruction)을 위해 최적화되어 있습니다.
2. 품질 상한선(Quality Ceiling): VAE의 손실 압축(lossy compression)은 UMM의 추가 학습으로도 극복할 수 없는 생성 품질의 하드 상한선을 설정합니다.

나이브한 대안은 **픽셀 공간(pixel space)**에서 직접 생성하는 것입니다. 독립적인 모델에서는 실행 가능하지만, 이를 UMM에 적용하면 상당한 품질 격차가 발생합니다. 잠재 공간이 제공하는 구조적 가이드 없이는, 모델이 원시 픽셀로부터 고수준의 의미적 구조(객체 정체성, 레이아웃)와 저수준의 세부 사항(질감)을 동시에 학습하는 데 어려움을 겪기 때문입니다.

2. 방법론: 표현 강제화 (Representation Forcing, RF)

본 논문은 모델 스스로가 표현 예측을 고유한 능력으로 갖추게 함으로써 외부 VAE의 필요성을 제거하는 기술인 **표현 강제화(RF)**를 제안합니다. 핵심 철학은 디코더 자체에 고수준 시각 표현을 내재시켜, 이를 픽셀 생성을 유도하는 중간 토큰으로 사용하는 것입니다.

2.1 핵심 메커니즘

RF는 디코더가 픽셀을 생성하기 전에 시각적 표현을 자기회귀적으로 예측하도록 강제함으로써 작동합니다. 이러한 표현은 텍스트 프롬프트와 픽셀 출력 사이의 명시적인 구조적 스캐폴드(scaffold) 역할을 합니다.

• 표현의 출처: 외부 잠재 공간 대신, RF는 모델의 자체 이해 인코더(understanding encoder)(공동 학습됨)로부터 추출된 특징을 활용합니다. 이 특징들은 객체의 정체성 및 공간적 레이아웃과 같은 고수준 구조를 포착합니다.
• 이산화(Discretization): 이러한 특징들을 (언어 모델링과 호환되는) 다음 토큰 예측 목적 함수 하에서 예측 가능하게 만들기 위해, RF는 인코더의 연속적인 특징을 **온라인 벡터 양자화(online vector quantization)**를 통해 일련의 시각적 표현 토큰으로 이산화합니다.
  • 지수 이동 평균(EMA) 복사본을 사용하여 안정적인 타겟을 제공합니다.
  • 특징들은 학습 가능한 프로토타입 코드북(codebook)에 대해 양자화됩니다.
  • 이 과정은 이미지의 레이아웃을 보존하면서 하나의 공간 패치당 하나의 토큰을 생성합니다.

2.2 아키텍처 및 학습

모델은 모든 토큰이 셀프 어텐션 층을 공유하지만 모달리티별 피드포워드 전문가(expert)로 라우팅되는 혼합 트랜스포머(Mixture-of-Transformers, MoT) 아키텍처(BAGEL 기반)를 따릅니다.

• 통합 시퀀스: 모델은 다음과 같은 통합 시퀀스를 처리합니다: [텍스트 토큰] → [표현 토큰] → [픽셀 패치].
• 어텐션 패턴:
  • 텍스트 및 표현 토큰은 인과적(causal, 자기회귀적) 어텐션을 따릅니다.
  • 픽셀 패치는 패치 간에는 양방향(bidirectional) 어텐션을 따르지만, 이전의 텍스트 및 표현 토큰에는 인과적으로 어텐션을 수행합니다.
• 학습 목적 함수: 모델은 다음의 결합 손실 함수로 엔드 투 엔드 학습됩니다:
  $$\mathcal{L} = \mathcal{L}_{LM} + \mathcal{L}_{Rep} + \mathcal{L}_{FM}$$
  • $\mathcal{L}_{LM}$: 텍스트 다음 토큰 예측을 위한 교차 엔트로피.
  • $\mathcal{L}_{Rep}$: 표현 토کن 예측(이산화된 인코더 특징 예측)을 위한 교차 엔트로피.
  • $\mathcal{L}_{FM}$: 속도 손실(velocity loss)을 사용하는 $x$-예측 기반의 플로우 매칭(flow-matching) 손실.
• 추론(Inference): 과정은 2단계로 진행됩니다. 먼저, 디코더는 텍스트 프롬프트로부터 표현 토큰 전체 시퀀스를 자기회귀적으로 예측합니다. 그 다음, 텍text와 예측된 표현 토큰에 조건화되어, 디코더는 픽셀 공간에서 이미지를 합성하기 위해 반복적인 디노이징(denoising)을 수행합니다.

3. 주요 기여

1. 표현 강제화(RF) 제안: 디코더가 시각적 표현을 중간 토큰으로 예측하도록 학습시켜 픽셀 공간 UMM의 품질 격차를 해소하는 방법론입니다. 이는 외부 VAE의 필요성을 제거합니다.
2. 이중 이점: RF는 이미지 생성과 이해 모두를 개선합니다. 이는 픽셀 공간 모델이 VAE 기반 생성 품질과 대등해질 뿐만 아니라, 이해 작업에서도 이를 능가하게 합니다.
3. 엔드 투 엔드 통합: 본 연구는 별도의 사전 학습된 구성 요소를 조정하는 대신, 인지와 생성이 단일한 엔드 투 엔드 학습된 표현 공간을 공유하는 UMM을 옹호합니다.

4. 실험 결과

저자들은 네 가지 변형 모델을 비교하는 통제된 실험을 수행했습니다: 픽셀 공간 (RF 미적용), 픽셀 공간 (RF 적용), VAE 기반 (RF 미적용), VAE 기반 (RF 적용).

4.1 이미지 생성

• 성능: RF가 적용된 픽셀 공간 모델(RF-Pixel)은 GenEval 종합 점수 0.84(LLM 리라이터 사용 시 0.88)를 달성하여, BAGEL 및 Show-o2와 같은 최첨단 VAE 기반 통합 모델과 대등한 성능을 보였습니다.
• 품질 격차 해소: RF가 없는 픽셀 공간 모델은 GenEval에서 단 0.25점을 기록하며 왜곡된 객체와 일관성 없는 구성을 생성했습니다. RF 적용 시 점수는 0.76으로 급증하며, RF가 필수적인 구조적 가이드를 제공함을 입증했습니다.
• 비교: RF-Pixel은 표준 벤치마크(GenEval, DPG-Bench)에서 VAE 기반 베이스라인과 대등한 성능을 보이면서도 풍부한 질감 세부 사항을 보존합니다.

4.2 이미지 이해

• 성능: RF가 적용된 픽셀 공간 모델(Pixel+RF)은 일반적으로 VAE 기반 모델(VAE+RF)보다 우수한 성능을 보입니다.
• 세부 사항: Pixel+RF는 8개 중 6개의 이해 벤치마크(MMMU, MME, BLINK 포함)에서 성능이 향상된 반면, VAE+RF는 5개에서 향상되었습니다. 특히, Pixel+RF는 일반적인 시각 이해 작업(예: MMMU에서 +4.3)에서 상당한 이득을 보여, VAE 병목을 제거하는 것이 인지와 생성의 더 긴밀한 통합을 가능케 함을 시사합니다.

4.3 절제 연구 (Ablation Studies)

• 예측 vs 정렬: RF(디코더 예측)는 REPA(보조 특징 정렬)보다 성능이 월등히 높았습니다 (GenEval 기준 0.76 vs 0.43). 직접적인 셀프 어텐션을 통한 조건화가 암시적 특징 정렬보다 더 효과적입니다.
• 이산적 vs 연속적: 이산적 토큰 예측(0.76)이 연속적 회귀(0.26)보다 훨씬 뛰어난 성능을 보였습니다. 이산화는 자기회귀적 예측에서 오류 누적을 방지하고 고수준 구조와 저수준 세부 사항의 분리를 강제합니다.
• 인코더 선택: DINOv3(자기 지도 학습)를 이해 인코더로 사용하는 것이 SigLIP2보다 더 나은 결과를 냈는데, 이는 DINOv3의 특징이 더 풍부한 공간적 및 구조적 정보를 포함하고 있기 때문인 것으로 보입니다.

5. 의의 및 주장

본 논문은 표현 강제화(RF)가 완전한 엔드 투 엔드, 병목 현상 없는 통합 멀티모달 모델을 향한 효과적인 단계임을 주장합니다.

• 고유한 능력: 표현을 인지 출력에서 생성 타겟으로 전환함으로써, RF는 외부 잠재 공간에 의존하지 않고 이해와 생성을 단일 표현 공간에 접지(grounding)시킵니다.
• 픽셀 공간 UMM의 실현 가능성: 결과는 구조적 가이드가 표현 강제화를 통해 공급된다면, 픽셀 공간 생성이 단순히 가능한 수준을 넘어 VAE 기반 생성보다 잠재적으로 더 우수할 수 있음을 보여줍니다.
• 미래 방향: 저자들은 이를 모든 멀티모달 능력이 독립적으로 학습된 구성 요소로부터 상속되는 것이 아니라, 단일 모델 내에서 원시 입력으로부터 직접 획득되는 모델로 나아가는 과정으로 보고 있습니다.

참고: 저자들은 사전 학습된 LLM 백본을 사용했다는 점과 현재 연구가 비디오나 시계열 모달리티가 아닌 정지 영상에 집중되어 있다는 점 등 한계점을 인정하고 있습니다.