UniSpace: 통합된 시각적 표현 및 확장 가능한 멀티모달 모델링에 관한 기술 요약

1. 문제 정의

시맨틱 비전 인코더(예: SigLIP, CLIP)는 멀티모달 이해와 시맨틱 컨디셔닝을 위한 표준적인 시각적 인터페이스로 자리 잡았습니다. 그러나 이러한 인코더들은 시맨틱 추상화와 정렬(alignment)에 최적화되어 있어, 최종 토큰이 미세한 시각적 세부 사항을 버리는 경향이 있습니다. 이는 픽셀 수준의 복원력을 저하시켜, 고충실도 이미지 생성 및 참조 보존 편집과 같이 재구성 민감도가 높은 작업에는 부적합하게 만듭니다.

현재의 통합 멀티모달 모델들은 별도의 시각 공간을 결합하여 이 문제를 해결하려고 시도합니다. 즉, 이해를 위한 시맨틱 인코더와 생성 및 편집을 위한 별도의 VAE 잠재 공간(latent space)을 결합하는 방식입니다. 이러한 모델들은 구조적 수준에서는 통합되어 있을지라도(예: 공유 백본 사용), 시각적 표현 수준에서는 여전히 파편화되어 있습니다. 이러한 파편화는 시스템을 복잡하게 만들며, 단일 시각적 인터페이스가 시맨틱 이해, 미세한 재구성, 그리고 생성 모델링을 동시에 지원하는 것을 방해합니다.

본 연구가 제기하는 핵심 질문은, 별도의 VAE 경로를 도입하지 않고도 사전 학습된 시맨틱 Vision Transformer(ViT)를 기반으로 구축된 단일 시각적 표현 공간 내에서 이해, 생성, 편집을 모델링할 수 있는가 하는 점입니다.

2. 방법론

2.1 핵심 통찰: 패치 임베딩 병목 현상 (The Patch Embedding Bottleneck)

저자들은 먼저 왜 사전 학습된 시맨틱 ViT가 이미지를 충실하게 재구성하는 데 실패하는지 조사합니다. 진단 실험(그림 1)을 통해, 그들은 병목 현상이 고정된(frozen) 트랜스포머 블록 자체가 아니라, **원래의 패치 임베딩(patch embedding)**에 있음을 입증했습니다.

• 관찰: 시맨틱 ViT(예: SigLIP2)의 사전 학습된 패치 임베딩을 무작위로 초기화된 선형 투영(linear projection)으로 교체했을 때(모든 트랜스포머 블록은 고정된 상태 유지), 딥 레이어 특징들의 픽셀 수준 복원력(PSNR)이 크게 향상되었습니다(+3.70 dB).
• 결론: 사전 학습된 패치 임베딩은 표현을 시맨틱 추상화 쪽으로 유도하여 저수준의 시각적 변이를 억제합니다. 고정된 트랜스포머 블록은 입력 파라미터화가 허용한다면 본질적으로 픽셀 세부 사항을 전달할 능력을 갖추고 있습니다.

2.2 패치 재매개변수화 (Patch Reparameterization)

이러한 통찰을 활용하기 위해, 저자들은 사전 학습된 시맨틱 경로를 보존하면서 동일한 고정된 백본 내에 재구성 인식 경로를 추가하는 최소한의 적응 방식인 패치 재매개변수화를 도입합니다.

• 이중 경로 (Dual Pathways):
  1. 시맨틱 경로 (Semantic Path): 원래의 사전 학습된 패치 임베딩($P_s$)을 고정하여 시맨틱 표현($T_s$)을 보존합니다.
  2. 재구성 경로 (Reconstruction Path): $P_s$로부터 초기화된 새로운 학습 가능한 재구성 인식 패치 임베딩($P_r$)을 도입합니다. 이는 동일한 고정된 트랜스포머 블록을 통과하여 재구성 토큰($T_r$)을 생성합니다.
• 명시적 토큰 융합 (Explicit Token Fusion): 저자들은 MLP를 통해 특징을 암묵적으로 병합하는 방식이 "얽힌(entangled)" 표현을 초래하여 생성 디코딩에 실패한다는 것을 보여주었기에, 대신 **명시적 채널별 분해(Explicit Channel-wise Decomposition)**를 사용합니다.
  • 재구성 토큰 $T_r$은 학습 가능한 선형 레이어 $W_r$을 통해 더 낮은 차원($d_r$)으로 투영됩니다.
  • 시맨틱 토큰 $T_s$와 압축된 재구성 토큰 $\tilde{T}_r$은 채널 차원을 따라 결합되어 통합 표현 $T_u$를 형성합니다.
  • 이를 통해 재구성 구성 요소가 생성 학습 중에 직접적으로 접근 가능하도록 보장합니다.

2.3 학습 목적 함수 (Training Objectives)

통합 표현은 균형 잡힌 플로우 매칭(Balanced Flow-Matching) 목적 함수를 사용하여 학습됩니다.

• 재구성 학습: 재구성 인식 구성 요소($P_r, W_r$)와 ViT 디코더는 입력 이미지를 재구성하도록 최적화되는 반면, 원래의 시맨틱 경로는 고정된 상태를 유지합니다.
• 생성 모델링: 모델은 통합 표현의 속도(velocity)를 예측하기 위해 조건부 플로우 매칭을 사용합니다. 핵심 혁신은 각 구성 요소(시맨틱 vs 재구성)의 차원에 따라 예측 오차를 정규화하고 명시적인 가중치($\lambda_r = 0.75$로 재구성에 할당)를 부여하는 **균형 잡힌 손실(balanced loss)**입니다. 이는 시맨틱 구성 요소가 생성적 사전 확률(generative prior)을 지배하는 것을 방지하여, 모델이 시맨틱 구조와 미세한 세부 사항을 모두 모델링하도록 보장합니다.

2.4 UniSpace: 통합 멀티모달 모델로의 확장

저자들은 이 표현을 Qwen3-8B 백본을 기반으로 한 8B 파라미터 규모의 Mixture-of-Transformer-Experts (MoT) 모델인 UniSpace로 확장합니다.

• 아키텍처: UniSpace는 패치 재매개변수화된 ViT를 유일한 시각적 인터페이스로 사용합니다. 이를 통해 별도의 VAE 인코더나 잠재 공간의 필요성을 제거합니다.
• 라우팅 (Routing): 작업을 분리하기 위해 하드 라우팅(hard routing)을 채택합니다:
  • 이해 전문가 (Understanding Expert): 시각적 질의응답을 위해 텍스트 및 참조 이미지 토큰($T_u$)을 처리합니다.
  • 생성 전문가 (Generation Expert): 텍스트-이미지 생성 및 이미지 편집을 위해 노이즈가 섞인 시각적 토큰을 처리합니다.
  • 공유 셀프 어텐션 (Shared Self-Attention): 두 전문가 간의 상호작용을 허용하여 병목 현상 없는 컨텍스트를 유지합니다.
• 통합 학습: 모델은 세 단계의 해상도 단계(256, 512, 1024)에 걸친 점진적 커리큘럼을 거친 후, 텍스트-이미지 생성, 지시 기반 이미지 편집, 시각적 이해 데이터의 혼합을 통해 학습됩니다.

3. 주요 기여

1. 패치 재매개변수화: 트랜스포머 블록을 재학습하지 않고도 기존의 시맨틱 인코더를 수정함으로써 미세한 시각적 정보를 보존할 수 있음을 보여주는 기술입니다.
2. 통합 시각적 인코더: 이해, 재구성, 생성을 위한 균형 잡힌 표현을 제공하는 일련의 인코더(PR-SigLIP2, PR-DINOv2, PR-Qwen-ViT)를 구축했습니다.
3. UniSpace: 별도의 VAE 경로 없이 단일 시각적 공간에서 이해, 생성, 편집을 수행하는 8B 파라미터 규모의 통합 멀티모달 모델을 제시하여, 재매개변수화된 표현의 확장성을 입증했습니다.

4. 실험 결과

4.1 통합 토크나이저 평가

• 고충실도 재구성: PR-DINOv2는 ImageNet-1K에서 rFID 0.14, PSNR 30.84를 달성하여, 기존 RAE(rFID 0.57, PSNR 18.86)를 크게 능가하고 FLUX-VAE와 같은 전문 VAE와 경쟁하는 성능을 보였으며, 동시에 시맨틱 능력도 유지했습니다.
• 멀티모달 이해: 재매개변수화된 토크나이저는 시맨틱 이해 능력을 저해하지 않습니다. PR-SigLIP2와 PR-Qwen-ViT는 LLaVA-v1.5 벤치마크에서 평균 점수 각각 64.37과 68.94를 기록하며, 원래의 시맨틱 베이스라인과 대등하거나 이를 약간 상회했습니다.
• 생성-재구성 트레이드오프: 이 방법은 강력한 생성 지표(CFG 없이 gFID 2.10)를 달성하는 동시에 높은 재구성 충실도를 유지하는 유리한 지점을 찾아냈습니다. 이는 잠재 생성 모델에서 달성하기 어려운 균형입니다.

4.2 시스템 수준 평가 (UniSpace)

• 이미지 편집: ImgEdit 벤치마크에서 UniSpace(8B)는 전체 점수 4.28을 기록하여, 비슷한 규모의 통합 모델인 SenseNova-U1(3.90) 및 BAGEL(3.20)을 크게 앞질렀으며, 훨씬 더 큰 규모인 32B Emu3.5(4.41)의 성능에 근접했습니다. 또한 뛰어난 지시 이행 능력과 미세한 세부 사항 보존 능력을 보여주었습니다.
• 텍스트-이미지 생성: OneIG-Bench에서 UniSpace는 이중 언어 평균 0.547을 달성하여 Emu3.5와 SenseNova-U1을 능가했습니다. DPG-Bench에서는 86.49를 기록하여, 특히 관계적 제약 조건이 포함된 밀집된 프롬프트를 따르는 강력한 능력을 보여주었습니다.
• 정성적 결과: 시각적 비교를 통해 UniSpace가 다른 통합 모델들에 비해 프롬프트에 대한 정렬도가 높고 더 풍부한 세부 사항을 가진 이미지를 생성하며, 복잡한 편집 시나리오에서도 아티팩트(artifact)가 적음을 확인했습니다.

5. 의의 및 주장

본 논문은 시각적 능력을 통합하기 위해 새로운 비전 백본을 처음부터 학습시킬 필요가 없다고 주장합니다. 대신, 기존 시맨틱 인코더에 정보가 들어오는 방식을 재매개변수화함으로써, 하나의 고정된 파라미터 공간 내에서 훨씬 더 넓은 범위의 시각적 정보(시맨틱 및 픽셀 수준 모두)를 노출할 수 있습니다.

UniSpace의 의의는 단일 시각적 표현 공간이 대규모 멀티모달 시스템에서 기존의 이중 인터페이스(시맨틱 ViT + VAE) 방식을 효과적으로 대체할 수 있음을 입증했다는 데 있습니다. 하나의 고정되고 재사용 가능한 시각적 토크나이저로 이해, 생성, 편집을 통합함으로써 저자들은 다음을 보여주었습니다:

1. 고충실도 재구성과 시맨틱 이해는 서로 배타적이지 않습니다.
2. 통합된 시각적 공간은 8B 규모에서 실용적인 지시 기반 이미지 편집과 텍스트-이미지 생성을 지원할 수 있습니다.
3. 명시적인 인자 분해(explicit factorization)를 통해 이전의 "얽힌" 통합 표현 문제를 피할 수 있으며, 이는 더 나은 생성 모델링으로 이어집니다.

저자들은 모델의 시맨틱 인코더가 생성 능력을 저해하지 않으면서 이해 작업을 위해 자유롭게 업데이트될 수 없다는 점을 언급하며, 이는 향후 두 목적을 공동으로 최적화하는 방향에 대한 과제로 남겨두며 겸허한 태도를 유지했습니다.