Tuna-2: Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation

"Tuna-2: 픽셀 임베딩이 멀티모달 이해 및 생성을 위해 비전 인코더를 능가한다" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

현재의 통합 멀티모달 모델 (UMM) 은 일반적으로 원시 이미지를 잠재 표현으로 변환하기 위해 사전 훈련된 비전 인코더(이해용으로는 CLIP, 생성용으로는 VQ-VAE 등) 에 의존합니다. 이러한 모듈식 접근 방식은 몇 가지 치명적인 한계를 도입합니다:

• 표현 불일치: 이해와 생성을 위한 별도의 인코더는 두 작업 간의 단절을 초래하여 완전한 엔드 - 투 - 엔드 최적화를 방해합니다.
• 유도 편향: 사전 훈련된 인코더는 고정된 입력 해상도를 부과하고 세밀한 저수준 시각적 세부 정보에 대한 접근을 제한하여 정밀한 인식이 필요한 작업의 성능을 저해합니다.
• 아키텍처 복잡성: 인코더, 커넥터, 디코더 등 여러 모듈 구성 요소에 대한 의존성은 학습 파이프라인을 복잡하게 만들고, 모델이 원시 픽셀에서 직접 진정으로 통합된 표현을 학습하는 것을 방해합니다.

저자들은 다음과 같은 질문을 던집니다: 사전 훈련된 비전 인코더를 완전히 폐기하고 원시 픽셀에서 직접 이해와 생성을 모두 수행하는 통합 멀티모달 모델을 구축할 수 있을까요?

2. 방법론

이 논문은 픽셀 공간에서 완전히 작동하는 네이티브 통합 멀티모달 모델인 Tuna-2를 소개합니다. 방법론은 기존 아키텍처를 점진적으로 단순화하는 과정을 통해 개발되었습니다:

A. 아키텍처 진화

저자들은 최종 인코더 없는 설계에 도달하기 위해 세 단계의 진화를 제안합니다:

1. Tuna (베이스라인): 생성용 VAE 인코더와 이해용 표현 인코더 (예: SigLIP) 를 갖춘 표준 모듈식 설계를 사용합니다.
2. Tuna-R (중간 단계): VAE 는 제거하지만 사전 훈련된 표현 인코더(SigLIP 2) 는 유지합니다. 패치 임베딩 레이어를 사용하여 이미지를 토큰으로 변환하여 LLM 디코더에 입력하고, 플로우 매칭을 통해 픽셀 공간 생성을 수행합니다.
3. Tuna-2 (최종 단계): 사전 훈련된 표현 인코더를 완전히 제거합니다. 복잡한 인코더 대신 원시 이미지 픽셀을 직접 토큰화하는 간단한 패치 임베딩 레이어로 대체합니다. 전체 시스템은 텍스트와 시각 토큰을 공동으로 처리하는 단일 모놀리식 Transformer 디코더입니다.

B. 픽셀 공간 생성

잠재 확산 대신 Tuna-2 는 **직교화 플로우 매칭 (rectified flow matching)**을 픽셀 공간에서 직접 적용합니다:

• 목적: 선형 스케줄을 통해 구성된 노이즈 샘플 $x_t$ ($x_t = tx_1 + (1-t)x_0$) 로부터 깨끗한 이미지 $x_1$을 모델이 예측합니다.
• 손실 함수: $v_\theta = \frac{x_\theta - x_t}{1-t}$인 속도 예측 오차 ($v_\theta$) 를 최소화합니다.
• 추론: 오일러 솔버를 사용하여 이미지를 단계별로 노이즈 제거합니다.

C. 마스킹 기반 특징 학습

고차원 픽셀 공간에서 견고한 표현을 학습하는 것의 어려움 (피상적인 단축 경로에 취약함) 을 해결하기 위해 저자들은 마스킹 기법을 도입합니다:

• 메커니즘: 학습 중 무작위 이미지 패치를 마스킹하고 학습 가능한 마스킹 토큰으로 대체합니다.
• 이중 역할:
  • 생성을 위해: 부분적으로 관측된 노이즈 입력으로부터 깨끗한 패치를 재구성하도록 모델을 강제하여 더 어려운 노이즈 제거 작업을 생성합니다.
  • 이해를 위해: 정규화제로 작용하여 모델이 부분적인 시각적 관측 하에서 추론을 수행하도록 강제하고, 특정 시각적 단서에 대한 과도한 의존을 방지합니다.

D. 학습 파이프라인

모델은 두 단계에서 완전한 엔드 - 투 - 엔드 방식으로 학습됩니다:

1. 1 단계 (사전 학습): 이미지 캡셔닝 및 텍스트 - 투 - 이미지 생성에 대한 공동 학습 (이해 70%, 생성 30% 데이터) 을 7B 파라미터 백본 (Qwen2.5-7B-Instruct) 을 사용하여 수행합니다.
2. 2 단계 (SFT): 이미지 지시 따르기, 편집 및 고품질 생성 데이터셋에 대한 지도 미세 조정 (Supervised Fine-Tuning) 을 수행합니다.

3. 주요 기여

1. Tuna-2 아키텍처: 사전 훈련된 비전 인코더를 완전히 폐기하고 픽셀 임베딩에만 의존함으로써 이해와 생성 모두에서 최첨단 (SOTA) 성능을 달성한 최초의 네이티브 UMM 입니다.
2. 인코더 없는 설계의 실증적 검증: 사전 훈련된 인코더가 초기 수렴을 돕지만, 충분한 사전 학습 후 인코더 없는 모놀리식 아키텍처가 멀티모달 이해, 특히 세밀한 작업에서 이를 능가함을 입증합니다.
3. 픽셀 공간 확장성: 픽셀 공간 플로우 매칭이 대규모 통합 모델로 확장되어 고품질 이미지 생성 및 편집을 위한 잠재 공간 접근법과 경쟁할 수 있음을 증명합니다.
4. 마스킹 전략: 고차원 픽셀 공간에서 학습을 안정화하고 표현의 견고성을 향상시키는 마스킹 기반 학습 기법을 도입합니다.

4. 실험 결과

저자들은 Tuna-2 를 다양한 베이스라인 (Tuna, Tuna-R, Show-o2, BAGEL 및 FLUX.1 과 같은 생성 전용 모델 포함) 과 비교 평가했습니다.

• 멀티모달 이해 (표 1):
  • Tuna-2 는 일반 벤치마크 (GQA, MMVet, MMMU) 와 픽셀 중심 벤치마크(V*, CountBench, VisuLogic) 모두에서 7B 규모 네이티브 UMM 간 최첨단 성능을 달성합니다.
  • Tuna-R 보다 세밀한 인식 작업에서 크게 우위를 점하여, 인코더의 유도 편향을 제거함으로써 저수준 시각적 세부 정보 학습이 더 잘 이루어짐을 시사합니다.
• 이미지 생성 (표 2 및 3):
  • Tuna-2 는 GenEval 및 DPG-Bench 에서 최첨단 통합 모델과 경쟁력을 가집니다.
  • Tuna-R(인코더 포함) 이 초기에는 생성 지표에서 약간 앞서지만, Tuna-2 는 SFT 이후 따라잡습니다.
  • 다양성: LLM(GPT-5.4, Claude Opus) 의 평가에 따르면 Tuna-2 는 Tuna-R 및 Tuna 보다 훨씬 더 다양한 이미지를 생성합니다.
• 이미지 편집 및 재구성 (표 4 및 5):
  • Tuna-2 는 이미지 편집 (ImgEdit) 에서 강력하게 수행하여 많은 통합 베이스라인을 능가합니다.
  • 이미지 재구성 작업에서 Tuna-2 는 FLUX.1 과 같은 전문 VAE 와 비교 가능한 재구성 품질 (PSNR/SSIM) 을 달성하여, 픽셀 공간 표현이 시각 정보를 충실하게 인코딩할 수 있음을 증명합니다.
• 주의 분석 (그림 7):
  • 시각화 결과 Tuna-2 는 더 정확하고 안정적인 주의 맵을 가지며, 언어적 사전 지식이 오해의 소지가 있을 때 (예: 축구 컨텍스트에서 유리잔 식별) 관련 시각 영역에 올바르게 초점을 맞추는 반면, 인코더 기반 모델은 종종 텍스트 사전 지식이나 눈에 띄는 방해 요소에 의존함을 보여줍니다.

5. 의의 및 결론

이 논문은 고성능 멀티모달 AI 를 위해 사전 훈련된 비전 인코더가 필수적이다는 지배적인 패러다임을 근본적으로 도전합니다.

• 패러다임 전환: "엔드 - 투 - 엔드 픽셀 공간 학습"이 더 강력한 시각 표현을 개발하기 위한 실현 가능하고 우월한 경로임을, 특히 세밀한 인식이 필요한 작업의 경우 입증합니다.
• 단순성: 복잡한 모듈식 인코더를 제거함으로써 Tuna-2 는 아키텍처를 단일 Transformer 로 단순화하여 엔지니어링 오버헤드를 줄이고 진정한 공동 최적화를 가능하게 합니다.
• 미래 방향: 결과는 향후 네이티브 UMM 이 잠재 공간 압축보다 직접 픽셀 모델링을 우선시해야 함을 시사합니다. 후자는 모델이 고품질 시각적 세부 정보를 인식하고 생성하는 능력을 제한할 수 있는 정보 병목 현상을 도입할 수 있기 때문입니다.

요약하자면, Tuna-2는 원시 픽셀에서 직접 학습된 단순한 인코더 없는 아키텍처가 복잡한 인코더 기반 시스템보다 이해 면에서 우위를 점하면서도 경쟁력 있는 생성 능력을 유지할 수 있음을 증명하여, 차세대 멀티모달 모델을 위한 확장 가능한 청사진을 제시합니다.