OpenVision 3: A Family of Unified Visual Encoder for Both Understanding and Generation

이 논문은 VAE 잠재 공간에서 이미지 재구성 및 의미 학습을 동시에 최적화하여 생성과 이해라는 두 가지 작업을 모두 효과적으로 수행하는 통합 비전 인코더 'OpenVision 3'를 제안하고, 이를 통해 생성 및 다중모달 이해 작업에서 기존 CLIP 기반 모델을 능가하거나 견줄 만한 성능을 입증합니다.

핵심

오픈비전 3 (OpenVision 3): 그림을 보고 이해하고, 다시 그리는 '만능 화가'

이 논문은 인공지능이 **그림을 보고 내용을 이해하는 것 (이해)**과 **그림을 새로 만들어내는 것 (생성)**을 동시에 잘할 수 있게 해주는 새로운 기술을 소개합니다. 기존에는 이 두 가지 일을 위해 서로 다른 '전문가' 두 명이 필요했는데, 이 연구는 **한 명의 '만능 전문가'**를 만들어낸 것입니다.

이 기술을 쉽게 이해하기 위해 '도서관 사서'와 '화가'의 비유를 들어보겠습니다.

---

1. 기존 방식의 문제: "두 명의 전문가, 두 개의 책장"

과거의 AI 모델들은 그림을 다룰 때 두 가지 방식을 따로따로 썼습니다.

• 이해 전문가 (사서): 그림을 보고 "이건 강아지야, 배경은 공원이지"라고 설명할 수 있게 훈련되었습니다. 하지만 이 사서는 그림의 미세한 질감이나 색감 같은 디테일은 잘 기억하지 못합니다.
• 생성 전문가 (화가): 그림을 그릴 때 픽셀 하나하나의 색을 정확히 맞추는 데 집중합니다. 하지만 "이 그림이 무슨 의미일까?" 같은 깊은 생각은 잘 못합니다.

기존 시스템은 이 두 전문가를 따로 두고, 그림을 볼 때마다 두 번씩 분석하거나, 두 개의 책장 (데이터) 을 따로 관리해야 했습니다. 이는 비효율적이고 복잡했습니다.

2. 오픈비전 3 의 혁신: "한 명의 '만능 예술가'"

이 연구는 오픈비전 3라는 새로운 모델을 만들었습니다. 이 모델은 그림을 볼 때 **두 가지 능력을 동시에 키우는 '만능 예술가'**입니다.

🎨 핵심 비유: "고급 압축기 (VAE) + 똑똑한 뇌 (ViT)"

이 모델은 그림을 처리할 때 두 단계를 거칩니다.

1. 고급 압축기 (VAE): 먼저 그림을 아주 잘게 부수지 않고, 핵심적인 정보만 남긴 고급 압축 파일로 만듭니다. 마치 고해상도 사진을 압축할 때 화질은 유지하면서 용량만 줄이는 것과 같습니다.
2. 똑똑한 뇌 (ViT): 이 압축된 파일을 **비트 (ViT)**라는 AI 뇌가 읽습니다. 이 뇌는 두 가지 일을 동시에 배웁니다.
   • 일 (이해): 압축된 파일을 보고 "이건 강아지야"라고 설명하는 법을 배웁니다.
   • 일 (생성): 압축된 파일을 다시 원본 그림처럼 완벽하게 복원하는 법을 배웁니다.

3. 왜 이렇게 하면 더 잘할까? (상호 시너지 효과)

이 연구의 가장 놀라운 점은 두 가지 일이 서로를 도와준다는 것입니다.

• 이유 1: "그림을 잘 그리려면 내용을 잘 알아야 한다"
  AI 가 그림을 복원할 때 (생성), 단순히 색만 맞추는 게 아니라 "이건 강아지의 털이야, 저건 공원의 풀이야"라는 의미를 이해해야 더 자연스러운 그림을 그릴 수 있습니다.
• 이유 2: "내용을 잘 이해하려면 디테일을 봐야 한다"
  반대로, AI 가 "이건 강아지야"라고 정확히 말하려면 (이해), 강아지 털의 질감이나 눈빛 같은 세부적인 디테일을 놓치지 않아야 합니다.

결과: 이 두 가지 훈련을 동시에 시키니, AI 는 더 똑똑해지고, 더 예쁜 그림도 그릴 수 있게 되었습니다. 마치 "요리법을 배우면서 식재료의 맛도 더 잘 알게 되고, 반대로 식재료를 잘 알면 요리도 더 맛있게 하는" 것과 같습니다.

4. 실제 성과: "기존 전문가들을 이겼다"

연구진은 이 모델이 얼마나 잘하는지 시험해 보았습니다.

• 그림 복원 능력: 기존에 그림을 잘 그리는 전문 모델들보다 더 선명하고 디테일하게 그림을 다시 그렸습니다. (예: 글자가 적힌 간판이나 꽃의 무늬가 흐트러지지 않음)
• 새 그림 생성 능력: AI 가 새로운 그림을 그릴 때, 기존 모델보다 더 사실적이고 아름다운 그림을 만들어냈습니다.
• 이해 능력: 그림을 보고 질문에 답하는 능력은 세계 최고 수준의 모델 (CLIP) 과 비슷하거나 더 좋은 점수를 받았습니다.

5. 결론: "하나로 모든 것을 해결하다"

오픈비전 3는 "이해와 생성은 서로 다른 일이다"라는 기존의 생각을 깨뜨렸습니다. 이 연구는 하나의 통합된 시스템으로 두 가지 일을 모두 훌륭하게 처리할 수 있음을 증명했습니다.

앞으로 이 기술은 AI 가 그림을 보고 이야기를 나누거나, 우리가 말한 대로 멋진 그림을 그려주는 등 더 자연스럽고 똑똑한 멀티미디어 AI를 만드는 데 큰 기여를 할 것으로 기대됩니다.

---

한 줄 요약:

"그림을 보고 의미를 파악하는 '지식'과, 그 의미를 바탕으로 아름다운 그림을 그리는 '기술'을 하나로 융합하여, 기존 AI 들보다 더 똑똑하고 창의적인 만능 모델을 만든 연구입니다."

기술 요약

1. 문제 정의 (Problem)

다중 모달 모델 (Unified Multimodal Models, UMMs) 의 발전에 있어 시각 표현의 인코딩 방식이 핵심적인 병목 현상으로 작용하고 있습니다.

• 표현의 불일치: 이미지 이해 (고수준 의미론적 정보) 와 이미지 생성 (저수준 픽셀 수준의 정밀도) 은 서로 다른 표현적 요구를 가지므로, 기존 모델들은 종종 두 가지 다른 비전 토크나이저 (Tokenizer) 를 사용하여 이미지를 두 번 인코딩하거나, 양자화 (Quantization) 를 통해 오류를 발생시킵니다.
• 복잡성과 효율성: 별도의 인코더를 사용하는 방식은 시스템 복잡성을 증가시키고, 두 작업 간의 시너지 효과를 저해합니다. 또한, 양자화된 토크나이저는 생성 품질을 제한합니다.
• 과제: 이해와 생성을 모두 자연스럽게 지원하는 단순하면서도 효과적인 연속적 (Continuous) 비전 토크나이저를 개발하는 것이 중요한 과제로 남아 있었습니다.

2. 방법론 (Methodology)

OpenVision 3 는 VAE(변분 오토인코더) 인코더와 ViT(비전 트랜스포머) 인코더를 결합하여 단일 통합 토크나이저를 구축합니다.

• 아키텍처 구조:

  1. VAE 인코더: 입력 이미지를 FLUX.1 VAE 를 통해 잠재 공간 (Latent Space) 으로 압축합니다 (8 배 다운샘플링).
  2. ViT 인코더: VAE 의 잠재 표현을 ViT 인코더에 입력하여 통합된 시각 표현 ($z_u$) 을 추출합니다.
  3. 두 개의 분기 (Branches): 추출된 통합 표현은 두 가지 독립적인 분기로 나뉩니다.
     • 재구성 분기 (Reconstruction Branch): ViT 디코더와 VAE 디코더를 통해 원본 이미지를 재구성합니다. 생성 능력을 향상시키기 위해 입력 표현에 가우시안 노이즈를 추가합니다.
     • 이해 분기 (Understanding Branch): 대비 학습 (Contrastive Learning) 과 이미지 캡션 생성 (Captioning) 을 통해 의미론적 특징을 강화합니다.

• 학습 목표 (Loss Function):

  • 재구성 손실 ($L_{rec}$): 픽셀 수준 재구성 ($L_1$), 잠재 공간 재구성 ($L_1$), 그리고 LPIPS(지각적 손실) 를 포함합니다.
  • 이해 손실 ($L_{und}$): 대비 학습 손실 (CLIP 스타일) 과 캡션 생성 손실 (Autoregressive) 을 결합합니다.
  • 전체 손실: $L_{overall} = \omega_{rec} L_{rec} + \omega_{und} L_{und}$. 이해 능력을 유지하면서 생성 품질을 보존하기 위해 $\omega_{und}$를 $\omega_{rec}$의 두 배로 설정합니다.

• 학습 전략:

  • 점진적 학습: 저해상도 (128x128) 에서 사전 학습 후 고해상도 (224/256) 에서 미세 조정 (Fine-tuning) 하는 방식을 사용합니다.
  • 고정된 VAE: FLUX.1 VAE 는 전체 학습 과정에서 고정 (Frozen) 되며, ViT 인코더/디코더 및 텍스트 관련 모듈만 학습됩니다.

3. 주요 기여 (Key Contributions)

1. 단일 통합 토크나이저: 별도의 인코더 없이 VAE 잠재 공간에서 ViT 를 학습시켜 이해와 생성을 동시에 지원하는 최초의 효율적인 아키텍처 중 하나를 제시합니다.
2. 상호 시너지 효과 발견: 이해 작업 (의미론적 손실) 만 학습해도 재구성 성능이 향상되고, 반대로 재구성 작업만 학습해도 의미론적 정렬이 개선되는 상호 보완적 관계를 실험적으로 증명했습니다.
3. VAE 잠재 공간의 중요성 입증: 원본 이미지 대신 VAE 잠재 공간에서 학습하는 것이 생성 품질 (gFID) 과 재구성 품질 (rFID) 을 획기적으로 개선하며, 다중 모달 이해 능력도 유지/향상시킨다는 것을 증명했습니다.
4. SOTA 성능 달성: 재구성, 생성, 이해 모든 분야에서 기존 통합 토크나이저 및 CLIP 기반 모델들을 능가하는 성능을 기록했습니다.

4. 실험 결과 (Results)

• 재구성 성능 (Reconstruction):

  • ImageNet 및 COCO 데이터셋에서 기존 통합 토크나이저 (UniTok, RAE 등) 를 압도적으로 능가했습니다.
  • rFID: 0.187 (OpenVision 3) vs 0.362 (UniTok), 1.06 (RAE).
  • LPIPS: 0.053 (OpenVision 3) vs 0.132 (UniTok).
  • 텍스트와 미세한 디테일을 정확하게 재구성하는 능력을 시각적으로 입증했습니다.

• 생성 성능 (Generation):

  • RAE 프레임워크 하에서 ImageNet 256x256 생성 평가 수행.
  • gFID: 1.87 (OpenVision 3) vs 2.54 (CLIP 기반), 2.06 (SiT 기반 SD-VAE).
  • 기존 CLIP 기반 인코더보다 훨씬 높은 품질과 다양성을 가진 이미지를 생성합니다.

• 이해 성능 (Understanding):

  • LLaVA-1.5 및 LLaVA-NeXT 프레임워크에 통합하여 평가.
  • SeedBench: 65.8 (OpenVision 3-L) vs 65.4 (CLIP-L).
  • GQA: 62.0 vs 59.4.
  • CLIP 과 동급이거나 특정 벤치마크에서 더 우수한 성능을 보여주며, 의미론적 이해 능력이 손실되지 않음을 확인했습니다.

5. 의의 및 결론 (Significance)

OpenVision 3 는 "플라톤의 표현 가설 (Platonic Representation Hypothesis)"을 지지하며, 이해와 생성이 서로 배타적이지 않고 상호 이익 (Mutually Beneficial) 관계임을 입증했습니다.

• 기술적 혁신: 복잡한 멀티 토크나이저 시스템 없이 단일 인코더로 고수준 의미와 저수준 픽셀 정보를 모두 포착할 수 있는 방법을 제시했습니다.
• 미래 연구 방향: VAE 잠재 공간에서의 통합 학습이 생성과 이해의 균형을 잡는 핵심 요소임을 보여주어, 향후 더 발전된 통합 멀티모달 모델 연구의 기반을 마련했습니다.
• 오픈 소스: 학습 코드, 데이터, 및 토크나이저 체크포인트를 공개하여 커뮤니티의 연구 발전을 촉진할 예정입니다.

요약하자면, OpenVision 3 는 비전 인코더의 설계 패러다임을 변화시켜, 단일 모델로 이미지 이해와 생성이라는 두 가지 거대한 과제를 동시에 해결할 수 있는 강력한 기반을 제공한 획기적인 연구입니다.