UniCom: Unified Multimodal Modeling via Compressed Continuous Semantic Representations

이 논문은 이산적 토큰화의 정보 손실과 연속적 표현의 학습 불안정성이라는 기존 한계를 극복하기 위해, 압축된 연속적 의미 표현과 주시 기반 압축기를 활용하여 이해와 생성을 모두 최적화하는 통합 멀티모달 모델 'UniCom'을 제안합니다.

핵심

🎨 유니콤 (UniCom): "이미지 이해와 생성을 하나로 묶은 마법 같은 통역사"

이 논문은 인공지능이 이미지를 보고 이해하는 것과 이미지를 만들어내는 것을 동시에, 그리고 훨씬 더 잘하게 해주는 새로운 기술인 **'유니콤 (UniCom)'**을 소개합니다.

기존의 AI 모델들은 이미지를 이해할 때와 만들 때 사용하는 '언어'가 달랐습니다. 마치 영어를 할 줄 아는 사람이 프랑스어로 그림을 그려야 하는 상황과 비슷했죠. 그래서 그림을 그릴 때 디테일이 흐려지거나, 이해한 내용을 그림으로 옮기는 데 실수가 자주 발생했습니다.

유니콤은 이 문제를 해결하기 위해 두 가지 핵심 아이디어를 제안합니다.

---

1. 📦 "고해상도 사진"을 "압축된 지도"로 바꾸다 (압축된 연속 표현)

기존 방식은 이미지를 이해할 때 필요한 방대한 정보 (고해상도 사진) 를 그대로 가지고 있다가, 그림을 그릴 때 이를 조각조각 잘라내어 (이산화) 작은 블록 (토큰) 으로 만들었습니다.

• 비유: 고해상도 원본 사진을 보고 그림을 그리려는데, 모자이크처럼 조각내어 그 조각들만 보고 다시 그리는 것과 같습니다. 당연히 원래의 섬세한 질감이나 작은 글씨 같은 디테일은 사라지기 마련이죠.

유니콤의 해결책:
유니콤은 이미지를 조각내지 않고, 대신 정보의 양만 줄이는 (압축) 방식을 사용합니다.

• 비유: 4K 고화질 사진을 가장 중요한 '지도'와 '나침반'만 남긴 압축 파일로 만드는 것과 같습니다. 사진의 모든 픽셀을 다 저장할 필요는 없지만, "산이 어디에 있고, 나무가 어떤 색인지, 글자가 어떻게 쓰여 있는지"라는 **핵심 의미 (의미론적 정보)**는 완벽하게 보존합니다.
• 효과: AI 는 이 압축된 '지도'를 보고 그림을 그리기 때문에, 원본의 섬세한 디테일 (작은 글씨, 얼굴 특징 등) 이 사라지지 않습니다.

2. 🚀 "질문"이 아니라 "흐름"으로 그림을 그리다 (Transfusion 방식)

그림을 그릴 때 정보를 전달하는 방식도 두 가지가 있었습니다.

1. 질문 방식 (Query-based): AI 가 "이런 그림을 그려줘"라고 질문을 던지고, AI 가 답을 찾아서 그림을 그리는 방식. (비유: 요리사가 레시피를 보고 재료를 찾아서 요리하는 것)
2. 흐름 방식 (Transfusion): 텍스트와 이미지를 하나의 연속된 흐름으로 보고, 한 번에 자연스럽게 그림을 완성하는 방식. (비유: 요리사가 손에 든 재료를 보며 즉흥적으로 요리를 만들어가는 것)

유니콤의 선택:
연구 결과, **흐름 방식 (Transfusion)**이 훨씬 더 빠르고 정확하게 그림을 그리는 것으로 밝혀졌습니다.

• 비유: 질문 방식은 "여기서 저기서 재료를 찾아와야 해서" 시간이 오래 걸리고, 재료를 놓칠 수 있지만, 흐름 방식은 모든 재료가 손에 닿아 있어 훨씬 자연스럽고 일관된 그림을 만들어냅니다. 특히 이미지 편집 작업에서 기존 위치를 유지하면서 새로운 요소를 추가할 때 훨씬 정확합니다.

---

🌟 유니콤이 가져온 놀라운 변화

이 기술을 적용한 결과, AI 는 다음과 같은 능력을 갖게 되었습니다:

• 📝 글자까지 완벽하게 그리는 능력: 기존 AI 들은 그림 속 글자를 그릴 때 뭉개지거나 틀리는 경우가 많았는데, 유니콤은 작은 글자까지 정확하게 그릴 수 있습니다.
• 🎨 정교한 이미지 편집: "배경의 사람을 지우고 리본을 주황색으로 바꿔줘" 같은 복잡한 지시도 얼굴의 특징이나 옷의 질감은 그대로 유지하면서 정확하게 수행합니다.
• 🧠 이해와 생성의 완벽한 조화: 이미지를 보고 "이건 강아지다"라고 이해하는 능력과, "강아지 그림을 그려줘"라고 해서 그리는 능력이 **같은 뇌 (모델)**에서 작동하므로, 서로 모순되는 일이 없어졌습니다.

💡 결론: 왜 이것이 중요한가요?

기존의 AI 모델들은 **이해 (눈)**와 **생성 (손)**이 따로 놀았기 때문에, 그림을 그릴 때 원래의 의미를 잃거나 디테일이 떨어지는 문제가 있었습니다.

유니콤은 이미지를 '조각'으로 자르지 않고, '핵심 의미'만 압축해서 전달함으로써, 이해와 생성을 하나로 통합했습니다. 마치 명화가 그려진 원본을 보며 그리는 화가처럼, AI 가 이제 원본의 모든 디테일과 의미를 잃지 않고 자유롭게 그림을 그릴 수 있게 된 것입니다.

이 기술은 앞으로 더 똑똑하고, 더 섬세하며, 더 창의적인 AI를 만드는 중요한 발판이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 통합 멀티모달 모델 (이해와 생성을 동시에 수행하는 모델) 은 주로 이산적 (discrete) 인 시각 토크나이저를 사용하여 텍스트와 이미지 간의 모달리티 간극을 메우려 합니다. 그러나 이러한 접근 방식에는 두 가지 근본적인 한계가 존재합니다.

1. 이산화 (Discretization) 의 정보 손실: 벡터 양자화 (Vector Quantization) 등을 통해 연속적인 시각 특징을 이산 토큰으로 변환하는 과정은 필연적으로 미세한 공간적 및 질감적 세부 정보가 손실됩니다. 이로 인해 고해상도 이미지 생성이나 정교한 이미지 편집 시 성능이 저하됩니다.
2. 연속 표현의 생성 모델링 난이도: CLIP 나 SigLIP 와 같은 강력한 연속 시각 표현 (Continuous Semantic Representations) 을 직접 사용하는 경우, 고차원 (high-dimensional) 특징 매니폴드가 복잡하고 비부드러워 (non-smooth) 생성 모델 (예: Diffusion) 로 학습하기 어렵고 수렴 속도가 느리며 훈련이 불안정해집니다.

따라서, **미세한 세부 정보를 보존하면서도 생성 모델링이 효율적으로 수행될 수 있는 "통일된 토큰" (Unified Token)**을 찾는 것이 핵심 과제였습니다.

---

2. 방법론 (Methodology)

UniCom 은 **압축된 연속 의미 표현 (Compressed Continuous Semantic Representations)**을 통해 이해와 생성을 통합하는 새로운 프레임워크를 제안합니다.

2.1. 핵심 아키텍처

• 시맨틱 압축기 (Semantic Compressor):
  • 고차원의 시각 특징 (예: SigLIP2) 을 저차원의 연속 잠재 공간 ($\tilde{Z}$) 으로 매핑하는 모듈입니다.
  • 단순한 MLP 가 아닌, **어텐션 기반 (Attention-based)**의 경량 트랜스포머를 사용하여 토큰 간의 장기적인 문맥 관계를 보존합니다. 이는 공간적 구조와 의미적 일관성을 유지하는 데 필수적입니다.
  • 압축 전략: 공간적 다운샘플링 (토큰 수 감소) 보다 **채널 차원 축소 (Channel Dimension Reduction)**가 정보 보존에 훨씬 효과적임을 발견했습니다. (예: 1152 차원 $\rightarrow$ 64 차원).
• 생성 사전 모듈 (Generative Prior Module) & Transfusion 아키텍처:
  • 압축된 잠재 공간에서 텍스트 조건에 따른 이미지를 예측하는 두 가지 경로를 비교했습니다.
    1. Transfusion (Path I): 텍스트 토큰과 이미지 잠재 벡터를 하나의 시퀀스로 통합하여 엔드-투-엔드 학습.
    2. Query-based (Path II): MLLM 에서 학습 가능한 쿼리 토큰을 추출하여 생성을 유도.
  • 실험 결과, Transfusion 경로가 더 빠른 수렴 속도와 이미지 편집 시 더 높은 일관성을 보여 최종 모델에 채택되었습니다.
• 훈련 파이프라인:
  • 재구성 (Reconstruction): 압축기 (Compressor) 와 디코더 (Diffusion Decoder) 를 공동으로 학습하여 $\tilde{Z}$ 공간이 픽셀 수준의 재구성이 가능하도록 만듭니다.
  • 생성 (Generation): 압축기를 고정 (Freeze) 하고, 텍스트 조건에 따라 $\tilde{Z}$를 샘플링하는 Flow Matching 기반의 생성 모델을 학습합니다.

2.2. 주요 설계 통찰

• 채널 압축의 우위: 토큰 시퀀스 길이를 줄이는 것보다 특징의 차원 (Channel) 을 줄이는 것이 고주파 세부 정보 (텍스트, 얼굴 특징 등) 를 보존하는 데 훨씬 유리합니다.
• VAE 불필요: 기존 방법들이 VAE 잠재 공간을 사용하여 정체성 (Identity) 을 유지하려 했던 것과 달리, UniCom 은 풍부한 시맨틱 프리오 (SigLIP 등) 를 압축된 연속 공간으로 직접 활용하여 VAE 없이도 뛰어난 일관성을 달성합니다.

---

3. 주요 기여 (Key Contributions)

1. 새로운 통합 패러다임: 이산적 양자화를 피하고, 압축된 연속 의미 임베딩을 예측함으로써 시각 이해와 생성을 통합하는 효과적인 방식을 정립했습니다. 이는 고수준 의미와 미세한 시각적 세부 정보를 모두 보존합니다.
2. 압축 전략의 발견: 특징 압축 시 채널 차원 축소가 시퀀스 길이를 줄이는 것보다 정보 보존에 훨씬 우수하며, 이를 위해 어텐션 기반 프로젝터가 시맨틱 구조 유지에 결정적임을 증명했습니다.
3. SOTA 성능 달성: UniCom 모델은 이미지 재구성, 텍스트-이미지 생성, 복잡한 이미지 편집 등 다양한 태스크에서 기존 통합 모델들보다 우수한 성능을 기록했습니다. 특히 VAE 에 의존하지 않고도 정교한 편집과 일관성 유지를 가능하게 했습니다.

---

4. 실험 결과 (Results)

• 이미지 재구성 (Reconstruction):
  • ImageNet 검증 세트에서 채널을 18 배 (1152 $\rightarrow$ 64) 압축했음에도 불구하고, 전문 VAE(Flux.1-dev) 와 비교할 수 있는 재구성 품질 (rFID, PSNR) 을 달성했습니다.
  • 특히 텍스트 렌더링, 얼굴 정체성, 미세한 질감 등 고주파 세부 정보를 기존 시맨틱 기반 방법들보다 훨씬 정확하게 복원했습니다.
• 텍스트-이미지 생성 (Text-to-Image Generation):
  • GenEval, DPG-Bench, WISE 등 주요 벤치마크에서 최상위권 (SOTA) 성능을 보였습니다. WISE(세계 지식 기반 평가) 에서 특히 우수한 성능을 보인 것은 풍부한 시맨틱 표현이 텍스트 의미 인코딩에 적합하기 때문입니다.
• 이미지 편집 (Image Editing):
  • ImgEdit-Bench, GEdit-Bench, KRIS-Bench, WorldEdit 등 다양한 편집 벤치마크에서 선두권 성적을 거두었습니다.
  • 핵심 성과: 참조 이미지의 VAE 잠재 벡터를 사용하지 않고도, 텍스트 지시와 시맨틱 특징만으로 객체 교체, 배경 변경, 색상 조정 등에서 높은 일관성을 유지했습니다.
  • Chain-of-Thought (CoT): CoT 추론을 도입하여 복잡한 편집 지시 (예: "동물이 먹이를 구걸하는 행동") 를 수행할 때 모델의 정확도와 제어력을 크게 향상시켰습니다.

---

5. 의의 및 결론 (Significance)

UniCom 은 멀티모달 AI 의 통합 모델링에서 "이산적 토큰화"에서 "압축된 연속 표현"으로의 패러다임 전환을 제시합니다.

• 효율성과 품질의 동시 달성: 고차원 특징을 효율적으로 압축하여 생성 모델의 학습 안정성과 수렴 속도를 높이면서도, VAE 의 한계를 극복하고 고해상도 세부 정보를 보존합니다.
• 범용 인터페이스: 시맨틱적으로 풍부하고 잘 압축된 시각 임베딩은 이해 (Understanding) 와 생성 (Generation) 모두에 유효한 보편적 인터페이스로 작용할 수 있음을 입증했습니다.
• 미래 전망: 이 프레임워크는 비디오 생성, 복잡한 멀티모달 추론 등 다른 도메인으로 확장될 수 있는 강력한 기반을 마련했습니다.

결론적으로, UniCom 은 시각 정보의 표현 방식을 재정의하여, 더 정교하고 제어 가능한 통합 멀티모달 모델의 새로운 기준을 제시한 연구입니다.