InternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing

이 논문은 이해, 추론, 생성 및 편집 기능을 통합하면서도 4B 파라미터의 경량화 구조와 고밀도 의미 데이터 파이프라인을 통해 14B 규모의 기존 모델보다 뛰어난 성능과 효율성을 달성한 범용 멀티모달 모델 'InternVL-U'를 제안합니다.

핵심

🎨 InternVL-U: "모든 것을 할 수 있는 작은 천재" 이야기

이 논문은 InternVL-U라는 새로운 인공지능 모델을 소개합니다. 이 모델은 기존의 복잡한 AI 들과 달리, 매우 작고 가벼우면서도 (40 억 개 파라미터) 그림을 그리는 것, 글을 쓰는 것, 논리적으로 생각하는 것, 그리고 그림을 수정하는 것까지 모든 일을 한 번에 잘 해내는 "만능 요정" 같은 존재입니다.

기존의 AI 들은 보통 "이해하는 AI"와 "그리는 AI"가 따로 놀았거나, 둘을 합치려면 거대한 컴퓨터가 필요했습니다. 하지만 InternVL-U 는 작은 몸집에 큰 능력을 가진 혁신적인 모델입니다.

---

1. 🏗️ 왜 이렇게 작으면서도 강한 걸까? (아키텍처의 비밀)

이 모델은 세 가지 핵심 아이디어로 만들어졌습니다.

• 🧠 "생각하는 두뇌"와 "손을 움직이는 손"을 분리하다

  • 비유: Imagine(상상) 해보세요. 한 사람이 그림을 그리면서 동시에 복잡한 수학 문제를 풀어야 한다면 어떨까요? 머리가 너무 복잡해지겠죠.
  • InternVL-U 는 **이해 (이해)**와 **생성 (그림)**을 위한 역할을 나눕니다.
    • 이해 (Context): 복잡한 문맥을 이해하고 논리를 세우는 것은 기존의 강력한 언어 모델 (InternVL 3.5) 이 담당합니다.
    • 생성 (Head): 그림을 실제로 그리는 것은 전문적인 "그림 그리는 손 (MMDiT)"이 담당합니다.
  • 이렇게 두뇌와 손을 분리해서 연결했기 때문에, 거대한 컴퓨터 없이도 효율적으로 모든 일을 해낼 수 있습니다.

• 👀 "이해용 눈"과 "그림용 눈"을 다르게 쓰다

  • 비유: 우리가 그림을 볼 때, "이건 개야, 저건 나무야"라고 의미를 파악하는 눈과, "이 그림의 픽셀 색상이 어떻게 섞였지?"라고 세부적인 질감을 파악하는 눈은 다릅니다.
  • 기존 모델들은 하나만 썼지만, InternVL-U 는 **의미를 파악하는 눈 (고수준 특징)**과 **그림을 그리는 눈 (저수준 픽셀)**을 따로 가져서 각각의 일에 최적화했습니다.

---

2. 📚 어떻게 배웠을까? (데이터와 CoT 의 마법)

이 모델이 단순히 그림만 잘 그리는 게 아니라, 글자도 정확하게 쓰고, 과학 문제도 풀고, 유머 감각도 갖게 된 비결은 바로 데이터와 생각의 과정 (CoT) 때문입니다.

• 🧩 "생각의 사다리" (Chain-of-Thought, CoT)

  • 비유: "고양이 그림 그려줘"라고 하면 AI 는 그냥 고양이만 그립니다. 하지만 "화난 형을 달래려는 귀여운 강아지 밈 (Meme) 을 그려줘"라고 하면? AI 는 당황할 수 있습니다.
  • InternVL-U 는 단계별로 생각하는 법을 배웠습니다.
    1. "사용자가 원하는 감정은 무엇일까?" (유머, 슬픔, 놀라움)
    2. "어떤 요소가 필요할까?" (강아지, 말풍선, 배경)
    3. "구체적으로 어떻게 표현할까?" (귀여운 표정, 특정 글자 배치)
  • 이렇게 생각의 과정을 거치면서 (CoT) vague(모호한) 지시를 구체적이고 정확한 그림으로 바꿉니다.

• 📝 "글자 쓰기"와 "과학 지식" 훈련

  • 기존 AI 들은 그림에 글자를 쓰면 글자가 뭉개지거나 틀리는 경우가 많았습니다. InternVL-U 는 특수한 데이터로 훈련받아, 복잡한 수학 공식이나 한글, 영어를 그림 안에 정확하게 배치할 수 있게 되었습니다.
  • 또한, 물리 법칙이나 화학 구조식 같은 지식 기반의 그림도 논리적으로 정확하게 그릴 수 있습니다.

---

3. 🏆 실제로 얼마나 잘할까? (성과)

이 모델은 40 억 개 파라미터라는 작은 크기임에도 불구하고, 140 억 개 이상인 거대 모델들보다 더 좋은 성적을 냈습니다.

• 🎨 그림 생성: "왼쪽에 빨간 사과, 오른쪽에 초록 배" 같은 복잡한 지시도 정확히 따릅니다.
• ✏️ 그림 수정: "이 사진의 배경을 숲으로 바꿔줘"나 "이 표지판 글자를 '스타벅스'로 바꿔줘" 같은 작업도 매우 정확하게 합니다. 특히 글자 수정 능력은 기존 모델들을 압도합니다.
• 🧠 논리 추론: 4x4 스도쿠 문제를 풀거나, 기하학적 도형을 회전시키는 등 논리적 사고가 필요한 작업도 잘 해냅니다.
• 😂 유머 감각: "화난 형을 달래는 강아지" 같은 **밈 (Meme)**을 생성할 때, 상황과 감정을 잘 파악해 웃긴 그림을 만들어냅니다.

---

4. 💡 결론: 왜 이 모델이 중요한가?

InternVL-U 는 "작지만 강한" 모델의 새로운 기준을 제시합니다.

• ** democratization (민주화):** 거대한 서버가 없어도, 일반인도 쉽게 접근할 수 있는 수준의 강력한 멀티모달 AI 를 제공합니다.
• AGI(인공일반지능) 에 한 걸음: 단순히 그림을 그리는 것을 넘어, 이해하고, 추론하고, 창의적으로 표현하고, 수정까지 하는 진정한 '만능 AI'에 가까워졌습니다.

한 줄 요약:

"작은 몸집에 거대한 두뇌를 가진, 그림도 그리고 글자도 쓰고 논리도 풀고 유머까지 만드는 '올인원' AI 요정!"

이 모델은 앞으로 우리가 AI 와 소통하는 방식을 바꿀, 매우 흥미로운 시작점이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

통합 멀티모달 모델 (Unified Multimodal Models, UMMs) 은 이해 (Understanding), 추론 (Reasoning), 생성 (Generation), 편집 (Editing) 능력을 하나의 프레임워크로 통합하는 것을 목표로 합니다. 그러나 기존 접근 방식들은 다음과 같은 근본적인 한계와 트레이드오프에 직면해 있습니다.

• 성능과 효율성의 균형 문제: 이해 능력과 생성 능력을 동시에 유지하는 것은 어렵습니다. 강력한 생성 능력을 얻기 위해 모델 크기를 키우면 (예: 14B 이상) 비용이 급증하고, 모델을 작게 유지하면 생성 품질이 떨어집니다.
• 아키텍처적 모순:
  • 전체 네이티브 (Fully-native) 접근: 처음부터 이해와 생성을 함께 학습시키면 데이터 분포의 불일치로 인해 학습이 어렵고, 기존 최첨단 이해 모델 (SOTA MLLM) 의 장점을 살리기 어렵습니다.
  • 전체 앙상블 (Fully-ensemble) 접근: 사전 학습된 이해 모델에 별도의 생성 헤드를 부착하는 방식은 생성 헤드를 크게 하면 비용이 많이 들고, 작게 하면 복잡한 조건부 파이프라인이 필요하여 단일 MLLM 의 은닉 상태 (hidden-state) 와 정렬하기 어렵습니다.
• 데이터 분포의 격차: 기존 생성 모델은 저수준의 미적 품질 (텍스처, 고주파수 디테일) 에 최적화된 자연 이미지로 학습된 반면, 이해 모델은 고수준의 의미론적 밀도 (텍스트, 구조화된 지식, 추론) 가 풍부한 데이터에 최적화되어 있습니다. 이로 인해 텍스트 렌더링, 과학적 추론, 공간적 조작 등 고도의 지능이 필요한 작업에서 UMM 들이 부진합니다.

2. 방법론 (Methodology)

InternVL-U 는 4B(40 억) 파라미터 규모의 경량화된 통합 멀티모달 모델로, InternVL 3.5 를 기반으로 구축되었습니다. 핵심 방법론은 다음과 같습니다.

가. 아키텍처 설계 원칙

1. 통합 컨텍스트 모델링 및 모달리티 적응형 생성 (Unified Contextual Modeling with Modality-Adaptive Generation):
   • 컨텍스트 (이해): 텍스트와 비주얼 토큰을 공유 잠재 공간으로 매핑하여 통합된 자기회귀 (AR) 방식으로 추론합니다.
   • 생성 (예측): 텍스트는 이산적인 토큰 예측 (Cross-entropy) 을, 이미지는 연속적인 공간적 상관관계를 위해 **Flow Matching(확산 모델 기반)**을 사용하는 하이브리드 목적 함수를 채택했습니다.
2. 모달리티별 모듈 설계 (Modality-Specific Modular Design):
   • 백본: InternVL 3.5(MLLM) 를 기반으로 하여 강력한 이해 능력을 유지합니다.
   • 생성 헤드: MMDiT(Multimodal Diffusion Transformer) 기반의 전용 생성 헤드를 도입하여, 백본의 은닉 상태를 조건 (conditioning) 으로 받아 고해상도 이미지를 생성합니다. 이는 백본이 픽셀 수준의 합성에 부담을 지지 않도록 합니다.
3. 해리된 비주얼 표현 (Decoupled Visual Representations):
   • 이해용: 고수준 의미론적 특징을 추출하기 위해 사전 학습된 ViT 를 사용합니다.
   • 생성용: 이미지 재구성을 위해 별도로 학습된 VAE(Variational Autoencoder) 의 잠재 공간 (Latent Space) 을 사용합니다. 이를 통해 이해와 생성 간의 최적화 트레이드오프를 해결했습니다.

나. 데이터 구성 및 CoT(Chain-of-Thought) 중심 합성

모델의 능력을 고도화하기 위해 **고수준 의미 밀도 (High Semantic Density)**가 필요한 작업을 위한 종합적인 데이터 합성 파이프라인을 구축했습니다.

• 추론 중심 (Reasoning-centric) 패러다임: 사용자의 모호한 지시를 구체적인 실행 계획으로 변환하기 위해 **CoT(Chain-of-Thought)**를 도입했습니다.
  • 텍스트 렌더링: 자연 이미지 및 단색 배경에 정확한 텍스트를 배치하는 데이터 생성.
  • 과학적 추론: 수학, 물리, 컴퓨터 과학 (그래프, 트리, FSM 등) 분야의 구조화된 데이터 및 SVG 기반 편집 데이터 생성.
  • 공간 및 유머: 3D 회전, CAD 뷰 변환, 밈 (Meme) 생성 및 편집 데이터 합성.
• CoT 의 역할: 추상적인 사용자 의도를 구체적인 시각적 디테일, 제약 조건, 실행 단계로 세분화하여 모델이 복잡한 지시사항을 정확하게 따르도록 돕습니다.

다. 학습 전략

1. 1 단계 (생성 헤드 프리트레이닝): MLLM 백본을 고정하고 생성 헤드를 텍스트 - 이미지 및 이미지 편집 데이터로 학습.
2. 2 단계 (임의 해상도 계속 학습): 다양한 종횡비와 해상도 (512~1024px) 에서 학습하여 시각적 충실도 향상.
3. 3 단계 (통합 지도 미세조정): 전체 모델을解冻 (unfreeze) 하여 MLLM 의 추론 능력과 생성 능력을 통합. CoT 데이터와 편집 데이터를 혼합하여 학습.

3. 주요 기여 (Key Contributions)

1. InternVL-U 아키텍처 제안: 통합 컨텍스트 모델링, 해리된 비주얼 표현, 모달리티별 모듈 설계를 통해 4B 파라미터 규모로 이해, 추론, 생성, 편집을 모두 수행 가능한 효율적인 UMM 을 구현했습니다.
2. 고수준 의미 밀도 데이터 파이프라인 및 CoT 패러다임: 텍스트 렌더링, 과학적 추론, 공간 조작, 유머 생성 등 복잡한 작업을 위한 대규모 합성 데이터를 구축하고, CoT 를 통해 추상적 의도를 구체적 실행으로 변환하는 방식을 제시했습니다.
3. 새로운 벤치마크 및 평가 도구: 텍스트 편집 평가를 위한 TextEdit Benchmark와 통합 모델 평가를 위한 GenEditEvalKit을 오픈소스로 공개했습니다.

4. 실험 결과 (Results)

InternVL-U 는 4B 파라미터라는 작은 규모에도 불구하고, 14B 이상의 대규모 통합 모델 (예: BAGEL) 및 상용 폐쇄형 모델들을 능가하는 성능을 보였습니다.

• 멀티모달 이해 및 추론: MME-P, OCRBench, MMMU 등 7 가지 벤치마크에서 InternVL-U 는 InternVL 3.5 와 유사한 수준의 이해 능력을 유지하면서, BAGEL(14B) 과 comparable 한 추론 능력을 보여주었습니다.
• 텍스트 - 이미지 생성 (Text-to-Image):
  • 일반 생성: GenEval, DPG-Bench 에서 기존 통합 모델들을 상회하는 점수를 기록했습니다.
  • 텍스트 렌더링: CVTG-2k, LongText-Bench 에서 한글 및 영문 텍스트의 가독성과 정확도가 기존 통합 모델 (BAGEL, Ovis-U1) 보다 월등히 우수하며, 20B 규모의 Qwen-Image 와도 경쟁 가능한 수준을 달성했습니다.
  • 지식 기반 생성: WISE, GenExam 벤치마크에서 CoT 전략을 적용 시 과학적 지식 (물리, 화학, 생물 등) 을 반영한 생성 능력이 크게 향상되었습니다.
• 이미지 편집 (Image Editing):
  • 일반 편집: ImgEdit, GEdit-Bench 에서 높은 점수를 기록했습니다.
  • 텍스트 편집: 새로 구축된 TextEdit Benchmark에서 OCR 정확도 (F1 Score 0.71) 와 MLLM 평가 점수 (0.88) 에서 Nano Banana Pro(상용 모델) 와 유사한 성능을 보이며, 다른 통합 모델들을 압도했습니다.
  • 추론 기반 편집: RISEBench 에서 CoT 전략을 적용한 InternVL-U 는 논리적 추론이 필요한 복잡한 편집 (일정 변경, 알고리즘 시각화 등) 에서 9.4 점의 높은 점수를 기록하여, 20B 모델인 Qwen-Image-Edit(8.9 점) 보다 우수한 성능을 입증했습니다.

5. 의의 및 결론 (Significance)

• 효율성과 성능의 균형 달성: 거대 파라미터 모델 없이도 4B 규모로 통합 멀티모달 능력의 최전선을 보여주어, "민주화 (Democratizing)"된 UMM 의 가능성을 입증했습니다.
• 추론과 생성의 간극 해소: CoT 기반 데이터 합성 전략을 통해 추상적인 사용자 의도를 정밀한 시각적 실행으로 연결하는 데 성공했습니다. 이는 텍스트 렌더링, 과학적 도표 생성, 논리적 편집 등 기존 UMM 이 취약했던 영역을 획기적으로 개선했습니다.
• AGI 지향 모델의 청사진: InternVL-U 는 단순한 이미지 생성을 넘어, 복잡한 지식을 이해하고 추론하여 시각적으로 표현하는 진정한 의미의 범용 인공지능 (AGI) 지향 통합 모델의 발전 방향을 제시합니다.

이 논문은 오픈소스 커뮤니티에 InternVL-U 모델, 코드, 데이터, 평가 도구를 공개하여 멀티모달 AI 연구의 새로운 기준을 마련했습니다.