Beyond Language Modeling: An Exploration of Multimodal Pretraining

이 논문은 Transfusion 프레임워크를 활용한 원천 멀티모달 사전학습 실험을 통해 시각적 표현의 최적화, 언어와의 시너지, 세계 모델링의 자연스러운 등장, 그리고 MoE 아키텍처를 통한 언어와 비주얼 데이터 간의 스케일링 비대칭성 해결이라는 네 가지 핵심 통찰을 제시합니다.

핵심

이 논문은 **"언어 모델 (LLM) 의 한계를 넘어, 시각과 언어를 하나로 통합한 차세대 AI 를 어떻게 만들 것인가?"**에 대한 답을 제시합니다.

기존의 AI 는 책만 읽어서 세상을 배웠다면, 이 연구는 **"눈을 뜨고 세상을 직접 보며 배우는 AI"**를 만드는 방법을 찾았습니다. 마치 동굴에 갇혀 벽에 비친 그림자 (글자) 만 보던 사람이, 동굴 밖으로 나가 실제 사물과 빛을 직접 경험하는 것과 같습니다.

이 복잡한 연구를 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 핵심 아이디어: "눈과 입을 하나로 합치자"

기존 AI 는 글을 배우는 '입'만 훈련시켰습니다. 하지만 이 연구는 시각 (눈) 과 언어 (입) 를 동시에 훈련시키는 '통합 모델'을 만들었습니다.

• 비유: 과거의 AI 는 요리 레시피 (글자) 만 외워서 요리를 하려 했지만, 이 새로운 AI 는 실제 재료를 보고 만지면서 (시각) 레시피도 읽으며 (언어) 요리를 배웁니다. 그래서 재료가 어떻게 변하는지, 냄새는 어떤지 더 잘 이해하게 됩니다.

2. 네 가지 주요 발견 (비유로 설명)

① "한 가지 눈으로 모든 것을 보자" (RAE)

기존에는 '이해'를 위한 눈과 '생성' (그림 그리기) 을 위한 눈이 따로 있었습니다. 마치 안경을 두 개씩 끼고 다니는 것처럼 복잡했죠.

• 발견: 연구진은 **RAE(표현 오토인코더)**라는 기술을 써서, 단 하나의 눈으로 그림을 이해하고 그리는 것을 동시에 잘하게 만들었습니다.
• 비유: 마치 한 쌍의 선글라스를 끼고 있으면서도, 낮에는 선명하게 보고 밤에는 별자리도 잘 볼 수 있는 '만능 안경'을 개발한 것과 같습니다.

② "글과 영상은 서로 돕는 친구" (상호 보완성)

많은 사람이 "영상을 많이 보면 글쓰기 실력이 떨어지지 않을까?"라고 걱정했습니다.

• 발견: 전혀 그렇지 않았습니다. 오히려 영상 데이터를 함께 학습하면 글쓰기 실력은 그대로 유지되면서, 그림을 그리는 능력과 세상 이치를 이해하는 능력이 훨씬 좋아졌습니다.
• 비유: 요리사에게 레시피 (글) 만 주는 게 아니라, 실제 요리하는 영상 (시각) 도 함께 보여주니, 레시피를 더 잘 이해하고 더 맛있는 요리를 만들게 된 것입니다.

③ "세상을 예측하는 능력 (World Modeling) 은 자연스럽게 생긴다"

AI 에게 로봇이 움직이는 법을 가르치려면 엄청난 양의 로봇 데이터가 필요할 거라고 생각했습니다.

• 발견: 하지만 일반적인 영상과 글을 많이 학습시키면, 별도의 로봇 데이터 없이도 "앞으로 가면 벽에 부딪힌다"거나 "계단을 내려가야 한다"는 물리 법칙을 자연스럽게 깨우칩니다.
• 비유: 아이가 TV 나 유튜브를 많이 보면, 직접 놀이터에 가지 않아도 "공을 차면 굴러간다"는 물리 법칙을 자연스럽게 알게 되는 것과 같습니다.

④ "효율적인 전문가 팀 (MoE)"

글을 배우는 데는 많은 '머리'가 필요하고, 영상을 배우는 데는 많은 '데이터'가 필요합니다. 이 두 가지를 한 모델에 넣으면 서로 방해할까요?

• 발견: **MoE(혼합 전문가)**라는 기술을 써서 해결했습니다. 이는 마치 한 회사에 다양한 전문가 팀을 둔 것과 같습니다.
  • 글을 다룰 때는 '글 전문가' 팀이 나옵니다.
  • 영상을 다룰 때는 '영상 전문가' 팀이 나옵니다.
  • 둘이 섞일 때는 '복합 전문가' 팀이 나옵니다.
• 효과: 이렇게 하면 컴퓨터 자원 (전력) 을 아끼면서도, 언어와 시각이라는 서로 다른 특성을 가진 두 가지 능력을 모두 최고 수준으로 키울 수 있습니다.

3. 결론: 왜 이것이 중요한가?

이 연구는 **"AI 가 더 이상 책만 읽지 않고, 세상을 직접 보고 경험하며 배울 수 있다"**는 것을 증명했습니다.

• 기존: 책만 읽어서 그림자를 이해함 (Plato 의 동굴 비유).
• 이제: 동굴 밖으로 나가 실제 사물을 보고, 물리 법칙을 깨우치고, 자연어 명령으로 로봇을 조종할 수 있음.

이 기술이 발전하면, 우리가 "저기 나무 뒤에 숨어 있는 고양이를 찾아줘"라고 말했을 때, AI 가 단순히 글자만 분석하는 게 아니라 실제 나무의 그림자, 고양이의 움직임, 공간감까지 고려하여 찾아내는 진정한 '세계 모델'을 만들 수 있게 될 것입니다.

한 줄 요약:

"글만 읽던 AI 에게 눈을 뜨게 하고, 다양한 영상과 언어를 함께 가르쳐 세상을 직접 이해하고 예측하는 똑똑한 친구로 만든 연구입니다."

기술 요약

Beyond Language Modeling: An Exploration of Multimodal Pretraining

(언어 모델링을 넘어: 멀티모달 사전 학습의 탐구) 기술 요약

본 논문은 Meta FAIR 및 뉴욕대학교 연구진 (Shengbang Tong, David Fan, Yann LeCun 등) 이 공동 저술한 것으로, 기존 언어 모델 (LLM) 의 한계를 넘어 시각적 세계를 직접 모델링하는 **통일된 멀티모달 사전 학습 (Unified Multimodal Pretraining)**의 설계 공간과 과학적 원리를 체계적으로 규명합니다.

---

1. 문제 정의 (Problem)

기존의 기반 모델 (Foundation Model) 시대는 주로 텍스트 기반의 자기회귀 (autoregressive) 모델 확장에 의해 정의되었습니다. 그러나 텍스트는 현실의 손실 압축 (lossy compression) 일 뿐이며, 물리적 세계의 고충실도 (high-fidelity) 물리 법칙, 기하학, 인과관계를 포착하지 못합니다. 또한 고품질 텍스트 데이터는 고갈 위기에 처해 있습니다.

현재 멀티모달 모델 연구는 대부분 사전 학습된 언어 모델을 기반으로 시각 기능을 추가하는 방식 (Fine-tuning) 을 취하고 있어, 어떤 능력이 새로운 멀티모달 학습에서 비롯된 것인지, 기존 언어 지식에서 유래한 것인지 구분하기 어렵습니다. 또한, 시각과 언어를 처음부터 함께 학습 (from-scratch) 할 때 발생하는 설계 변수들의 상호작용과 확장 법칙 (Scaling Laws) 에 대한 명확한 이해가 부족합니다.

2. 방법론 (Methodology)

저자들은 Transfusion 프레임워크를 기반으로 언어와 비전을 통합하여 처음부터 (from-scratch) 모델을 학습시켰습니다. 주요 방법론적 특징은 다음과 같습니다.

• 학습 목표:
  • 언어: 다음 토큰 예측 (Next-token prediction).
  • 시각: 흐름 매칭 (Flow matching) 기반의 확산 (Diffusion) 모델.
• 데이터: 텍스트, 비디오, 이미지 - 텍스트 쌍 (Image-Text Pairs), 행동 조건부 비디오 (Action-conditioned video) 등 다양한 데이터 소스를 혼합하여 학습했습니다.
• 아키텍처:
  • 단일 디코더 전용 (Decoder-only) 트랜스포머 백본 사용.
  • 시각 표현 (Visual Representation): VAE, 시맨틱 인코더 (SigLIP 2, DINOv2 등), 원시 픽셀 (Raw pixels) 등을 비교 분석.
  • 아키텍처 설계: 공유 FFN 대신 **모달리티별 FFN (Modality-specific FFN)**을 기본으로 채택하고, 혼합 전문가 (MoE, Mixture-of-Experts) 구조를 도입하여 각 모달리티에 대한 역동적인 용량 할당을 연구했습니다.
• 실험 설계: 계산 자원 (Compute budget) 을 통제하여 변수를 분리하고, 시각 표현, 데이터 구성, 세계 모델링 (World Modeling), 아키텍처, 확장 법칙 등 5 가지 축을 체계적으로 분석했습니다.

3. 주요 기여 및 핵심 통찰 (Key Contributions & Insights)

① 단일 시각 표현의 최적화 (Representation Autoencoder - RAE)

• 통찰: 기존에는 이해 (Understanding) 를 위해 시맨틱 인코더를, 생성 (Generation) 을 위해 VAE 를 사용하는 이중 표현이 필요하다고 여겨졌습니다.
• 결과: **RAE(Representation Autoencoder, 예: SigLIP 2)**를 사용하면 하나의 인코더로 시각 이해와 생성 모두에서 최상의 성능을 달성할 수 있음을 증명했습니다. 이는 모델 설계를 단순화하고 오버헤드를 줄이며, 생성과 이해가 상호 보완적임을 보여줍니다.

② 데이터의 시너지 효과 (Data Synergy)

• 통찰: 멀티모달 학습이 언어 능력을 해칠 것이라는 우려와 달리, 시각 데이터는 언어 모델링과 상호 배타적이지 않습니다.
• 결과:
  • 순수 비디오 데이터는 언어 성능에 거의 영향을 주지 않거나 오히려 도움을 줍니다.
  • 이미지 - 텍스트 쌍 (I/T) 데이터는 시각 이해와 생성에 필수적입니다.
  • 시너지: 다양한 멀티모달 데이터 (비디오, 텍스트, I/T) 로 사전 학습하면, 특정 작업 (VQA 등) 에 대한 성능이 단일 모달리티 학습보다 뛰어납니다. 즉, 멀티모달 학습은 하위 작업에 긍정적인 전이 (Positive Transfer) 를 일으킵니다.

③ 세계 모델링의 자연스러운 등장 (Emergent World Modeling)

• 통찰: 물리적 세계 모델링 (World Modeling) 능력을 위해 도메인 특화 데이터 (예: 로봇 내비게이션 데이터) 가 필수적인지 확인했습니다.
• 결과: **멀티모달 사전 학습만으로도 세계 모델링 능력이 자연스럽게 등장 (Emerge)**합니다. 도메인 특화 데이터의 양을 1% 만 사용해도 경쟁력 있는 성능을 달성할 수 있으며, 일반 비디오 데이터 학습이 핵심 능력을 형성하는 데 더 중요합니다. 또한, 자연어 명령을 행동 (Action) 토큰으로 직접 사용하여 제로샷 (Zero-shot) 내비게이션이 가능함을 시연했습니다.

④ MoE 를 통한 효율적인 확장 및 비대칭성 해소 (Scaling Asymmetry & MoE)

• 통찰: 언어와 시각은 확장 법칙 (Scaling Laws) 에서 비대칭적입니다. 언어는 모델 크기에 더 민감하고, 시각은 데이터 양에 훨씬 더 의존적입니다 (Vision is more data-hungry).
• 결과:
  • 확장 비대칭성: 밀집 (Dense) 모델에서는 언어와 시각의 최적 데이터 요구량이 상충되어 한쪽을 희생해야 하는 딜레마가 발생합니다.
  • MoE 의 해결책: 혼합 전문가 (MoE) 아키텍처는 희소성 (Sparsity) 을 통해 총 파라미터 용량과 활성 계산량을 분리합니다. 이를 통해 언어가 필요로 하는 높은 모델 용량을 유지하면서, 데이터 집약적인 시각 학습을 수용할 수 있게 되어 두 모달리티의 확장 불균형을 자연스럽게 해소합니다.
  • 전문가 전문화 (Specialization): MoE 는 학습 과정에서 자연스럽게 텍스트 전문가, 비전 전문가, 멀티모달 전문가로 분화되며, 이는 데이터에 기반한 최적의 용량 할당을 가능하게 합니다.

4. 주요 결과 (Results)

• 성능: 제안된 아키텍처 (MoE + RAE + SigLIP 2) 는 텍스트 퍼플렉시티 (PPL), 이미지 생성 품질 (DPG Bench, GenEval), 시각적 질문 답변 (VQA) 등 모든 지표에서 기존 단일 모달리티 모델이나 다른 멀티모달 아키텍처 (MoT 등) 를 능가하거나 동등한 성능을 보였습니다.
• 확장 법칙: IsoFLOP 분석을 통해 시각은 언어보다 훨씬 더 많은 데이터를 필요로 함을 정량화했으며, MoE 가 이 격차를 줄여주는 효과적인 아키텍처임을 입증했습니다.
• 세계 모델링: 일반 멀티모달 학습만으로도 복잡한 물리적 예측 (내비게이션, 행동 계획) 이 가능함을 보여주었습니다.

5. 의의 및 결론 (Significance)

이 연구는 멀티모달 기반 모델의 설계에 대한 경험적 명확성을 제공합니다.

1. 단일 표현의 타당성: 이해와 생성을 위한 분리된 표현이 불필요하며, 고차원 시맨틱 표현 (RAE) 하나로 충분함을 증명했습니다.
2. 모달리티 경쟁의 해법: 시각과 언어의 경쟁은 설계 선택 (공유 FFN 등) 의 문제였으며, MoE 와 적절한 데이터 구성을 통해 해결 가능함을 보였습니다.
3. 세계 모델로의 진화: 멀티모달 사전 학습은 단순한 이해/생성 모델을 넘어, 물리적 세계를 모델링하고 추론하는 **세계 모델 (World Model)**로 진화할 수 있는 토대를 마련했습니다.

결론적으로, 이 논문은 언어 모델링을 넘어 시각적 현실을 직접 모델링하는 진정으로 통일된 멀티모달 시스템을 구축하기 위한 핵심 설계 원칙 (RAE, MoE, 데이터 다양성) 을 제시하며, 차세대 기반 모델 개발의 방향성을 제시합니다.