A Simple Baseline for Unifying Understanding, Generation, and Editing via Vanilla Next-token Prediction

이 논문은 다음 토큰 예측을 기반으로 한 간단한 오토레거시 모델인 Wallaroo 를 통해 멀티모달 이해, 이미지 생성 및 편집을 통합하고 다양한 해상도와 다국어 지원을 구현하는 새로운 접근법을 제시합니다.

핵심

월라루 (Wallaroo): "한 마리의 천재 오리가 세 가지 일을 동시에 하는 방법"

이 기술 보고서는 **'월라루 (Wallaroo)'**라는 새로운 인공지능 모델을 소개합니다. 이 모델은 그림을 이해하고, 그리고, 수정하는 세 가지 일을 하나의 시스템으로 통합했습니다.

기존의 복잡한 방법들을 버리고, 아주 단순한 원리인 **"다음 단어 예측 (Next-Token Prediction)"**만으로 이 모든 것을 해낸 것이 핵심입니다. 마치 한 마리의 오리가 물속에서 헤엄치고, 공중에서 날며, 땅에서 뛰어다니는 것처럼, 월라루는 하나의 뇌로 모든 일을 처리합니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 핵심 아이디어: "모든 것을 언어로 바꾸기"

기존의 AI 들은 그림을 이해할 때와 그림을 그릴 때 서로 다른 '뇌'를 사용하거나, 그림을 그릴 때 소음 (노이즈) 을 제거하는 복잡한 과정을 거쳤습니다. 마치 그림을 이해할 때는 '미술관 큐레이터'가, 그림을 그릴 때는 '화가'가 따로 일하는 것과 비슷합니다.

하지만 월라루는 다릅니다.

• 비유: 월라루는 그림을 그릴 때도, 이해할 때도 **"단어"**로만 생각합니다.
  • 그림을 보면 그림을 "단어 나열"로 해석합니다.
  • 그림을 그릴 때는 "단어 나열"을 다시 그림으로 번역합니다.
  • 그림을 고칠 때는 "단어 나열"을 수정합니다.

이렇게 하면 AI 가 그림과 텍스트를 오가는 과정에서 정보를 잃지 않고, 훨씬 더 자연스럽게 대화하듯 그림을 다룰 수 있습니다.

2. 월라루의 세 가지 능력 (한 마리의 오리가 세 가지 일을 하다)

이 모델은 세 가지 주요 능력을 하나의 몸통에 담았습니다.

① 이해하기 (눈)

• 상황: "이 사진에 고양이가 몇 마리 있나요?"라고 물으면 답을 합니다.
• 비유: 월라루는 큐레이터처럼 그림을 꼼꼼히 살펴보고 내용을 설명해 줍니다. 기존에 그림을 이해하는 데 특화된 모델 (Qwen2.5 VL) 을 그대로 사용해서, 이해하는 능력은 이미 매우 뛰어납니다.

② 그리기 (손)

• 상황: "고양이가 모자를 쓴 그림을 그려줘"라고 하면 그림을 그립니다.
• 비유: 월라루는 화가가 됩니다. 하지만 기존 화가들은 그림을 그릴 때 '점 (Pixel)' 하나하나를 직접 칠하는 대신, 그림을 **레고 블록 (숫자 코드)**으로 쪼개어 나열합니다.
  • "레고 블록 1 번, 레고 블록 5 번, 레고 블록 3 번..."이라고 말하면, AI 는 이 나열된 블록을 다시 그림으로 조립합니다.
  • 이 방식 덕분에 이해하는 능력과 그리는 능력을 동시에 훈련할 수 있습니다.

③ 수정하기 (가위와 풀)

• 상황: "고양이 모자를 빨간색으로 바꿔줘"라고 하면 그림을 수정합니다.
• 비유: 월라루는 수리공입니다. 여기서 재미있는 점은, 그림을 고칠 때 두 가지 눈을 쓴다는 것입니다.
  • 큰 눈 (의미): "여기에 고양이가 있구나"라고 파악합니다.
  • 작은 눈 (디테일): "고양이 털 결이 어때?"라고 세세하게 봅니다.
  • 이 두 눈을 동시에 사용하여, 그림의 의미는 유지하면서 디테일만 바꾸는 정교한 수정을 가능하게 합니다.

3. 어떻게 훈련시켰을까요? (4 단계 교육 과정)

월라루를 가르치는 과정은 마치 유치원부터 대학원까지 가는 4 단계 과정과 같습니다.

1. 1 단계 (기초 다지기): 그림을 그리는 '손'을 처음 만들어 봅니다. 아직은 간단한 그림만 그릴 수 있습니다.
2. 2 단계 (이해와 그리기 병행): 그림을 보는 '눈'과 그리는 '손'을 함께 훈련시킵니다. 그림을 보며 설명하고, 설명을 들으며 그리는 연습을 합니다.
3. 3 단계 (크기 조절 훈련): 그림 크기를 다양하게 조절하는 법을 배웁니다. 384x384 픽셀부터 512x512 픽셀까지, 다양한 크기의 그림을 다룰 수 있게 됩니다.
4. 4 단계 (실전 통합): 이해, 그리기, 고치기 세 가지 일을 모두 섞어서 훈련합니다. 이제 월라루는 어떤 명령이 들어와도 상황에 맞춰 가장 적합한 일을 수행할 수 있습니다.

4. 왜 이것이 중요한가요? (장점과 한계)

장점: 단순함의 힘

• 기존 모델들은 이해와 생성을 연결하기 위해 복잡한 장치를 많이 썼습니다. 하지만 월라루는 **"다음 단어를 예측한다"**는 아주 단순한 원리 하나로 모든 것을 해결했습니다. 이는 마치 복잡한 기계 대신, 한 줄의 시로 모든 감정을 표현하는 것과 같습니다.
• 중국어와 영어를 모두 잘하며, 다양한 크기의 그림을 다룰 수 있습니다.

한계: 레고 블록의 한계

• 월라루는 그림을 '레고 블록 (숫자 코드)'으로 표현하기 때문에, 아주 미세한 디테일 (예: 털 한 올 한 올의 정교함) 은 기존에 그림을 직접 그리는 방식 (확산 모델) 보다 조금 떨어질 수 있습니다.
• 마치 레고로 만든 성은 웅장하지만, 유화처럼 부드러운 붓터치는 완벽하지 않을 수 있는 것과 비슷합니다.

5. 결론: 미래는 어떻게 될까?

이 연구는 **"AI 가 그림을 이해하고, 만들고, 고치는 일을 하나의 뇌로 통합할 수 있다"**는 것을 증명했습니다.

• 미래의 비전: 앞으로는 사용자가 "이 그림의 배경을 바다로 바꿔주고, 고양이 모자를 벗겨줘"라고 말하면, AI 가 고민 없이 바로 실행해 줄 것입니다.
• 작은 발견: 연구자들은 그림을 고칠 때, 정보의 순서 (먼저 큰 그림을 볼지, 먼저 디테일을 볼지) 가 결과에 큰 영향을 준다는 것을 발견했습니다. 이는 마치 글을 쓸 때 문장 순서를 잘 맞추는 것이 중요하듯, AI 가 정보를 처리하는 순서도 매우 중요하다는 것을 보여줍니다.

한 줄 요약:
월라루는 복잡한 장치를 덜어내고, "그림을 언어처럼 다루는" 단순한 방식으로, 그림을 보고, 그리고, 고치는 모든 일을 한 번에 해내는 새로운 AI 의 시대를 열었습니다.

기술 요약

Wallaroo: 단순한 다음 토큰 예측을 통한 이해, 생성, 편집의 통합

1. 문제 정의 (Problem)

최근 멀티모달 인공지능 분야에서 이해 (Understanding), 생성 (Generation), 편집 (Editing) 기능을 하나의 모델로 통합하는 것은 인공일반지능 (AGI) 을 향한 핵심 단계로 주목받고 있습니다. 기존 통합 모델들은 주로 세 가지 접근 방식을 취해 왔으나, 각각의 한계가 존재합니다.

1. 조건부 인코더 기반 (Conditional Encoders): 멀티모달 이해 모델을 확산 (Diffusion) 생성 모델의 조건부로 사용하는 방식 (예: OmniGen2). 이는 이해에서 생성으로의 단방향 정보 흐름을 가지며, 상호작용 효율이 낮습니다.
2. 변환기 내 통합 (Integrating AR & Diffusion): 자기회귀 (AR) 이해와 확산 생성을 트랜스포머 내에 병렬로 통합하는 방식 (예: Bagel). 확산 과정의 노이즈 표현으로 인해 정보 상호작용 효율이 상대적으로 낮고, 어텐션 마스크 설계가 복잡합니다.
3. 다음 토큰 예측 기반 (Next-token Prediction): 순수한 자기회귀 (Autoregressive) 모델을 사용하여 이해와 생성을 통합하는 방식 (예: Chameleon, Janus). 구조적 복잡성을 줄이고 정보 상호작용 효율을 높이지만, 시각 토크나이저의 성능 부족이나 이해와 생성 간의 역할 충돌로 인해 최적의 성능을 내기 어려운 경우가 많았습니다.

이러한 배경 하에서, **단순한 자기회귀 모델 (Vanilla Next-token Prediction)**만으로 멀티모달 이해, 이미지 생성, 편집을 동시에 수행하면서도 고성능을 달성할 수 있는 방법론에 대한 연구가 필요했습니다.

2. 방법론 (Methodology)

저자들은 Wallaroo라는 새로운 자기회귀 베이스라인을 제안했습니다. Wallaroo 는 Qwen2.5 VL 을 백본으로 사용하며, 최소한의 수정을 통해 다음 토큰 예측 패러다임을 기반으로 이해, 생성, 편집을 통합합니다.

2.1 아키텍처 (Architecture)

• 백본: Qwen2.5 VL (7B) 을 기반으로 합니다.
• 시각 인코딩 분리 (Decoupling):
  • 이해 (Understanding): 기존 Qwen2.5 VL 의 내장된 NaViT를 사용하여 이미지를 인코딩합니다.
  • 생성 (Generation): 이미지 생성을 위해 LlamaGen의 VQ 토크나이저를 추가하여 이미지를 이산적인 ID 로 변환하고 1 차원으로 평탄화합니다. 생성용 MLP 어댑터와 생성 헤드를 추가합니다.
  • 편집 (Editing): 이해와 생성의 장점을 결합하기 위해 **NaViT(시맨틱 표현)**와 **VQ 토크나이저(로우 레벨 표현)**를 동시에 입력으로 사용합니다. 이를 위해 별도의 편집용 MLP 어댑터와 편집 헤드를 도입하여 표현 정렬을 수행합니다.
• 멀티 해상도 지원: 특수 토큰 <hw_info>를 사용하여 생성할 이미지의 높이와 너비를 명시하며, 행 단위의 라인 브레이크를 나타내는 <eol> 토큰을 사용하여 다양한 해상도의 이미지 생성을 지원합니다.

2.2 4 단계 학습 전략 (Four-stage Training Strategy)

모델의 능력을 재구성하기 위해 정교한 4 단계 학습 과정을 거칩니다.

1. 1 단계: 예비 생성 정렬 (Preliminary Generation Alignment): 생성용 어댑터와 헤드를 학습시키고 나머지 파라미터는 고정하여 Qwen2.5 VL 의 표현 공간에 생성 기능을初步적으로 정렬합니다.
2. 2 단계: 이해와 생성의 공동 사전 학습 (Joint Pretraining): 멀티모달 이해 데이터와 텍스트 - 이미지 생성 데이터를 함께 사용하여 표현 공간을 정렬합니다. NaViT 와 VQ 토크나이저를 제외한 전체 모델을 미세 조정합니다.
3. 3 단계: 이미지 크기 확장 및 멀티 해상도 적응: 이미지 크기를 384x384 에서 512x512 로 확장한 후 학습을 진행하며, 이후 다양한 해상도 (512x512 중심) 의 이미지로 멀티 해상도 학습을 수행합니다.
4. 4 단계: 통합 미세 조정 (Unified Fine-tuning): 고품질의 편집 데이터를 소량 추가하여 이해, 생성, 편집 세 가지 태스크를 동시에 미세 조정합니다.

2.3 학습 목표

단순한 **다음 토큰 예측 손실 (Next-token prediction loss)**을 사용하며, 세 가지 태스크 (이해, 생성, 편집) 간의 균형을 위해 모든 태스크에 동일한 가중치 (1) 를 부여합니다.

3. 주요 기여 (Key Contributions)

1. 선구적인 통합 모델: 단순한 자기회귀 모델 (Next-token prediction) 을 사용하여 멀티모달 이해, 이미지 생성, 편집을 동시에 통합한 선구적인 시도 중 하나입니다.
2. 다양한 기능 지원:
   • 멀티 해상도: 다양한 해상도의 이미지 입력 및 출력을 지원합니다.
   • 양국어 지원: 중국어와 영어를 모두 지원합니다.
3. 경쟁력 있는 성능: 다양한 벤치마크에서 기존 통합 모델들을 능가하거나 경쟁력 있는 성능을 보여주어, 자기회귀 모델이 멀티모달 통합 분야에서 큰 잠재력을 가지고 있음을 입증했습니다.

4. 실험 결과 (Results)

Wallaroo 는 다양한 벤치마크에서 평가되었으며, 주요 결과는 다음과 같습니다.

• 멀티모달 이해 (Multi-modal Understanding):
  • POPE, MME, MMB, SEED, GQA, MMMU, MM-Vet 등 주요 벤치마크에서 Qwen2.5 VL 과 유사하거나 더 나은 성능을 보였습니다.
  • 특히 MMB 점수 (83.0) 에서 Janus-Pro, Mogao, OmniGen2 등을 능가했습니다. 이는 생성 기능을 통합하더라도 이해 성능이 크게 저하되지 않음을 의미합니다.
• 이미지 생성 (Image Generation):
  • GenEval: Janus-Pro 및 Show-o2 와 경쟁력 있는 결과를 보였습니다 (Overall 0.75). 확산 기반 모델 (OmniGen2 등) 에는 미치지 못하지만, VQ 인코딩의 한계 (세부 정보 손실) 를 고려할 때 순수 자기회귀 모델로서는 매우 우수한 성과입니다.
  • DPG: JanusFlow 및 EMU3 와 경쟁력 있는 결과를 보였습니다.
• 이미지 편집 (Image Editing):
  • ImgEdit: AnyEdit, UltraEdit, OmniGen 등 순수 생성/편집 모델들을 능가하는 2.92 의 전체 점수를 기록했습니다.
  • 확산 기반 통합 모델 (BAGEL, OmniGen2 등) 에는 다소 뒤처지지만, 이는 VQ 토크나이저의 한계 때문으로 분석됩니다.
  • Janus-4o 보다 낮은 성능을 보였는데, 이는 Janus-4o 가 이해 능력을 희생하고 생성/편집에 집중하는 반면, Wallaroo 는 세 가지 태스크의 균형을 중요시하기 때문으로 추측됩니다.

5. 의의 및 논의 (Significance & Discussion)

• 자기회귀 모델의 잠재력: 확산 모델의 노이즈 표현 없이 순수한 다음 토큰 예측만으로 이해와 생성을 통합할 수 있음을 보여주었습니다.
• 표현의 불일치 해결: 고수준의 이해 표현과 저수준의 생성 표현 간의 충돌을 해결하기 위해 편집 (Editing) 태스크가 중요한 연결 고리 역할을 할 수 있음을 시사합니다. 편집 작업은 고수준 의미와 저수준 디테일을 모두 필요로 하므로, 두 표현을 자연스럽게 조율하는 중간 매개체 역할을 합니다.
• 포지셔널 인코딩의 중요성: 이해 (2D) 와 편집 (1D) 작업에 서로 다른 포지셔널 인코딩 방식을 적용할 때 이미지 일관성과 편집 성능이 크게 향상됨을 발견했습니다.
• 토큰 시퀀스 순서: 편집 태스크에서 토큰 정보의 순서 (로우 레벨 표현이 고수준 표현보다 앞서야 함) 가 성능에 결정적인 영향을 미친다는 사실을 발견했습니다.

결론

Wallaroo 는 복잡한 구조나 확산 모델 없이도, 단순한 자기회귀 프레임워크를 통해 멀티모달 이해, 생성, 편집을 통합할 수 있는 강력한 베이스라인을 제시합니다. VQ 토크나이저의 한계는 여전히 존재하지만, 이 연구는 자기회귀 모델이 멀티모달 AI 의 미래 방향성으로서 큰 가능성을 가지고 있음을 명확히 보여줍니다.