기술 요약: ILLUME-X

문제 정의

현재 생성형 AI의 발전은 이해를 위한 멀티모달 거대 언어 모델(MLLM)과 이미지 생성을 위한 확산 모델(Diffusion Models) 모두에서 상당한 진전을 이루었습니다. 그러나 자유 형식의 인터리브드(interleaved) 텍스트-이미지 생성에는 여전히 결정적인 격차가 존재합니다. 기존의 통합 모델들은 시각적 스토리텔링, 단계별 튜토리얼, 또는 객체 분해와 같은 복잡한 실제 시나리오에 필요한 임의의 순서(N-to-M 생성)로 텍스트와 이미지를 자율적으로 생성하는 데 어려움을 겪는 경우가 많습니다.

기존 방식들은 다음과 같은 구체적인 한계에 직면해 있습니다:

• 순수 자기 회귀(Auto-Regressive, AR) 모델: 토큰 단위의 생성은 가능하지만, 확산 모델만큼 높은 시각적 충실도를 확보하지 못하는 경우가 많습니다.
• 하이브리드 AR-확산 모델: 두 패러다임을 결합하려고 시도하지만, 종종 불안정한 학습, 낮은 평가 지표, 그리고 성능 저하 없이 길고 복잡한 인터리브드 시퀀스를 처리하지 못하는 문제를 겪습니다.
• 평가 결함: 기존 벤치마크(예: ISG-Bench)는 경직된 출력 구조에 의존하여, 자유 형식의 시퀀스를 생성하는 모델을 위한 객관적이고 견고한 측정을 제공하지 못합니다.

방법론

본 논문은 고품질의 자유 형식 인터리브드 텍스트-이미지 생성을 가능하게 하기 위해 설계된 통합 멀티모달 패러다임인 ILLUME-X를 소개합니다. 이 접근 방식은 세 가지 핵심 축을 기반으로 구축되었습니다:

1. 모델 아키텍처

ILLUME-X는 공유된 어텐션 메커니즘을 통해 교차 모달 표현을 정렬하는 통합 트랜스포머(Unified Transformer) 아키텍처를 활용합니다.

• 인코더: 고수준의 의미적 특징을 추출하기 위한 ViT 인코더와 저수준의 시각적 세부 사항을 포착하기 위한 VAE 인코더라는 별도의 연속적 시각 인코더를 사용합니다.
• 토큰화: 텍스트와 비전 토큰은 하나의 통합된 시퀀스로 연결됩니다. 모달리티 전환을 명시적으로 구분하기 위해 특수 토큰(BOI, EOI, EOI)이 도입되었습니다.
• 인터리브드 어텐션: 모델은 일반화된 인과적 어텐션(causal attention) 메커니즘을 사용합니다. 텍스트와 특수 토큰은 자기 회귀적 특성을 유지하기 위해 인과적 어텐션을 사용하는 반면, 비전 토큰은 전체적인 공간 정보를 포착하기 위해 양방향 어텐션을 사용합니다. 노이즈가 섞인 잠재 토큰과 깨끗한 재구성 토큰은 VAE 잠재 시퀀스 내에 명시적으로 배치됩니다.
• 학습 목표: 다중 목적 최적화 전략이 적용됩니다:
  • 교차 엔트로피(Cross-Entropy, CE) 손실: 언어 숙련도와 원활한 모달리티 전환을 보장하기 위해 텍스트 및 특수 제어 토큰에 적용됩니다.
  • Rectified Flow 기반 MSE 손실: 통합 스트림 내에서 고충실도 이미지 합성을 가능하게 하기 위해 비전 토큰에 적용됩니다.

2. 인터리브드 분류기 없는 가이드 (Interleaved Classifier-Free Guidance, CFG)

이미지 생성의 의미적 정렬을 향상시키기 위해, ILLUME-X는 특화된 인터리브드 분류기 없는 가이드 메커니즘을 제안합니다.

• 텍스트에만 조건화되는 표준 CFG와 달리, ILLUME-X는 조건($c$)과 출력($x$)을 혼합된 텍스트 및 이미지의 시퀀스로 처리합니다.
• 이 방법은 조건을 텍스트($c_{txt}$)와 이미지($c_{img}$) 구성 요소로 분해합니다. 또한 두 단계 가이드 공식을 단순화하기 위해 별도의 스케일링 계수($\gamma_{txt}$ 및 $\gamma_{img}$)를 사용하여 생성 과정을 가이드합니다.
• 학습 중 모델은 텍스트 조건, 이미지 조건, 또는 둘 다를 무작위로 드롭하며, 조건이 드롭되었을 때 특수 토큰을 처리하는 능력을 보존하기 위해 텍스트 토큰에 대한 손실은 제외합니다.

3. 데이터 큐레이션 및 학습 전략

고품질 인터리브드 데이터의 부족을 해결하기 위해, 저자들은 100K 고충실도 학습 샘플을 큐레이팅하는 체계적인 데이터 파이프라인을 구축했습니다:

• 비디오 데이터 추출: 다단계 파이프라인(프레임 샘플링, 필터링, 캡셔닝)을 통해 비디오에서 대표적인 프레임을 추출합니다. 샘플링을 위해 슬라이딩 윈도우 전략을 사용하며, 풍부한 인과적 및 시간적 묘사를 생성하기 위해 다수준 기술 방식(글로벌, 단일 프레임, 크로스 프레임)을 사용합니다.
• 다단계 인컨텍스트 생성: 외부 MLLM이 "감독" 역할을 수행하여 텍스트 청사진(글로벌 및 이미지별 묘사)을 작성합니다. 그 후 인컨텍스트 이미지 생성기가 이러한 묘사와 시각적 차이 분석을 바탕으로 이미지를 반복적으로 합성합니다.
• 다회차 자기 성찰(Multi-Round Self-Reflection): 외부 MLLM이 초기 출력을 비판하고, 결함을 진단하며, 높은 데이터 충실도를 보장하기 위해 모델을 여러 차례의 정제 과정으로 안내하는 반복적 정제 프로세스입니다.
• 점진적 학습: 모델은 자유 길이의 멀티모달 토큰 시퀀스를 위한 자기 적응형 목적 함수를 결합하여, 인컨텍스트 생성 학습과 인터리브드 텍스트-이미지 공동 학습을 포함하는 점진적 학습 전략을 거칩니다.

주요 기여

1. 통합 패러다임: 자기 적응형 목적 함수를 갖춘 점진적 학습 전략을 통해 자유 형식 N-to-M 인터리브드 생성이 가능한 모델인 ILLUME-X를 도입했습니다.
2. 데이터 파이프라인: 비디오 유래 시퀀스와 합성 데이터를 통합하여 모델 학습을 강화하는 100K 고품질 인터리브드 샘플을 큐레이팅하는 효율적이고 확장 가능한 데이터 파이프라인을 제시했습니다.
3. 평가 프로토콜: 복잡한 텍스트-이미지 시퀀스에 특화된 다차원 평가 지표인 ILScore를 구축했습니다. 이는 다음을 평가합니다:
   • 이미지-텍스트 정확도 (정렬, 일관성).
   • 단일 이미지 정확도 (개념 일관성, 미학).
   • 이미지 시퀀스 정확도 (이미지 간 일관성).
   • 텍스트 정확도 (표현력).
4. 성능: 스타일 전이, 이미지 분해, 시각적 스토리텔링을 포함한 여러 인터리브드 작업에서 ILLUME-X가 이전의 통합 모델들을 능가함을 입증했습니다.

실험 결과

본 논문은 여러 벤치마크에서 Emu 3.5, Anole, MiniGPT-5, Show-o 및 Gemini 3 Pro와 같은 상용 에이전트를 대상으로 ILLUME-X를 평가합니다:

• ISG-Bench: ILLUME-X는 통합 모델 중 최고 평균 점수인 6.26을 달성하였으며, 이는 Anole(2.81)과 MiniGPT-5(2.79)보다 120% 이상 높은 수치입니다. 또한 비통합 에이전트 기반 시스템인 ISG-AGENT(6.26)와 대등한 성능을 보였습니다.
• ILScore 평가: 제안된 ILScore에서 ILLUME-X는 최고 종합 점수(5.34)를 기록하며 Emu 3.5(5.33)를 앞질렀고, Gemini 3 Pro(4.84)를 크게 상회했습니다. 스타일 전이, 3D 장면, 이미지 분해 및 시각적 스토리텔링 분야에서 정상을 차지했습니다.
• 텍스트-이미지 벤치마크:
  • GenEval: ILLUME-X는 전체 점수 0.85를 달성하여 OmniGen2(0.80)와 BAGEL(0.82)을 넘어섰습니다.
  • DPG-Bench: 속성(94.08) 및 엔티티(91.80) 카테고리에서 탁월한 성능을 보이며 가장 높은 전체 점수 86.38을 기록했습니다.
• 효율성: 모델은 7B + 7B 파라미터 아키텍처를 사용하며(Emu 3.5의 34B 대비), 현저히 낮은 추론 지연 시간(이미지당 81.33초 vs 409.50초)을 보여 실질적인 배포에 더 적합합니다.

의의 및 주장

본 논문은 ILLUME-X가 자유 형식의 인터리브드 텍스트-이미지 시퀀스를 자율적으로 생성할 수 있게 함으로써 멀티모달 지능의 중요한 진전을 이루었다고 주장합니다. 그 의의는 다음과 같습니다:

• 격차 해소: 단일 타겟 모달리티 제약을 넘어, 임의의 텍스트 및 이미지 시퀀스를 처리하는 단일 프레임워크 내에서 이해와 생성을 성공적으로 통합했습니다.
• 학습 안정화: 점진적 전략과 자기 적응형 목적 함수를 통해 인터리브드 학습에서 흔히 발견되는 불안정성을 해결했습니다.
• 엄격한 평가: 기존 벤치마크의 구조적 한계를 극적으로 극복하여 멀티모달 생성 능력을 보다 정확하게 평가할 수 있는 필수적이고 객적인 평가 프레임워크(ILScore)를 제공했습니다.
• 실용적 타당성: 기존의 무거운 통합 모델들에 비해 더 효율적인 파라미터 수와 낮은 추론 비용으로 고품질 인터리브드 생성이 가능하다는 것을 입증했습니다.

저자들은 현재 512x512에 최적화되어 있는 해상도 스케일링 문제와 컨텍스트 길이 및 아키텍처 제약으로 인한 1024 이상의 고해상도 확장 시의 과제를 언급하며, 고해상도 생성 분야에서의 향후 개선 여지를 인정했습니다.