LLaDA-o: An Effective and Length-Adaptive Omni Diffusion Model

이 논문은 텍스트 이해와 시각 생성을 위한 혼합 확산 (MoD) 프레임워크와 길이 적응 전략을 통해 멀티모달 이해 및 생성에서 최첨단 성능을 달성한 'LLaDA-o' 모델을 제안합니다.

핵심

1. 핵심 아이디어: "한 명의 요리사, 두 개의 전문 주방"

기존의 AI 모델들은 보통 한 가지 방식만 사용했습니다. 예를 들어, 텍스트를 다룰 때는 '글자 하나씩 순서대로 나열하는 방식 (자동 완성)'을 썼고, 그림을 그릴 때는 '노이즈를 서서히 제거하는 방식 (확산)'을 썼습니다. 이 두 가지를 섞으려다 보니 AI 가 혼란을 겪거나 성능이 떨어지는 문제가 있었습니다.

LLaDA-o는 이를 해결하기 위해 **"혼합 확산 (Mixture of Diffusion)"**이라는 독특한 방식을 도입했습니다.

• 비유: imagine 하세요. 거대한 식당에 **한 명의 천재 요리사 (공통 두뇌)**가 있습니다.
  • 식탁 (텍스트 이해): 손님이 주문한 메뉴 (텍스트) 를 이해할 때는, 요리사가 **가려진 식자재 (마스크된 글자)**를 보고 "아, 여기는 고기가 들어갈 거야"라고 한 번에 여러 개를 동시에 추측합니다. (이건 '마스크 확산' 방식입니다.)
  • 주방 (이미지 생성): 손님이 "멋진 sunset 그림 그려줘"라고 요청하면, 요리사는 **흐릿한 안개 (노이즈)**를 천천히 걷어내며 **선명한 그림 (이미지)**을 만들어냅니다. (이건 '연속 확산' 방식입니다.)

LLaDA-o 의 가장 큰 특징은 이 두 가지 작업을 **서로 다른 전문가 (Expert)**에게 맡기되, **같은 두뇌 (Attention Backbone)**를 공유한다는 점입니다.

• 텍스트 이해 전문가: 글자를 동시에 추측하는 데 특화됨.
• 이미지 생성 전문가: 안개를 걷어내며 그림을 그리는 데 특화됨.
• 공통 두뇌: 두 전문가가 서로 대화하고 정보를 공유할 수 있게 해주는 연결고리 역할을 합니다.

이렇게 하면 AI 가 "글자는 글자대로, 그림은 그림대로" 최적의 방법으로 처리하면서도, 서로의 정보를 자연스럽게 융합할 수 있습니다.

2. 새로운 기술: "유연한 길이 조절 (Length-Adaptive)"

기존 모델들은 그림이나 글을 만들 때 **반드시 정해진 칸 수 (예: 100 자, 100 픽셀)**만 채우도록 설계되어 있었습니다. 만약 손님이 "짧은 문장만 써줘"라고 하면 100 칸을 억지로 채우거나, "긴 설명이 필요해"라고 하면 100 칸이 부족해 문제가 생겼습니다.

LLaDA-o는 데이터 중심의 유연한 길이 조절 전략을 도입했습니다.

• 비유: 마치 마술사가 변하는 지팡이처럼 작동합니다.
  • 훈련할 때, AI 는 "오늘은 10 칸만 채워봐", "내일은 50 칸까지 이어봐"라고 무작위로 길이를 바꿔가며 연습합니다.
  • 실제 사용할 때는, AI 가 "이제 다 썼어 (종료)"라고 판단하면 즉시 멈추고, "아직 더 쓸 게 있어"라고 판단하면 새로운 칸을 추가하며 계속 이어갑니다.
  • 결과적으로 사용자의 요청에 맞춰 짧은 답도, 긴 설명도 자연스럽게 처리할 수 있습니다.

3. 성능: "왜 이 모델이 특별한가?"

이 모델은 다양한 테스트에서 기존 모델들을 압도했습니다.

• 이해력: "이 그림에 시간이 몇 시야?"라고 물으면, 시계 바늘을 정확히 보고 "6 시 30 분"이라고 답합니다. (기존 모델들은 그림을 보고 글자를 쓰는 데 어려움을 겪곤 했습니다.)
• 생성력: "우주복을 입은 판다우주선이 은하수를 타고 서핑을 한다"는 복잡한 주문을 받으면, 판다의 털 질감부터 은하의 빛까지 세부적인 디테일까지 완벽하게 그려냅니다.
• 속도: 같은 작업을 할 때, 기존 모델보다 약 6 배 더 빠릅니다. (불필요한 계산을 줄여서 효율을 높였기 때문입니다.)

4. 요약: 한 마디로 뭐가 좋은가요?

LLaDA-o는 **"글자를 읽고 그림을 그리는 두 가지 능력을, 서로 다른 방식 (마스크 vs 확산) 으로 최적화하되, 하나의 두뇌로 통합한 초지능 AI"**입니다.

• 기존 모델: 글자는 글자대로, 그림은 그림대로 따로따로 처리하거나, 무리하게 섞어서 성능이 떨어짐.
• LLaDA-o: 각자의 특성에 맞는 방식으로 처리하되, 서로 협력하여 더 빠르고, 더 정확하며, 더 유연하게 작동함.

이 기술은 앞으로 우리가 AI 와 대화할 때, 복잡한 지시사항을 한 번에 이해하고 그에 맞는 그림이나 글을 자연스럽게 만들어낼 수 있는 토대가 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

최근 확산 모델 (Diffusion Models) 은 언어 모델링 분야에서 자기회귀 (AR) 모델의 강력한 대안으로 부상하고 있습니다. 그러나 **멀티모달 (Multimodal) 이해와 생성을 통합한 'Omni Diffusion Model'**을 구축하는 데에는 다음과 같은 근본적인 어려움이 존재합니다.

• 이질적인 확산 역학 (Heterogeneous Diffusion Dynamics): 텍스트는 이산적 (discrete) 인 토큰으로 구성되어 있어 **마스크 확산 (Masked Diffusion, MDM)**이 적합하지만, 이미지는 연속적 (continuous) 인 잠재 공간에서 **연속 확산 (Continuous Diffusion, CDM)**이 표준입니다. 두 모달리티를 단일 밀집 모델 (dense model) 로 통합하면 상태 공간과 손상 과정의 불일치로 인해 목적 함수 불일치 (objective mismatch) 와 그래디언트 간섭이 발생하여 학습이 불안정해집니다.
• 고정된 길이 제약 (Fixed Length Constraint): 기존 옴니 확산 모델들은 이해 (understanding) 작업 시 고정된 길이를 가정하는 경우가 많아, 개방형 (open-ended) 설정이나 가변적 길이가 필요한 멀티모달 환경에서 적용에 한계가 있었습니다.
• 비효율적인 계산: 조건부 입력 (이미지나 프롬프트) 이 고정되어 있는 경우에도 매 디노이징 (denoising) 단계에서 전체 시퀀스에 대한 어텐션을 재계산하는 것은 계산 자원의 낭비입니다.

2. 방법론 (Methodology)

저자들은 위 문제를 해결하기 위해 LLaDA-o를 제안했습니다. 이는 확산 혼합 (Mixture of Diffusion, MoD) 프레임워크를 기반으로 하며, 다음과 같은 핵심 기술로 구성됩니다.

가. 확산 혼합 (Mixture of Diffusion, MoD) 프레임워크

• 전문가 분리 (Decoupling Experts): 텍스트 이해와 이미지 생성이라는 서로 다른 확산 역학을 처리하기 위해 두 개의 전문 전문가 (Expert) 를 도입합니다.
  • 이해 전문가 (Understanding Expert): 텍스트 토큰과 비주얼 인코더 토큰을 처리하며, **마스크 확산 (Masked Diffusion)**을 사용합니다.
  • 생성 전문가 (Generation Expert): 비주얼 잠재 토큰 (visual latent tokens) 을 처리하며, **연속 확산 (Continuous Diffusion)**을 사용합니다.
• 공유 어텐션 백본 (Shared Attention Backbone): 두 전문가는 서로 다른 확산 방식을 사용하지만, 공유된 어텐션 백본을 통해 모달리티 간 상호작용 (cross-modality interaction) 을 유지합니다. 이를 통해 최적화 충돌을 완화하면서도 효율적인 통합을 달성합니다.

나. 모달리티 내 양방향 어텐션 (Intra-Modality Bidirectional Attention)

• 문제: 기존 글로벌 양방향 어텐션은 고정된 조건 (이미지/프롬프트) 이 변하지 않음에도 매 단계마다 전체 시퀀스에 대한 어텐션을 재계산하여 비효율적입니다.
• 해결: 입력 시퀀스를 모달리티 블록 (모달리티별 블록) 으로 나누어 설계했습니다.
  • 블록 내 (Intra-block): 완전한 양방향 어텐션을 적용하여 풍부한 문맥을 포착합니다.
  • 블록 간 (Inter-block): 인과적 (causal) 어텐션을 적용합니다.
• 효과: 고정된 조건 블록 (프롬프트, 이미지) 은 KV 캐시 (Key-Value Cache) 로 한 번만 계산하고 재사용할 수 있어, 긴 시퀀스에서의 추론 속도를 획기적으로 개선합니다 (기존 대비 5.9 배 속도 향상).

다. 데이터 중심 적응형 길이 증강 (Data-Centric Adaptive Length Augmentation)

• 목표: 아키텍처 변경 없이 멀티모달 설정에서 유연한 길이 디코딩을 가능하게 합니다.
• 전략 (학습 단계):
  • 확장 (Extension): 확률 $p_{ext}$로 응답 끝에 [EOS] 토큰을 임의로 추가하여 모델이 다양한 위치에서 종료하는 것을 학습시킵니다.
  • 자르기 (Truncation): 확률 $p_{trunc}$로 응답을 무작위 접두사로 자르도록 하여, 부분적인 목표에서 올바른 연속을 학습하게 합니다.
• 추론 단계: 블록 단위 생성 (Block-wise generation) 을 수행하며, [EOS]가 높은 확신도로 감지되면 디코딩을 종료하고, 그렇지 않으면 다음 블록을 이어 생성합니다. 이는 샘플 격리 (sample isolation) 를 유지하면서 가변 길이를 지원합니다.

3. 주요 기여 (Key Contributions)

1. MoD 프레임워크 제안: 텍스트 (이산) 와 이미지 (연속) 의 본질적인 차이를 고려하여 각 모달리티에 최적화된 확산 과정을 분리하면서도 공유 어텐션으로 통합하는 새로운 아키텍처를 제시했습니다.
2. 효율적인 어텐션 메커니즘: 고정된 조건에 대한 불필요한 계산을 제거하고 KV 캐시를 재사용하는 '모달리티 내 양방향 어텐션'을 도입하여 추론 효율성을 극대화했습니다.
3. 아키텍처 무관한 가변 길이 학습: 구조 변경 없이 데이터 증강 전략만으로 유연한 길이 생성을 가능하게 하여, 오픈 엔디드 멀티모달 태스크에 대한 적용성을 높였습니다.

4. 실험 결과 (Results)

LLaDA-o 는 멀티모달 이해 및 생성 벤치마크에서 기존 옴니 확산 모델 및 다른 최첨단 모델들을 능가하는 성과를 거두었습니다.

• 멀티모달 이해 (Multimodal Understanding):
  • 10 개의 벤치마크 (MMMU, MME, MathVerse, ChartQA 등) 에서 평가되었습니다.
  • 옴니 확산 모델 중 SOTA (State-of-the-Art) 성능을 기록했습니다. 특히 수학적 추론 (MathVista) 과 차트/문서 이해 (ChartQA) 에서 탁월한 성능을 보였습니다.
  • AR 기반 모델 (BAGEL 등) 에 비해 언어 백본이 약하지만, MoD 프레임워크를 통해 그 격차를 크게 좁혔습니다.
• 텍스트 - 이미지 생성 (Text-to-Image Generation):
  • GenEval: 두 객체 생성 및 색상 바인딩 작업에서 우수한 성능을 보였습니다.
  • DPG-Bench: 복잡한 프롬프트와 정보 밀집형 설명에 대한 충실한 렌더링을 평가하는 벤치마크에서 87.04 점을 기록하여, 생성 전용 모델 및 통합 멀티모달 모델 중 SOTA를 달성했습니다.
• 추론 효율성:
  • MathVista 벤치마크에서 LLaDA-V 대비 5.9 배의 속도 향상을 달성하면서도 유사한 정확도를 유지했습니다.
  • 가변 길이 생성 시, 블록 크기 설정과 무관하게 일관된 길이와 품질을 유지하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

LLaDA-o 는 **확산 기반 옴니 모델 (Omni Diffusion Model)**의 새로운 가능성을 입증했습니다.

• 통합 모델링의 유효성: 텍스트와 이미지를 각각의 최적 확산 방식 (마스크 vs 연속) 으로 처리하면서도 단일 모델 내에서 통합하는 것이 가능함을 보여주었습니다.
• 실용성: 고정된 길이 제약과 비효율적인 계산을 해결함으로써, 실제 응용 환경에서 유연하고 효율적인 멀티모달 이해 및 생성을 가능하게 합니다.
• 미래 전망: 마스크 확산 언어 모델 (dLLM) 의 지속적인 발전과 결합될 때, LLaDA-o 는 차세대 옴니 확산 모델의 강력한 기반이 될 것으로 기대됩니다.

이 연구는 멀티모달 AI 가 텍스트 이해와 이미지 생성을 동시에 수행하는 통합 모델로서, 확산 모델이 가지는 잠재력을 극대화하는 중요한 이정표입니다.