💻 computer science

Lavida-O: Elastic Large Masked Diffusion Models for Unified Multimodal Understanding and Generation

Lavida-O는 고해상도 이미지 생성, 객체 그라운딩(object grounding), 이미지 편집 분야에서 기존의 자기회귀 및 연속 확산 모델을 능가하는 성능을 달성하며, 새로운 탄력적 트랜스포머 혼합(Elastic Mixture-of-Transformers) 구조와 반복적 자기 성찰(iterative self-reflection) 능력을 특징으로 하는 통합 마스크 확산 모델(Masked Diffusion Model)입니다.

원저자: Shufan Li, Jiuxiang Gu, Kangning Liu, Zhe Lin, Zijun Wei, Aditya Grover, Jason Kuen

게시일 2026-07-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shufan Li, Jiuxiang Gu, Kangning Liu, Zhe Lin, Zijun Wei, Aditya Grover, Jason Kuen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 사진을 보고 정확히 무엇이 일어나고 있는지 말해주거나, 간단한 문장을 받아 완전히 새로운 그림을 처음부터 그려낼 수 있는 세상을 상상해 보세요. 오랫동안 과학자들은 이 일들을 위해 두 종류의 서로 다른 로봇, 즉 이미지를 이해하는 '두뇌'와 이미지를 만들어내는 '예술가'를 따로 만들어야 했습니다. 하지만 인간이 지도를 읽으면서 동시에 스케치를 할 수 있는 것처럼, 연구자들은 이제 이 두 가지를 동시에 수행할 수 있는 단일한 초지능 AI를 구축하려고 노력하고 있습니다. 이 분야를 '멀티모달 모델링(multimodal modeling)'이라고 부르며, 최신 스타 플레이어는 '마스크 확산 모델(Masked Diffusion Model)'이라는 유형의 AI입니다. 이 모델을 '그림 맞추기 게임'이라고 생각해 보세요. 컴퓨터는 물음표(마스크)로 가득 찬 빈 캔버스에서 시작하여, 하나의 명확한 이미지가 나타날 때까지 하나씩 천천히 채워 나갑니다. 이는 마치 안개를 걷어내어 숨겨진 풍경을 드러내는 것과 같습니다. 과학자들이 던지는 큰 질문은 이것입니다. "우리가 이 안개를 걷어내는 과정을 매우 똑똑하게 만들어서, AI가 단순히 그림을 추측하는 것을 넘어 그 뒤에 숨겨진 이야기를 이해하고, 장면을 편집하며, 심지어 선을 하나 긋기도 전에 스스로의 걸작을 계획하게 할 수 있을까?"

여기, "네, 할 수 있습니다!"라고 말하는 새로운 AI 모델, LaVida-O가 등장했습니다. 이 프로젝트의 연구진은 탐정과 화가 역할을 동시에 수행하는 통합 시스템을 구축했습니다. 이해는 잘하지만 그림은 못 그리거나, 그림은 빨리 그리지만 생각은 느린 기존 모델들과 달리, LaVida-O는 두 세계의 장점만을 취하고자 합니다. 이 모델은 사진을 보고 "강아지"가 "넥타이" 옆 어디에 서 있는지 정확히 짚어낼 수도 있고, "사이버펑크 엘프"라는 프롬프트를 입력받아 고해상도의 상세한 이미지를 생성할 수도 있습니다. 더욱 멋진 점은, TV를 책장으로 바꾸는 것과 같이 기존 사진을 편집할 수 있으며, 작업하는 동안 "생각을 밖으로 내뱉으며(think out loud)" 자신의 실수를 확인하고 최종 결과물을 보여주기 전에 이를 수정할 수도 있다는 것입니다.

LaVida-O의 비결은 **탄력적 트랜스포머 혼합(Elastic Mixture-of-Transformers, 줄여서 Elastic-MoT)**이라는 영리한 구조적 기법입니다. 두 개의 조립 라인이 있는 공장을 상상해 보세요. 보통 두 가지 다른 제품을 만들고 싶다면, 비용이 많이 들고 느린 방법인 두 개의 거대한 별도 공장을 짓거나, 모든 것을 한꺼번에 하려는 하나의 거대한 공장을 사용하게 되어 복잡해질 수 있습니다. LaVida-O는 업무에 따라 인력을 줄이거나 늘릴 수 있는 스마트한 공장과 같습니다. 이미지를 이해하기만 하면 대규모의 중장비 팀을 사용하지만, 새로운 이미지를 생성해야 할 때는 더 작고 특화된 팀만을 활성화하여 에너지와 시간을 크게 절약합니다. 이는 마치 무거운 도구 전체를 들고 다니는 대신, 나사를 조여야 할 때만 드라이버를 꺼내는 맥가이버 칼과 같습니다.

그림 그리는 과정을 더욱 개선하기 위해 연구진은 몇 가지 다른 기술을 추가했습니다. 그들은 모델에게 **층화 샘플링(Stratified Sampling)**을 가르쳤는데, 이는 캔버스의 왼쪽 상단부터 채우는 화가가 아니라, 이미지 전체에 붓질을 고르게 펼쳐 특정 지점에 갇히지 않고 모든 곳에서 이미지가 균형 있게 구축되도록 하는 것과 같습니다. 또한, 사용자에게 "더 밝게 만들어줘" 또는 "대비(contrast)를 높여줘"와 같은 추가 지침을 복잡한 기술적 코드 없이도 텍스트만으로 전달할 수 있도록 하는 "유니버설 텍text 컨디셔닝(universal text conditioning)" 기능을 부여했습니다.

아마도 가장 흥축적인 기능은 **계획 및 자기 성찰(Planning and Self-Reflection)**일 것입니다. 모델은 그림을 그리기 전에 잠시 멈춰 레이아웃을 "계획"하고, 사물이 정확히 어디에 위치해야 하는지 결정할 수 있습니다. 사진을 편집하는 경우, 변경할 대상을 먼저 찾아냅니다. 또한 이미지를 만든 후에는 자신의 작업물을 살펴보고, "잠깐, 강아지가 넥타이와 겹쳐 있네, 이건 틀렸어"라고 말하며 이를 수정할 수 있습니다. 이러한 스스로를 비판하고 교정하는 능력은 훨씬 높은 품질의 결과로 이어집니다.

논문은 LaVida-O가 단순한 이론이 아니라 실제로 작동함을 보여줍니다. 테스트에서 이 모델은 이미지 내 객체 탐지, 텍스트 기반 이미지 생성, 사진 편집과 같은 작업에서 기존의 많은 모델을 능가했습니다. 또한 1024x1024 픽셀 해상도의 이미지를 생성할 수 있었는데, 이는 이전의 많은 시도보다 훨씬 더 선명합니다. 또한 매우 빠른 속도를 증명하여, 객체 탐지 작업 시 기존의 느린 모델들에 비해 최대 6.8배의 속도 향상을 보여주었습니다. 이미지 내부의 아주 작은 텍스트를 렌더링하는 데 어려움을 겪거나, 사진의 변하지 않아야 할 부분까지 미세하게 변경하는 등의 몇 가지 한계점은 여전히 존재하지만, 결과는 이 '탄력적' 접근 방식이 중요한 진전임을 시사합니다. LaVida-O는 이해와 생성을 하나의 유연한 프레임워크로 결합함으로써, 우리가 단순히 명령을 따르는 것을 넘어 실제로 생각하고, 계획하고, 우리가 이전에 보지 못한 수준의 주의력과 정밀함으로 창조하는 AI를 구축할 수 있음을 보여줍니다.

기술 요약: LaViDa-O: 통합적 멀티모달 이해 및 생성을 위한 탄력적 대규모 마스크 확산 모델(Elastic Large Masked Diffusion Models)

문제 정의

멀티모달 AI 분야는 전통적으로 탐지(detection) 모델은 로컬라이제이션을 위해, VQA 모델은 추론을 위해, 확산(diffusion) 모델은 생성을 위해 각각 별도의 전문 모델에 의존해 왔습니다. 최근의 통합 모델들(예: GPT-4o, BAGEL)은 이러한 기능들을 결합하려고 시도했으나, 종종 상당한 트레이드오프에 직면합니다. 현재의 통합 접근 방식은 크게 두 가지 범주로 나뉩니다:

하이브리드 아키텍처 (AR + Diffusion): BAGEL과 같은 모델은 텍스트를 위해 자기회귀(Autoregressive, AR) 목적 함수를 사용하고, 이미지를 위해 연속적 확산(continuous diffusion)을 사용합니다. 이는 서로 다른 손실 스케일(loss scales)과 학습 역학을 조절해야 하며, 세심한 튜닝을 필요로 합니다.
통합 자기회귀(AR) 모델: Janus와 같은 모델은 이미지를 이산적인 시퀀스로 토큰화하여 통합된 AR 목적 함수를 사용합니다. 효과적이긴 하지만, AR 모델은 순차적인 토큰 생성으로 인해 추론 속도가 느리다는 단점이 있습니다.

최근 **마스크 확산 모델(Masked Diffusion Models, MDMs)**이 유망한 대안으로 부상하고 있으며, 병렬 디코딩과 양방향 컨텍스트를 제공합니다. 그러나 기존의 통합 MDM(예: MMaDa, Muddit)은 최신 AR 및 하이브리드 모델에 비해 뒤처져 있습니다. 이들은 다음과 같은 한계를 가집니다:

높은 학습 비용: 대규모 MDM을 처음부터 학습시키는 것은 비용이 매우 많이 듭니다.
제한된 능력: 단순한 이미지 수준의 이해와 저해상도(512px) 생성만을 지원하는 경우가 많으며, 객체 그라운딩(object grounding), 고해상도 합성(1024px), 복잡한 이미지 편집 능력이 부족합니다.
명시적 추론의 부재: 계획(planning)이나 자기 성찰(self-reflection)을 통해 생성 품질을 개선하기 위해 이해 능력을 명시적으로 활용하지 못합니다.

방법론

저자들은 새로운 아키텍처와 학습 패러다임을 통해 이러한 한계를 해결하는 통합 멀티모달 MDM인 LaViDa-O를 제안합니다.

1. 탄력적 Mixture-of-Transformers (Elastic-MoT)

대규모 통합 모델 학습의 계산 비용을 완화하기 위해, LaViDa-O는 Elastic-MoT 아키텍처를 도입합니다. 모든 모달리티에 대해 동일한 크기의 브랜치를 사용하는 표준 MoT 설계와 달리, Elastic-MoT는 다음과 같은 특징을 가집니다:

비대칭 브랜치 크기: 고품질 이미지 생성에는 복잡한 추론만큼의 용량이 필요하지 않다는 관찰에 근거하여, 생성 브랜치(2.4B 파라미터)를 이해 브랜치(8B 파라미터)보다 훨씬 작게 설계했습니다.
디커플링된 어텐션(Decoupled Attention): $N$ -레이어 모델에서 텍，텍스트와 이미지 모달리티는 첫 $M$ 개 레이어에서만 공동 어텐션(joint attention)을 통해 상호작용합니다. 나머지 $K = N - M$ 개 레이어에서 토큰은 자기 모달리티 내의 셀프 어텐션을 통해서만 상호작용합니다.
동적 파라미터 로딩: 이 설계는 모델이 특정 작업에 필요한 파라미터만을 활성화할 수 있게 합니다. 예를 들어, 텍스트-이미지 생성 시에는 2.4B 생성 브랜치와 이해 브랜치의 첫 16개 레이어(총 약 6.4B 활성 파라미터)만 활성화되는 반면, 이해 작업에는 전체 8B를 사용합니다. 이는 학습 및 추론 비용을 크게 줄여줍니다.

2. 모달리티 인식 마스킹 (Modality-Aware Masking)

통합 MDM의 주요 과제는 병렬 디코딩 중에 마스크된 토큰을 올바른 브랜치(이해 vs 생성)로 라우팅하는 것입니다. LaViDa-O는 모달리티 인식 마스킹을 채택합니다:

확장 메커니즘: 순방향 확산 과정 동안, 완전히 마스킹된 이미지 VQ 토큰은 특수 텍스트 토큰인 [exp]로 압축됩니다.
동적 라우팅: 추론 시 모델은 초기에는 모든 토큰을 텍스트로 간주합니다. [exp] 토큰이 생성되면, 이는 생성 브랜치용으로 지정된 일련의 마스크 토큰 시퀀스로 동적으로 확장됩니다. 이를 통해 매끄러운 인터리브드(interleaved) 생성(예: 레이아웃 생성 후 이미지 생성, 그 후 비평 수행)이 가능해집니다.

3. 작업별 혁신 사항

보편적 텍스트 컨디셔닝: 마이크로 컨디션(해상도, 미적 점수, 휘도, 대비 등)을 위한 특화된 임베딩을 사용하는 대신, LaViDa-O는 이를 프롬프트에 일반 텍텍스트로 추가합니다 (예: "SCORE: 5.40"). 이는 모델의 언어 추론 능력을 활용하여 생성 품질을 제어하도록 합니다.
계층적 무작위 샘플링 (Stratified Random Sampling): 높은 신뢰도를 가진 토큰들이 공간적으로 밀집되어 독립성 가정을 위반하는 문제를 해결하기 위해, 모델은 계층적 샘형 전략을 사용합니다. 격자 형태(예: 하나의 쿼드런트당 하나의 토큰, 그 다음 서브 쿼드런트 방식)로 토큰을 언마스킹하여 공간적으로 분산된 언마스킹을 보장함으로써 이미지 일관성을 향상시킵니다.
계획 및 자기 성찰: LaViDa-O는 추론을 생성 과정에 명시적으로 통합합니다:
- 계획 (Planning): 최종 이미지를 합성하기 전에 먼저 레이아웃(바운딩 박스)을 생성합니다.
- 성찰 (Reflection): 출력물을 프롬프트와 비교하여 평가합니다. 불일치가 감지되면, 반복적으로 수정된 이미지를 생성합니다.
그라운딩을 위한 좌표 양자화: 바운딩 박스 좌표를 $[0, 1]$ 로 정규화하고 1025개의 이산 빈(bin)으로 양자화합니다. 이를 통해 여러 바운딩 박스를 단일 확산 단계 내에서 병렬로 디코딩할 수 있어, 그라운딩 효율성을 획기적으로 높입니다.

주요 기여

SOTA 통합 MDM: LaVi-O는 텍스트-이미지 생성, 이미지 편집, 객체 그라운딩 분야에서 기존 MDM, AR 모델, 연속 확산 모델을 능가하는 SOTA 성능을 달고 있는 최초의 멀티모달 MDM입니다.
효율적인 아키텍처: Elastic-MoT의 도입은 파라미터 수를 줄이고 작업별 파라미터 로딩을 가능하게 함으로써, 대규모 통합 모델을 학습시키는 확장 가능한 방법을 제공합니다.
추론 기반 생성: 본 논문은 이해 능력(계획, 그라운딩, 성찰)을 사용하여 생성 품질을 반복적으로 개선하는, 단순한 공동 학습을 넘어선 새로운 패러다임을 제시합니다.
고해상도 및 편집: 이전의 통합 MDM이 수행할 수 없었던 1024px 해상도 합성 및 복잡한 이미지 편집 작업(객체 교체, 스타일 전이 등)을 지원합니다.

실험 결과

LaViDa-O는 포괄적인 벤치마크 세트를 통해 평가되었습니다:

이미지 이해: MMMU, MME, MMBench에서 이전의 통합 MDM(MMaDa) 및 경쟁력 있는 AR 모델(예: Qwen2.5-VL, InternVL)을 능가합니다.
텍스트-이미지 생성: GenEval 및 DPG-Bench에서 Meissonic, MMaDa, Muddit보다 우수한 결과를 얻었습니다. 계획 및 성찰 기능을 포함했을 때, GenEval 점수는 0.89에 도달하여 Flux-dev(0.68)와 SD3-Medium(0.74)을 능가했습니다.
객체 그라운딩: RefCOCO에서 LaViDa-O는 **92.3%**의 Precision@0.5를 달성하여, Grounding-DINO와 같은 전문 모델 및 Qwen2.5-VL와 같은 AR 모델보다 뛰어난 성능을 보였습니다.
이미지 편집: ImgEdit 벤치마크에서 LaVi-O는 객체 교체 및 제거 작업에서 FluxKontext-dev와 같은 전문 에디터 및 폐쇄형 모델인 GPT-4o조차 능가하는 3.71의 종합 점수를 기록했습니다.
효율성: LaVi-O는 Qwen2.5-VL-7B 대비 객체 그라운딩에서 6.8배의 속도 향상을, 표준 MoT 설계 대비 3.17배의 학습 효율 향상을 제공합니다.

의의 및 주장

본 논문은 LaViDa-O를 확장 가능한 멀티모달 추론 및 생성을 위한 새로운 패러다임으로 자리매김합니다. 저자들은 단일 마스크 확산 프레임워크 내에 이해와 생성을 통합함으로써, AR 모델의 효율성 병목 현상과 하이브리드 AR+Diffusion 모델의 구조적 복잡성을 극복했다고 주장합니다.

주요 주장은 다음과 같습니다:

통합된 효율성: Elastic-MoT는 두 개의 전체 크기 모델을 학습시키는 과도한 비용 없이 대규모 통합 모델을 학습시키는 방법을 제공합니다.
작업 간 시너지: 결과는 이해 능력(계획 및 성찰을 통한)을 명시적으로 활용하는 것이 생성 품질을 크게 높인다는 것을 입증하며, 이는 미래의 통합 모델이 단순히 파라미터를 공유하는 것을 넘어 생성을 가이드하기 위해 능동적으로 추론을 활용해야 함을 시사합니다.
실용적 타당성: 모델은 전문 모델들이 보유했던 고해상도(1024px) 생성 및 복잡한 편집 능력을 달성하는 동시에, 상당한 추론 속도 향상을 제공합니다.

저자들은 LaViDa-O가 마스크 확산 모델의 미래 연구를 위한 토대를 마련하며, 단일 모델이 고도의 추론부터 고충실도 합성까지 멀티모달 작업의 전 범위를 효과적으로 처리할 수 있음을 증명한다고 결론짓습니다.