💻 computer science

LaViDa: A Large Diffusion Language Model for Multimodal Understanding

LaViDa는 기존의 자기회귀 모델과 비교하여 경쟁력 있는 성능, 더 빠른 추론, 그리고 향상된 제어 능력을 달성하기 위해 병렬 디코딩과 양방향 컨텍스트를 활용하는 이산 확산 메커니즘 기반의 새로운 시각-언어 모델 제품군을 소개한다.

원저자: Shufan Li, Konstantinos Kallidromitis, Hritik Bansal, Akash Gokul, Yusuke Kato, Kazuki Kozuka, Jason Kuen, Zhe Lin, Kai-Wei Chang, Aditya Grover

게시일 2026-07-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shufan Li, Konstantinos Kallidromitis, Hritik Bansal, Akash Gokul, Yusuke Kato, Kazuki Kozuka, Jason Kuen, Zhe Lin, Kai-Wei Chang, Aditya Grover

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 동시에 "보고" "말할" 수 있는 세상을 상상해 보십시오. 이것은 시각-언어 모델(Vision-Language Models, VLMs)의 영역으로, 노을진 사진을 보고 그에 대한 시를 쓰거나 복잡한 차트를 살펴보고 추세를 설명할 수 있는 초지능형 AI 비서입니다. 수년 동안 이 모델들이 생각하는 표준적인 방식은 마치 시험을 치르는 학생과 같습니다. 그들은 왼쪽에서 오른쪽으로 엄격하게 한 단어씩 답을 적어 나갑니다. "그," "다음은," "하늘," "은" 순으로 적으며, 이전 단어를 바꾸기 위해 결코 뒤를 돌아보지 않습니다. 이 방식은 잘 작동하지만, 병렬로 글을 쓸 수 없기 때문에 느리며, 만약 문장의 첫 단어를 틀리면 처음부터 다시 시작하지 않고는 쉽게 수정할 수 없을 정도로 경직되어 있습니다.

하지만 만약 다른 방법이 있다면 어떨까요? 문장을 한 단어씩 써 내려가는 대신, 물음표로 가득 찬 빈 페이지에서 시작하여, 모든 단어가 어디에 들어갈지 한꺼번에 결정하고 그림이 선명해질 때까지 선택을 끊임없이 다듬어 나가는 모습을 상상해 보십시오. 이것이 바로 "확산 모델(diffusion models)"의 핵심 아이디어입니다. 원래 노이즈로부터 멋진 이미지를 생성하는 것으로 유명해진 이 모델을, 연구자들은 최근 텍스트에도 이 "빈칸 채우기" 접근 방식을 적용하려고 시도했습니다. 큰 질문은 이것입니다. 이 유연하고 병렬적인 사고 방식을 이미지와 보는 능력과 결합할 수 있을까요? 만약 우리가 이 결합에 성공한다면, 우리는 (모든 행이 특정 글자로 시작해야 하는 시를 쓰는 것과 같은) 엄격한 규칙을 따르는 데 훨씬 더 똑똑할 뿐만 아니라, 다음 단어가 끝날 때까지 기다릴 필요가 없기 때문에 훨씬 더 빠른 AI를 얻게 될 것입니다.

여기 LaViDa(Large Vision-Language Diffusion Model)가 있습니다. UCLA, 파나소닉, 어도비, 세일스포스의 연구진이 발표한 새로운 AI 모델 제품군입니다. LaViDa를 이미지를 이해하고 그것에 대해 글을 쓰는 데 확산 방식을 사용하는 최초의 "멀티태스킹 예술가"라고 생각하십시오. 전통적인 로봇처럼 이야기를 한 단어씩 써 내려가는 대신, LaViDa는 "마스크"(자리 표시자)로 된 빈 캔버스에서 시작하여 답을 점진적으로 드러내며, 문장 전체를 한 번에 볼 수 있는 방식으로 빈칸을 채워 나갑니다.

연구진은 이 접근 방식이 몇 가지 초능력을 가지고 있다는 것을 발견했습니다. LaViDa는 최종 결정을 내리기 전에 전체 문장 구조를 볼 수 있기 때문에, 모든 행이 특정 글자로 시작해야 하는 시를 완성하는 것과 같이 엄격한 규칙이 필요한 작업에 매우 뛰어납니다. 테스트에서 LaViDa는 이러한 "제약 조건이 있는" 작업에서 기존의 최고 모델들과 비교하여 성능을 59% 향상시키며 경쟁자들을 압도했습니다. 또한 사용자에게 독특한 "속도 조절 다이얼"을 제공합니다. 한 번에 더 적은 빈칸을 채워 매우 빠르게 만들 수도 있고, 답을 다듬기 위해 더 많은 단계를 거쳐 매우 높은 품질을 구현할 수도 있습니다. 이미지 캡셔닝(이미지 설명) 작업에서 LaViDA는 경쟁 모델들보다 거의 2배 더 빠르게 작동하면서도 실제로 더 나은 설명을 작성했습니다(CIDEr라는 품질 지표에서 +4.1점 더 높은 점수를 기록).

하지만 논문은 이 새로운 방법이 모든 것을 즉시 해결하는 마법 지팡이는 아니라는 점도 명시하고 있습니다. 연구진은 이를 잘 작동하게 만들기 위해 몇 가지 영리한 기술을 발명해야 했습니다. 하나로, 그들은 "상보적 마스킹(complementary masking)" 기술을 만들었는데, 이는 모델에게 중요한 단서를 놓치지 않도록 한 번에 두 가지 서로 다른 버전의 퍼즐을 푸는 것과 같습니다. 또한 그들은 "Prefix-DLM" 시스템을 구축했는데, 이는 모델이 새로운 단어를 추측할 때마다 이미지와 질문을 매번 다시 읽지 않고도 기억할 수 있게 해주는 스마트한 지름길 역할을 합니다.

이러한 성공에도 불구하고, 논문은 LaViDa가 여전히 성장할 여지가 있다는 점을 신중하게 지적합니다. LaViDa는 추론 및 일반 지식 테스트에서는 다른 모델들을 이기지만, 이미지의 세부 사항을 메모리에 맞추기 위해 압축해야 했기 때문에 이미지 내부의 작은 텍스트를 읽는 것(OCR)에는 때때로 어려움을 겪습니다. 저자들은 확산 모델이 표준적인 "한 번에 한 단어씩" 방식에 대한 강력하고 유망한 대안이지만, 여전히 가장 거대하고 데이터 집약적인 AI 모델들에 필적할 만큼 규모를 키우는 법을 배우고 있다고 제안합니다. 궁극적으로 LaViDa는 "빈칸 채우기" 방식이 단순히 그림을 만드는 것뿐만 아니라, 컴퓨터가 우리의 시각적 세계를 이해하는 데 있어 강력하고 유연하며 빠른 방법이 될 수 있음을 증명합니다.

기술 요약: LaViDa - 멀티모달 이해를 위한 대규모 확산 언어 모델(Large Diffusion Language Model)

문제 정의

현대의 시각-언어 모델(VLMs)은 주로 자기회귀(Autoregressive, AR) 구조(예: LLaVA, Qwen-VL)에 의존하며, 이는 텍스트를 왼쪽에서 오른쪽 방향의 순서로 토큰 단위로 생성합니다. 이 방식은 효과적이긴 하지만 다음과 같은 내재적인 한계를 가집니다:

추론 속도: 순차적 생성은 병렬화가 어려워 추론 속도가 느립니다.
제어 가능성: AR 모델은 양방향 문맥이나 엄격한 구조적 제약이 필요한 작업(예: 특정 음절 시작을 포함하여 시를 완성하는 텍스트 인필링(infilling), 또는 콘텐츠가 시퀀스 전반에 걸쳐 조율되어야 하는 JSON과 같은 구조화된 출력 생성)을 수행하는 데 어려움을 겪습니다.

이산 확산 모델(Discrete Diffusion Models, DMs)은 생성을 토큰을 점진적으로 드러내는(unmasking) 과정으로 취급함으로써 이론적인 대안을 제시합니다. 이들은 병렬 디코딩과 양방향 문맥 모델링을 가능하게 합니다. 그러나 멀티모달 작업에 대한 적용은 아직 미개척 분야이며, 단순한 적응 방식은 훈련 효율성과 추론 속도 측면에서 상당한 문제에 직면합니다.

방법론

저자들은 이산 확산 모델을 기반으로 구축된 최초의 VLM 제품군인 LaViDa(Large Vision-Language Diffusion Model with Masking)를 소개합니다. 이 아키텍처는 LLaVA와 같은 AR 기반 VLM과 유사하게 MLP 프로젝터를 통해 비전 인코더와 확산 언어 모델(DLM)을 통합합니다.

핵심 아키텍처

비전 인코더: 입력 이미지를 처리하기 위해 SigLIP-400M을 사용합니다. 해상도와 시퀀스 길이 사이의 균형을 맞추기 위해 이미지를 리사이징하고 여러 뷰(네 개의 $384^2$ 뷰와 하나의 $768^2$ 뷰를 $384^2$ 로 리사이징한 것)로 나눕니다. 이들은 인코딩된 후 $2\times2$ 평균 풀링(average pooling)을 거쳐 이미지당 토큰 수를 980개로 줄인 후 투영됩니다.
확산 언어 모델: AR 모델의 인과적 어텐션 마스크(causal attention mask)를 비인과적(양방향) 마스크로 대체한 트랜스포머 기반 DLM(LLaDA-8B 또는 Dream-7B 백본 사용)입니다. 이 모델은 부분적으로 마스킹된 시퀀스 $X_t$ 와 시각적/프롬프트 문맥이 주어졌을 때 깨끗한 토큰 $X_0$ 를 예측하도록 훈련됩니다.

주요 기술 혁신

시각-언어 작업에 DMs를 적용할 때 발생하는 특정 과제를 해결하기 위해, LaViDa는 세 가지 새로운 기술을 포함합니다:

상보적 마스킹 (훈련 효율성):
- 문제: 표준 DM 훈련은 토큰을 확률적으로 마스킹합니다. 멀티모달 작업에서 중요한 답변 토큰(종종 짧고 희소함)이 단일 샘플 내에서 마스킹되지 않은 상태로 남게 되면, 손실 계산에서 제외되어 비전 인코더에 대한 그래디언트 불일치를 유발할 수 있습니다.
- 해결책: 각 훈련 샘플에 대해, 서로 겹치지 않는 손상된 구간을 가진 두 가지 마스킹 버전( $X_t$ 및 $X^C_t$ )을 생성합니다. 이를 통해 출력 시퀀스의 모든 토큰이 손실 계산에 기여하도록 보장합니다. 효율성을 극대화하기 위해 비전 임베딩은 두 버전 모두에 복사됩니다.
Prefix-DLM (추론 속도):
- 문제: DMs는 일반적으로 전체 프롬프트(수백 개의 시각적 토큰 포함)에 대해 키(key)와 값(value)을 매번 재계산해야 하는 완전한 양방향 어텐션을 요구하므로 KV 캐싱을 활용할 수 없습니다.
- 해결책: 시각 및 프롬프트 토큰(즉, "prefix")은 다른 prefix 토큰에만 어텐션을 줄 수 있고, 답변 토큰은 모든 토큰에 어텐션을 줄 수 있는 특수 어텐션 마스크를 도입했습니다. 이를 통해 시각 및 프롬프트 임베딩의 키와 값을 캐싱할 수 있어 지연 시간을 크게 줄일 수 있습니다.
타임스텝 시프팅 (속도-품질 트레이드오프):
- 문제: 선형 마스킹 스케줄(단계당 고정된 수의 토큰을 언마스킹하는 방식)은 낮은 단계 수(step count)에서 성능이 저하되어 샘-퀄리티를 떨어뜨립니다.
- 해결책: 이미지 확산 모델(SD3)에서 영감을 받아, 저자들은 볼록한(convex) 타임스텝 시프팅 스케줄( $\alpha = 1/3$ )을 채택했습니다. 이는 역과정(reverse process)의 초기 단계에서 더 많은 토큰을 적응적으로 언마스킹하여, 품질 저하 없이 공격적인 단계 축소(빠른 추론)를 가능하게 합니다.

실험 결과

LaViDa는 일반 이해(MMMU, MME), 추론(MathVista, ScienceQA), OCR(ChartQA, TextVQA), 그리고 제약 조건 생성 작업 등 광범위한 벤치마크에서 평가되었습니다.

경쟁력 있는 성능: LaViDa는 대부분의 벤치마크에서 AR 베이스라인(LLaVA-1.6-7B, Open-LLaVA-Next-Llama3-8B)과 대등하거나 더 우수한 성능을 보입니다. 특히, LaViDa-8B는 동급 모델 중 MMMU에서 가장 높은 점수(43.3)를 기록했습니다.
제약 조건 생성: "제약 조건이 있는 시 완성(Constrained Poem Completion)"과 같은 양방향 작업에서 LaViDa는 AR 베이스라인을 크게 앞질러, 제약 조건 준수율에서 59%의 향상을 달 achieved 했습니다.
속도 및 품질 트레이드오프:
- COCO 캡셔닝에서 LaViDa는 Open-LLaVA-Next-Llama3-8B보다 +4.1 CIDEr 더 높으면서도 1.92배 빠른 속도를 제공합니다.
- 확산 단계(NFE)를 조정함으로써 LaViDa는 유연한 트레이드오프를 제공합니다: 50% NFE에서 LaViDa는 AR 베이스라인보다 빠르면서 더 나은 품질을 유지하며, 25% NFE에서는 성능 저하가 발생하지만 훨씬 더 빠릅니다.
절제 연구 (Ablation Studies): 상보적 마스킹은 표준 마스킹 대비 ScienceQA 성능을 67% 개선하는 것으로 나타났습니다. Prefix-DLM 캐시는 성능 비용을 최소화하면서 추론 지연 시간을 최대 3.9배 단축했습니다.

의의 및 주장

본 논문은 LaViDa가 시각-언어 작업을 위해 자기회귀 모델과 경쟁할 수 있는 수준으로 확장 가능하면서도, AR 모델이 쉽게 복제할 수 없는 독특한 장점을 제공하는 확산 기반 접근 방식의 가능성을 입증한다고 주장합니다.

최초의 사례: LaVi Da는 이산 확산 모델을 기반으로 한 최초의 VLM 제품군으로 제시됩니다.
패러다임 전환: 이는 DMs가 단순히 이론적인 대안이 아니라, 구조화된 생성 및 텍스트 인필링을 위해 유연한 속도-품질 트레이드오프와 우수한 제어 가능성을 제공하는 실질적인 솔루션임을 증명합니다.
확장성: 이 연구는 확산 모델의 성공을 언어 영역(예: LLaDA, Dream)에서 비전 영역으로 확장하여, 적절한 훈련 및 추론 기술(상보적 마스킹, 프리픽스 캐싱, 타임스텝 시프팅)이 뒷받격된다면 DMs가 복잡한 멀티모달 지시 이행을 처리할 수 있음을 검증했습니다.

저자들은 특히 OCR 성능(평균 풀링을 통한 토큰 압축 때문)과 현재의 LaViDa와 훨씬 더 큰 데이터셋으로 훈련된 최첨단 AR 모델 간의 격차를 언급하며 한계를 명시했습니다. 이들은 향후 연구가 더 큰 모델과 더 많은 데이터를 사용하여 DMs를 확장하는 방향으로 진행되어야 한다고 제안합니다.