이 논문은 **"BARD"**라는 새로운 기술을 소개합니다. 이 기술은 인공지능이 이미지와 텍스트를 동시에 이해하는 능력 (멀티모달) 을 유지하면서, 훨씬 더 빠르게 답변을 생성할 수 있도록 도와줍니다.
일상적인 비유로 설명해 드리겠습니다.
1. 문제: "한 글자씩 쓰는 천천히 쓰는 작가" vs "한 번에 쓰는 빠른 작가"
기존 AI (자기회귀 모델): 이 모델은 마치 한 글자씩 차례대로 글을 쓰는 작가와 같습니다. "안녕하세요"라고 말하려면 '안', '녕', '하', '세', '요' 순서로 하나씩 생각해서 써야 합니다. 정확도는 매우 높지만, 글이 길어질수록 시간이 오래 걸립니다. (비유: 한 줄씩 써가며 완성하는 시)
새로운 시도 (확산 모델): 이 모델은 한 번에 문단 전체를 대충 쓰고, 고쳐나가는 작가와 같습니다. 처음엔 글자가 비어있거나 엉망으로 되어 있다가, 몇 번의 수정을 거치며 완성된 글을 한 번에 뚝딱 만들어냅니다. 이론상으로는 훨씬 빠르지만, 정확도가 떨어지거나 처음부터 큰 문단을 쓰려고 하면 글이 엉망이 되는 문제가 있었습니다.
2. 해결책: BARD (다리 놓기 기술)
연구진은 이 두 가지 방식의 장점을 합치기 위해 BARD라는 기술을 개발했습니다. 마치 "완벽한 한 글자 쓰기"에서 "완벽한 한 문단 쓰기"로 넘어가는 안전한 다리를 놓아주는 것과 같습니다.
이 기술은 크게 세 가지 단계로 이루어집니다:
① 단계별 블록 병합 (조금씩 넓혀가기)
비유: 갑자기 100 페이지짜리 책을 한 번에 쓰라고 하면 작가는 당황해서 글을 망칩니다. BARD 는 작은 블록 (4 글자) → 중간 블록 (8 글자) → 큰 블록 (16 글자) → 큰 문단 (32 글자) 순서로 점진적으로 글쓰기 범위를 넓혀줍니다.
효과: AI 가 갑자기 큰 문장을 쓰려고 당황하지 않고, 작은 단위에서 익숙해지면서 점차 큰 단위로 넘어갈 수 있게 도와줍니다.
② 단계별 지식 전달 (스승과 제자)
비유: 큰 문단을 쓰는 제자 (새로운 AI) 가 실수를 하면, **작은 블록을 잘 쓰는 똑똑한 스승 (기존에 훈련된 AI)**이 옆에서 "이건 이렇게 고쳐야 해"라고 알려줍니다.
핵심: 중요한 점은, 제자가 큰 문단을 쓸 때 원래의 '한 글자씩 쓰는 작가'가 아니라, '작은 블록을 잘 쓰는 확산 모델'을 스승으로 삼는다는 것입니다. 왜냐하면 두 모델이 글을 고치는 방식이 달라서, 원래 작가에게 배우면 오히려 혼란이 생기기 때문입니다. BARD 는 이 '맞춤형 스승'을 통해 제자가 실력을 잃지 않도록 도와줍니다.
③ 혼합 노이즈 훈련 (실수 교정 훈련)
비유: 작가가 글을 쓸 때, 단순히 빈칸을 채우는 것뿐만 아니라 이미 써진 글자 중 틀린 것을 발견하고 고치는 훈련도 시킵니다.
효과: AI 가 글을 쓰는 도중 실수를 해도, 나중에 다시 돌아와서 "아, 이 글자는 틀렸구나"라고 고칠 수 있는 능력을 기릅니다. 이렇게 하면 더 정확하고 유연한 답변이 나옵니다.
3. 결과: "빠르면서도 똑똑한" AI
이 기술을 적용한 BARD-VL 모델은 다음과 같은 놀라운 성과를 냈습니다.
속도: 기존 모델보다 최대 3 배 더 빠릅니다. (한 번에 여러 글자를 동시에 고쳐서)
정확도: 속도가 빨라졌음에도 불구하고, 기존에 가장 똑똑했던 모델들 (Qwen3-VL 등) 과 비교해도 성능이 떨어지지 않거나, 오히려 더 좋아진 경우도 많습니다.
효율: 적은 양의 데이터로도 훌륭한 성능을 낼 수 있어 비용 효율적입니다.
요약
이 논문은 **"AI 가 글을 쓸 때, 한 글자씩 천천히 쓰는 방식과 한 번에 뚝딱 쓰는 방식을 모두 살릴 수 있는 방법"**을 찾았습니다.
마치 자전거를 타는 법을 가르칠 때, 처음에는 바퀴를 다 달고 바로 타게 하면 넘어지지만, 바퀴를 하나씩 떼어내고 보조바퀴를 달아주며 (단계적 병합), 그리고 잘 타는 친구가 옆에서 도와주는 (지식 전달) 방식으로 가르치니, 결국 빠르고 안정적으로 자전거를 탈 수 있게 된 것과 같습니다.
이 기술 덕분에 앞으로 우리는 더 빠르고 똑똑한 AI 비서와 대화할 수 있게 될 것입니다.
1. 문제 정의 (Problem)
자기회귀 (Autoregressive, AR) 모델의 병목 현상: 기존 시각 - 언어 모델 (VLM) 은 토큰 단위로 순차적으로 생성하는 자기회귀 방식을 사용하여 강력한 멀티모달 능력을 보여줍니다. 그러나 이 방식은 추론 시 토큰 생성이 순차적으로 이루어져야 하므로, 긴 문맥이나 복잡한 작업에서 추론 속도가 느린 근본적인 병목 현상을 겪습니다.
확산 (Diffusion) 모델의 한계: 확산 기반 VLM(dVLM) 은 병렬 디코딩을 통해 추론 속도를 획기적으로 개선할 수 있는 잠재력을 가지고 있습니다. 그러나 기존 연구들은 사전 학습된 강력한 AR 모델을 직접 대규모 블록 (Large-block) 확산 모델로 변환할 때, 품질이 크게 저하되는 문제를 겪었습니다.
전환의 어려움: AR 모델의 '다음 토큰 예측'과 확산 모델의 '동일 위치 노이즈 제거 (Denoising)' 간의 최적화 패턴과 분포 불일치로 인해, 직접적인 변환이나 대규모 블록으로의 급격한 전환은 성능 저하를 초래합니다.
2. 방법론 (Methodology)
저자들은 BARD라는 효율적인 브리징 프레임워크를 제안하여, 사전 학습된 AR VLM 을 동일한 아키텍처를 가진 대규모 블록 확산 VLM(dVLM) 으로 변환합니다. 핵심 구성 요소는 다음과 같습니다.
가. 점진적 감독 블록 병합 (Progressive Supervised Block Merging)
개념: AR 모델에서 대규모 블록 확산 모델로 직접 점프하는 대신, 블록 크기를 단계적으로 늘려가며 안정적으로 전환합니다.
과정:
작은 블록 앵커 구축: 먼저 사전 학습된 AR 모델을 작은 블록 크기 (예: B=4) 의 확산 모델로 변환하여 안정적인 '앵커 (Anchor)' 모델을 만듭니다.
점진적 확장: 블록 크기를 4→8→16→32와 같이 단계적으로 두 배씩 늘립니다. 각 단계에서 이전 단계의 모델을 기반으로 학습하여, 디코딩 패턴의 급격한 변화를 완화합니다.
나. 단계별 dVLM 증류 (Stage-wise dVLM Distillation)
문제 인식: 블록 크기가 커질수록 성능이 떨어지는 현상이 발생합니다. 이를 해결하기 위해 증류 (Distillation) 기법을 도입합니다.
핵심 아이디어: 기존 AR 모델을 교사 (Teacher) 로 사용하는 것이 아니라, **고정된 작은 블록 확산 앵커 모델 (θ(1))**을 교사 모델로 사용합니다.
AR 모델은 '깨끗한 전제 조건'에서 다음 토큰을 예측하는 반면, 확산 모델은 '노이즈가 섞인 상태'에서 동일 위치 토큰을 예측하므로 직접적인 KL 발산 (KL Divergence) 증류는 불일치가 큽니다.
반면, 작은 블록 확산 앵커는 이미 확산 영역 (Diffusion Regime) 에 적응되어 있어, 더 큰 블록의 학생 모델에게 일관된 증류 신호를 제공합니다.
효과: 큰 블록으로 전환될 때 발생하는 능력 저하를 회복하고, 멀티모달 능력을 유지합니다.
다. 혼합 노이즈 스케줄러 (Mixed Noise Scheduler)
기존 방식: 표준 흡수 상태 (Absorbing-state) 확산은 [MASK] 토큰만 마스킹하여 학습합니다. 이는 누락된 토큰 복원에는 좋지만, 이미 보이지만 잘못된 토큰을 수정 (Revision) 하는 능력은 부족합니다.
BARD 의 개선: 마스킹된 토큰뿐만 아니라 **가시적인 토큰을 무작위로 손상 (Visible-token corruption)**시키는 혼합 노이즈를 도입합니다.
효과: 모델이 생성 과정에서 잘못된 토큰을 반복적으로 수정 (Iterative Revision) 할 수 있는 능력을 향상시켜, 확산 모델의 고질적인 문제인 초기 오류 수정 실패를 해결합니다.
라. 메모리 친화적 학습 (Memory-Friendly Training)
멀티모달 컨텍스트 (이미지 토큰) 가 길어질 경우 메모리 소모가 큽니다. BARD 는 깨끗한 응답 (x1) 과 노이즈가 섞인 응답 (xt) 을 별도의 시퀀스가 아닌 단일 패킹된 시퀀스 [Q,x1,xt]로 구성하여, 컨텍스트 Q의 중복 저장을 방지하고 메모리 효율을 극대화합니다.
3. 주요 기여 (Key Contributions)
효율적인 브리징 프레임워크 (BARD): 강력한 AR VLM 을 대규모 블록 확산 VLM 으로 변환하는 새로운 표준을 제시하며, 품질 저하 없이 병렬 디코딩을 가능하게 합니다.
점진적 블록 병합 및 증류 전략: AR-to-Diffusion 전환 시 발생하는 성능 저하를 해결하기 위해 '작은 블록 앵커'를 기반으로 한 점진적 확장 및 단계별 증류 기법을 제안했습니다. 이는 기존 연구들과 달리 확산 영역 내에서의 증류가 더 효과적임을 증명했습니다.
혼합 노이즈 스케줄러: 가시적 토큰 손상을 포함하여 모델의 반복적 수정 능력을 강화함으로써, 확산 모델의 신뢰성을 높였습니다.
SOTA 성능 달성: 4B 및 8B 스케일에서 기존 오픈 소스 확산 VLM 들을 압도하는 성능을 기록했으며, 원본 AR 모델 (Qwen3-VL) 과 비교해도 대부분의 벤치마크에서 성능을 유지하거나 오히려 향상시켰습니다.
4. 실험 결과 (Results)
벤치마크 성능: 7 가지 멀티모달 벤치마크 (MMMU, MME, RealWorldQA, ChartQA 등) 에서 평가되었습니다.
Qwen3-VL 기반 변환: BARD-VL(4B/8B) 은 원본 Qwen3-VL 모델의 능력을 대부분 유지하면서, 4B 모델은 7 개 중 5 개, 8B 모델은 7 개 중 6 개 벤치마크에서 원본보다 높은 점수를 기록했습니다.
확산 모델 대비 우위: 기존 확산 VLM (LLaDA-V, Dream-VL 등) 과 비교했을 때, BARD-VL 은 모든 스케일에서 일관되게 더 높은 성능을 보였습니다.
효율성 (Throughput):
원본 AR 모델 대비 최대 3 배의 디코딩 처리량 (Throughput) 향상을 달성했습니다.
특히 긴 구조화된 텍스트 생성 (예: 영수증 정보 추출) 에서 AR 모델이 35 단계를 거치는 반면, BARD-VL 은 6 단계의 확산 정제 단계로 동일한 결과를 도출하여 병렬성의 이점을 입증했습니다.
데이터 효율성: 약 440 만 개의 데이터만으로도 강력한 성능을 달성했으며, 11 만 개의 소량 데이터로도 경쟁력 있는 모델을 구축할 수 있음을 확인했습니다.
5. 의의 및 결론 (Significance)
품질 - 효율성 트레이드오프 해소: BARD 는 확산 모델이 가진 병렬 처리의 효율성 이점을 유지하면서, AR 모델의 높은 추론 능력을 잃지 않는 방법을 제시했습니다. 이는 멀티모달 생성 모델의 새로운 패러다임을 제시합니다.
실용적인 브리징 레시피: AR 모델을 확산 모델로 전환하는 것이 불안정한 '한 번의 변환'이 아니라, 점진적 블록 병합과 증류를 통한 '안정적이고 확장 가능한 후학습 (Post-training) 레시피'로 재정의했습니다.
미래 전망: 이 연구는 확산 기반 VLM 이 AR 기반 모델을 대체하거나 보완할 수 있는 실질적인 가능성을 보여주었으며, 향후 더 다양한 백본 모델과 스케일에서의 적용 가능성을 열어주었습니다.
요약하자면, BARD는 확산 모델의 병렬성 이점을 살리면서도 AR 모델의 높은 성능을 유지하기 위해 점진적 블록 병합, 확산 영역 내 증류, 그리고 혼합 노이즈 학습을 결합한 혁신적인 프레임워크입니다.