💻 computer science

LaViDa-R1: Advancing Reasoning for Unified Multimodal Diffusion Language Models

LaViDa-R1은 새로운 사후 학습 프레임워크 내에서 지도 미세 조정과 다중 작업 강화 학습을 통합함으로써 추론 능력을 발전시킨 통합 멀티모달 확산 언어 모델로, 다양한 시각적 이해 및 생성 작업 전반에서 강력한 성능을 입증합니다.

원저자: Shufan Li, Yuchen Zhu, Jiuxiang Gu, Kangning Liu, Zhe Lin, Yongxin Chen, Molei Tao, Aditya Grover, Jason Kuen

게시일 2026-07-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shufan Li, Yuchen Zhu, Jiuxiang Gu, Kangning Liu, Zhe Lin, Yongxin Chen, Molei Tao, Aditya Grover, Jason Kuen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 그림도 그릴 수 있고 이야기도 쓸 수 있는 매우 재능 있는 예술가인 LaViDa-O가 있다고 상상해 보세요. 이 예술가는 지시를 잘 따르지만, 까다로운 퍼즐을 풀거나 자신이 왜 특정 선택을 했는지 설명해야 할 때면 가끔 그냥 추측하거나 서둘러 답을 내버리곤 합니다.

이 논문은 LaViDa-R1이라고 불리는 새로운 훈련 방법을 소개합니다. 이것은 예술가에게 새로운 사실을 가르치는 것이 아니라, 생각하는 법을 가르치는 것입니다. 마치 예술가에게 잠시 멈추고, 추론 과정을 스케치하고, 자신의 작업을 점검한 다음, 그제서야 최종 걸작을 공개하도록 강제하는 '사고용 모자(thinking cap)'를 씌워주는 것과 같습니다.

이들은 다음과 같은 간단한 비유를 사용하여 이 작업을 수행했습니다:

1. "통합 체육관" (Unified Post-Training)

보통 AI를 수학에 더 능숙하게 만들고 싶다면 수학 문제만 보여줍니다. 사진 편집을 더 잘하게 하고 싶다면 사진 편집 작업만 보여줍니다. 이것은 학생을 오전에는 수학 수업에, 오후에는 사진 수업에 보내면서 두 기술을 결코 섞지 못하게 하는 것과 같습니다.

LaViDa-R1은 모든 것을 하나의 거대한 "체육관"에 넣습니다. 이 모델은 수학, 사진 편집, 그림 속 물체 찾기, 그리고 질문에 답하기를 동시에 훈련받습니다. 논문은 이 "통합된" 접근 방식이 모델을 특정 분야의 전문가로 만드는 대신, 전반적으로 더 똑똑하게 만든다고 주장합니다.

2. "정답 강제" 트릭 (학생이 막혔을 때)

예술가가 수학 문제를 풀려고 노력 중이라고 상상해 보세요. 세 번 시도했지만 세 번 모두 틀렸습니다. 일반적인 훈련 세션에서 선생님은 그저 "다시 해봐"라고 말할 것이고, 예술가는 자신이 어떻게 실패했는지 모르기 때문에 좌절하거나 아무것도 배우지 못할 수 있습니다.

LaViDa-R1은 **Answer-Forcing(정답 강제)**이라는 트릭을 사용합니다.

상황: 모델이 문제를 해결하는 데 실패합니다.
트릭: 선생님이 종이 맨 끝에 정답을 몰래 적어 놓습니다.
마법: 이 모델은 빈칸을 채우는 방식(디퓨전 모델)으로 구축되었기 때문에, 끝에 있는 정답을 보고 중간에 빠진 추론 단계를 채우기 위해 역방향으로 작업할 수 있습니다.
결과: 모델은 "아, 만약 내가 이 답을 얻고 싶다면, 나는 이렇게 생각해야 하는구나"라고 배웁니다. 이는 모델이 스스로를 가르치기 위해 무(無)에서부터 완벽한 "사고 과정"을 만들어내게 합니다.

3. "트리 탐색" (숲을 탐험하기)

때로는 (사진을 "더 열대 느낌이 나게" 편집하는 것처럼) 검증할 단 하나의 "정답"이 없는 경우가 있습니다. 모델은 그저 무엇이 좋아 보일지 추측해야 합니다.

만약 모델이 10번 시도했는데 10번 모두 별로라면, 유용한 피드백을 얻지 못합니다.
LaViDa-R1은 **Tree Search(트리 탐색)**를 사용합니다.

모델이 여정을 시작하여 10개의 서로 다른 경로를 택한다고 상상해 보세요.
모델은 어떤 경로가 가장 좋아 보이는지 확인합니다.
처음부터 다시 시작하는 대신, 그 가장 좋은 경로를 따라가서, 조금 뒤로 돌아간 다음, 그 특정 지점에서 10 개의 새로운 변형을 시도하며 가지를 뻗어나갑니다.
이것은 하이커가 "내가 지나온 이 길은 좋았어"라고 깨닫고, 산 밑바닥에서 다시 시작하는 대신 그 지점으로 돌아가서 10개의 새로운 방향을 시도하는 것과 같습니다. 이는 더 빠르게 최선의 해결책을 찾는 데 도움이 됩니다.

4. "균형 잡힌 성적표" (더 나은 채점)

이러한 모델을 훈련할 때, 컴퓨터는 어떤 추측이 얼마나 "좋았는지" 계산해야 합니다. 보통 이 계산은 지저ch히고 불균형합니다. 마치 어떤 질문은 10점이고 어떤 질문은 1점인 것처럼 실수로 점수가 매겨지는 시험을 채점하는 선생님과 같습니다.

논문은 **Complementary Likelihood Estimator(상보적 가능도 추정치)**를 도입합니다.

이것은 모델의 답변에 포함된 모든 단어가 공정한 점수를 받도록 보장하는 채점 시스템과 같습니다.
이 방식은 추론 과정의 어떤 부분도 무시되지 않도록 두 가지 다른 "관점"을 사용하여 모델이 불균형한 피드백 때문에 혼란을 겪는 것을 방지합니다.

결과: 무엇을 달성했는가?

논문은 이러한 트릭들을 사용함으로써 LaViDa-R1이 다음과 같은 분야에서 현저히 향상되었다고 주장합니다:

시각 수학(Visual Math): 그림이나 차트가 포함된 수학 문제를 해결하는 능력.
객체 접지(Object Grounding): 복잡한 묘사(예: "선수가 아닐 것 같은 사람을 찾아라")를 바탕으로 사진 속 특정 객체를 찾는 능력.
이미지 편집(Image Editing): 무엇을 바꿔야 하는지에 대해 먼저 추론한 뒤, 지시에 따라 사진을 변경하는 능력 (예: "이 숲속 오두막을 해변 집으로 바꿔줘").

요약하자면: 이 논문은 멀티모달 AI(보고 읽을 수 있는 AI)가 "말하기 전에 생각하도록" 훈련하는 새로운 방법을 제시합니다. 다양한 유형의 과업을 혼합하고, 정답을 가이드 삼아 모델이 자신의 실수로부터 배우도록 강제하며, 스마트한 탐색 전략을 사용함으로써, 그들은 이전 버전보다 훨씬 더 뛰어난 추론 능력을 갖춘 모델을 만들어냈습니다.

기술 요약: LaViDa-R1

문제 정의

확산 언어 모델(Diffusion Language Models, dLLMs)은 자기회귀(Autoregressive, AR) 모델의 대안으로서 양방향 컨텍스트, 병렬 디코딩, 텍자 및 이미지에 대한 통합된 생성 패러다임과 같은 이점을 제공하며 유망한 대안으로 부상했습니다. 그러나 dLLM의 추론 능력을 범용적인 멀티모달 설정으로 확장하는 것은 기존 방법들이 완전히 해결하지 못한 몇 가지 결정적인 과제를 안고 있습니다:

작업 특이성(Task Specificity): 현재의 추론 dLLM은 좁은 도메인(예: 수학적 추론)에 집중하는 경우가 많으며, 이미지 편집이나 객체 그라운딩(object grounding)과 같은 다양한 멀티모달 작업을 위한 통합된 프레임워크가 부족하여 작업별 미세 조정(fine-tuning)을 요구합니다.
학습 불안정성(Training Instability): dLLM에 강화 학습(RL)을 적용하면 모델 붕괴(model collapse)가 발생하기 쉽습니다. 또한, 모델 붕괴를 방지하기 위해 의도된 KL 발산 정규화 항(KL divergence regularizers)은 오히려 탐색을 방해하고 작업 성능을 저하시키는 경우가 많습니다.
소멸되는 학습 신호(Vanishing Training Signals): 복잡한 작업의 경우, 모델이 학습 중에 고품질의 샘플을 생성하는 데 실패하여 보상 신호가 낮거나 0이 될 수 있습니다. 이는 모든 샘플이 낮은 보상을 받을 때 그룹 기반의 어드밴티지(advantage) 계산이 0을 산출하게 되는 온폴리시(on-policy) RL 설정에서 특히 문제가 됩니다.
다루기 힘든 우도 추정(Intractable Likelihood Estimation): AR 모델과 달리 dLLM은 시퀀스 우도(likelihood)를 정확하게 계산할 수 없습니다. 기존의 추정 방식(예: 몬테카를로)은 마스킹되지 않은 토큰에 대한 신호 누락이나 불균형한 토큰 그래디언트 문제로 인해 학습 불안정성을 초래하는 경우가 많습니다.

방법론

본 논문은 새로운 통합 사후 학습(post-training) 프레임워크를 기반으로 구축된 멀티모달 범용 추론 dLLM인 LaViDa-R1을 제안합니다. 이 방법론은 세 가지 핵심 구성 요소를 통합합니다:

1. 통합 사후 학습 목적 함수 (Unified Post-Training Objective)

LaViDa-R1은 지도 미세 조정(SFT), 온라인 강화 학습(RL), 그리고 자기 증류(Self-Distillation)를 매끄럽게 결합하는 통합 정책 경사(policy-gradient) 목적 함수를 도입합니다.

정식화: 저자들은 Online GRPO, SFT, Best-of-N 증류와 같은 목적 함수들이 $J_{Unified}(\theta) = \frac{1}{N} \sum A_i \log \pi_\theta(y_i|x_i)$ 라는 통일된 형태로 표현될 수 있음을 관찰했습니다.
SFT를 통한 정규화: 참조 모델(reference model)을 필요로 하고 탐색을 방해하는 KL 발산 항 대신, 이 프레임워크는 SFT 정규화 항을 사용합니다. 이를 통해 모델은 사전 학습된 분포를 넘어 액션 공간을 탐색할 수 있는 동시에 모델 붕괴를 방지하며, 참조 모델을 제거함으로써 계산 비용을 크게 절감합니다.
가중치 집계: 이 프레임워크는 서로 다른 목적 함수(예: GRPO 및 자기 증류)로부터 얻은 어드밴티지를 가중 평균을 사용하여 집계함으로써, 재샘플링 없이 동시 최적화를 가능하게 합니다.

2. 가이드된 롤아웃 생성 (Guided Rollout Generation)

모델이 고품질 출력을 생성하지 못할 때 발생하는 소멸되는 학습 신호 문제를 해결하기 위해, LaViDa-R1은 두 가지 가이드 생성 메커니즘을 채택합니다:

정답 강제 주입 (Answer Forcing): 검증 가능한 정답(ground-truth)이 있는 작업(예: 수학적 추론, 객체 그라운딩)의 경우, 그룹 내에서 모델이 정답을 생성하는 데 실패하면 시스템은 완전히 마스킹된 시퀀스에 정답 토큰을 주입합니다. 그 후 dLLM의 양방향 인페인팅(inpainting) 능력을 활용하여 정답에 조건화된 합성 추론 궤적(reasoning trace)을 생성합니다. 이는 초기 생성이 부실하더라도 고품질의 학습 신호를 보장합니다.
트리 탐색 (Tree Search): 정답이 없는 작업(예: 이미지 편집)의 경우, 프레임워크는 트리 탐색 알고리즘을 활용합니다. 초기 샘플 그룹을 생성하고, 가장 높은 보상을 받은 궤적을 선택한 뒤, 해당 최적 샘플의 중간 확산 상태(intermediate diffusion state)로부터 분기하여 새로운 샘플을 생성합니다. 이러한 반복적 확장은 유효 그룹 크기를 늘리고 고보상 궤적을 찾을 확률을 높입니다.

3. 상보적 마스킹 우도 추정기 (Complementary-Masking Likelihood Estimator)

dLLM에서 시퀀스 우도를 추정하는 문제를 해결하기 위해, 저자들은 새로운 추정기를 제안합니다:

메커니즘: 표준 몬테카를로 샘플링 대신, 두 개의 샘플을 사용하는 상보적 마스킹(complementary masking) 방식을 사용합니다. 한 샘포가 특정 토큰 세트를 마스킹하면, 두 번째 샘플은 그 반대로 첫 번째가 마스킹한 부분을 언마스킹(unmasking)합니다.
가중치 부여: $w(t) = 1/t$ 와 같은 가중치 함수를 사용하는 기존 연구와 달리, LaViDa-R1은 균일한 가중치 $w(t) = 1$ 을 사용합니다.
이점: 이 접근 방식은 두 샘플 전체에 걸쳐 시퀀스의 모든 토큰이 정확히 한 번씩 계산되도록 보장하여 중요한 토큰이 무시되는 것을 방지합니다. 또한, 초기 확산 단계에서 마스킹된 토큰을 과도하게 선호하게 만드는 $1/t$ 가중치로 인한 불균형한 토큰 그래디언트 문제를 피할 수 있습니다.

주요 기여

통합 멀티모달 추론 프레임워크: LaVi-R1은 시각적 수학 추론, 시각적 질의응답, 추론 집약적 객체 그라운딩, 이미지 편집을 포함한 광범위한 멀티모달 작업을 단일 통합 모델 내에서 RL을 통해 추론 능력으로 확장한 첫 번째 연구입니다.
안정적인 통합 사후 학습: KL 정규화를 SFT로 대체하여 참조 모델의 계산 오버헤드 없이 안정적인 탐색을 가능하게 하고 모델 붕괴를 방지하는 실용적인 사후 학습 패러다임을 제시합니다.
가이드 생성 알고리즘: "정답 강제 주입" 및 "트리 탐색" 메커니즘의 개발은 복잡한 작업에서 발생하는 온폴리시 RL 고유의 소멸되는 학습 신호 문제를 효과적으로 완화합니다.
개선된 우도 추정: 균일 가중치를 사용하는 제안된 상보적 마스킹 추정기는 기존 MC 기반 방식에 비해 dLLM 학습을 위한 더 안정적이고 정확한 그래디언트 신호를 제공합니다.

실험 결과

광범範한 실험을 통해 LaViDa-R1이 다양한 벤치마크에서 베이스 모델(LaViDa-O) 및 SFT 베이스라인을 능가하는 강력한 성능을 달성함을 입증했습니다:

시각적 수학 추론: MathVista (+3.10) 및 MathVerse에서 유의미한 향상을 보였습니다.
시각적 질의응답: ChartQA (+1.70) 및 MMMU-Pro에서 이득을 얻었습니다.
추론 집약적 그라운딩: Lisa-Grounding 데이터셋에서 베이스 모델 대비 P@0.5 기준 +37.50 포인트의 대폭적인 상승을 기록했습니다.
이미지 편집: ImgEdit 벤치마크에서 전체 점수 +0.10 상승을 보이며, 감독된 모드(supervised modes)를 넘어 탐색하는 능력을 입증했습니다.
언어 전용 작업: GSM8K 및 Math500에서 주목할 만한 성과를 거두었으며, 이는 통합된 추론 학습이 순수 언어 능력에도 이득을 준다는 것을 시사합니다.

의의 및 주장

본 논문은 LaViDa-R1이 멀티모달 이해와 생성을 추론과 결합하는 데 있어 중요한 진전임을 주장합니다. 다양한 작업을 하나의 추론 가능한 dLLM으로 성공적으로 통합함으로써, 현재의 파편화된 멀티모달 모델 문제를 해결합니다. 저자들은 KL 발산 없이 SFT와 RL을 결합한 통합 사후 학습 전략이 확산 모델의 추론 능력을 향상시키는 데 있어 더 안정적이고 계산 효율적인 경로를 제공한다고 강조합니다.

본 연구는 추론 dLLM이 전역적 가시성(global visibility)을 활용하여 추론 궤적과 최종 출력을 공동으로 모델링함으로써, 자기회귀 모델에서는 어려운 총체적 정교화(holistic refinement)를 수행할 수 있음을 보여줍니다. 비록 논문은 dLLM과 최첨단 AR MLLM 간의 추론 성능 격차, 그리고 dLLM을 위한 효율적인 추론 프레임워크의 부재와 같은 한계를 인정하고 있으나, 제안된 레시피가 향후 스케일링과 더 복잡한 멀티모달 추론 작업 탐색을 위한 견고한 토대를 제공한다고 상정합니다.