기술 요약: 멀티모달 임베딩 공간에서의 확산(Diffusion) 및 자기회귀(Autoregressive) 시각 언어 모델 분석

문제 정의

임베딩 모델은 현대 AI 시스템의 기초로서, 시맨틱 검색 및 검색 증강 생성(RAG)을 가능하게 합니다. 최근 대규모 언어 모델(LLM)과 시각 언어 모델(VLM)의 발전이 임베딩 모델 개발을 가속화하고 있지만, **멀티모달 확산 언어 모델(dLLM)**과 관련해서는 중요한 격차가 존재합니다.

dLLM(예: LLaDA, Dream)은 양방향 어텐션(bidirectional attention)과 병렬 생성을 통해 전역적 문맥 모델링을 제공하는 등 자기회귀 모델의 경쟁력 있는 대안으로 등장했으나, 멀티모달 확산 VLM이 효과적인 멀티모달 임베딩 모델로서 기능할 수 있을지는 아직 알려지지 않았습니다. 특히, 분류, 시각적 질의응답(VQA), 정보 검색과 같은 다양한 작업에서 이들의 임베딩이 최첨단 자기회귀 VLM의 임베딩과 어떻게 비교되는지는 불분명합니다.

방법론

저자들은 멀티모달 dLLM을 임베딩 모델로 변환하여 이를 자기회귀 모델과 비교하는 최초의 체계적인 연구를 제시합니다.

평가 대상 모델

본 연구는 두 가지 패러다임을 대표하는 네 가지 최첨단 모델을 선정했습니다:

• 자기회귀 VLM: LLaVA-1.6 및 Qwen2.5-VL. 이들은 인과적 어텐션(causal attention)과 다음 토큰 예측 목적 함수를 사용합니다.
• 확산(Diffusion) VLM: LaViDa 및 MMaDA. 이들은 양방향 어텐션과 토큰 언마스킹(denoising) 목적 함수를 활용합니다.
  • LaViDa: 확산 언어 백본(Dream-7B)과 비전 인코더(SigLIP)를 사용하여 멀티모달 이해에 집중합니다.
  • MMaDA: 통합 확산 아키텍처(LLaDA-8B + MAGVIT-v2 토크나이저)를 사용하여 멀티모달 이해와 텍스트-이미지 생성을 통합합니다.

실험 설정

저자들은 VLM2Vec 프레임워크를 따라, 이들 사전 학습된 모델에 **대조 학습 미세 조정(contrastive fine-tuning)**을 적용합니다.

• 작업(Tasks): 평가는 세 가지 메타 작업에 걸쳐 진행됩니다:
  1. 분류(Classification): 이미지/지시문 입력을 클래스 레이블로 매핑 (예: ImageNet-1K, N24News).
  2. 시각적 질의응답(VQA): 이미지/지시문/질문 입력을 답변으로 매핑 (예: DocVQA, ScienceQA).
  3. 정보 검색(Information Retrieval): 교차 모달 관련성에 기반하여 후보군을 순위화 (예: MSCOCO, VisualNews, CIRR).
• 학습 전략: 모델은 인배치(in-batch) 및 하드 네거티브(hard negatives)를 포함한 InfoNCE 손실 함수를 사용하여 미세 조정됩니다.
  • 자기회귀 임베딩: 마지막 토큰 표현(last-token representation)에서 추출됩니다.
  • 확산 임베딩: 양방향 문맥을 활용하기 위해 문맥화된 토큰 표현의 평균 풀링(mean pooling)을 통해 추출됩니다.
• 데이터 규모: 데이터 효율성을 평가하기 위해 각 작업당 샘설 수를 제한(최대 20k)하여 미세 조정을 수행하며, 총 32개의 데이터셋(인도메인 19개, 아웃도메인 13개)을 다룹니다.

주요 결과

1. 일반 성능 격차

양방향 어텐션이 더 우수한 임베딩을 생성할 것이라는 가설과 달리, 확산 VLM은 모든 세 가지 메타 작업에서 일반적으로 자기회귀 VLM보다 낮은 성능을 보였습니다.

• LaViDa: 자기회귀 베이스라인과 비교하여 분류에서 3.5포인트, VQA에서 2.5포인트, 검색에서 4.4포인트의 평균 하락을 보이는 등 완만한 성능 격차를 나타냈습니다.
• MMaDA: 모든 작업에서 자기회귀 모델에 비해 20포인트 이상의 상당한 성능 저하를 보였습니다.

2. 도메인 일반화

확산 VLM이 일반적으로 인도메인(in-domain)에서는 성능이 낮지만, LaViDa는 더 강력한 아웃도메인(OOD) 일반화 능력을 보여주었습니다.

• 분류 작업에서 LaViDa는 인도메인에서는 LLaVA-1.6보다 9.0포인트 낮았으나, OOD 작업에서는 LLaVA-1.6을 2.0포인트 앞질렀습니다.
• VQA 및 검색에서도 유사한 경향이 관찰되었으며, 이는 LaVi-da가 절대적인 성능은 낮더라도 도메인 변화에 더 탄력적일 수 있음을 시사합니다.

3. 작업별 강점

모델마다 서로 다른 귀납적 편향(inductive bias)을 보입니다:

• LLaVA-1.6: 세상 지식과 상식적 추론이 필요한 작업(예: OK-VQA)에서 탁월합니다.
• Qwen2.5-VL: 구조화된 문서 및 차트 이해(예: DocVQA, ChartQA)에서 최고의 성능을 발휘합니다.
• LaViDa: 객체와 관계를 포함하는 구성적 추론(compositional reasoning) 작업(예: GQA)에서 높은 성능을 달성합니다.

4. 교차 모달 정렬 분석

성능 격차의 주요 원인은 확산 기반 모델의 불충분한 이미지-텍스트 정렬로 식였습니다.

• t-SNE 시각화: MSCOCO 이미지-텍스트 검색 작업에서, LaViDa는 광범한 미세 조정(166k 샘플) 후에도 쌍을 이룬 이미지와 텍스트 임베딩 사이에 상당한 분리가 나타났습니다. 반면, LLaVA-1.6은 학습 초기 단계부터 긴밀한 정렬을 달성했습니다.
• 검색 불균형: LaViDa는 이미지-이미지 검색(예: CIRR)에서는 비교적 잘 수행하지만, 교차 모달 검색(예: MSCOCO-i2t)에서는 크게 고전하며 약한 교차 모달 정렬을 확인시켜 주었습니다.

5. 데이터 효율성 및 아키텍처

• 데이터 효율성: 자기회귀 모델(특히 LLaVA-1.6)은 확산 모델에 비해 더 작은 데이터셋으로도 대부분의 성능을 회복하는 높은 데이터 효율성을 보여주었습니다.
• 비전 인코더의 영향: MMaDA에 대한 절제 연구(ablation study) 결과, 미세 조정 중 비전 인코더를 언프리징(unfreezing)해도 성능 향상이 미미했습니다. 이는 병목 현상이 비전 인코더의 파라미터가 아닌 언어 백본의 정렬 능력에 있음을 시사합니다.

의의 및 기여

본 논문은 멀티모달 임베딩 커뮤니티에 세 가지 주요 기여를 합니다:

1. 새로운 범주 도입: 멀티모달 대규모 확산 언어 모델로부터 파생된 새로운 카테로리인 확산 VLM 임베딩 모델을 정의하고 평가했습니다.
2. 체계적 비교 분석: 32개의 데이터셋과 세 가지 메타 작업을 통해 확산 및 자기회귀 VLM 임베딩을 비교하는 최초의 포괄적인 벤치마크를 제공했습니다.
3. 경험적 통찰: 양방향 어텐션의 이론적 이점에도 불구하고, 현재의 확산 VLM 임베딩은 자기회귀 모델보다 성능이 떨어진다는 점을 밝혀냈습니다. 이 연구는 이러한 현상을 약한 멀티모달 이해와 덜 효과적인 교차 모달 정렬(특히 MMaDA와 같이 생성 작업에 최적화된 모델의 경우) 때문으로 규정했습니다.

저자들은 확산 VLM이 OOD 일반화 및 구성적 추론과 같은 특정 분야에서 가능성을 보여주지만, 현재의 정렬 한계가 범용 멀티모달 임베딩 모델로서의 효과를 저해한다고 결론지었습니다. 이 결과는 향히 연구가 단순히 아키텍처의 변화에만 의존하기보다, 확산 아키텍처 내에서의 교차 모달 정렬을 개선하는 데 집중해야 함을 시사합니다.