ZAYA1-VL-8B Technical Report

제공된 기술 보고서를 바탕으로 ZAYA1-VL-8B 논문에 대한 상세한 요약은 다음과 같습니다.

문제 제기

비전 - 언어 모델 (VLM) 은 급속히 진화해 왔으나, 완전히 성숙한 단계로 간주되기 전까지 여러 가지 과제가 남아 있습니다. 여기에는 모델 환각, 고해상도 입력에 따른 높은 계산 비용, 그리고 효율적인 배포의 어려움이 포함됩니다. 논문에서 지적된 특정 아키텍처적 한계는 표준 VLM 이 종종 비전 토큰과 언어 토큰을 동일한 모델 파라미터를 통해 라우팅하여, 근본적으로 다른 통계적 특성을 가진 두 모달리티를 위해 공유된 표현을 강제로 사용하게 만든다는 점입니다. 이는 특히 언어 데이터에서 주로 학습된 전문가 라우팅을 사용하는 전문가 혼합 (MoE) 아키텍처에서 간섭을 초래할 수 있습니다. 또한, 이미지 토큰에 대한 인과적 어텐션 마스크의 표준적 사용은 최적이지 않은데, 이미지 패치에는 고유의 좌우 순서가 없기 때문에 임의로 이전 패치가 이후 패치를 주시하는 것을 방지하고 전역적 시각 구조의 포착을 제한하기 때문입니다. 더 나아가, 생태계는 독점 모델이나 이들로부터 증류된 합성 데이터에 크게 의존하고 있어, 성능을 주도하는 요소에 대한 재현성과 가시성이 제한됩니다.

방법론

저자들은 자체 MoE 언어 모델인 ZAYA1-8B-A1B를 기반으로 구축된 소형 VLM 인 ZAYA1-VL-8B를 제시합니다. 이 모델은 비전 인코더를 포함하여 총 92 억 개의 파라미터 중 14 억 개의 활성 파라미터로 구성됩니다. 아키텍처는 디코더 전용 LLM, 비전 인코더 (Qwen2.5-VL 기반), 이미지 전처리기, 그리고 비전 어댑터라는 네 가지 주요 구성 요소를 통합합니다.

논문은 파라미터 공유 및 인과적 마스킹의 한계를 해결하기 위해 설계된 두 가지 주요 아키텍처 혁신을 상세히 설명합니다:

1. 비전 전용 LoRA 어댑터: MoE 백본에 새로운 전문가를 추가하여 모델 크기와 데이터 요구 사항을 증가시키는 대신, 저자들은 LLM 내의 어텐션 및 MLP 모듈의 선형 가중치에 저랭크 적응 (LoRA) 어댑터를 통합합니다. 이러한 어댑터는 비전 토큰이 LLM 으로 전달될 때만 활성화됩니다. 이들은 주 훈련 단계 동안 표준 가중치와 함께 훈련되며, 텍스트 경로와의 편차를 방지하기 위해 가중치 감쇠 항을 적용하여 0 에서 시작합니다. 이는 모델 크기를 실질적으로 늘리지 않으면서 모달리티별 용량을 증가시킵니다.
2. 이미지 토큰에 대한 양방향 어텐션: 저자들은 LLM 어텐션 레이어 내의 비전 토큰에 대한 인과적 마스크를 제거합니다. 이는 모든 시각 토큰 간의 완전한 양방향 어텐션을 가능하게 하여 공간적 대칭성을 복원하고, LLM 내의 시각 토큰의 어텐션 패턴을 비전 인코더의 어텐션 패턴과 정렬시킵니다. 텍스트 토큰은 표준 인과적 마스킹을 유지합니다.

훈련 파이프라인:
훈련은 다단계 커리큘럼을 따릅니다:

• 정렬 (Alignment): LLM 을 고정시킨 상태에서 저해상도 이미지 캡션 데이터 (LLaVA-ReCap-558K) 로 비전 어댑터만 훈련합니다.
• 사전 훈련 (Pretraining): 3 천만 개의 멀티모달 샘플에 대한 모든 파라미터의 공동 훈련입니다. 이 단계에서는 새로운 채팅 템플릿을 도입하고 이미지 해상도 상한을 0.8MP 에서 6.3MP 로 점진적으로 증가시킵니다.
• 임베딩 확장 (Embedding Expansion): 모델의 나머지 부분은 고정된 채 바운딩 박스 및 점과 같은 그라우딩 작업을 위한 특수 토큰을 수용하기 위해 LLM 임베딩 레이어를 확장합니다.
• 지시 미세 조정 (Instruction Tuning): 2 천만 개의 선별된 텍스트 및 멀티모달 샘플에 대한 엔드 투 엔드 훈련으로, 바운딩 박스 및 포인팅 형태의 그라우딩 데이터를 도입합니다.

훈련 파이프라인은 이질적인 시퀀스 길이를 처리하고 GPU 활용도를 극대화하기 위해 효율적인 시퀀스 패킹과 신중하게 설계된 어텐션 마스킹 (대화 마스킹 포함) 을 사용하는 완전한 스트리밍 데이터 파이프라인을 활용합니다.

주요 기여

1. MoE 의 타당성 입증: 논문은 맞춤형 MoE LLM(ZAYA1-8B-A1B) 이 강력한 VLM 을 구동할 수 있음을 보여주며, 언어에서의 MoE 이점이 VLM 작업으로 원활하게 이전됨을 입증합니다.
2. 새로운 아키텍처 메커니즘: 모달리티 간 간섭과 인과적 마스킹의 한계를 해결하기 위한 경량 메커니즘으로 비전 전용 LoRA 어댑터와 이미지 토큰에 대한 양방향 어텐션을 도입하여 MoE LLM 을 VLM 으로 확장하는 새로운 접근 방식을 제시합니다.
3. 효율성과 성능: ZAYA1-VL-8B 는 추론 FLOP 당 강력한 성능과 훈련 토큰 측면의 샘플 효율성을 입증합니다.
4. 오픈 소스 공개: 모델, 훈련 체크포인트, 그리고 추론 코드가 연구 커뮤니티에 공개되었습니다.

결과

ZAYA1-VL-8B 는 문서 이해, 지각, 추론, 카운팅, 그리고 그라우딩을 아우르는 다양한 벤치마크 suite 를 통해 평가되었습니다.

• 일반 벤치마크: 이 모델은 Molmo2-4B 및 InternVL3.5-4B 와 같은 주요 기본 모델과 경쟁력 있는 성능을 달성합니다. 이미지 이해, 추론, 그리고 카운팅 벤치마크 (예: AI2D, ChartQA, DocVQA, CountBenchQA) 에서 Qwen2.5-VL-3B, PLM-3B, MolmoE-8B 를 포함한 모델들을 능가합니다.
• 그라우딩 벤치마크: Point-Bench 에서 ZAYA1-VL-8B 는 평균 점수 58.0 을 기록하여 MolmoE-8B-A1B 와 동등한 성과를 내며, Qwen3-VL-2B 와 같은 소형 밀집 모델을 능가합니다. RefCOCO 에서는 전체 평균 84.3 을 달성하여 훨씬 더 많은 활성 파라미터를 가진 모델들 사이에서도 경쟁력 있는 위치를 차지합니다.
• 절대 실험 (Ablation Studies): 실험은 이미지 토큰에 대한 양방향 어텐션이 문서 및 이미지 이해 작업을 개선하고, 어댑터가 없는 베이스라인 대비 비전 전용 LoRA 어댑터가 명확한 성능 향상을 가져온다는 것을 확인했습니다.

의의

본 논문은 ZAYA1-VL-8B 가 잘 설계된 MoE 백본과 데이터 효율적인 파이프라인이 동등한 모델의 활성 계산 및 데이터 예산의 일부에 불과한 수준에서도 매우 능력이 뛰어난 VLM 을 구동할 수 있음을 보여준다고 주장합니다. 모델을 오픈 소스로 공개함으로써 저자들은 연구 커뮤니티에 실용적인 기반을 제공하고, 강력한 성능을 주도하는 요소에 대한 완전한 가시성을 제공하고자 합니다. 이 연구는 방대한 파라미터 수나 독점 데이터 증류 없이도 신중한 데이터 큐레이션과 표적화된 아키텍처 혁신이 견고한 범용 시각 이해를 달성할 수 있음을 강조합니다. 언급된 향후 방향으로는 LLM 백본에 멀티모달 RoPE 를 직접 통합하고 비디오 이해를 위한 훈련 코퍼스를 확장하는 것이 포함됩니다.