ZAYA1-VL-8B Technical Report

Sur la base du rapport technique fourni, voici un résumé détaillé du papier ZAYA1-VL-8B.

Énoncé du problème

Les modèles vision-langage (VLM) ont évolué rapidement, mais plusieurs défis persistent avant qu'ils ne puissent être considérés comme pleinement matures. Ceux-ci incluent les hallucinations des modèles, les coûts computationnels élevés pour les entrées haute résolution et les difficultés de déploiement efficace. Une limitation architecturale spécifique identifiée dans le papier est que les VLM standards acheminent souvent les tokens visuels et linguistiques à travers les mêmes paramètres de modèle, forçant des représentations partagées à servir deux modalités aux propriétés statistiques fondamentalement différentes. Cela peut créer des interférences, en particulier dans les architectures à mélange d'experts (MoE) où le routage des experts est appris principalement à partir de données linguistiques. De plus, l'utilisation standard de masques d'attention causale pour les tokens d'image est sous-optimale car les patches d'image manquent d'un ordre intrinsèque de gauche à droite, empêchant arbitrairement les patches antérieurs de s'attirer les suivants et limitant la capture de la structure visuelle globale. En outre, l'écosystème repose fortement sur des modèles propriétaires ou des données synthétiques distillées à partir d'eux, limitant la reproductibilité et la visibilité sur les ingrédients qui propulsent la performance.

Méthodologie

Les auteurs présentent ZAYA1-VL-8B, un VLM compact construit sur la base de leur modèle de langage MoE interne, ZAYA1-8B-A1B. Le modèle comprend 9,2 milliards de paramètres au total avec 1,4 milliard de paramètres actifs (incluant l'encodeur visuel). L'architecture intègre quatre composants principaux : un LLM uniquement décodeur, un encodeur visuel (basé sur Qwen2.5-VL), un préprocesseur d'image et un adaptateur visuel.

Le papier détaille deux innovations architecturales clés conçues pour répondre aux limitations du partage de paramètres et du masquage causal :

1. Adaptateurs LoRA spécifiques à la vision : Au lieu d'ajouter de nouveaux experts au socle MoE (ce qui augmenterait la taille du modèle et les besoins en données), les auteurs intègrent des adaptateurs Low-Rank Adaptation (LoRA) dans les poids linéaires des modules d'attention et MLP au sein du LLM. Ces adaptateurs ne sont activés que lorsque des tokens visuels sont transmis au LLM. Ils sont entraînés parallèlement aux poids standards durant la phase principale d'entraînement, en partant de zéro avec un terme de décroissance des poids pour prévenir la divergence par rapport aux voies textuelles. Cela augmente la capacité spécifique à la modalité sans augmenter substantiellement la taille du modèle.
2. Attention bidirectionnelle sur les tokens d'image : Les auteurs suppriment le masque causal pour les tokens visuels au sein des couches d'attention du LLM. Cela permet une attention bidirectionnelle complète entre tous les tokens visuels, restaurant la symétrie spatiale et alignant le motif d'attention des tokens visuels à l'intérieur du LLM avec celui de l'encodeur visuel. Les tokens textuels conservent un masquage causal standard.

Pipeline d'entraînement :
L'entraînement suit un curriculum multi-étapes :

• Alignement : Entraînement uniquement de l'adaptateur visuel sur des données de légendage d'images basse résolution (LLaVA-ReCap-558K) avec le LLM figé.
• Pré-entraînement : Entraînement conjoint de tous les paramètres sur 30 millions d'échantillons multimodaux. Cette étape introduit un nouveau modèle de chat et augmente progressivement la limite de résolution d'image de 0,8 mégapixels à 6,3 mégapixels.
• Expansion des embeddings : Expansion de la couche d'embeddings du LLM pour accommoder des tokens spéciaux pour les tâches de grounding (boîtes englobantes et points) tout en maintenant le reste du modèle fixe.
• Ajustement des instructions : Entraînement de bout en bout sur 20 millions d'échantillons textuels et multimodaux curatés, introduisant des données de grounding sous forme de boîtes englobantes et de pointage.

Le pipeline d'entraînement utilise un pipeline de données entièrement en flux continu avec un regroupement efficace des séquences et un masquage d'attention soigneusement conçu (incluant le masquage de conversation) pour gérer des longueurs de séquence hétérogènes et maximiser l'utilisation du GPU.

Contributions clés

1. Démonstration de la viabilité des MoE : Le papier démontre que leur LLM MoE personnalisé (ZAYA1-8B-A1B) est capable d'alimenter un VLM performant, montrant que les avantages des MoE en langage se transfèrent sans heurts aux tâches VLM.
2. Mécanismes architecturaux novateurs : L'introduction d'adaptateurs LoRA spécifiques à la vision et d'une attention bidirectionnelle sur les tokens d'image comme mécanismes légers pour répondre aux interférences de modalités et aux limitations du masquage causal, offrant une nouvelle approche pour étendre les LLM MoE aux VLM.
3. Efficacité et performance : ZAYA1-VL-8B démontre une forte performance par FLOP d'inférence et une efficacité d'échantillonnage en termes de tokens d'entraînement.
4. Publication open source : Le modèle, les points de contrôle d'entraînement et le code d'inférence sont rendus disponibles publiquement à la communauté de recherche.

Résultats

ZAYA1-VL-8B a été évalué sur une suite diversifiée de benchmarks couvrant la compréhension de documents, la perception, le raisonnement, le comptage et le grounding.

• Benchmarks généraux : Le modèle atteint une performance compétitive par rapport aux modèles de base leaders tels que Molmo2-4B et InternVL3.5-4B. Il surpasse des modèles incluant Qwen2.5-VL-3B, PLM-3B et MolmoE-8B sur les benchmarks de compréhension d'image, de raisonnement et de comptage (par exemple, AI2D, ChartQA, DocVQA, CountBenchQA).
• Benchmarks de grounding : Sur Point-Bench, ZAYA1-VL-8B atteint un score moyen de 58,0, égalant MolmoE-8B-A1B et surpassant des modèles denses plus petits comme Qwen3-VL-2B. Sur RefCOCO, il atteint une moyenne globale de 84,3, se plaçant de manière compétitive parmi des modèles ayant significativement plus de paramètres actifs.
• Études d'ablation : Les expériences ont confirmé que l'attention bidirectionnelle pour les tokens d'image améliore les tâches de compréhension de documents et d'images, tandis que les adaptateurs LoRA spécifiques à la vision produisent des améliorations de performance claires par rapport aux bases sans adaptateurs.

Signification

Le papier affirme que ZAYA1-VL-8B démontre qu'un socle MoE bien conçu couplé à un pipeline efficace en données peut alimenter un VLM hautement capable à une fraction à la fois du calcul actif et du budget de données des modèles comparables. En open-sourçant le modèle, les auteurs visent à fournir une base pratique pour la communauté de recherche, offrant une visibilité complète sur les ingrédients qui propulsent une forte performance. Le travail souligne qu'une curation soignée des données et des innovations architecturales ciblées peuvent produire une compréhension visuelle générale robuste sans besoin de comptes de paramètres massifs ni de distillation de données propriétaires. Les orientations futures mentionnées incluent l'intégration directe de RoPE multimodal dans le socle du LLM et l'augmentation de l'ampleur du corpus d'entraînement pour la compréhension vidéo.