VisionPangu: A Compact and Fine-Grained Multimodal Assistant with 1.7B Parameters

Ce papier présente VisionPangu, un assistant multimodal compact de 1,7 milliard de paramètres qui améliore la génération de légendes d'images détaillées grâce à un alignement multimodal efficace et à l'utilisation de descriptions humaines denses du jeu de données DOCCI, démontrant ainsi qu'une mise à l'échelle agressive n'est pas nécessaire pour obtenir des performances compétitives.

L'essentiel

🌟 Le Concept : Un Petit Génie des Images

Imaginez que vous avez un ami très intelligent, mais qui a une mémoire limitée (il ne peut pas tout retenir). Pourtant, ce petit ami est capable de décrire une photo avec des détails incroyables, comme un photographe professionnel ou un conteur de légendes. C'est exactement ce que VisionPangu fait.

La plupart des "géants" de l'intelligence artificielle actuels (les grands modèles multimodaux) sont comme des bibliothèques immenses : ils sont très puissants, mais ils sont lourds, coûteux à faire fonctionner et parfois, ils se contentent de dire "C'est un chien" quand on leur montre une photo.

VisionPangu, lui, est une bibliothèque compacte de 1,7 milliard de paramètres. C'est petit comparé aux géants, mais il est spécialisé dans un art précis : raconter l'histoire complète d'une image, pas juste nommer les objets.

---

🧩 Comment ça marche ? (Les 3 Ingrédients Magiques)

Pour construire ce petit génie, les chercheurs ont assemblé trois pièces principales, un peu comme on assemblerait une voiture de course :

1. Le "Système Visuel" (Les Yeux) :
   Ils ont pris les yeux d'un géant (un modèle appelé InternVL) et les ont adaptés. Imaginez que vous prenez les lunettes de haute technologie d'un astronaute et que vous les ajustez pour qu'elles conviennent parfaitement à un enfant. Ces "lunettes" ne voient pas juste des formes floues ; elles voient les détails fins, les textures et la structure de l'image.

2. Le "Cerveau" (La Voix) :
   Pour parler, ils ont utilisé un cerveau léger mais très efficace (OpenPangu-Embedded). C'est comme un écrivain qui a lu beaucoup de livres mais qui écrit avec un style concis et percutant. Il ne gaspille pas de mots.

3. Le "Traducteur" (Le Pont) :
   Entre les yeux et le cerveau, il y a un petit pont (un projecteur MLP). C'est comme un interprète qui traduit instantanément ce que les yeux voient en mots que le cerveau peut comprendre. Ce pont est léger mais très intelligent, permettant une connexion fluide.

---

📚 L'Entraînement : Apprendre à Raconter des Histoires

C'est ici que la magie opère. La plupart des modèles d'IA sont entraînés avec des descriptions courtes et paresseuses, du genre : "Un chat sur un tapis". C'est comme apprendre à un enfant à parler avec des mots-clés.

VisionPangu, lui, a reçu une éducation de luxe grâce à deux méthodes :

• La méthode "LLaVA-NeXT" : C'est comme lui apprendre à tenir une conversation normale, à comprendre les questions et à répondre de manière naturelle.
• La méthode "DOCCI" (Le Secret) : C'est la partie la plus importante. Les chercheurs lui ont donné des livres de descriptions très longues et très détaillées, écrites par des humains.
  • L'analogie : Au lieu de lui montrer une photo et de lui dire "C'est un gâteau", on lui montre la photo et on lui lit un paragraphe entier : "C'est un gâteau au chocolat humide, posé sur une assiette en porcelaine bleue, avec une bougie allumée qui fait fondre un peu de crème sur le côté, évoquant une ambiance de fête d'anniversaire intime."

En apprenant avec ces descriptions riches, le modèle a compris qu'une image n'est pas juste une collection d'objets, mais une scène avec une histoire, une atmosphère et des détails.

---

🏆 Les Résultats : Petit mais Costaud

Les chercheurs ont testé VisionPangu contre d'autres modèles, certains beaucoup plus gros (avec 7 ou 8 milliards de paramètres).

• Sur les tests de conversation générale : Il tient très bien la route, rivalisant avec des modèles bien plus gros.
• Sur la description d'images : Il bat presque tout le monde ! Il génère des textes beaucoup plus longs, plus structurés et plus riches en détails.

La leçon principale : Vous n'avez pas besoin d'un camion de déménagement pour transporter un trésor. Parfois, un petit sac à dos bien organisé (un modèle compact) avec un excellent guide (des données de haute qualité) suffit pour aller plus loin que les gros véhicules mal équipés.

🚀 En Résumé

VisionPangu nous prouve que pour créer une intelligence artificielle capable de décrire le monde avec finesse, il ne faut pas seulement "grossir" le modèle. Il faut surtout lui apprendre à observer avec attention et à raconter des histoires grâce à des exemples de haute qualité. C'est un pas de géant vers des assistants personnels plus compacts, plus rapides et plus poétiques.

Résumé technique

1. Problématique

Les modèles multimodaux à grande échelle (LMM) actuels excellent dans la compréhension vision-langage, mais ils souffrent de deux limitations majeures :

• Architecture lourde : Ils reposent souvent sur des architectures massives et coûteuses en calcul.
• Supervision grossière : Ils utilisent des descriptions d'images courtes et peu détaillées, ce qui limite leur capacité à générer des légendes riches, structurées et sémantiquement cohérentes pour des scènes complexes.
  Le défi consiste donc à créer un assistant multimodal capable de produire des descriptions d'images détaillées (fine-grained) sans recourir à une mise à l'échelle agressive des paramètres du modèle.

2. Méthodologie

VisionPangu est un modèle multimodal compact de 1,7 milliard de paramètres conçu pour combler ce fossé. Son architecture et sa stratégie d'entraînement reposent sur trois piliers :

A. Architecture du Modèle

Le modèle combine trois composants principaux :

1. Encodeur Visuel : Dérivé du framework InternVL3-2B. Au lieu d'utiliser un encodeur CLIP standard, les auteurs extraient un backbone ViT (Vision Transformer) pré-entraîné d'InternVL et le fine-tunent spécifiquement pour améliorer la représentation visuelle détaillée et la perception sémantique dense.
2. Backbone Linguistique : Utilisation de OpenPangu-Embedded-1B, un modèle de langage léger (decoder-only) capable de suivre les instructions avec un nombre de paramètres réduit.
3. Module de Projection : Un projecteur MLP (Multi-Layer Perceptron) léger remplace les projections linéaires simples. Ce module aligne les tokens visuels avec l'espace d'embedding du langage, permettant une transformation de caractéristiques plus riche.

B. Stratégie d'Entraînement

L'entraînement suit un pipeline en deux étapes inspiré de LLaVA-NeXT :

1. Phase 1 (Alignement des caractéristiques) : Le projecteur MLP est entraîné sur des données d'instruction multimodales (mélange LLaVA-NeXT) tandis que l'encodeur visuel et le modèle de langage restent figés. Cela établit une correspondance initiale entre les tokens visuels et linguistiques.
2. Phase 2 (Fine-tuning complet) : L'ensemble du modèle (encodeur, projecteur, LLM) est entraîné avec des paramètres complets.

C. Supervision de Haute Fidélité (Point Clé)

La contribution majeure réside dans l'utilisation du jeu de données DOCCI (Descriptions of Connected Components and Images). Contrairement aux ensembles de données traditionnels avec des légendes courtes, DOCCI fournit des descriptions longues, rédigées par des humains et extrêmement détaillées. Cela force le modèle à organiser les caractéristiques visuelles en récits sémantiques cohérents plutôt qu'en simples listes d'objets.

3. Contributions Clés

• LMM Orienté Légendes Détaillées : Développement d'un modèle end-to-end optimisé pour la narration visuelle détaillée, combinant un encodeur ViT adapté et un LLM compact.
• Efficacité par la Supervision : Démonstration qu'un modèle de 1,7B de paramètres peut rivaliser avec des modèles plus grands grâce à une architecture efficace et une supervision de haute qualité (DOCCI), réduisant ainsi le besoin de "scaling" massif.
• Intégration de DOCCI : Utilisation pionnière de descriptions denses pour améliorer la cohérence sémantique et la richesse descriptive dans un cadre d'instruction tuning.
• Performance Compétitive : Preuve empirique qu'un backbone multimodal compact peut exceller dans les tâches de dialogue et de description dense.

4. Résultats Expérimentaux

Les évaluations ont été menées sur des infrastructures Huawei Ascend 910B.

• Benchmarks Multimodaux Généraux (Tableau 1) :
  VisionPangu-1.7B obtient des performances compétitives sur des benchmarks standards comme MME, MMMU, POPE et MMbench, se comparant favorablement à des modèles de taille similaire (ex: InternVL2-2B, Qwen2-VL-2B) et parfois dépassant des modèles plus lourds sur certaines métriques de dialogue.

• Évaluation de la Légende Détaillée (Tableau 2) :
  Sur un sous-ensemble de 600 images de COCO 2017, VisionPangu surpasse tous les modèles comparés (y compris LLaVA-v1.6-7B) sur les métriques de qualité de légende :

  • BLEU : 0,2859 (vs 0,2431 pour LLaVA-7B)
  • METEOR : 0,4708
  • ROUGE-L : 0,3759
    Ces résultats indiquent une capacité supérieure à générer des descriptions structurées, longues et sémantiquement riches.

5. Signification et Impact

Ce travail démontre que la qualité des données d'entraînement (supervision dense via DOCCI) et l'adaptation de l'encodeur visuel sont des leviers plus efficaces pour améliorer la génération de légendes détaillées que l'augmentation pure du nombre de paramètres.

• Efficacité : VisionPangu offre une alternative légère et performante pour les applications nécessitant une compréhension visuelle fine, réduisant les coûts de déploiement et d'inférence.
• Qualité de Sortie : Le modèle produit des récits visuels plus naturels et complets, s'approchant de la manière dont les humains décrivent des scènes complexes.
• Futur : Les auteurs prévoient d'explorer des résolutions visuelles plus élevées et l'extension vers la compréhension vidéo, consolidant la voie des assistants multimodaux compacts et précis.

Le code et les poids du modèle sont disponibles publiquement sur ModelScope.