InternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing

Ce rapport présente InternVL-U, un modèle multimodal unifié léger de 4 milliards de paramètres qui démocratise les capacités de compréhension, de raisonnement, de génération et d'édition en surpassant des modèles plus volumineux grâce à une architecture modulaire et un pipeline de données axé sur le raisonnement.

L'essentiel

Imaginez un artiste polyvalent qui ne se contente pas de dessiner, mais qui comprend aussi ce qu'il dessine, résout des énigmes, et peut modifier ses propres œuvres en temps réel. C'est exactement ce que propose InternVL-U, un nouveau modèle d'intelligence artificielle présenté dans ce rapport.

Voici une explication simple de ce travail, imagée pour tout le monde :

1. Le Problème : L'Artiste qui a oublié ses crayons

Pendant longtemps, l'IA était divisée en deux camps :

• Les "Intelligents" : Des modèles capables de comprendre une image, de lire un texte complexe ou de résoudre un problème de mathématiques, mais qui ne savaient pas créer d'images.
• Les "Artistes" : Des modèles capables de générer de magnifiques tableaux, mais qui avaient du mal à comprendre les instructions complexes ou à respecter des règles précises (comme écrire le bon mot sur un panneau).

Essayer de fusionner ces deux mondes était comme essayer de faire jouer un violoniste et un footballeur sur le même terrain sans qu'ils ne se marchent dessus. Souvent, l'un perdait ses compétences pour que l'autre puisse jouer.

2. La Solution : InternVL-U, le "Couteau Suisse" de l'IA

Les chercheurs ont créé InternVL-U, un modèle "tout-en-un" (Unified Multimodal Model). Imaginez-le comme un chef d'orchestre génial qui dirige à la fois une section de musique (la compréhension) et une section de peinture (la génération).

Comment font-ils pour que ça marche ?
Au lieu de tout mélanger dans une grande soupe, ils ont utilisé une astuce intelligente :

• Le Cerveau (Compréhension) : Ils utilisent un cerveau très puissant (basé sur InternVL 3.5) qui est excellent pour voir et comprendre le monde.
• La Main (Génération) : Ils ont attaché à ce cerveau une "main" spécialisée (un module de génération) qui sait exactement comment peindre.
• La Séparation : Le cerveau analyse l'image pour comprendre le sens, tandis que la main se concentre uniquement sur les pixels pour dessiner. C'est comme si le chef d'orchestre donnait les instructions, mais que les musiciens avaient chacun leur partition précise. Cela évite que l'IA ne se perde entre "comprendre" et "dessiner".

3. L'Entraînement : Apprendre à penser avant d'agir

Le vrai secret de ce modèle, ce n'est pas seulement son architecture, mais comment on l'a entraîné.

Souvent, quand on demande à une IA de dessiner quelque chose de complexe (comme "un chat qui résout un Sudoku" ou "une formule chimique précise"), elle hallucine. Elle dessine n'importe quoi.

Pour régler ça, les chercheurs ont introduit une méthode appelée Chain-of-Thought (Chaîne de Pensée).

• L'analogie : Imaginez un étudiant qui doit résoudre un problème de physique. Au lieu de sauter directement à la réponse, il écrit d'abord ses étapes : "D'abord, je dois trouver la force, ensuite je calcule l'accélération...".
• L'application : Avec InternVL-U, avant de dessiner l'image finale, le modèle est forcé de "penser à voix haute" (via du texte) pour planifier son dessin. Il se dit : "Pour faire ce meme drôle, je dois d'abord placer le chat ici, puis ajouter ce texte là, et m'assurer que l'expression du visage est triste".

Grâce à cette méthode, le modèle devient beaucoup plus précis, surtout pour les tâches difficiles comme :

• Écrire du texte dans une image (sans faire de fautes d'orthographe).
• La science (dessiner des molécules ou des diagrammes de physique corrects).
• L'espace (comprendre comment un objet tourne en 3D).
• L'humour (créer des mèmes qui ont du sens).

4. Pourquoi c'est impressionnant ?

Ce qui rend InternVL-U spécial, c'est son efficacité.

• Il est "léger" (4 milliards de paramètres), ce qui est petit comparé aux géants de l'IA qui en ont des dizaines de milliards.
• Pourtant, il bat des modèles beaucoup plus gros (comme BAGEL, qui est 3 fois plus lourd) sur de nombreuses tâches de création et d'édition.
• C'est comme si un petit vélo électrique arrivait à faire aussi bien qu'un gros camion pour transporter des marchandises, tout en étant plus rapide et moins cher à faire rouler.

En résumé

InternVL-U est une avancée majeure car il rend l'IA "omnicompréhensive" accessible. Il ne se contente pas de générer de jolies images ; il comprend le contexte, raisonne logiquement, et peut même modifier des images existantes avec une précision chirurgicale.

C'est un pas de géant vers une Intelligence Artificielle Générale (AGI) où la machine ne fait pas que "calculer" ou "dessiner", mais où elle comprend ce qu'elle fait, tout comme un humain le ferait. Et le meilleur ? Tout cela est ouvert à la communauté, comme un cadeau pour tous les développeurs et chercheurs.

Résumé technique

Résumé Technique : InternVL-U – Démocratisation des Modèles Multimodaux Unifiés

1. Problématique et Contexte

Les modèles multimodaux unifiés (UMM) visent à intégrer la compréhension, le raisonnement, la génération et l'édition d'images au sein d'une seule architecture. Cependant, l'état de l'art actuel fait face à des compromis inhérents (trade-offs) majeurs :

• Divergence d'objectifs : Les modèles de compréhension sont optimisés pour l'intelligence sémantique de haut niveau (raisonnement, connaissances), tandis que les modèles de génération visent la qualité perceptuelle de bas niveau (esthétique, fidélité visuelle).
• Limitations architecturales :
  • Les approches unifiées natives (entraînées de zéro) peinent à concilier distributions de données conflictuelles et coût d'entraînement prohibitif.
  • Les approches unifiées par assemblage (ensemble) attachent un générateur externe à un modèle de langage. Cela entraîne souvent des coûts de déploiement élevés si le générateur est grand, ou une qualité médiocre et des pipelines de conditionnement fragmentés s'il est petit. De plus, l'alignement entre l'espace d'état caché du MLLM et le générateur reste difficile.
• Manque de densité sémantique : Les données d'entraînement traditionnelles pour la génération (images naturelles) manquent de précision symbolique (texte, formules, structures scientifiques) par rapport aux données utilisées pour la compréhension.

2. Méthodologie : InternVL-U

InternVL-U est un modèle léger de 4 milliards de paramètres (2B pour le backbone de compréhension + 1.7B pour la tête de génération) conçu pour démocratiser ces capacités.

A. Principes de Conception Architecturale

L'architecture repose sur trois piliers fondamentaux :

1. Modélisation Contextuelle Unifiée avec Génération Adaptative :
   • Contexte : Un espace latent unifié fusionne les tokens visuels et linguistiques pour le raisonnement (modélisation autoregressive).
   • Génération : Utilisation d'objectifs hybrides. Le texte est généré via une distribution catégorielle (perte d'entropie croisée), tandis que l'image est générée dans un espace continu via Flow Matching (une généralisation des modèles de diffusion), évitant ainsi les goulots d'étranglement de la quantification des tokens visuels.
2. Efficacité Structurelle par Modularité Spécifique :
   • Le modèle utilise un backbone MLLM pré-entraîné (InternVL 3.5) avec des encodeurs spécifiques (ViT) pour l'entrée visuelle.
   • Une tête de génération dédiée basée sur l'architecture MMDiT (Multimodal Diffusion Transformer) est ajoutée. Cette tête prend les états cachés unifiés comme conditions pour synthétiser les images, permettant au backbone de se concentrer sur le raisonnement sémantique.
3. Représentations Visuelles Découplées :
   • Compréhension : Utilise des caractéristiques sémantiques de haut niveau extraites directement par un ViT pré-entraîné.
   • Génération : Utilise un VAE (Auto-encodeur variationnel) séparé pour compresser les images en un espace latent adapté à la synthèse. Cela évite le compromis d'optimisation entre la fidélité sémantique et le détail pixelique.

B. Stratégie d'Entraînement

Un pipeline d'apprentissage en trois étapes est employé :

1. Pré-entraînement de la tête de génération : La tête MMDiT est entraînée sur des données T2I (Text-to-Image) et d'édition, en figeant le backbone MLLM.
2. Pré-entraînement continu à résolution variable : Entraînement sur des résolutions allant de 512 à 1024 pixels pour améliorer la fidélité visuelle et la gestion des ratios d'aspect.
3. Affinement Supervisé Unifié (SFT) : Déverrouillage de l'ensemble du modèle pour un apprentissage de bout en bout, intégrant des données de raisonnement (CoT) pour aligner l'intention utilisateur avec l'exécution visuelle.

C. Construction de Données et Paradigme "Centré sur le Raisonnement"

Pour combler l'écart entre l'intelligence de haut niveau et la génération visuelle, les auteurs ont créé un pipeline de synthèse de données exhaustif ciblant des tâches à haute densité sémantique :

• Rendu et Édition de Texte : Génération automatique de textes lisibles (chinois/anglais) sur des arrière-plans variés et édition précise de texte dans les images.
• Données Scientifiques : Utilisation d'outils programmatiques (GeoGebra, SVG, Python) pour générer des données structurées en physique, chimie et informatique (graphes, formules).
• Génération Centrée sur le Raisonnement (CoT) : Introduction d'une étape de Chain-of-Thought explicite. Les instructions abstraites des utilisateurs sont transformées en plans d'exécution détaillés (étapes, contraintes, logique spatiale) avant la génération. Cela permet au modèle de mieux gérer des tâches complexes comme les énigmes logiques, les transformations géométriques ou la création de mèmes.

3. Résultats Expérimentaux

InternVL-U a été évalué sur une large gamme de benchmarks, démontrant un équilibre supérieur entre performance et efficacité.

• Compréhension et Raisonnement Multimodaux :
  • Malgré sa taille compacte (4B), InternVL-U surpasse des modèles unifiés beaucoup plus grands (comme BAGEL 14B) sur des benchmarks de raisonnement (MMMU, MathVerse) et de compréhension (MME-P, OCRBench).
  • Il conserve les capacités de compréhension natives de son prédécesseur InternVL 3.5.
• Génération d'Images (Text-to-Image) :
  • Générale : Surpasse les modèles unifiés existants sur GenEval et DPG-Bench, rivalisant avec des modèles spécialisés massifs.
  • Texte : Excellente performance sur CVTG-2k et LongText-Bench, résolvant le problème historique de la génération de texte illisible dans les modèles unifiés.
  • Connaissance : Sur WISE et GenExam, l'utilisation du CoT permet des gains significatifs, surpassant les modèles de base sans raisonnement explicite.
• Édition d'Images :
  • Surpasse les modèles unifiés (BAGEL, Ovis-U1) sur ImgEdit, GEdit-Bench et le nouveau benchmark TextEdit.
  • Sur le benchmark RISEBench (édition nécessitant un raisonnement logique), l'ajout du CoT fait passer le score global de 3.6 à 9.4, surpassant même des modèles spécialisés comme Qwen-Image-Edit.

4. Contributions Clés

1. Architecture Efficace (InternVL-U) : Une conception unifiée qui intègre une tête de génération MMDiT à un backbone MLLM fort, utilisant des représentations visuelles découplées pour éviter les compromis entre compréhension et génération.
2. Pipeline de Données "Centré sur le Raisonnement" : Une méthodologie innovante utilisant la Chain-of-Thought pour transformer des instructions vagues en plans exécutables, comblant le fossé entre l'intention abstraite et l'exécution visuelle précise (notamment pour le texte, la science et l'humour).
3. Nouveaux Benchmarks et Outils : Introduction de GenEditEvalKit pour l'évaluation unifiée et du benchmark TextEdit pour l'évaluation rigoureuse de l'édition de texte dans les images.

5. Signification et Impact

InternVL-U démontre qu'il est possible de créer un modèle multimodal unifié léger (4B) qui ne sacrifie ni la compréhension, ni le raisonnement, ni la qualité de génération.

• Démocratisation : En étant open-source et efficace, il rend les capacités de génération et d'édition avancées accessibles sans nécessiter des ressources de calcul massives.
• Vers l'AGI : En intégrant le raisonnement explicite (CoT) dans le processus de génération, le modèle se rapproche d'une intelligence artificielle générale capable de manipuler le monde visuel avec une logique profonde, au-delà de la simple prédiction de pixels.
• Précision Symbolique : Il résout un défi majeur des modèles actuels : la capacité à générer et éditer du texte et des structures scientifiques complexes avec une fidélité élevée.

En conclusion, InternVL-U établit une nouvelle référence pour les modèles multimodaux unifiés, prouvant que l'architecture et la qualité des données (via le raisonnement) sont aussi critiques que la taille brute du modèle.