🤖 AI

Scalable Visual Pretraining for Language Intelligence

Cet article remet en question le paradigme du préentraînement exclusivement textuel des modèles de fondation en démontrant que le préentraînement visuel non supervisé sur des documents visuels bruts, qui préserve des informations riches telles que les figures et les mises en page, surpasse systématiquement les approches uniquement textuelles et offre une voie évolutive vers une intelligence linguistique accrue.

Auteurs originaux : Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, Haiteng Zhao, Tianyang Lin, Yunhua Zhou, Demin Song, Kuikun Liu, Haochen Ye, Haian Huang, Yuzhe Gu, Haijun Lv, Qipeng Guo, Bin Liu, Gaoang Wang, Kai Chen

Publié 2026-07-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, Haiteng Zhao, Tianyang Lin, Yunhua Zhou, Demin Song, Kuikun Liu, Haochen Ye, Haian Huang, Yuzhe Gu, Haijun Lv, Qipeng Guo, Bin Liu, Gaoang Wang, Kai Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent comment comprendre le monde. Pendant longtemps, la recette standard a consisté à le nourrir avec des montagnes de livres, d'articles et de sites web, mais avec une particularité : avant que le robot ne les lise, des humains (ou des ordinateurs) retirent toutes les images, les symboles mathématiques complexes, les graphiques et les mises en page sophistiquées, transformant tout en un texte pur et ennuyeux. C'est comme essayer d'apprendre à quelqu'un comment faire un gâteau en ne lui donnant qu'une liste d'ingrédients écrite sur une serviette, tout en jetant la photo du gâteau fini, le diagramme du bol de mélange et le graphique coloré montrant comment la température du four change.

Un nouvel article de 2026 suggère que cette approche « uniquement textuelle » passe à côté d'une énorme partie du puzzle. Les chercheurs soutiennent qu'en jetant les parties visuelles des documents, nous jetons les indices mêmes dont le robot a besoin pour devenir véritablement intelligent. Ils appellent leur nouvelle méthode le Pré-entraînement Visuel (VP), et c'est comme apprendre au robot à lire les pages réelles d'un manuel scolaire, avec ses diagrammes et ses équations, plutôt que de simplement lire la description textuelle de ceux-ci.

La grande découverte : Voir, c'est croire (et apprendre)
L'équipe a testé cette idée sur certains des modèles d'IA les plus intelligents disponibles (comme Qwen et Llama). Ils ont pris exactement le même tas de documents scientifiques — pensez à des articles de physique, des manuels de mathématiques et des rapports techniques — et les ont divisés en deux groupes.

Groupe A (L'ancienne méthode) : Ils ont converti les pages en texte brut, en supprimant tous les éléments visuels.
Groupe B (La nouvelle méthode - VP) : Ils ont nourri le modèle directement avec les images brutes des pages, le laissant « voir » les figures, les tableaux et les mises en page sans jamais les transformer en mots au préalable.

Le résultat ? Le robot entraîné sur les images brutes (Groupe B) a systématiquement surpassé celui entraîné sur le texte pur (Groupe A). En fait, sur des tests de référence scientifiques et mathématiques difficiles, l'apprenant visuel a obtenu un meilleur score. Par exemple, sur un test de mathématiques complexe appelé AIME, le modèle visuel a considérablement amélioré son score par rapport au modèle textuel. L'article suggère que le processus « destructif » consistant à convertir une page complexe contenant un diagramme en une suite de mots supprime en réalité l'information même nécessaire pour résoudre des problèmes difficiles.

Le hack d'efficacité : Faire plus avec moins
Voici la partie vraiment géniale : la méthode visuelle n'était pas seulement meilleure ; elle était aussi beaucoup plus efficace. Le modèle basé sur le texte a dû traiter environ 80 milliards de jetons (tokens) de texte pour apprendre de ces documents. Le modèle visuel, cependant, n'avait besoin que d'environ 20 milliards de jetons visuels pour obtenir les mêmes résultats (ou de meilleurs résultats). Cela signifie qu'il n'utilise que 25 % du budget de données !

Pensez-y de cette façon : si le modèle de texte essaie de décrire une ville en énumérant chaque nom de rue et chaque adresse de bâtiment, cela prend un temps infini. Le modèle visuel, au contraire, regarde simplement une carte. Il saisit l'ensemble de l'image instantanément. Les chercheurs ont constaté que plus une page contenait d'« éléments visuels » (comme des diagrammes complexes et des équations), plus l'avantage du modèle visuel était grand. Sur les pages remplies de graphiques et de formules, l'avantage du modèle visuel devenait énorme, tandis que sur les pages de texte pur, ils étaient sensiblement les mêmes.

Pas de codes de triche, juste de la pure vision
Vous pourriez vous demander : « Ont-ils triché en montrant au robot des images et les réponses ? » Non. Ils n'ont utilisé aucun étiquetage spécial de type « image-vers-texte » ou de fiches de triche. Le robot devait simplement regarder le prochain fragment de l'image et deviner à quoi il ressemblerait, de la même manière qu'il devine le mot suivant dans une phrase.

Étonnamment, cet entraînement fondé sur le « simple regard » a rendu le robot meilleur en tout, pas seulement en observation. Il est devenu meilleur pour comprendre le texte également, et encore meilleur pour connecter les images aux mots lors des tests ultérieurs. Les chercheurs ont mesuré cela en vérifiant comment le « cerveau » du robot alignait les images et les mots, et ont trouvé que l'entraînement visuel resserrait beaucoup plus l'adéquation entre les deux concepts, comme si le robot comprenait enfin qu'une image de chat et le mot « chat » sont en fait la même chose.

Ce que cela signifie (et ce que cela ne signifie pas)
Les auteurs précisent avec prudence que cela ne constitue pas une baguette magique qui remplace la lecture de texte. Le texte reste excellent pour apprendre des faits qui sont déjà clairement écrits. Mais pour les documents scientifiques, où la mise en page, la forme de l'équation et la position du diagramme portent une signification cruciale, l'approche visuelle suggère une nouvelle voie évolutive.

Ils admettent qu'ils n'ont pas encore tout résolu. Par exemple, ils ne savent pas si cela fonctionne aussi bien pour des photos aléatoires de la nature ou des vidéos, car leurs tests portaient principalement sur des PDF scientifiques à haute densité. Mais pour le cas spécifique de l'apprentissage à partir de documents complexes, l'article suggère que laisser l'IA voir le monde tel qu'il est — visuel, désordonné et plein de diagrammes — pourrait être la clé pour débloquer sa véritable intelligence. C'est un passage de « lire la description de la carte » à « regarder réellement la carte ».

Résumé Technique : Pré-entraînement Visuel Scalable pour l'Intelligence du Langage

Problématique

Les modèles de fondation actuels reposent principalement sur un pré-entraînement avec de massifs corpus textuels. Ce paradigme opère sur l'hypothion implicite que toute connaissance apprenable peut être encodée sans perte sous la forme d'une séquence linéaire de jetons (tokens) textuels. Cependant, cette approche élimine intrinsèquement la richesse des informations visuelles présentes dans les documents scientifiques, telles que les figures, les équations typographiées, les tableaux et la mise en page spatiale au niveau de la page. La conversion de ces sources visuelles en texte brut via le parsing (par exemple, l'extraction HTML/LaTeX ou l'OCR) est un processus de perte qui supprime les contraintes géométriques, les topologies symboliques et les correspondances structurelles essentielles au raisonnement scientifique. Les modèles multimodaux existants traitent souvent les entrées visuelles simplement comme un contexte de conditionnement pour la prédiction de texte plutôt que de les intégrer profondément dans l'objectif d'apprentissage prédictif.

Méthodologie : Pré-entraînement Visuel (VP)

Les auteurs proposent le Pré-entraînement Visuel (VP), un cadre où un modèle de fondation apprend directement à partir de documents visuels bruts sans extraction de texte ni supervision par appariement image-texte.

Architecture de base et Entraînement

Représentation d'entrée : Les pages de documents scientifiques bruts sont rendues sous forme d'images. Une tour de vision gelée encode ces images en caractéristiques visuelles.
Extraction de premier plan parcimonieuse (Sparse Foreground Extraction) : Pour améliorer l'efficacité, les régions d'arrière-plan vides (marges, espaces blancs) sont filtrées à l'aide de statistiques de patch (variance des pixels, luminance). Les patchs de premier plan restants sont ordonnés selon un balayage raster pour former une séquence visuelle parcimonieuse.
Projection et Prédiction : Les caractéristiques visuelles parcimonieuses sont projetées dans l'espace caché du LLM via une projection linéaire apprenable. Le modèle est entraîné en utilisant un objectif de prédiction de latent visuel suivant (next-visual-latent prediction) autorégressif.
- Contrairement à la prédiction de jeton suivant standard qui cible des jetons textuels discrets, le VP cible des latents visuels continus.
- La fonction de perte utilise une perte contrastive in-batch (InfoNCE) pour prédire le prochain latent visuel de premier plan $z_{t+1}$ étant donné l'état actuel, en le distinguant des autres patchs du batch.
Entraînement Conjoint : L'objectif final combine la prédiction de jeton suivant textuel standard ( $\mathcal{L}_{CE}$ ) avec la perte de prédiction de latent visuel ( $\mathcal{L}_{VP}$ ), entrelacées selon un ratio fixe. L'encodeur visuel reste gelé ; seuls le LLM, le module de projection visuelle et la tête de prédiction sont mis à jour.

Configuration Expérimentale

L'étude emploie une comparaison strictement contrôlée entre le VP et le Pré-entraînement Textuel (TP) :

Corpus : Les deux méthodes utilisent exactement le même corpus de PDF sous-jacent.
Différence de Représentation :
- TP : Les PDF sont parsés en texte brut (en utilisant MinerU2.5), résultant en environ 80 milliards de jetons textuels.
- VP : Les PDF sont rendus sous forme d'images et convertis en jetons visuels parcimonieux, résultant en environ 20 milliards de jetons visuels.
Backbones : Les expériences sont menées sur plusieurs architectures, incluant Qwen3.5, Qwen3, Llama 3.2 Vision et Llama 3.1.
Évaluation : Tous les checkpoints subissent un Fine-Tuning Supervisé (SFT) identique avant l'évaluation sur des benchmarks de raisonnement scientifique et multimodal.

Contributions Clés

Démonstration de la perte d'information dans le pré-entraînement textuel uniquement : L'article fournit une preuve empirique que la réduction de documents visuels en texte brut entraîne une perte d'information substantielle, et que le pré-entraînement visuel permet de récupérer cette information perdue.
Cadre de pré-entraînement visuel autorégressif : Les auteurs introduisent une méthode pour entraîner des modèles de fondation à prédire des patchs de documents dans l'espace latent, intégrant profondément les latents visuels dans le processus prédictif sans nécessiter de données appariées image-texte.
Alternative scalable au pré-entraînement textuel uniquement : À travers des études empiriques unifiées sur diverses architectures et benchmarks, ce travail établit le VP comme une alternative efficace, efficiente et scalable au pré-entraînement textuel traditionnel.

Résultats

1. Efficacité dans le Raisonnement Scientifique

Le VP surpasse systématiquement le TP sur les benchmarks de raisonnement scientifique (MMLU-Pro, GPQA, AIME-25, HLE) à la fois sur les modèles multimodaux natifs et les modèles purement linguistiques.

Gains de Performance : Sur le backbone Qwen 3.5, le VP a amélioré les scores GPQA Diamond de 76,24 à 79,29 (+3,05) et MMLU-Pro de 83,91 à 85,09.
Indépendance de l'Architecture : Des améliorations ont été observées sur tous les backbones testés, indiquant que le bénéfice n'est pas lié à une architecture spécifique.
Raisonnement vs Connaissance : Les gains sont plus prononcés sur les benchmarks nécessitant la connaissance de figures géométriques et de schémas (GPQA, MMLU-Pro), tandis que les améliorations sur HLE (axé sur le raisonnement complexe multi-étapes) sont marginales, suggérant que le VP récupère spécifiquement des connaissances visuo-structurelles.

2. Scalabilité et Efficacité

Efficacité des Jetons : Le VP atteint une performance descendante supérieure tout en consommant seulement 25 % du budget de jetons par rapport au TP (20 milliards de jetons visuels contre 80 milliards de jetons textuels pour le même corpus).
Lois d'Échelle (Scaling Laws) : À mesure que l'entraînement progresse, le VP montre des gains normalisés en constante augmentation par rapport au TP (par exemple, 2,88× sur AIME-25).
Densité de Structure : L'avantage du VP est fortement corrélé à la densité de la structure visuelle. Sur les pages riches en figures, équations et tableaux, le VP surpasse significativement le TP, alors que sur les pages dominées par le texte, les performances sont comparables.

3. Alignement Cross-Modal et Transfert

Malgré un entraînement sur des documents bruts non étiquetés sans appariement explicite image-texte :

Alignement : Le VP améliore considérablement l'alignement cross-modal. La séparation des centroïdes entre les embeddings visuels et textuels chute de 1,665 à 0,661, et la similitude cosinus passe de 0,631 à 0,907.
Benchmarks Multimodaux : Les modèles VP surpassent à la fois les modèles de base et les modèles TP sur les benchmarks multimodaux (MMMU-Pro, ChartQAPro, MathVista). Notamment, le TP régresse parfois sur des benchmarks visuellement denses (ex: ChartQAPro), tandis que le VP produit des gains substantiels (ex: +5,4 sur ChartQAPro).
Mécanisme : L'analyse des cartes d'attention révèle que le raisonnement visuel dans le VP porte attention aux mêmes preuves sémantiques (contraintes, étapes de calcul) que le raisonnement textuel, suggérant que le modèle apprend à extraire des indices visuels pertinents pour le raisonnement.

Signification et Revendications

L'article affirme que le pré-entraînement visuel est une voie scalable pour apprendre l'intelligence linguistique et visuelle. Il remet en question l'hypothèse par défaut selon laquelle les modèles de langage doivent être entraînés sur des représentations uniquement textuelles.

Complémentaire, non de Remplacement : Les auteurs positionnent le VP non pas comme un remplacement du pré-entraînement textuel, mais comme un objectif complémentaire qui permet aux modèles de conserver l'exposition au texte tout en apprenant de la forme visuelle native des documents scientifiques.
Efficacité : Le cadre démontre que les modèles de fondation peuvent être entraînés sur des corpus visuels hautement compressés (25 % du nombre de jetons) pour atteindre ou dépasser les performances des modèles pré-entraînés sur du texte.
Directions Futures : Ce travail suggère que la prédiction de latent visuel pourrait servir d'objectif de pré-entraînement efficace pour les corpus visuels à haute densité (graphiques, formules, mises en page) et ouvre la voie à un entraînement de modèles de fondation principalement sur des flux visuels à grande échelle avec un alignement textuel léger.

Les auteurs restent modestes, notant que leur approche est ancrée dans le pré-entraînement textuel et que les gains doivent être vus comme la preuve que le pré-entraînement visuel complète et étend les capacités des modèles de fondation, plutôt que comme un régime de pré-entraînement visuel totalement indépendant. Ils reconnaissent également que la transférabilité à des corpus visuels plus larges (ex: images naturelles ou vidéo) reste une question ouverte.