🤖 machine learning

How Much Information Can a Vision Token Hold? A Scaling Law for Recognition Limits in VLMs

Cet article étudie les limites de la capacité d'information des jetons visuels dans les modèles vision-langage en identifiant une transition en trois phases de la stabilité vers l'effondrement sous une densité visuelle croissante et en formulant une loi d'échelle universelle pour guider l'optimisation de l'efficacité et de la précision de la compression du contexte.

Auteurs originaux : Shuxin Zhuang, Zi Liang, Runsheng Yu, Hongzong Li, Rong Feng, Shiqin Tang, Youzhi Zhang

Publié 2026-02-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shuxin Zhuang, Zi Liang, Runsheng Yu, Hongzong Li, Rong Feng, Shiqin Tang, Youzhi Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La grande question : Quelle quantité d'informations un seul « jeton de vision » peut-il transporter ?

Imaginez que vous essayez d'envoyer une très longue lettre à un ami, mais que vous n'avez le droit d'utiliser qu'un nombre minuscule de cartes postales pour le faire. Vous devez entasser toute la lettre sur ces quelques cartes.

Dans le monde de l'IA, les modèles de vision-langage (VLM) fonctionnent de manière similaire. Ils regardent une image (comme une page numérisée contenant du texte) et la transforment en une séquence de « jetons » numériques (de petits paquets de données) que le cerveau de l'IA peut lire.

Cet article pose une question fondamentale : Existe-t-il une limite à la quantité d'informations que nous pouvons entasser dans un seul jeton de vision ? Si nous essayons de mettre trop de texte dans une image et que nous forçons l'IA à le compresser en trop peu de jetons, que se passe-t-il ?

L'expérience : Le « test de résistance »

Les chercheurs ne se sont pas contentés de deviner ; ils ont effectué un test de résistance. Ils ont créé des images remplies de texte pur (comme des romans, des lois ou des lettres) et ont augmenté progressivement la quantité de texte dans chaque image. Ils ont gardé fixe le nombre de « cartes postales » (jetons de vision) que l'IA était autorisée à utiliser, puis ont observé ce qui se passait à mesure que le texte devenait plus long et plus dense.

Les trois étapes de l'échec

Au lieu que l'IA se dégrade progressivement à mesure que le texte s'allonge, les chercheurs ont découvert que la performance ne s'est pasombrée lentement. Au contraire, elle est passée par trois « phases » distinctes, comme une ampoule qui vacille avant de griller :

La phase stable (Le « mode facile ») :
- Ce qui se passe : L'IA lit le texte parfaitement.
- Analogie : Imaginez une fenêtre claire. Vous voyez tout parfaitement car il n'y a pas trop d'objets devant elle. L'IA dispose de suffisamment d'« espace » dans ses jetons pour décrire le texte.
La phase d'instabilité (Le « mode vacillement ») :
- Ce qui se passe : L'IA commence à faire des erreurs, mais c'est chaotique. Parfois, elle réussit à lire le texte ; d'autres fois, elle échoue complètement, même si la quantité de texte est presque la même.
- La cause : Ce n'est pas parce que l'IA est « stupide ». C'est à cause de l'alignement de la grille.
- Analogie : Imaginez que l'IA regarde l'image à travers une grille de fenêtres carrées (comme un grillage). Si une lettre se trouve pile sur la ligne entre deux fenêtres, l'IA est confuse. Elle peut voir la moitié d'une lettre dans une fenêtre et l'autre moitié dans la suivante, et elle ne parvient pas à les assembler.
- La correction : Les chercheurs ont prouvé cela en décalant légèrement l'image (comme en ajustant un tableau au mur). En la décalant, les « mauvaises » lettres sont redevenues « bonnes ». Cela signifie que l'information était toujours là ; elle était simplement cachée derrière la mauvaise partie de la grille.
La phase d'effondrement (Le « mur dur ») :
- Ce qui se passe : L'IA abandonne soudainement. Le taux d'erreur grimpe en flèche, et elle ne peut plus du tout lire le texte.
- La cause : Il s'agit d'une véritable limite de capacité.
- Analogie : Imaginez que vous avez un sac à dos qui ne peut contenir que 5 livres. Si vous essayez d'y entasser 50 livres, le sac ne devient pas seulement « un peu désordonné » — il se déchire, et tout tombe. Peu importe la façon dont vous déplacez le sac ou réorganisez les livres, il ne peut tout simplement pas supporter un tel poids. L'IA est à court d'« espace mental » pour encoder l'information.

La « formule magique » (Loi d'échelle)

Les chercheurs ne se sont pas arrêtés à la découverte du problème ; ils ont créé une règle mathématique (une loi d'échelle) pour prédire exactement quand l'IA échouera.

Ils ont découvert que deux choses comptent le plus :

Combien de texte y a-t-il ? (La charge totale).
À quel point le texte est-il dense ? (La densité).

Ils ont combiné ces éléments en un seul « Score de Difficulté ».

La découverte : La quantité de texte compte beaucoup plus que l'aspect encombré des lettres.
La « zone d'instabilité » est constante : Ils ont trouvé que la phase de « vacillement » (où l'IA est confuse) dure toujours environ 2,2 fois la longueur du texte, quelle que soit la taille de l'image. C'est une zone tampon prévisible avant l'effondrement total.

Pourquoi cela importe (selon l'article)

L'article conclut que, bien que la transformation d'images en jetons de texte soit un excellent moyen d'économiser la puissance de calcul, il existe une limite physique réelle à la quantité d'informations pouvant être compressées de cette manière.

Pour les développeurs : Si vous voulez construire une IA capable de lire de longs documents, vous ne pouvez pas simplement deviner le nombre de jetons à utiliser. Vous devez d'abord calculer le « Score de Difficulté ». Si le texte est trop dense, vous devez donner plus de jetons à l'IA (plus de « cartes postales »), sinon le système frappera le « Mur Dur » et échouera.
À retenir : Les jetons de vision sont puissants, mais ils ne sont pas magiques. Ils ont une capacité finie, et une fois cette limite franchie, l'information est perdue à jamais, et non pas seulement confondue.

Résumé en une phrase

L'article proule que les systèmes de vision de l'IA ont un « point de rupture » où ils ne peuvent plus lire de texte, causé d'abord par un mauvais alignement de l'image avec la grille interne de l'IA, puis par le simple manque d'espace numérique pour contenir l'information.

Résumé Technique : Quelle quantité d'informations un jeton de vision peut-il contenir ?

Énoncé du Problème

La demande croissante pour la compréhension de contextes longs dans les modèles de langage de grande taille (LLM) est limitée par la complexité computationnelle quadratique des mécanismes d'attention de type self-attention. Bien que des techniques de compression de contexte existent, le recours exclusif aux modalités textuelles uniquement rejette des sémantiques spatiales et structurelles critiques (ex: alignements tabulaires, mises en page hiérarchiques). Des approches récentes centrées sur la vision, telles que DeepSeek-OCR, encodent des images de texte rendu en jetons de vision continus afin de préserver ces sémantiques tout en réduisant le nombre de jetons.

Cependant, considérer l'encodeur de vision comme un canal à perte avec une capacité finie soulève une question fondamentale et inexplorée : Quelle est la limite supérieure de l'information sémantique pouvant être compressée dans des jetons de vision ? Contrairement à la tokenisation de texte discrète (ex: BPE) qui garantit une reconstruction sans perte, les encodeurs de vision font face à un arbitrage entre efficacité computationnelle (minimiser le nombre de jetons) et capacité de représentation. Si la densité d'information par jeton dépasse la limite de l'encodeur, la reconnaissance échoue. Cet article étudie la relation quantitative entre la quantité d'information dans une image et le nombre de jetons de vision utilisés pour l'encoder, visant à identifier les limites de capacité des jetons visuels.

Méthodologie

Configuration Expérimentale

Pour isoler les limites de capacité des jetons de vision des priors linguistiques, les auteurs ont conçu un test de stress contrôlé :

Synthèse de Données : Des textes provenant de six domaines divers (Romans, Lois, Économie, Médecine, Journaux, Lettres) ont été collectés. Une stratégie de Mélange par Blocs (Block-wise Shuffling) a été employée, où le texte est segmenté en blocs, échantillonné aléatoirement et concaténé. Cela force le modèle à se reposer sur la perception visuelle plutôt que sur la prédiction du jeton suivant basée sur le contexte sémantique.
Contrôle Typographique : Les paramètres typographiques (taille de police, espacement des lignes/caractères) ont été ajustés pour simuler des densités variables. Un algorithme de mise en page dynamique a assuré que les images maintiennent un rapport d'aspect compris entre 0,9 et 1,1.
Modèles : Le modèle principal était DeepSeek-OCR, choisi pour sa capacité à contrôler les budgets de jetons de vision via la résolution d'entrée. Pour vérifier la généralisabilité, l'étude a également évalué InternVL3.5-8B (stratégie de haute résolution basée sur les tuiles) et Qwen2.5-VL-8B (stratégie native dynamique/NaViT).
Métriques : La qualité de la reconnaissance a été mesurée par la Distance d'Édition (ED) entre la séquence prédite et la vérité terrain.

Investigation des Mécanismes de Défaillance

Les auteurs ont analysé les performances à travers des longueurs de texte croissantes (quantité d'information) à quatre résolutions ( $R \in \{512, 640, 1024, 1280\}$ ) pour caractériser la transition de la stabilité vers l'effondrement.

Sensibilité de l'Alignement Spatial (Zone I) : Pour tester si les erreurs étaient dues à un désalignement des patchs du Vision Transformer (ViT), une expérience de Perturbation par Décalage de Pixel (Pixel-Shift Perturbation) a été menée. Les images ont été décalées par des pas de sous-patch pour trouver l'alignement optimal.
Capacité vs Lisibilité (Zone II) : Pour distinguer les limites de lisibilité visuelle (caractères devenant trop petits) des limites de capacité d'information, une expérience d'Alignement de Densité Visuelle a été réalisée. Les images des phases stables et d'effondrement ont été redimensionnées sur un canevas fixe pour garantir une densité de pixels de caractères identique, isolant ainsi la variable de la quantité totale d'information.

Loi d'Échelle Probabiliste

Les auteurs ont formulé un modèle unifiant la Charge Moyenne de Vision (G) (caractères par jeton) et la Densité Visuelle (V) (lignes par patch ViT) en une métrique de Difficulté Latente (Z) :
$Z = w_0 + a \log V + \alpha \log G$
Un modèle de mélange a été utilisé pour prédire la probabilité d'entrer dans un "Mécanisme d'Effondrement", traitant la transition comme un processus probabiliste.

Résultats Clés

1. Phénomène de Transition de Phase

L'étude a identifié un comportement distinct en trois régimes dans la performance de reconnaissance à mesure que la quantité d'information augmente :

Phase Stable : ED proche de zéro. Le modèle reconstruit le texte avec succès.
Phase d'Instabilité : Une région de haute variance où l'ED fluctue de manière spectaculaire pour des longueurs de texte identiques.
Phase d'Effondrement : Un "Mur Dur" (Hard Wall) où l'ED grimpe brusquement (>0,6), indiquant un échec total de la reconstruction du contenu.

2. Mécanismes de Défaillance

L'instabilité est réversible : L'expérience de décalage de pixel a confirmé que les erreurs dans la Phase d'Instabilité sont causées par la sensibilité de l'alignement spatial dans le partitionnement des patchs ViT. Décaler l'image pour aligner les caractères avec les frontières des patchs a souvent restauré la performance à une erreur quasi nulle.
L'effondrement est irréversible : L'expérience d'alignement de densité visuelle a réfuté l'« Hypothèse de la Lisibilité Visuelle ». Même lorsque les caractères étaient rendus à la même échelle visuelle, les échantillons en Phase d'Effondrement échouaient tandis que les échantillons Stables réussissaient. Cela confirme que l'effondrement est piloté par une limite de capacité d'information, où le nombre fixe de jetons de vision ne peut encoder la charge sémantique.

3. Loi d'Échelle Universelle

Indépendance de la Résolution : La largeur de la Phase d'Instabilité est invariante à l'échelle, couvrant systématiquement une plage approximative de 2,2× en longueur de texte à travers toutes les résolutions.
Dominance de la Charge : L'exposant de mise à l'échelle pour la charge de jetons ( $\alpha \approx 5,53$ ) est presque le double de celui de la densité visuelle ( $a \approx 2,91$ ), indiquant que la longueur totale du texte (quantité d'information) est un prédicteur de défaillance plus fort que la densité locale des caractères.
Généralisabilité : La loi d'échelle probabiliste, avec des exposants de mise à l'échelle fixes dérivés de DeepSeek-OCR, a prédit avec succès les transitions de phase pour InternVL3.5-8B et Qwen2.5-VL-8B, suggérant que ces limites sont intrinsèques à la tokenisation actuelle des jetons de vision basés sur ViT.

Signification et Revendications

L'article affirme fournir la première étude systématique sur les limites de capacité d'information des jetons de vision. Ses principales contributions sont :

Définir le « Mur Dur » : Établir que les jetons de vision possèdent une capacité d'information finie, au-delà de laquelle la reconnaissance s'effondre de manière irréversible, se distinguant d'un simple flou visuel ou de problèmes d'alignement.
Distinction Mécaniste : Séparer les erreurs réversibles (causées par le désalignement de la grille ViT) des erreurs irréversibles (causées par l'épuisement de la capacité).
Orientation Pratique : La loi d'échelle probabiliste proposée offre un outil pour estimer la quantité maximale d'information qu'un budget de jetons de vision peut gérer. Cela permet une inférence « sensible au contenu », où les budgets de jetons ou les résolutions peuvent être ajustés dynamiquement en fonction de la densité du document pour optimiser le compromis efficacité-précision.

Les auteurs concluent que bien que la compression centrée sur la vision soit un paradigme prometteur pour la modélisation de contextes longs, elle est liée à des limites d'information intrinsèques qui doivent être explicitement modélisées et optimisées dans les futures architectures VLM. L'étude note des limitations concernant son focus sur le texte anglais et les architectures basées sur ViT, suggérant que les langues ayant une densité de caractères plus élevée ou des mécanismes de tokenisation fondamentalement différents pourraient présenter des limites de capacité décalées.