🤖 machine learning

Rethinking Generative Image Pretraining: How Far Are We From Scaling Up Next-Pixel Prediction?

Ce papier examine les lois d'échelle de la prédiction du prochain pixel autoregressive pour les modèles de vision, révélant que les stratégies optimales divergent entre les tâches de classification et de génération, et prévoyant que l'augmentation de la puissance de calcul permettra la modélisation d'images pixel par pixel dans les cinq ans.

Auteurs originaux : Xinchen Yan, Chen Liang, Lijun Yu, Adams Wei Yu, Yifeng Lu, Quoc V. Le

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Xinchen Yan, Chen Liang, Lijun Yu, Adams Wei Yu, Yifeng Lu, Quoc V. Le

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot de « voir » le monde. Il existe deux façons principales de procéder :

La méthode du « Résumé Intelligent » : Vous montrez au robot une image, mais vous la compressez d'abord en quelques mots-clés ou symboles (comme transformer une photo de chat en le mot « chat »). C'est ainsi que fonctionne la plupart des IA modernes aujourd'hui.
La méthode du « Pixel Brut » : Vous montrez au robot l'image exactement telle qu'elle est, point par point, couleur par couleur, en lui demandant de deviner le tout prochain point en fonction de ceux qui le précèdent. C'est comme essayer d'apprendre une langue en mémorisant chaque lettre d'un livre, une par une, sans jamais voir un mot entier.

Cet article pose une question simple mais difficile : À quel point sommes-nous loin de faire fonctionner vraiment bien la méthode du « Pixel Brut » ?

Les auteurs ont décidé de tester cela en entraînant des modèles d'IA à prédire le prochain pixel d'une image, en commençant par de petites images de faible résolution (32x32 pixels, qui ressemblent à de minuscules vignettes carrées). Ils voulaient voir si cette méthode simple et « stupide » pouvait éventuellement passer à l'échelle pour devenir aussi puissante que les méthodes de « résumé intelligent ».

Voici les quatre grandes découvertes qu'ils ont faites, expliquées avec des analogies du quotidien :

1. L'écart « Pixel vs Mot »

La découverte : Pour apprendre efficacement, les pixels bruts ont besoin de 10 à 20 fois plus de données que les mots.
L'analogie : Imaginez enseigner à un enfant à lire.

Mots (Langage) : Si vous montrez à un enfant le mot « Chat », il comprend instantanément un animal poilu qui miaule. C'est un paquet dense d'informations.
Pixels (Images) : Si vous montrez à un enfant un seul point rouge, il n'a aucune idée de ce que c'est. Est-ce un nez ? Un panneau stop ? Une fraise ? Ce n'est qu'un point.
Comme un seul point porte si peu de sens, l'IA doit examiner des millions de points de plus pour comprendre le motif. L'article a révélé que pour atteindre le même niveau d'intelligence, l'IA doit « lire » une quantité massivement plus importante de données-pixels que ce dont elle aurait besoin pour lire du texte.

2. Des objectifs différents nécessitent des recettes différentes

La découverte : La « meilleure » façon de passer à l'échelle l'IA dépend entièrement de ce que vous voulez qu'elle fasse.
L'analogie : Pensez à l'entraînement d'un athlète.

Si vous voulez qu'il soit un sprinteur (classification d'images) : Vous avez besoin d'un équilibre entre le soulevage de poids (muscles plus grands/modèle plus grand) et l'entraînement à la course (données).
Si vous voulez qu'il soit un marathonien (génération d'images) : Vous devez vous concentrer presque entièrement sur l'entraînement à la course (plus de données).
L'article a révélé que si vous voulez que l'IA reconnaisse ce qu'il y a dans une image, vous pouvez simplement rendre le « cerveau » de l'IA plus grand. Mais si vous voulez que l'IA crée ou complète une image (comme remplir la moitié inférieure d'une photo), vous devez lui fournir une bibliothèque d'exemples beaucoup plus vaste (données) plutôt que de simplement agrandir le cerveau. La « meilleure » recette pour une tâche est en réalité une mauvaise recette pour l'autre.

3. Le piège de la résolution : des images plus grandes nécessitent des cerveaux plus grands

La découverte : À mesure que les images deviennent de plus haute résolution (plus nettes et plus détaillées), l'IA doit devenir beaucoup plus grande beaucoup plus vite que la quantité de données qu'elle voit.
L'analogie : Imaginez essayer d'apprendre une carte de ville.

Faible résolution (32x32) : C'est comme regarder une carte d'une petite ville. Vous pouvez apprendre tout le système en beaucoup marchant (plus de données).
Haute résolution (64x64 et plus) : C'est comme regarder une carte d'une immense métropole avec des gratte-ciel et de minuscules ruelles. Marcher davantage ne servira à rien si votre cerveau est trop petit pour contenir tous les détails complexes.
L'article a découvert qu'à mesure que les images deviennent plus nettes, la « complexité » de la tâche explose. Pour gérer cela, vous ne pouvez pas simplement fournir plus d'images à l'IA ; vous devez construire un cerveau d'IA beaucoup, beaucoup plus grand pour gérer les détails complexes.

4. Le goulot d'étranglement est la puissance de calcul, pas les livres

La découverte : Nous n'attendons pas plus d'images pour faire fonctionner cela ; nous attendons des ordinateurs plus rapides.
L'analogie : Imaginez que vous avez une bibliothèque contenant tous les livres jamais écrits (les données visuelles d'Internet). Vous avez un élève capable de les lire tous. Le problème n'est pas que la bibliothèque est vide ; le problème est que l'élève lit une page par an.
Les auteurs prévoient que, comme la puissance informatique croît si rapidement (elle double tous les ans environ), nous serons capables d'entraîner efficacement ces modèles de « Pixel Brut » dans les cinq prochaines années. Les données sont déjà là ; nous avons juste besoin de la puissance de calcul pour les traiter.

La conclusion

L'article conclut que l'entraînement de l'IA à apprendre directement à partir de pixels bruts n'est pas une impasse. Cela fonctionne, cela suit des règles prévisibles, et cela peut éventuellement atteindre des niveaux élevés de performance. Cependant, c'est actuellement très coûteux et lent car les pixels sont des points de données « stupides ».

Pour que cela fonctionne à l'avenir, nous n'avons pas besoin d'inventer de nouvelles façons de compresser les images ; nous devons simplement continuer à construire des ordinateurs plus grands et à leur fournir d'énormes quantités de données, spécifiquement adaptées selon que nous voulons que l'IA reconnaisse des choses ou les crée.

Résumé Technique : Repenser l'Entraînement Prédictif Génératif d'Images

Énoncé du Problème

Malgré le succès de la prédiction du prochain token autorégressive en traitement du langage naturel, le paradigme de la prédiction du prochain pixel pour la vision a vu sa popularité décliner. Les approches modernes privilégient souvent la génération multi-étapes ou l'apprentissage au niveau des patches avec des tokeniseurs d'images (par exemple, VQ-VAE, VQGAN) pour atténuer la charge computationnelle des séquences de pixels bruts. Cependant, la question fondamentale demeure sans réponse : À quel point sommes-nous loin de pouvoir passer à l'échelle la prédiction du prochain pixel ?

Ce document examine les propriétés de mise à l'échelle de la prédiction du prochain pixel autorégressive en tant que cadre unifié pour la vision. Les auteurs abordent trois défis fondamentaux :

Densité Sémantique : Les pixels portent significativement moins d'informations sémantiques que les tokens de langage, ce qui pourrait nécessiter des lois de mise à l'échelle différentes.
Complexité Spatiale : Les pixels présentent des dépendances spatiales complexes qui sont difficiles à modéliser de manière séquentielle.
Évolutivité de la Résolution : La complexité de la prédiction croît de manière quadratique avec la résolution de l'image, rendant la modélisation haute résolution computationnellement prohibitif.

L'étude vise à déterminer si la modélisation des pixels bruts suit des lois de mise à l'échelle prévisibles, comment ces lois diffèrent selon les tâches (reconnaissance vs génération), et si l'approche est réalisable compte tenu des budgets de calcul actuels et projetés.

Méthodologie

Configuration Expérimentale

Architecture du Modèle : Les auteurs utilisent une famille d'architectures Transformer standard équipées de RMSNorm, de RoPE 1D et d'unités linéaires à porte (GEGLU). Ils testent cinq échelles de modèles allant de 10 millions à 449 millions de paramètres.
Jeu de Données : L'entraînement préliminaire est réalisé sur JFT-300M, un jeu de données à grande échelle avec une distribution à longue traîne reflétant les fréquences visuelles du monde ouvert, plutôt que l'ImageNet ILSVRC 2012 plus uniforme.
Objectif d'Entraînement : Vraisemblance négative standard pour la prédiction du prochain pixel autorégressive ( $Pr(x_i | x_{<i})$ ).
Stratégie de Mise à l'Échelle : L'étude emploie des profils IsoFLOP (suivant Hoffmann et al., 2022) pour identifier les configurations optimales en termes de calcul. Pour des budgets de calcul fixes, les auteurs varient la profondeur et la largeur du modèle afin de trouver le rapport optimal entre tokens et paramètres.
Résolutions : Les expériences sont menées aux résolutions 16×16, 32×32 et 64×64. La résolution 32×32 sert de référence principale pour des expériences approfondies en raison de sa faisabilité computationnelle.

Métriques d'Évaluation

Pour évaluer les tendances de mise à l'échelle à travers différents objectifs, les auteurs évaluent trois métriques distinctes :

Perte de Prédiction du Prochain Pixel : L'objectif principal d'entraînement.
Précision de Classification ImageNet : Mesurée par sondage linéaire (gel du backbone et entraînement d'une tête linéaire) pour évaluer la qualité de la représentation.
Qualité de Complétion Basée sur la Génération : Mesurée à l'aide de la Distance de Fréchet (FD). La moitié supérieure de l'image sert d'invite spatiale, et le modèle prédit autorégressivement la moitié inférieure.

Principales Découvertes et Résultats

1. Inefficacité des Pixels Bruts par Rapport au Texte

L'apprentissage sur des pixels bruts est significativement moins efficace que l'apprentissage sur des tokens de langage.

Rapport Tokens-Paramètres : Pour atteindre des performances optimales en termes de calcul, les modèles de pixels bruts nécessitent 10 à 20 fois plus de tokens par paramètre que les modèles de langage. Alors que les modèles de langage fonctionnent souvent avec un rapport d'environ 20 tokens/paramètre, les modèles de pixels nécessitent des rapports dépassant 400.
Implication : Un seul pixel contient une information sémantique minimale par rapport à un mot (par exemple, "chat"), nécessitant un volume de données beaucoup plus important par rapport à la taille du modèle pour apprendre des représentations efficaces.

2. Stratégies de Mise à l'Échelle Dépendantes de la Tâche

La stratégie de mise à l'échelle optimale n'est pas universelle ; elle diverge considérablement en fonction de la métrique cible, même à une résolution fixe (32×32).

Classification vs Génération :
- Classification : La mise à l'échelle optimale favorise un équilibre où la taille du modèle et la taille des données croissent à des taux similaires ( $N_{opt} \propto C^{0.56}$ , $D_{opt} \propto C^{0.44}$ ).
- Génération : La mise à l'échelle optimale pour la génération d'images nécessite une approche axée sur les données. La taille du jeu de données doit croître 3 à 5 fois plus vite que la taille du modèle ( $N_{opt} \propto C^{0.49}$ , $D_{opt} \propto C^{0.51}$ ).
Conclusion : Une stratégie de mise à l'échelle optimisée pour la perte de prochain pixel ou la classification est sous-optimale pour la génération d'images. Les tâches de génération nécessitent des données vastes et diversifiées pour capturer les dépendances d'ordre supérieur et les distributions visuelles à longue traîne.

3. Déplacements de Mise à l'Échelle Dépendants de la Résolution

À mesure que la résolution de l'image augmente, la stratégie de mise à l'échelle optimale passe d'un équilibre entre données et taille du modèle à une forte préférence pour des modèles plus grands.

Modèle vs Données : À des résolutions plus élevées (par exemple, 64×64), le nombre optimal de paramètres par pixel croît rapidement, tandis que le nombre optimal d'images (données) croît beaucoup plus lentement.
Raisonnement : Les résolutions plus élevées contiennent intrinsèquement des informations provenant de sous-séquences de plus basse résolution. Une fois qu'une quantité suffisante de données est disponible, la valeur marginale des nouveaux points de données diminue, et la complexité de la structure visuelle nécessite des capacités de modèle plus importantes pour modéliser les textures fines et les structures globales.
Performance : L'augmentation de la résolution de 32×32 à 64×64 entraîne des améliorations significatives de la qualité de génération (Distance de Fréchet) mais seulement des gains marginaux en précision de classification ImageNet.

4. Projections de Faisabilité

Les auteurs projettent les exigences pour atteindre des performances compétitives (80 % de précision ImageNet et Distance de Fréchet < 100) en utilisant des estimations théoriques basées sur les données.

Goulot d'Étranglement du Calcul : La principale barrière à la mise à l'échelle de la prédiction du prochain pixel est le calcul, et non la disponibilité des données. Compte tenu du volume colossal de données visuelles sur Internet, l'exigence en données n'est pas le facteur limitant.
Chronologie : En supposant que le calcul d'entraînement pour les modèles d'IA de pointe augmente de 4 à 5 fois par an, les auteurs prévoient que la modélisation pixel par pixel deviendra réalisable au cours des cinq prochaines années.
Projections : À $10^{24}$ FLOPs, un modèle pourrait théoriquement atteindre ~85 % de précision ImageNet (à 64×64) et une Distance de Fréchet d'environ 93, nécessitant une taille de modèle d'environ 80 milliards de paramètres et ~0,5 milliard d'images (à 64×64).

Importance et Revendications

L'article prétend fournir la première analyse rigoureuse et à grande échelle des lois de mise à l'échelle pour la prédiction de prochains pixels bruts à travers les tâches de reconnaissance et de génération.

Réévaluation du Paradigme : Ce travail remet en question l'idée que la prédiction du prochain pixel est intrinsèquement non évolutive ou inférieure. Au contraire, il démontre que ce paradigme suit une mise à l'échelle en loi de puissance prévisible, à condition que le budget de calcul et les rapports données-paramètres soient ajustés correctement.
Modèles de Vision Unifiés : Les résultats suggèrent qu'un cadre unique de bout en bout peut unifier la reconnaissance et la génération de vision, bien que l'allocation optimale de calcul diffère considérablement entre les deux tâches.
Viabilité Future : L'étude conclut que si les exigences actuelles en calcul pour la modélisation de pixels bruts haute résolution sont irréalistes, la trajectoire de la croissance du calcul suggère que cette approche deviendra une voie viable et compétitive pour les modèles de vision unifiés dans un avenir proche, potentiellement en rendant obsolètes les schémas de tokenisation complexes.

Les auteurs maintiennent un ton modeste, reconnaissant que leurs projections reposent sur la stabilité des exposants de loi de puissance et que la validation empirique est actuellement limitée aux résolutions allant jusqu'à 64×64. Ils notent que des recherches supplémentaires sont nécessaires pour explorer la mise à l'échelle au-delà de ces résolutions et pour unifier les tendances de mise à l'échelle à travers des tâches de descente plus complexes comme la détection d'objets.