Efficient Training with Foresight: Multi-Token Auxiliary Supervision for Autoregressive Image Generation

Les ordinateurs sont devenus remarquablement habiles pour créer des images à partir de rien, mais la manière dont ils apprennent à le faire ressemble souvent à un étudiant essayant de mémoriser un manuel mot par mot, sans jamais voir la page entière. Dans le domaine de l'intelligence artificielle, une méthode populaire appelée génération autorégressive fonctionne en prédisant la pièce suivante d'une image en se basant sur les pièces qui l'ont précédée, un peu comme si l'on terminait une phrase en devinant le mot suivant. Cette approche s'est montrée très prometteuse pour la création d'images de haute qualité, pourtant elle souffre d'une inefficacité fondamentale. L'ordinateur est contraint d'examiner chaque minuscule fragment de l'image, un par un, pour apprendre comment ils s'assemblent. Ce processus est lent et souvent myope, ce qui signifie que l'ordinateur se concentre de manière si étroite sur l'étape immédiante suivante qu'il manque la vue d'ensemble, ce qui conduit à des textures répétitives ou des détails flous. De plus, l'ordinateur gaspille de l'énergie à traiter des parties de l'image qui ne contiennent que très peu d'informations importantes, comme un patch vide de ciel, tout autant qu'il traite les détails complexes d'un visage.

Une équipe de chercheurs de l'Université de Foshan et de l'Université de Hong Kong a proposé une nouvelle façon d'entraîner ces systèmes de génération d'images qui résout ces problèmes sans changer la manière dont l'ordinateur crée finalement une image. Ils appellent leur méthode MTAR, un cadre unifié qui améliore le processus d'apprentissage grâce à trois stratégies spécifiques. Premièrement, ils ont changé la façon dont l'ordinateur est enseigné à regarder vers l'avant. Au lieu de demander seulement au modèle de prédire le patch suivant, ils ont ajouté une seconde tâche où le modèle doit également prédire un patch plus loin dans la ligne, spécifiquement celui situé directement sous la position actuelle dans la grille. Cela force l'ordinateur à comprendre la structure bidimensionnelle de l'image, comme si l'on voyait un quartier plutôt qu'une simple rue, ce qui l'aide à mieux capturer les motifs locaux et le contexte futur. Deuxièmement, ils ont introduit une technique pour garantir que la compréhension interne de l'ordinateur concernant les différentes parties de l'image reste distincte et claire. En comparant différentes versions des caractéristiques d'une même image, ils ont encouragé le modèle à maintenir ses représentations de différentes textures et formes séparées, empêchant ainsi les images de devenir troubles ou répétitives. Enfin, ils ont abordé la question de l'effort gaspillé en apprenant à l'ordinateur à ignorer les parties non importantes de l'image. En utilisant un outil distinct pour identifier quels fragments d'une image contiennent les informations les plus significatives, ils ont permis à l'ordinateur de sauter par-dessus les zones moins cruciales, telles que les arrière-plans vides, tout en se concentrant sur les détails critiques.

Les résultats de cette nouvelle approche sont frappants lorsqu'ils sont testés sur le benchmark ImageNet, une collection standard d'images utilisée pour mesurer les progrès dans ce domaine. Lorsque les chercheurs ont comparé leur système à une méthode précédente de pointe appelée LlamaGen, ils ont constaté que leur nouveau cadre produisait des images nettement meilleures en moins de temps. Plus précisément, la nouvelle méthode a obtenu un score connu sous le nom de FID, qui mesure à quel point les images générées sont réalistes, qui était de près d'un point inférieur au précédent record, indiquant une amélioration claire de la qualité. Plus important encore, le processus d'entraînement était substantiellement plus rapide. Les chercheurs ont découvert que leur système pouvait atteindre le même niveau de performance que l'ancienne méthode en seulement un tiers du temps d'entraînement, et dans certains cas, il était presque quatre fois plus rapide. Même lorsque les chercheurs ont limité l'entraînement à une fraction du nombre habituel d'étapes, le nouveau système a tout de même réussi à produire des images comparables ou meilleures que la référence. Cela suggère que les améliorations ne proviennent pas simplement d'un travail plus acharné, mais d'un travail plus intelligent en fournissant de meilleurs signaux d'apprentissage et en supprimant les calculs inutiles.

Crucialement, toutes ces améliorations ne se produisent que pendant que l'ordinateur apprend. Une fois l'entraînement terminé, le système fonctionne exactement comme avant, en prédisant un jeton à la fois sans étapes ni délais supplémentaires. Les chercheurs ont démontré qu'en ajoutant ces tâches auxiliaires et en sautant les informations de faible valeur pendant la phase d'apprentissage, ils pouvaient créer un modèle qui soit à la fois plus capable et plus efficace. L'étude suggère que la clé d'une meilleure génération d'images ne réside pas dans la construction de modèles plus grands, mais dans l'affinement de la manière dont le modèle est enseigné à voir le monde, en s'assurant qu'il prête attention aux bonnes choses et comprend les relations spatiales entre elles. En équilibrant le besoin de sortie de haute qualité avec les contraintes pratiques de temps et de puissance de calcul, ce travail offre une voie plus claire pour la création d'images réalistes par l'intelligence artificielle.