OpenGPT-4o-Image: A Comprehensive Dataset for Advanced Image Generation and Editing

Dans le monde de l'intelligence artificielle, il existe une ambition croissante de construire des systèmes capables de faire plus que simplement reconnaître ce qu'ils voient. Pendant des années, les ordinateurs sont devenus excellents pour décrire une photo ou répondre à une question sur une image. Aujourd'hui, les chercheurs s'efforcent de créer un nouveau type d'intelligence qui puisse non seulement comprendre une image, mais aussi en créer une de toutes pièces ou la modifier à partir d'une simple phrase. Cette capacité, connue sous le nom de génération et d'édition d'images, repose sur de vastes collections d'exemples. Tout comme un enfant apprend à dessiner en étudiant d'innombrables images et en receant des commentaires, ces modèles informatiques apprennent en traitant de vastes quantités de données qui associent des descriptions textuelles aux images qu'elles représentent. La qualité de ce matériel d'apprentissage est primordiale ; si les exemples sont simples ou répétitifs, le modèle reste limité. Pour véritablement maîtriser la nature complexe, désordonnée et variée des requêtes du monde réel, ces systèmes ont besoin d'un curriculum aussi riche et structuré que le monde qu'ils tentent d'émuler.

Une équipe de chercheurs est intervenue pour fournir ce curriculum avec une nouvelle collection de données à grande échelle appelée OpenGPT-4o-Image. Ils ont reconnu que si les ensembles de données existants couvraient des tâches de base comme le changement de couleur d'un objet ou la copie d'un style de peinture, ils échouaient souvent face à des défis plus difficiles. La vie réelle est pleine de requêtes qui nécessitent plusieurs étapes simultanées, comme demander un diagramme scientifique spécifique ou exiger qu'un personnage soit déplacé pendant que l'arrière-plan change et que du nouveau texte est ajouté. Pour résoudre cela, l'équipe a construit un ensemble de données contenant 80 000 paires de haute qualité d'instructions et d'images. Ils n'ont pas simplement rassemblé ces exemples de manière aléatoire ; au contraire, ils ont construit un cadre systématique qui décompose le vaste monde de la création d'images en 11 domaines majeurs et 51 sous-tâches spécifiques. Cette structure garantit que l'ordinateur n'apprend pas seulement à dessiner, mais aussi à raisonner sur l'espace, à suivre des chaînes logiques complexes et à gérer des sujets spécialisés tels que les illustrations de chimie ou les commandes d'édition à plusieurs étapes.

Les chercheurs ont organisé leur travail en deux catégories principales : la création d'images à partir de rien et la modification d'images existantes. Pour le côté création, ils se sont concentrés sur cinq capacités fondamentales. Premièrement, ils ont appris au modèle à imiter divers styles artistiques, allant des peintures anciennes à l'encre de Chine aux esthétiques cyberpunk modernes. Deuxièmement, ils l'ont mis au défi avec des instructions complexes qui nécessitent de garder plusieurs idées à l'esprit en même temps, comme placer un nombre spécifique d'objets dans une scène avec des relations spatiales précises. Troisièmement, ils ont abordé la tâche difficile d'écrire du texte directement à l'intérieur d'une image, en s'assurant que les mots sont correctement orthographiés et placés naturellement dans la scène. Quatrièmement, ils ont testé la capacité du modèle à comprendre la géométrie et la logique, en lui demandant de compter des objets ou de déterminer quel article est plus grand qu'un autre. Enfin, ils ont étendu la portée du modèle vers des domaines spécialisés, générant des images pour les sciences et l'ingénierie, telles que des diagrammes de magnétosphères planétaires ou des engrenages mécaniques, des domaines où la clarté visuelle est critique pour l'éducation et la recherche.

Sur le côté édition, l'équipe a conçu une hiérarchie similaire pour couvrir les nombreuses façons dont les gens souhaitent modifier une image. Ils ont inclus des tâches où un utilisateur pourrait vouloir ajouter, supprimer ou échanger un objet spécifique tout en gardant le reste de la scène intact. Ils ont également créé des scénarios où le modèle doit éditer le texte intégré dans une image, en changeant un panneau ou une étiquette sans déformer l'image environnante. Peut-être plus notablement, ils ont introduit des tâches d'édition complexes qui exigent que le modèle suive plusieurs instructions simultanément, comme changer l'arrière-plan, ajouter un nouveau personnage et modifier l'éclairage, le tout en une seule fois. Ils ont même inclus des interactions multi-tours, où un utilisateur donne une première instruction, voit le résultat, puis donne une commande de suivi pour affiner l'image davantage, imitant une conversation naturelle entre un humain et un artiste.

Pour construire cette bibliothèque massive, les chercheurs ont développé un pipeline automatisé qui agit comme un assistant infatigable. Ils ont utilisé un modèle de langage puissant pour générer les instructions textuelles et ont ensuite utilisé un générateur d'images haut de gamme pour créer les images correspondantes. Ce processus a été soigneusement contrôlé pour garantir que les données soient diverses et que les niveaux de difficulté soient équilibrés, passant de requêtes simples à des défis hautement complexes. Le résultat est un ensemble de données qui couvre tout, d'une scène de rue animée capturée dans le style d'un peintre célèbre à un dessin technique d'un jeu de vis sans fin. En injectant ces données structurées dans les modèles informatiques de pointe, les chercheurs ont testé si les modèles pouvaient apprendre à partir de celles-ci. Les résultats étaient clairs : les modèles entraînés sur ce nouvel ensemble de données ont obtenu des performances nettement meilleures qu'auparavant. Dans les tests mesurant la capacité d'un modèle à suivre des instructions pour éditer une image, la performance s'est améliorée jusqu'à 18 % . Pour les tâches impliquant la création d'images à partir de texte, l'amélioration était d'environ 13 %.

Ces gains suggèrent que la manière dont les données sont organisées est tout aussi importante que la quantité de données elle-même. L'étude montre que lorsque les modèles sont exposés à une grande variété de défis structurés, ils deviennent plus capables de gérer les requêtes nuancées et exigeantes qui surviennent dans la vie réelle. Ils deviennent meilleurs pour comprendre qu'un « oiseau géant et duveteux » doit être différent d'un « petit oiseau », ou qu'un « diagramme scientifique » nécessite un niveau de précision différent d'une « illustration fantastique ». Bien que les chercheurs notent que leur travail repose sur les capacités des outils qu'ils ont utilisés pour générer les données, les preuves pointent vers une voie claire à suivre. En décomposant systématiquement la tâche complexe de la création d'images en parties gérables et bien définies, ils ont fourni une fondation qui permet à l'intelligence artificielle de dépasser la simple imitation pour tendre vers une forme de compréhension visuelle plus robuste, fiable et polyvalente.