MiniGPT-Reverse-Designing: Predicting Image Adjustments Utilizing MiniGPT-4

Dans le monde moderne de l'intelligence artificielle, les ordinateurs sont devenus remarquablement doués pour deux choses distinctes : voir et parler. D'un côté, les systèmes de vision peuvent regarder une photographie et décrire ce qui s'y passe avec une précision surprenante. De l'autre, les modèles de langage peuvent écrire des histoires, répondre à des questions et tenir des conversations en traitant de vastes quantités de texte. Récemment, des scientifiques ont commencé à jeter un pont entre ces deux capacités, créant des systèmes capables de comprendre une image et une phrase simultanément. Ces outils hybrides, connus sous le nom de modèles vision-langage, peuvent déjà accomplir des tâches comme répondre à des questions sur une image ou rédiger une légende pour une scène. Cependant, la plupart de ces systèmes sont entraînés pour regarder une image unique et la décrire, ou pour regarder une image et une question et fournir une réponse. Ils ne sont pas encore entraînés pour regarder une paire d'images « avant-après » et déterminer exactement ce qui a changé entre elles, surtout lorsque ce changement implique des ajustements spécifiques comme la luminosité, le contraste ou la balance des couleurs.

Ce manque de compréhension est au cœur d'une nouvelle étude menée par les chercheurs Vahid Azizi et Fatemeh Koochaki. Ils ont cherché à voir si un puissant modèle vision-langage en code ouvert appelé MiniGPT-4 pouvait être enseigné pour accomplir une tâche qu'ils appellent la « conception inverse ». Imaginez que vous ayez la photo d'un coucher de soleil, puis que vous ayez une seconde version de cette même photo où le ciel a été rendu plus orangé et l'eau plus sombre. Un éditeur humain saurait exactement quels curseurs ont été déplacés pour obtenir ce look. Les chercheurs voulaient savoir si un ordinateur pouvait regarder l'original et la version éditée, peut-être avec un indice vague comme « rends cela plus dramatique », et ensuite prédire les étapes techniques spécifiques et les valeurs numériques utilisées pour créer cette édition. Il s'agit d'un défi complexe car l'ordinateur doit simultanément comprendre deux images différentes et la relation entre elles, une tâche qui va au-delà de la simple description de ce qui se trouve dans une seule image.

Pour tester cela, les chercheurs ont pris le modèle MiniGPT-4, qui était déjà entraîné à comprendre les images et le texte, et l'ont affiné en utilisant un ensemble de données spécifique appelé I-MAD-Dense. Cet ensemble de données contient environ 22 000 exemples, chacun composé d'une image source, d'une version éditée de cette image et d'une description de haut niveau de l'idée créative derrière l'édition. Crucialement, l'ensemble de données inclut également la « vérité terrain » (ground truth), qui est la liste exacte des opérations et de leurs valeurs numériques qui ont été appliquées à l'image originale pour créer la nouvelle. Les chercheurs ont converti ces listes techniques d'opérations en phrases afin que la partie linguistique du modèle puisse les lire. Ils ont ensuite soumis au modèle des paires d'images accompagnées de descriptions textuelles optionnelles et lui ont demandé de prédire la liste des changements qui ont transformé la première image en la seconde.

L'équipe a mené plusieurs expériences pour voir si le modèle pouvait apprendre cette compétence. Dans leur première tentative, ils ont simplement affiné le modèle existant sans modifier sa structure. Les résultats ont montré que le modèle pouvait apprendre la tâche, prédisant avec succès les types de changements environ 72 % du temps en moyenne. Cependant, les chercheurs ont remarqué que le modèle se trompait parfois sur le nombre de changements ou que les valeurs spécifiques étaient légèrement erronées. Pour améliorer cela, ils ont tenté d'ajouter une pénalité mathématique au processus d'entraînement chaque fois que les nombres prédits par le modèle pour les ajustements étaient éloignés des valeurs correctes. Ce petit ajustement a aidé le modèle à rendre les nombres plus précis, réduisant l'erreur moyenne de ses prédictions. Ils ont également testé si le fait de donner au modèle une commande spécifique dans le texte, telle que « ajuster la luminosité », aiderait. Les résultats ont confirmé que disposer de ce contexte textuel supplémentaire améliorait considérablement la capacité du modèle à trouver les changements corrects, surtout lorsque les instructions étaient clèbres.

Les chercheurs ont également exploré si l'ajout de marqueurs spéciaux au texte pour séparer les images des mots aiderait le modèle à garder la trace des différents intrants. Ils ont essayé d'insérer un jeton (token) spécifique pour signaler où une image se terminait et où la suivante commençait, mais cela a en fait dégradé les performances du modèle. Cette découverte suggère que la méthode actuelle du modèle pour gérer les images et le texte était suffisante et que l'ajout de marqueurs artificiels supplémentaires l'a davantage confondu qu'éclairé. Une autre expérience consistait à essayer d'enseigner au modèle à prédire le nombre de changements plus précisément en le pénalisant pour avoir deviné trop ou trop peu de changements, mais cette approche a également échoué à améliorer les résultats et, dans certains cas, les a aggravés.

La version la plus réussie de leur système, qui combinait le modèle affiné avec une manière spécifique de gérer les erreurs numériques, a montré que ces modèles vision-langage sont effectivement capables d'apprendre des relations complexes à plusieurs étapes entre les images. Le modèle a obtenu les meilleurs résultats lorsqu'il recevait une description textuelle de l'édition, soulignant l'importance du langage pour guider la compréhension visuelle. Bien que le système ne soit pas encore parfait et éprouve encore des difficultés dans certains scénarios complexes, l'étude démontre que les modèles prêts à l'emploi peuvent être étendus pour gérer des tâches sophistiquées comme l'ingénierie inverse des éditions d'images. Les chercheurs concluent que, bien que leurs résultats actuels soient prometteurs, il reste de la place pour l'amélioration, comme l'utilisation d'images à plus haute résolution pour capturer des détails plus fins ou l'entraînement du modèle sur des données générées par des humains encore plus soigneusement sélectionnées. Ce travail ouvre une porte pour de futurs outils qui pourraient aider les éditeurs à comprendre leurs propres flux de travail ou permettre aux ordinateurs d'apprendre de l'historique de la création des images.