High Quality Image Generation using Improved Generative Adversarial Networks and Optimized Stable Diffusion Models

À l'ère du numérique, les ordinateurs ont appris à voir et à créer, dépassant de loin le simple calcul pour entrer dans le domaine de la synthèse artistique. Au cœur de cette capacité se trouvent des systèmes conçus pour générer des images à partir de rien, imitant la façon dont un humain pourrait peindre ou photographier une scène qu'il n'a jamais réellement vue. Pendant des années, la méthode de référence pour cette tâche reposait sur un concept connu sous le nom de Réseau Antagoniste Génératif (GAN). Imaginez deux artistes travaillant dans le même studio : l'un tente de créer une contrefaçon convaincante, tandis que l'autre agit comme un critique sévère, essayant de déceler le faux. Ils jouent un jeu continu où le faussaire s'améliore pour cacher ses ruses, et le critique devient plus aiguisé pour les débusquer. Avec le temps, cette compétition force le faussaire à produire des images si réalistes que même l'expert critique ne peut plus les distinguer de la réalité. Cependant, ce processus est notoirement difficile à gérer ; les artistes se retrouvent souvent coincés dans une routine, produisant les mêmes quelques images encore et encore, ou le jeu s'effondre tout simplement avant que quoi que ce soit d'utile ne soit créé.

Plus récemment, une approche différente a émergé, qui ne repose pas sur un jeu compétitif mais plutôt sur un processus de raffinement progressif. Considérez cela comme le fait de partir d'une toile couverte de statique, comme la neige sur un vieux téléviseur, et de nettoyer lentement le bruit pour révéler une image claire en dessous. Cette méthode, connue sous le nom de modèle de diffusion, a montré une capacité remarquable à créer des images de haute qualité, stables et diversifiées. Une version spécifique de cette technologie, appelée Stable Diffusion, a attiré l'attention par sa capacité à transformer des descriptions écrites en scènes visuelles. Les chercheurs se sont longtemps demandé comment ces deux méthodes distinctes — le jeu compétitif et le raffinement progressif — se comparent lorsqu'elles sont poussées dans leurs retranchements, et si la combinaison de leurs forces pourrait résoudre les problèmes persistants qui ont freiné la génération d'images pendant des années.

Une équipe de chercheurs de collèges de Mumbai, en Inde, s'est donné pour mission d'explorer cette question en construisant et en testant les deux systèmes côte à côte. Leurs travaux se sont concentrés sur un défi spécifique : créer des images de haute qualité lorsque les données disponibles sont limitées, une situation qui survient souvent dans des domaines comme la criminalistique ou l'imagerie médicale où les exemples réels sont rares. Ils ont entraîné leurs systèmes sur trois collections différentes d'images : un ensemble de 3 000 portraits de haute qualité de visages humains, une collection plus large de 6 000 images générales provenant d'Internet, et un petit groupe de 100 photos de célébrités. L'objectif était de voir quel système pouvait produire les résultats les plus réalistes et s'ils pouvaient générer de nouvelles images d'une personne spécifique, telle qu'un acteur, à partir de seulement quelques exemples.

Les résultats de leurs expériences ont révélé une distinction claire entre les deux technologies. Le système compétitif traditionnel, le Réseau Antagoniste Génératif, a été capable d'apprendre et de produire des visages reconnaissables après l'entraînement, mais il a éprouvé des difficultés avec la cohérence. Lorsque les chercheurs ont testé le système sur la grande collection d'images d'Internet, le système a correctement identifié les images réelles par rapport à ses propres créations environ 91 % du temps, et sur la collection de portraits, il a atteint 81 % de précision. Bien que ces chiffres montrent que le système apprenait, les images qu'il produisait manquaient souvent des détails fins et de la variété naturelle présents dans la vie réelle. Les chercheurs ont observé que le système échouait parfois à capturer toute l'étendue des possibilités des données, menant à des images qui semblaient légèrement répétitives ou moins nettes.

En revanche, le système basé sur le processus de raffinement progressif, le modèle Stable Diffusion, a démontré une capacité supérieure à créer des images réalistes et diverses. Lorsque les chercheurs ont affiné ce modèle pour qu'il comprenne des sujets spécifiques, l'amélioration fut frappante. Par exemple, lorsqu'ils ont entraîné le modèle sur des images de l'acteur Brad Pitt, celui-ci ne s'est pas contenté de copier les photos qu'il avait vues ; le modèle affiné a effectivement extrapolé l'apparence antérieure de l'acteur, même si aucune photo d'enfance n'était incluse dans les données d'entraînement. Cette capacité à imaginer un sujet à un stade différent de sa vie suggère que le modèle pourrait générer une image convaincante de lui enfant. Les chercheurs ont mesuré ce succès à l'aide d'un système de notation qui vérifie à quel point l'image correspond à la description fournie ; le modèle optimisé a obtenu un score de 31,98 sur le jeu de données d'images d'Internet, un chiffre qui indiquait un haut niveau de cohérence visuelle et de détail.

L'étude a également exploré comment rendre ces systèmes plus performants en ajustant leurs paramètres internes, un peu comme on règle les boutons d'une radio pour trouver le signal le plus clair. Ils ont découvert que la taille du groupe d'images que l'ordinateur traite à un moment donné affectait considérablement la qualité du résultat. En testant différentes tailles de groupes, ils ont découvert que le traitement de cinq images à la fois offrait les meilleurs résultats pour leur configuration spécifique. De plus, ils ont comparé différentes versions de la technologie de raffinement et ont constaté que le meilleur modèle pour créer des portraits n'était pas nécessairement celui qui fonctionnait le mieux pour les scènes générales. Cela souligne qu'il n'existe pas d'outil parfait unique pour chaque tâche ; le choix du système doit être adapté au type spécifique d'images créées.

Enfin, les chercheurs ont conclu que, bien que la méthode compétitive ait sa place, l'approche par raffinement progressif offre une voie plus fiable pour générer des images de haute qualité, surtout lorsque l'objectif est de créer des variations réalistes d'un sujet à partir d'une petite quantité de données. Les modèles raffinés ont produit des images avec moins d'erreurs, telles que des bords flous ou des distorsions étranges, et ont maintenu une cohérence dans l'éclairage et la couleur que l'autre système peinait à égaler. Ces travaux suggèrent que pour des applications exigeant une haute fidélité, comme la création de preuves visuelles pour des affaires juridiques, l'amélioration de scanners médicaux ou la génération d'art, la nouvelle technologie basée sur le raffinement est l'outil le plus puissant. Les chercheurs ont noté que leurs conclusions pourraient aider dans divers domaines, de l'agriculture à la science forensique, en fournissant un moyen de générer des données visuelles réalistes là où elles n'existaient pas auparavant. L'étude constitue une démonstration pratique qu'en optimisant ces systèmes modernes, nous pouvons nous rapprocher de machines qui créent non seulement des images, mais des réalités crédibles.