Generative Models for Signature Synthesis and Face Translation: A Comparative Study of VAE, GAN, Conditional GAN, and CycleGAN

Imaginez un monde où les ordinateurs ne se contentent pas de reconnaître ce qu'ils voient, mais peuvent réellement imaginer de nouvelles choses à partir de rien. C'est le domaine de l'IA générative, une branche du deep learning où les machines apprennent les « règles » d'un ensemble de données — comme l'apparence d'une signature ou ce à quoi ressemble le visage d'un chat — et utilisent ensuite ces règles pour créer de nouveaux exemples inédits. Considérez cela comme l'apprentissage d'un enfant qui apprend à dessiner en lui montrant mille images de chats ; finit par dessiner son propre chat unique sans jamais avoir vu celui-ci auparavant.

Pour que cela se produise, les scientifiques utilisent différents « architectes » ou modèles. Certains modèles, appelés Autoencodeurs Variationnels (VAE), travaquent comme des artistes de la compression : ils prennent une image, la réduisent à son « âme » la plus essentielle (un code caché), puis tentent de la reconstruire. D'autres, appelés Réseaux Antagonistes Génératifs (GAN), sont plus semblables à un faussaire et un détective jouant un jeu à enjeux élevés. Le faussaire tente de créer une œuvre d'art contrefaite si réussie que le détective ne peut distinguer la fraude de la réalité, tandis que le détective s'améliore pour repérer les faux. Parfois, nous donnons à ces modèles un indice ou une « condition » (comme un croquis) pour guider la création, ce qui est appelé un GAN Conditionnel. D'autres fois, nous voulons traduire un style en un autre (comme transformer un croquis en une photo) sans avoir besoin de paires parfaitement correspondantes, c'est là qu'intervient le CycleGAN, utilisant une règle de « voyage aller-retour » pour s'assurer que la traduction fait sens. Comprendre quel outil convient le mieux à quelle tâche est crucial car, bien qu'ils créent tous des images, ils le font de manières très différentes avec des forces et des faiblesses distinctes.

Le Grand Duel Génératif : Faussaires, Détectives et Rêveurs

Dans cette étude, une chercheuse nommée Laiba Ameer a mis en place une arène numérique pour observer quatre types différents de modèles génératifs s'affronter à travers trois défis distincts. L'objectif n'était pas seulement de voir lequel pouvait faire la photo la plus « cool », mais de comprendre comment chaque modèle se comporte, où il trébuche et quel genre de tâche il est le mieux apte à accomplir. Les trois défis étaient : la création de fausses signatures, la génération d'images de chats et de chiens à partir d'un ensemble de données standard, et la traduction de croquis faits à la main en photos de visages réalistes (et vice versa).

Les Contendants et leurs Stratégies

D'abord, il y avait le VAE (Autoencodeur Variationnel). Imaginez un étudiant essayant de mémoriser une signature en la décomposant en un ensemble d'instructions (un code latent) puis en essayant de la redessiner de mémoire. Le VAE fait exactement cela : il compresse une image en une « essence » mathématique puis la reconstruit. L'article a constaté que cette approche était très stable et fiable. Testé sur la génération de signatures, le V�iste a réussi à reconstruire les images avec un taux d'erreur très faible, enregistré comme une perte de reconstruction de test de 0,015. Cela suggère que le modèle a bien appris la structure des signatures, bien que les images résultantes aient tendance à être un peu plus « lisses » ou moins nettes que celles produites par les autres modèles.

Ensuite, le GAN Standard est entré dans l'arène. C'est la configuration classique du faussaire et du détective. Le faussaire (le générateur) tentait de créer de fausses signatures, tandis que le détective (le discriminateur) tentait de les repérer. L'article note qu'au fil de l'entraînement, les fausses signatures devenaient plus crédibles. Le détective est devenu plutôt doué dans sa tâche, atteignant une précision de 85 % pour distinguer les vraies signatures des fausses. Cependant, l'auteur prévient que ce chiffre de 85 % est principalement le signe que les deux modèles jouaient un jeu équilibré ; cela ne signifie pas nécessairement que les fausses signatures étaient parfaites, mais simplement que le détective faisait bien son travail.

Vint ensuite le GAN Personnalisé, chargé d'une tâche plus difficile : générer des images de chats et de chiens à partir d'un petit sous-ensemble du célèbre ensemble de données CIFAR-10. Ces images sont minuscules (32 × 32 pixels), ce qui rend la tâche délicate. Ce modèle avait une particularité : il utilisait un mécanisme de type « Siamese » pour comparer les images générées avec les images réelles, tentant de s'assurer qu'elles étaient similaires. Le résultat ? Le modèle a obtenu un score de similitude de 0,72. L'article souligne que cela était plus difficile à entraîner que le VAE car le générateur et le discriminateur devaient s'améliorer simultanément, et trouver le bon équilibre était une danse délicate.

Le quatrième contendant était le GAN Conditionnel (cGAN). Ici, le modèle ne faisait pas que deviner ; on lui donnait une consigne spécifique. Pour la tâche de transformation du croquis en visage, le modèle recevait un dessin au trait et recevait l'ordre : « Transforme ceci en un visage réaliste ». Grâce à ce guide, il n'avait pas à deviner la structure du visage à partir de rien. L'article rapporte que ce modèle a obtenu un score de similitude de pixels moyen de 0,80 en comparant ses visages générés aux visages réels. Le conditionnement a fait des merveilles, garantissant que le visage généré corresponde à la structure du croquis d'origine.

Enfin, il y avait le CycleGAN, le maître de la traduction. Contrarelement au cGAN, qui nécessitait des paires de croquis et de photos, le CycleGAN pouvait apprendre à traduire des croquis en photos et des photos en croquis sans avoir besoin de paires d'images parfaitement correspondantes. Il utilisait une règle astucieuse de « voyage aller-retour » : si vous transformez un croquis en photo, puis que vous transformez cette photo à nouveau en croquis, vous devriez aboutir à quelque chose qui ressemble au croquis original. L'article a observé que cette « perte de cohérence de cycle » (la mesure de la réussite du voyage aller-retour) s'est stabilisée après environ 50 époques (cycles d'entraînement), et les images résultantes sont devenues visuellement cohérentes.

Le Verdict : Pas de vainqueur universel

Alors, qui a gagné ? L'article conclut qu'il n'existe pas de modèle unique « meilleur » ; tout dépend de ce que vous essayez de faire.

• Les VAE sont les travailleurs fiables. Ils sont excellents pour apprendre la structure sous-jacente des données et sont très stables à entraîner, mais leurs images peuvent parfois paraître un peu floues ou « oniriques ».
• Les GAN Standards sont les artistes précis. Ils peuvent produire des images de haute qualité et très réalistes, mais ils sont capricieux. Si le « détective » devient trop fort, le « faussaire » cesse d'apprendre ; si le détective est trop faible, le faussaire échoue à s'améliorer. Ils sont sensibles à la manière dont on les configure.
• Les GAN Conditionnels sont les assistants obéissants. Si vous avez un guide spécifique (comme un croquis), ils sont excellents pour suivre les instructions afin de créer un résultat correspondant.
• Les CycleGANs sont les traducteurs. Ils excellent lorsqu'il faut passer d'un style à un autre (comme des croquis et des photos) et que vous ne disposez pas de paires d'images parfaitement appariées pour l'entraînement.

L'étude souligne également quelques limites. Les métriques utilisées, comme la « similitude de pixels » ou la « perte de reconstruction », sont faciles à calculer mais ne capturent pas toujours à quel point une image semble « réelle » à l'œil humain. Une image peut avoir un score de similitude élevé mais paraître étrange, ou une image peut paraître parfaite mais avoir un score faible à cause de légères différences de pixels. L'auteur suggère que pour les études futures, nous pourrions avoir besoin de méthodes de mesure plus avancées, comme demander à des humains de juger les images ou utiliser des tests mathématiques plus complexes.

En fin de compte, cet article sert de guide pratique pour quiconque souhaite construire des modèles génératifs. Il montre que si la technologie est puissante, choisir le bon outil pour la tâche est aussi important que l'outil lui-même. Que vous ayez besoin d'une reconstruction stable, d'une falsification nette, d'une création guidée ou d'une traduction fluide, il existe un modèle spécifique conçu pour ce rôle, chacun possédant sa propre personnalité et ses propres défis.