Regularized Channel-Attentive Adversarial Learning for Unpaired Image Translation

Imaginez que vous soyez un maître professeur d'art essayant d'apprendre à un élève comment peindre dans le style de Van Gogh, mais que vous n'ayez pas les croquis originaux de l'élève à côté des peintures de Van Gogh. Vous n'avez qu'une pile de dessins de l'élève et une pile séparée de chefs-d'œuvre de Van Gogh. C'est le monde complexe de la « traduction d'images non appariées » en informatique : une branche de l'intelligence artificielle où les ordinateurs tentent d'apprendre comment transformer un type d'image en un autre — comme transformer la photo d'un cheval en zèbre, ou un plan de rue en vue satellite — sans avoir besoin d'une correspondance parfaite, côte à côte, pour chaque image.

Pour faire cela, les ordinateurs utilisent souvent un jeu ingénieux appelé « Réseau Antagoniste Génératif » (ou GAN pour Generative Adversarial Network). Considérez cela comme un faussaire et un détective enfermés dans une pièce : le faussaire (le générateur) essaie de créer de fausses images qui ont l'air si réelles que le détective (le discriminateur) ne peut pas les distinguer. Le détective devient meilleur pour repérer les faux, ce qui force le faussaire à devenir meilleur pour en créer. Ils continuent de jouer à ce jeu jusqu'à ce que le faussaire devienne un maître. Cependant, par le passé, ces faussaires faisaient souvent des erreurs : leurs « zèbres » avaient des rayures floues, leurs « cartes » avaient des routes qui disparaissaient, et leurs peintures ressemblaient un peu à une aquarelle estompée. Ils avaient du mal à garder les détails importants nets tout en changeant le style.

C'est ici qu'une nouvelle étude de chercheurs de l'Université Normale de Harbin intervient. Ils proposent une façon plus intelligente de jouer à ce jeu, en appelant leur nouveau système « CAR-GAN ». Au lieu de simplement laisser le faussaire et le détective jouer selon les anciennes règles, ils ont ajouté trois améliorations spéciales à l'équipe. Premièrement, ils ont donné au faussaire une paire de « lunettes intelligentes » (appelée Attention de Canal ou Channel Attention) qui l'aident à se concentrer uniquement sur les détails les plus importants, comme la texture de la fourrure ou les lignes d'un bâtiment, en ignorant le bruit. Deuxement, ils ont engagé un détective beaucoup plus expérimenté en rendant le cerveau du détective plus profond et plus complexe, afin qu'il puisse repérer même les plus infimes défauts dans les fausses images. Enfin, ils ont ajouté une « règle de lissage » (appelée régularisation de Variation Totale ou Total Variation) qui agit comme une main douce, lissant les bords rugueux et granuleux de la peinture sans pour autant flouter les lignes nettes.

Les résultats de cette nouvelle approche sont très prometteurs. Lorsque les chercheurs ont testé leur système sur trois défis différents — transformer des plans de rues en vues satellites, changer des chevaux en zèbres, et convertir des photos en peintures de style Van Gogh — le nouveau CAR-GAN a mieux réussi que les méthodes précédentes les plus performantes. Sur l'ensemble de données de cartes, par exemple, il a obtenu un score de 37,3 pour la reconnaissance des caractéristiques de la carte, battant la méthode suivante la plus performante qui a obtenu un score de 34,8. Il a également produit des images avec moins de problèmes visuels et des textures plus lisses. L'étude suggère qu'en combinant ces trois améliorations spécifiques, l'ordinateur peut créer des traductions beaucoup plus réalistes et stables, évitant les désastres flous et les distorsions étranges qui tourmentaient les versions antérieures. Bien que le système prenne un peu plus de temps pour s'entraîner car il est plus complexe, il montre qu'en donnant à l'IA un meilleur focus, un œil plus aiguisé et un toucher plus doux, on peut parvenir à des résultats de qualité nettement supérieure dans le monde de l'art numérique et de la transformation d'images.