Dans le monde de la mode, le défi a toujours consisté en bien plus que de simplement trouver un article unique qui soit esthétique ; il s'agit d'assembler un look complet où chaque pièce appartient à l'ensemble. Depuis des décennies, les informaticiens tentent d'apprendre aux machines à comprendre ce sens du style, une tâche connue sous le nom de génération d'images complémentaires. L'objectif est simple en théorie : montrer à l'ordinateur un haut et lui faire inventer un pantalon qui s'y accorde parfaitement. Les premières tentatives reposaient sur des règles rigides ou des modèles simples, demandant à la machine de produire « une photo de jeans » sans grande place pour la nuance. Cependant, les vraies personnes ne s'expriment pas via des modèles rigides. Lorsqu'un acheteur recherche une tenue, il peut demander un « pantalon de sport décontracté avec une taille élastique » ou simplement « un jean », selon la précision de sa vision à ce moment précis. Ce fossé entre la manière dont les humains expriment leur désir et la manière dont les machines ont été entraînées pour écouter a laissé les assistants de mode numériques en difficulté pour capturer la véritable intention derrière une requête.

Une équipe de chercheurs d'Italie et d'Autriche a désormais comblé ce fossé en apprenant à un nouveau système à comprendre des instructions en langage libre. Au lieu de forcer les utilisateurs à faire entrer leurs désirs dans une boîte préétablie, les chercheurs ont créé une méthode où un ordinateur peut prendre l'image d'un vêtement de référence et une phrase en langage naturel, aussi détaillée ou vague soit-elle, et générer un article assorti. Ils ont testé cela en enrichissant trois ensembles de données de mode existants avec des milliers de nouvelles instructions, allant de indices minimaux comme « short de sport » à des descriptions hautement détaillées spécifiant le tissu, la couleur et la coupe. Le résultat est un système appelé StyleFlow, qui ne se contente pas de deviner ce à quoi un article assorti pourrait ressembler, mais écoute réellement les mots spécifiques utilisés pour le décrire. Dans leurs expériences, les chercheurs ont constaté que plus le langage fourni était spécifique, mieux l'ordinateur pouvait aligner sa création avec la vision de l'utilisateur, produisant des vêtements qui étaient non seulement stylistiquement compatibles avec l'article original, mais aussi fidèles à la description écrite.

Les chercheurs ont commencé par s'attaquer à une limitation fondamentale des travaux précédents : la plupart des systèmes étaient entraînés et testés à l'aide de modèles fixes, tels que « une photo de [catégorie] ». Cette approche ne reflétait pas la façon dont les gens achètent réellement, où les requêtes varient considérablement en détail. Pour corrocier cela, l'équipe a développé un processus en deux étapes pour générer des instructions réalistes et en langage libre pour leurs tests. D'abord, ils ont utilisé un modèle de vision-langage pour analyser des images de vêtements et écrire des légendes structurées décrivant des attributs tels que la couleur, le matériau et la coupe. Ensuite, ils ont demandé au même modèle de réécrire ces légendes en phrases naturelles à trois niveaux de détail différents. Un niveau n'offrait que la catégorie de base, un autre ajoutait la couleur et le style général, et le troisième incluait des détails spécifiques sur la coupe et le tissu. Des annotateurs humains ont ensuite examiné ces milliers d'instructions générées pour s'assurer qu'elles étaient claires, fluides et décrivaient avec précision le contenu visuel. Cela a créé un environnement contrôlé où les chercheurs pouvaient tester la capacité de l'ordinateur à gérer tout, de l'indice vague à la commande précise.

Pour mettre ces instructions à l'épreuve, les chercheurs ont construit StyleFlow, un nouveau type de modèle génératif basé sur une technique appelée « Rectified Flow Matching ». Contrairement aux anciens systèmes qui nécessitaient souvent des modules complexes et séparés pour gérer les images et le texte, StyleFlow intègre les deux entrées dans une structure unique et unifiée. Il prend l'image du vêtement de référence et l'instruction textuelle, et les traite ensemble pour générer une nouvelle image. Les chercheurs ont entraîné ce modèle sur trois grands ensembles de données contenant des dizaines de milliers de paires haut-bas compatibles, garantissant que les articles utilisés pour les tests n'avaient jamais été vus lors de l'entraînement. Cette configuration a forcé le système à apprendre les principes sous-jacents du style et de la compatibilité plutôt qu'à simplement mémoriser des paires spécifiques. Lorsque le système générait un nouveau vêtement, il était évalué non seulement sur le réalisme de l'image, mais aussi sur sa correspondance avec l'instruction textuelle et sa ressemblance avec les articles réels trouvés dans un catalogue de vêtements.

Les résultats ont montré un schéma clair et cohérent : la spécificité du langage influençait directement la qualité du résultat. Lorsque le système recevait des instructions hautement détaillées, il produisait des vêtements nettement plus alignés avec le design prévu et l'article de référence original. Par exemple, sur l'un des ensembles de données, passer d'une instruction de faible détail à une instruction de haut détail a amélioré la capacité du système à faire correspondre l'article généré aux produits réels du catalogue, passant d'environ 38 % à près de 69 %. Le système a également obtenu de meilleurs résultats sur les mesures standards de qualité d'image, les articles générés étant plus réalistes et moins flous lorsqu'ils recevaient un texte plus descriptif. En revanche, lorsque les instructions étaient vagues ou totalement absentes, les performances du système chutaient radicalement, produisant des articles moins compatibles et plus difficiles à distinguer d'un bruit aléatoire. Cela a confirmé que le système s'appuie fortement sur le texte pour guider son processus créatif, utilisant l'image de référence principalement pour maintenir l'harmonie stylistique.

Des évaluateurs humains ont davantage validé ces conclusions en comparant le nouveau système à plusieurs modèles établis. Lors d'une étude en aveugle, les participants ont évalué la qualité visuelle, la compatibilité de style et l'authenticité des images générées. Le nouveau système a systématiquement surpassé ses concurrents, produisant des articles qui paraissaient plus réalistes et qui étaient plus susceptibles d'être confondus avec de véritables photos de catalogue. Les participants ont jugé les créations du système comme étant presque aussi authentiques que des photographies réelles, avec un taux de détection de « faux » d'environ 28 %, contre des taux bien plus élevés pour les anciens modèles. Le système excellait également dans le respect de l'intention de l'utilisateur ; lorsqu'on lui demandait des caractéristiques spécifiques comme une « poche zippée » ou une « taille élastique », il réussissait à incorporer ces détails, alors que d'autres modèles les ignoraient souvent ou produisaient des versions génériques de l'article demandé.

L'étude a également exploré ce qui se passe lorsque le système est privé de ses entrées. Lorsque les chercheurs ont supprimé les instructions textuelles, la capacité du système à générer un article pertinent s'est effondrée, prouvant que le langage n'est pas seulement un ajout mineur mais un moteur central du processus de génération. De même, lorsque l'image de référence était remplacée par une toile blanche, le système peinait à maintenir la cohérence stylistique, surtout lorsque les instructions textuelles étaient vagues. Cela a démontré que le système a besoin à la fois du contexte visuel de l'article de référence et de l'orientation spécifique du texte pour fonctionner efficacement. Les chercheurs ont noté que, bien que le système fonctionne de manière optimale avec des instructions détaillées, il reste capable de produire des résultats plausibles même avec des indices minimaux, suggérant qu'il pourrait être utile pour explorer des idées de design lorsqu'un utilisateur n'est pas certain de ce qu'il veut exactement.

En recadrant le problème, passant d'un exercice rigide de remplissage de modèles à une tâche flexible d'ancrage linguistique, ce travail rapproche le domaine de la génération de mode de la manière dont les gens interagissent réellement avec la technologie. Les chercheurs ont montré que les machines peuvent apprendre à interpréter tout le spectre du langage humain, de l'indice le plus bref à la description la plus élaborée, et à le traduire en une réalité visuelle qui respecte le style original. Bien que le système actuel se concentre sur l'association de hauts et de bas, les auteurs suggèrent que cette approche pourrait éventuellement être étendue pour gérer des combinaisons de tenues plus complexes et des requêtes d'utilisateurs du monde réel. L'étude conclut que la clé de meilleurs assistants de mode numériques ne réside pas dans la construction d'architectures plus complexes, mais dans l'apprentissage à écouter plus attentivement les mots que les gens utilisent pour décrire ce qu'ils veulent porter.