Scalable Question-Centric Text-to-Image Evaluation: Reliable Ranking, Fine-Grained Diagnosis, and Cost-Aware Routing

Dans le monde de l'intelligence artificielle en évolution rapide, une classe spécifique de logiciels a émergé, capable de conjurer des images à partir de rien d'autre qu'une phrase. Ces systèmes, connus sous le nom de modèles de texte-vers-image, écoutent la description d'un utilisateur — par exemple « un chat rouge assis sur un tapis bleu » — et génèrent une représentation visuelle de cette scène. Pendant des années, la principale façon d'évaluer l'efficacité de ces machines consistait à regarder l'image finale et à lui attribuer un score unique. Si l'image paraissait globalement bonne, le modèle était considéré comme performant. Cependant, à mesure que ces outils se sont améliorés, un problème est apparu : différents modèles atteignent souvent des scores globaux similaires tout en possédant des forces et des faiblesses très différentes. L'un peut être excellent pour dessiner des animaux mais médiocre pour rendre du texte, tandis qu'un autre peut suivre des instructions complexes parfaitement mais avoir du mal avec des formes simples. Cela rend difficile pour les utilisateurs de choisir le bon outil pour une tâche spécifique, car un chiffre unique ne peut révéler les détails complexes de ce qu'un modèle est réellement capable de faire.

Pour résoudre cela, une équipe de chercheurs de China Unicom a introduit une nouvelle façon de tester ces systèmes appelée QC-T2I-Bench. Au lieu de traiter une instruction comme un bloc unique et indivisible, leur méthode décompose chaque requête en une série de petites questions spécifiques. Si un utilisateur demande un chat rouge sur un tapis bleu, le système ne demande pas seulement : « L'image est-elle bonne ? ». Il demande : « Y a-t-il un chat ? », « Le chat est-il rouge ? », « Y a-t-il un tapis ? » et « Le tapis est-il bleu ? ». Crucialement, les chercheurs cartographient également la manière dont ces questions dépendent les unes des autres. Ils reconnaissent que si le système échoue à dessiner le chat, il ne peut pas réussir à dessiner la fourrure rouge du chat. En organisant ces questions en une structure logique, l'équipe peut identifier précisément l'endroit où un modèle échoue et déterminer si cet échec est une erreur de base ou une erreur plus complexe qui ne survient que lorsque plusieurs exigences sont combinées.

Les chercheurs ont testé cette approche sur treize générateurs d'images open-source différents, en utilisant des instructions en anglais et en chinois. Ils ont constaté que si certains modèles performaient bien sur des tâches simples, leur capacité à gérer des requêtes complexes chutait brutalement à mesure que le nombre d'exigences augmentait. Lorsqu'une instruction contenait des exigences pour seulement deux capacités différentes, les modèles réussissaient à créer une image parfaite environ 80,7 % du temps. Cependant, lorsqu'une requête exigeait sept capacités distinctes ou plus simultanément, le taux de réussite chutait à 37,2 %. Ce déclin n'était pas seulement une question d'ajout d'erreurs ; il révélait que les modèles avaient beaucoup de mal à maintenir tous les éléments d'un puzzle complexe ensemble à la fois. L'étude a également montré qu'en comprenant ces dépendances, les chercheurs pouvaient distinguer un modèle qui est simplement incapable de dessiner un objet spécifique d'un modèle qui peut dessiner l'objet mais échoue lorsqu'on lui demande d'y ajouter des détails spécifiques.

Au-delà du simple classement des modèles, cette décomposition détaillée permet une application plus pratique : le routage sensible au coût. Dans le monde réel, faire fonctionner ces générateurs d'images sur des ordinateurs puissants coûte de l'argent et de l'énergie. Les chercheurs ont démontré que les mêmes enregistrements détaillés utilisés pour diagnostiquer les erreurs pouvaient être utilisés pour sélectionner automatiquement le modèle le plus efficace pour une tâche donnée sans avoir besoin d'entraîner un nouveau système. En analysant les exigences spécifiques de la requête d'un utilisateur, leur système pouvait choisir un générateur moins coûteux à exploiter tout en respectant les normes de qualité. Dans leurs tests, cette méthode a égalé la performance d'un modèle de premier rang tout en utilisant 21,3 % de puissance de calcul en moins par image. Cela suggère que l'avenir de l'utilisation de ces outils ne réside pas seulement dans le fait de les rendre plus intelligents, mais dans l'utilisation d'une compréhension plus profonde de leurs capacités spécifiques pour faire correspondre le bon outil au bon travail, économisant ainsi des ressources tout en maintenant une haute qualité.