Looks Right, Works Right: A Project-Level Benchmark for Multi-Screen Mobile App Generation
Ce document présente MobileForge, le premier benchmark au niveau projet pour la génération d'applications mobiles multi-écrans qui évalue les LLM multimodaux à travers la construction, la navigation, la fidélité visuelle, la maintenabilité et l'efficacité, révélant que si les modèles actuels peuvent compiler et naviguer dans des applications, ils éprouvent encore des difficultés avec la fiabilité de l'interaction et la qualité du code.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où vous pourriez montrer à un ordinateur un dossier rempli de photographies prises avec un smartphone, et qu'il écrirait instantanément le programme informatique complet nécessaire pour construire cette application exacte. C'est la promesse d'un domaine appelé le « design-to-code » (du design au code), où l'intelligence artificielle tente de traduire des images visuelles en les instructions fonctionnelles qui font fonctionner les logiciels. Pendant des années, des chercheurs ont testé ces systèmes en leur montrant une seule image d'une page web et en leur demandant le code pour recréer cet écran unique. Bien que cela ait donné des résultats impressionnants pour des pages simples et isolées, cela occulte la complexité des logiciels du monde réel. Une véritable application mobile n'est pas seulement une image ; c'est un monde connecté de nombreux écrans, de boutons qui vous déplacent d'un endroit à un autre, et d'éléments de design partagés qui doivent rester cohérents à travers toute l'expérience. La question demeure : une intelligence artificielle peut-elle regarder un ensemble complet de captures d'écran d'une application réelle et construire un projet multi-pages fonctionnel qu'une équipe humaine pourrait réellement utiliser ?
Une équipe de chercheurs s'est donné pour mission de répondre à cette question avec un nouveau test appelé MobileForge. Au lieu de demander aux modèles de construire une seule page, ils leur ont demandé de construire des applications entières à partir de zéro. Les chercheurs ont rassemblé des captures d'écran de 29 applications mobiles réelles et populaires que les gens utilisent quotidiennement, couvrant tout, des réseaux sociaux à la finance et à la navigation. Ces applications contenaient un total de 309 écrans différents. Ils ont ensuite demandé à six des modèles d'intelligence artificielle les plus avancés disponibles d'examiner ces images et de générer le code source complet des applications. Pour garantir que le test soit équitable et rigoureux, l'équipe a créé une carte détaillée de la manière dont les écrans devraient être connectés entre eux et a écrit des centaines de tests spécifiques pour vérifier si les applications résultantes fonctionnaient réellement. Ils ont vérifié non seulement si le code pouvait être compilé, mais aussi si les boutons de navigation menaient aux bons endroits, si le design visuel correspondait aux photos originales, et si le code était assez propre pour que d'autres ingénieurs puissent le maintenir plus tard.
Les résultats ont révélé une division claire entre ce que ces modèles peuvent faire et ce qu'ils ne peuvent pas encore faire. Sur le plan positif, chaque modèle a été capable de produire du code qui pouvait être compilé en un projet fonctionnel. Les modèles les plus performants pouvaient même naviguer à travers les applications générées et atteindre les pages correctes environ 92 % du temps. Cependant, le voyage d'une application fonctionnelle à une application parfaite est encore long. Bien que le code puisse s'exécuter, les détails visuels s'écartaient souvent des photos originales. Les modèles avaient du mal à maintenir la cohérence des couleurs et des mises en page à travers différents écrans, recréant souvent la même barre de navigation de manières légèrement différentes sur chaque page plutôt que d'utiliser un composant partagé unique. Cette incohérence signifiait que, bien que les applications ressemblent aux originales, elles manquaient de la sensation polie et unifiée d'un produit conçu par des professionnels.
La découverte la plus surprenante fut peut-être que la précision visuelle ne signifiait pas que le code était bien écrit. Le modèle ayant produit les applications les plus fidèles visuellement avait en fait généré un code deux fois plus long et deux fois plus désordonné que le code produit par les autres modèles. Il créait de nombreuses parties inutilisées et ne parvenait pas à réutiliser efficacement les éléments communs. En revanche, un autre modèle produisait un code beaucoup plus court et plus propre, plus facile à éditer et à maintenir pour les humains, même si sa production visuelle était légèrement moins parfaite. Cela suggère que la génération actuelle d'intelligence artificielle n'a pas encore appris à équilibrer l'apparence d'une application avec la qualité d'ingénierie de son code sous-jacent. Les chercheurs ont également découvert que les modèles échouaient souvent de manière prévisible. Parfois, un bouton apparaissait à l'écran mais ne faisait rien lorsqu'on cliquait dessus ; d'autres fois, l'écran se chargeait mais était complètement vide, laissant l'utilisateur bloqué. Ces échecs n'étaient pas des bugs aléatoires, mais des ruptures spécifiques dans la compréhension par les modèles du lien entre un élément visuel et sa fonction.
Pour mener ce test, les chercheurs ont dû inventer de nouvelles façons de mesurer le succès qui allaient au-delà de la simple comparaison visuelle. Ils ont développé une méthode pour tester la navigation en partant de chaque test d'un point fixe spécifique plutôt qu'en laissant l'ordinateur errer à travers l'application en une chaîne, ce qui empêchait une erreur de ruiner toute l'évaluation. Ils ont également créé un système où une intelligence artificielle jugeait les écrans générés par rapport aux photos originales, mais avec un contrôle de sécurité intégré pour s'assurer que le juge prêtait réellement attention et ne se contentait pas de deviner. Cette approche rigoureuse leur a permis de voir les différences subtiles entre les modèles que les tests plus anciens auraient manquées. L'étude conclut que, bien que l'intelligence artificielle ait fait un bond significatif dans la transformation des images en code, elle n'est pas encore prête à remplacer les designers et les ingénieurs humains pour des projets complexes à plusieurs écrans. La technologie peut construire le squelette d'une application, mais elle éprouve encore des difficultés avec la mémoire musculaire de la navigation et les détails fins de la cohérence du design qui font qu'une application semble réelle et fiable.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.