SWE-Bench Mobile: Can Large Language Model Agents Develop Industry-Level Mobile Applications?
Ce papier présente **SWE-Bench Mobile**, un nouveau benchmark évaluant la capacité des agents de codage à développer des applications iOS de niveau industriel, révélant que même les meilleurs modèles actuels ne parviennent qu'à un taux de réussite de 12 %.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Le titre : Les robots peuvent-ils vraiment construire une application mobile comme un pro ?
Imaginez que vous vouliez construire une maison ultra-moderne. Vous ne demandez pas juste « un mur », vous donnez des plans d'architecte (le PRD), des photos de décoration (le Figma) et vous travaillez dans un quartier déjà construit avec des câbles électriques et des tuyaux partout (le Code de l'entreprise).
C'est exactement ce que les chercheurs ont testé avec SWE-Bench Mobile. Ils ont pris des "agents" (des intelligences artificielles comme Claude ou GPT, qui agissent comme des petits robots codeurs) et ils les ont jetés dans le grand bain d'une véritable application mobile (celle de Xiaohongshu, un géant des réseaux sociaux).
L'analogie du "Stagiaire de Génie, mais un peu étourdi"
Pour comprendre les résultats, imaginez que ces IA sont comme des stagiaires extrêmement brillants, mais qui manquent cruellement de bon sens et de vision d'ensemble.
Ils savent lire, mais ils ne voient pas le tableau complet :
Si vous demandez au stagiaire de changer la couleur d'une porte, il va très bien le faire. Mais il va oublier que cette porte est reliée à un capteur de mouvement dans la pièce d'à côté. Dans l'étude, les IA réussissent bien les petites tâches simples, mais dès qu'il faut toucher à 7 fichiers différents en même temps, elles perdent le fil. C'est comme si elles commençaient à peindre le salon, mais oubliaient de fermer les fenêtres !Le problème du "Mode Avion" (Les Feature Flags) :
Dans le monde pro, on n'installe pas une nouvelle fonction d'un coup pour tout le monde (ce serait trop risqué). On utilise des "interrupteurs" cachés (les feature flags) pour tester la fonction sur quelques utilisateurs d'abord. Les robots, eux, ne connaissent pas cette règle. Ils installent tout en grand, sans mettre d'interrupteur. C'est comme si un électricien refaisait tout votre tableau électrique sans laisser de bouton "OFF" en cas de court-circuit.L'outil compte autant que le cerveau :
L'étude a montré que même avec le même "cerveau" (le même modèle d'IA), le résultat change énormément selon l'outil utilisé. C'est comme donner le même cerveau à deux ouvriers : l'un a une boîte à outils de luxe ultra-organisée (comme l'outil Cursor), et l'autre a juste un tournevis et une lampe de poche (l'outil OpenCode). Celui avec la belle boîte réussit beaucoup mieux, même si l'intelligence est la même.
Les chiffres à retenir (en mode simplifié)
- Le score de réussite : 12%. C'est très bas. Sur 100 missions complexes, les robots n'en terminent que 12 correctement. Ils font souvent le travail à moitié.
- La chute de performance : Plus la tâche est compliquée (plus il y a de pièces à modifier), plus le robot "panique" et son taux de réussite s'effondre.
En résumé : Quel est le verdict ?
Aujourd'hui, ces IA ne sont pas encore des "Ingénieurs Autonomes" capables de construire une application de A à Z. Ce sont des "Copilotes".
C'est comme un copilote d'avion : il peut vous aider à lire la carte ou à ajuster la vitesse, mais vous ne voulez surtout pas lui laisser les commandes pendant une tempête sans être assis juste à côté pour surveiller. Ils sont super utiles pour les petites réparations, mais pour construire le moteur, il faut encore un humain aux commandes !
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.