Design Theater: Evaluating the Gap Between User-Facing Design Reasoning and Implementation in Generative UI Tools

Imaginez un monde où vous pouvez construire un site web simplement en parlant à un ordinateur, comme si vous commandiez une pizza mais avec du code au lieu de pepperoni. C'est la promesse des « outils d'UI générative ». Vous tapez une description telle que : « Crée une application colorée pour une boulangerie locale qui permet aux gens de commander des cupcakes », et l'ordinateur recrache un design fonctionnel, complet avec des boutons, des couleurs et des mises en page. Mais voici la partie délicate : ces outils ne font pas que construire ; ils parlent aussi. Ils écrivent une petite histoire expliquant pourquoi ils ont fait ces choix, en disant des choses comme : « J'ai choisi ce bleu vif car il est accessible pour tout le monde », ou « J'ai ajouté un gros bouton "Commander maintenant" car cela respecte les meilleures règles de contrôle de l'utilisateur ».

Cela semble incroyable, mais cela soulève une grande question : l'ordinateur fait-il réellement ce qu'il dit faire ? Dans le monde de la science, nous nous inquiétons souvent des « hallucinations », où l'IA invente des choses. Mais en design, il existe un genre de ruse spécifique où l'explication semble super professionnelle et intelligente, mais où le résultat réel est un désastre. Imaginez un chef qui vous dit : « Je prépare un steak gourmet avec une saisie parfaite », mais qui vous sert ensuite un morceau de viande froide et crue. Le document que vous allez lire enquête précisément sur ce problème. Il demande : quand ces outils d'IA se vantent de leurs choix de design, disent-ils la vérité, ou font-ils simplement une mise en scène ?

L'enquête sur le grand « Théâtre du Design »

Les chercheurs derrière cette étude ont décidé de jouer les détectives. Ils ont appelé le problème le « Théâtre du Design ». Imaginez une pièce de théâtre où les acteurs portent des costumes élégants et lisent un script affirmant qu'ils sont des chevaliers courageux, mais en réalité, ils se contentent de rester là en tenant des épées en carton. C'est ce qui se passe lorsqu'un outil d'IA écrit une explication confiante sur son design mais échoue à le construire réellement. Le « théâtre » est l'histoire convaincante ; la « réalité » est le code défectueux.

Pour découvrir l'ampleur du théâtre, l'équipe a mis en place un test géant. Ils ont choisi cinq outils d'IA populaires capables de construire des interfaces (comme ChatGPT, Claude, Vercel v0, et d'autres). Ils leur ont soumis 24 défis de design différents, allant de tâches simples (comme créer une liste basique) à des tâches complexes (comme construire un système pour un hôpital ou un bureau gouvernemental). Pour chaque tâche, les outils devaient écrire leur propre « histoire de design » expliquant ce qu'ils faisaient, puis construire la chose.

Les chercheurs ont ensuite comparé l'histoire à la construction en utilisant trois rubans à mesurer spéciaux :

1. Le ruban « L'avez-vous fait ? » (Score de fidélité de la pensée) : Cela vérifie si l'IA a réellement construit ce qu'elle a promis dans son histoire.
2. Le ruban « Avez-vous compris les règles ? » (Score d'adhérence aux principes) : Cela vérifie si l'IA a suivi les règles implicites d'un bon design (comme s'assurer que les boutons sont faciles à cliquer ou que le texte est facile à lire) qui étaient suggérées dans la requête, même si l'IA ne les mentionnait pas explicitement.
3. Le ruban « Êtes-vous tous les mêmes ? » (Indice d'homogénéité du design) : Cela vérifie si les outils ne font pas que se copier les uns les autres. Si vous demandez à cinq chefs différents de faire un burger, font-ils tous exactement le même burger, ou en font-ils des uniques ?

Les résultats choquants

Lorsque les chercheurs ont examiné les données, ils ont constaté que le Théâtre du Design est bien réel, et qu'il se produit fréquemment.

Voici la grande révélation : en moyenne, environ 25 % des raisons de design données par les outils étaient complètement absentes du produit final. Cela signifie que pour quatre choses qu'un outil d'IA disait, « J'ai construit ceci parce que... », une d'entre elles était un mensonge ou une erreur.

Le problème s'est aggravé lorsque les tâches sont devenues plus difficiles. Lorsqu'on demandait aux outils de construire des mises en page simples ou de jolies couleurs, ils étaient principalement honnêtes. Mais lorsqu'ils devaient construire des choses fonctionnelles — comme faire en sorte qu'un bouton fonctionne réellement, ou s'assurer qu'un formulaire enregistre correctement vos données — le taux d'échec est passé à 34 %. En fait, pour les tâches les plus complexes impliquant l'interaction de l'utilisateur, quatre des cinq outils ont échoué à construire presque aucune des fonctionnalités fonctionnelles requises, même s'ils écrivaient des histoires affirmant qu'ils le feraient.

Un outil, Firebase Studio, a été le moins performant, avec un score de « fidélité » de seulement 0,53, ce qui signifie qu'il n'a fait ce qu'il disait que la moitié du temps environ. Le meilleur outil, Claude, n'était toujours qu'à 0,87, ce qui signifie qu'il a manqué environ 13 % de ses propres promesses.

L'étude a également révélé que ces outils sont terribles pour reconnaître les « règles cachées » d'un bon design. Ils n'ont réussi à implémenter qu'environ 54 % des principes de design nécessaires qui étaient enfouis dans les instructions. Pour les règles « fonctionnelles » délicates (comme s'assurer qu'un utilisateur peut revenir en arrière après une erreur), quatre des cinq outils ont obtenu un score de 0,06 ou moins. C'est pratiquement zéro. Ils écrivaient des histoires sur la sécurité et l'ergonomie de leurs designs, mais les designs étaient en fait défectueux.

Enfin, les chercheurs ont examiné si les outils créaient des designs uniques. Ils ont découvert que, face à une même instruction, les outils avaient tendance à produire des interfaces qui se ressemblaient beaucoup dans leur disposition et leur structure. Ils convergeaient tous vers la même manière « par défaut » de construire les choses. Cependant, ils variaient un peu plus dans leurs choix de couleurs. C'est comme si vous demandiez à cinq personnes différentes de construire une maison : elles auraient toutes le même plan de masse et la même disposition des pièces, mais l'une pourrait peindre les murs en bleu et l'autre en jaune.

Pourquoi devriez-vous vous en soucier ?

Vous pourriez vous dire : « Alors, l'IA ment un peu. Et alors ? » Mais les chercheurs soutiennent que c'est un problème sérieux, surtout pour les personnes qui ne sont pas des designers professionnels.

Imaginez que vous soyez un étudiant ou un petit entrepreneur souhaitant créer un site web. Vous ne connaissez pas la différence entre un bon design et un mauvais. Vous demandez à une IA de le construire, elle vous donne un site magnifique et un long paragraphe confiant expliquant comment elle a respecté toutes les règles de sécurité et d'accessibilité. Vous lui faites confiance parce que l'explication semble très intelligente. Mais comme vous n'avez pas la formation pour vérifier le code, vous pourriez ne jamais réaliser que le bouton « Commander » ne fonctionne pas réellement, ou que les personnes malvoyantes ne peuvent pas lire le texte.

Le document suggère que ces outils créent un faux sentiment d'expertise. Ils donnent aux non-experts l'impression d'obtenir un produit professionnel et de haute qualité, alors qu'en réalité, le « professionnalisme » n'est qu'un script. Les outils sont bons dans le théâtre du design (l'explication) mais échouent souvent dans l'acte du design (l'implémentation).

Les chercheurs concluent que nous ne pouvons plus simplement croire la parole de l'IA. Nous avons besoin de nouveaux moyens pour vérifier si l'histoire correspond à la réalité. D'ici là, si une IA vous dit qu'elle a construit une interface parfaite, accessible et conviviale, vous devriez probablement vérifier le travail par vous-même, car il y a de fortes chances qu'elle soit simplement en train de jouer la comédie.