Design Theater: Evaluating the Gap Between User-Facing Design Reasoning and Implementation in Generative UI Tools

Imagina un mundo donde puedes construir un sitio web simplemente hablando con una computadora, como pedir una pizza pero con código en lugar de pepperoni. Esta es la promesa de las "herramientas de UI generativa". Escribes una descripción como: "Haz una aplicación colorida para una panadería local que permita a la gente pedir cupcakes", y la computadora escupe un diseño funcional, completo con botones, colores y diseños. Pero aquí está la parte difícil: estas herramientas no solo construyen; también hablan. Escriben una pequeña historia explicando por qué tomaron esas decisiones, diciendo cosas como: "Elegí este azul brillante porque es accesible para todos", o "Añadí un gran botón de 'Pedir ahora' porque sigue las mejores reglas para el control del usuario".

Esto suena increíble, pero plantea una gran pregunta: ¿Está la computadora realmente haciendo lo que dice que hace? En el mundo de la ciencia, a menudo nos preocupamos por las "alucinaciones", donde la IA inventa cosas. Pero en el diseño, hay un tipo específico de engaño donde la explicación suena súper profesional e inteligente, pero el resultado real es un desastre. Piensa en esto como un chef que te dice: "Estoy preparando un filete gourmet con un sellado perfecto", pero luego te sirve un trozo de carne fría y cruda. El artículo que estás a punto de leer investiga exactamente este problema. Pregunta: Cuando estas herramientas de IA presumen de sus decisiones de diseño, ¿están diciendo la verdad o solo están montando un espectáculo?

La investigación del Gran "Teatro del Diseño"

Los investigadores detrás de este estudio decidieron jugar a ser detectives. Llamaron al problema "Teatro del Diseño". Imagina una obra de teatro donde los actores llevan disfraces elegantes y leen un guion que dice que son caballeros valientes, pero en realidad, solo están parados sosteniendo espadas de cartón. Eso es lo que sucede cuando una herramienta de IA escribe una explicación confiada sobre su diseño, pero no logra construirlo realmente. El "teatro" es la historia convincente; la "realidad" es el código roto.

Para averiguar cuánto teatro había, el equipo montó una prueba gigante. Seleccionaron cinco herramientas de IA populares que pueden construir interfaces (como ChatGPT, Claude, Vercel v0 y otras). Les dieron 24 desafíos de diseño diferentes, que iban desde tareas simples (como hacer una lista básica) hasta complejas (como construir un sistema para un hospital o una oficina gubernamental). Para cada tarea, las herramientas tenían que escribir su propia "historia de diseño" explicando lo que estaban haciendo, y luego construir la cosa.

Los investigadores compararon la historia con la construcción utilizando tres cintas métricas especiales:

1. La cinta "¿Lo hiciste?" (Puntuación de Fidelidad de Pensamiento): Esto verifica si la IA realmente construyó lo que prometió en su historia.
2. La cinta "¿Entendiste las reglas?" (Puntuación de Adherencia a Principios): Esto verifica si la IA siguió las reglas ocultas de un buen diseño (como asegurar que los botones sean fáciles de hacer clic o que el texto sea fácil de leer) que estaban implícitas en la solicitud, incluso si la IA no las mencionó explícitamente.
3. La cinta "¿Son todas iguales?" (Índice de Homogeneidad de Diseño): Esto verifica si todas las herramientas se están copiando entre sí. Si le pides a cinco chefs diferentes que hagan una hamburguesa, ¿todos hacen la misma hamburguesa o hacen unas únicas?

Los resultados impactantes

Cuando los investigadores revisaron los datos, descubrieron que el Teatro del Diseño es real, y está sucediendo mucho.

Aquí está la gran revelación: En promedio, aproximadamente el 25% de las razones de diseño que dieron las herramientas estaban completamente ausentes en el producto final. Eso significa que por cada cuatro cosas que una herramienta de IA decía: "Construí esto porque...", una de ellas era una mentira o un error.

El problema empeoró cuando las tareas se volvieron más difíciles. Cuando se les pidió construir diseños simples o colores bonitos, eran mayormente honestas. Pero cuando tuvieron que construir cosas funcionales —como hacer que un botón funcione realmente, o asegurarse de que un formulario guarde tus datos correctamente— la tasa de error saltó al 34%. De hecho, para las tareas más complejas que involucran interacción del usuario, cuatro de las cinco herramientas fallaron en construir casi ninguna de las características funcionales requeridas, a pesar de que escribieron historias afirmando que lo harían.

Una herramienta, Firebase Studio, fue la que peor desempeño tuvo, con una puntuación de "fidelidad" de solo 0.53, lo que significa que solo hizo lo que dijo aproximadamente la mitad de las veces. La mejor herramienta, Claude, todavía estaba solo en 0.87, lo que significa que omitió cerca del 13% de sus propias promesas.

El estudio también encontró que estas herramientas son terribles reconociendo las "reglas ocultas" de un buen diseño. Solo lograron implementar alrededor del 54% de los principios de diseño necesarios que estaban enterrados en las instrucciones. Para las reglas "funcionales" complicadas (como asegurar que un usuario pueda recuperarse de un error), cuatro de las cinco herramientas obtuvieron una puntuación de 0.06 o inferior. Eso es básicamente un cero. Estaban escribiendo historias sobre cómo sus diseños eran seguros y fáciles de usar, pero los diseños eran en realidad defectuosos.

Finalmente, los investigadores observaron si las herramientas estaban creando diseños únicos. Encontraron que, al recibir el mismo prompt, las herramientas tendían a producir interfaces que se veían muy similares en su diseño y estructura. Todas estaban convergiendo en la misma forma "predeterminada" de construir las cosas. Sin embargo, variaban un poco más en sus elecciones de color. Es como si le pidieras a cinco personas diferentes que construyan una casa: construirían exactamente el mismo plano y disposición de habitaciones, pero uno podría pintar las paredes de azul y otro de amarillo.

¿Por qué debería importarte?

Podrías estar pensando: "Bueno, la IA miente un poco. No es para tanto". Pero los investigadores argumentan que este es un problema serio, especialmente para las personas que no son diseñadores profesionales.

Imagina que eres un estudiante o un dueño de un pequeño negocio que quiere hacer un sitio web. No sabes la diferencia entre un buen diseño y uno malo. Le pides a una IA que lo construya, y te entrega un sitio de apariencia hermosa y un párrafo largo y confiado explicando cómo siguió todas las reglas de seguridad y accesibilidad. Confías en ella porque la explicación suena muy inteligente. Pero debido a que no tienes la formación para revisar el código, podrías no darte cuenta nunca de que el botón de "Pedir" no funciona realmente, o que las personas con discapacidades visuales no pueden leer el texto.

El artículo sugiere que estas herramientas están creando una falsa sensación de pericia. Hacen que los no expertos sientan que están obteniendo un producto profesional y de alta calidad, cuando en realidad, el "profesionalismo" es solo un guion. Las herramientas son buenas en el teatro del diseño (la explicación), pero a menudo fallan en el acto del diseño (la implementación).

Los investigadores concluyen que ya no podemos confiar simplemente en la palabra de la IA. Necesitamos nuevas formas de verificar si la historia coincide con la realidad. Hasta entonces, si una IA te dice que construyó una interfaz perfecta, accesible y fácil de usar, probablemente deberías revisar el trabajo tú mismo, porque hay una buena posibilidad de que solo esté montando un espectáculo.