Looks Right, Works Right: A Project-Level Benchmark for Multi-Screen Mobile App Generation
Este artigo apresenta o MobileForge, o primeiro benchmark de nível de projeto para geração de aplicativos móveis de múltiplas telas que avalia LLMs multimodais em termos de compilação, navegação, fidelidade visual, manutenibilidade e eficiência, revelando que, embora os modelos atuais consigam compilar e navegar em aplicativos, eles ainda enfrentam dificuldades com interação confiável e qualidade de código.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um mundo onde você pudesse mostrar ao computador uma pasta cheia de fotografias tiradas de um smartphone e ele instantaneamente escrevesse todo o programa de computador necessário para construir aquele aplicativo exato. Esta é a promessa de um campo chamado design-to-code (do design ao código), onde a inteligência artificial tenta traduzir imagens visuais nas instruções funcionais que fazem o software funcionar. Durante anos, pesquisadores testaram esses sistemas mostrando-lhes uma única imagem de uma página da web e pedindo o código para recriar aquela tela única. Embora isso tenha levado a resultados impressionantes para páginas simples e isoladas, ignora a complexidade do software do mundo real. Um verdadeiro aplicativo móvel não é apenas uma imagem; é um mundo conectado de muitas telas, botões que movem você de um lugar para outro e elementos de design compartilhados que devem permanecer consistentes em toda a experiência. A questão permanece: pode uma inteligência artificial olhar para um conjunto completo de capturas de tela de um aplicativo real e construir um projeto de múltiplas páginas funcional que uma equipe humana possa realmente usar?
Uma equipe de pesquisadores partiu para responder a essa pergunta com um novo teste chamado MobileForge. Em vez de pedir aos modelos que construíssem uma única página, eles pediram que construíssem aplicativos inteiros do zero. Os pesquisadores reuniram capturas de tela de 29 aplicativos reais e populares que as pessoas usam todos os dias, abrangendo desde redes sociais até finanças e navegação. Esses aplicativos continham um total de 309 telas diferentes. Eles então pediram a seis dos modelos de inteligência artificial mais avançados disponíveis que olhassem para essas imagens e gerassem o código-fonte completo dos aplicativos. Para garantir que o teste fosse justo e rigoroso, a equipe criou um mapa detalhado de como as telas deveriam se conectar umas às outras e escreveu centenas de testes específicos para verificar se os aplicativos resultantes realmente funcionavam. Eles verificaram não apenas se o código podia ser compilado, mas se os botões de navegação levavam aos lugares certos, se o design visual correspondia às fotos originais e se o código era limpo o suficiente para que outros engenheiros pudessem mantê-lo mais tarde.
Os resultados revelaram uma divisão clara entre o que esses modelos podem fazer e o que ainda não conseguem. Do lado positivo, cada modelo foi capaz de produzir código que pudesse ser transformado em um projeto funcional. Os modelos mais fortes podiam até navegar pelos aplicativos gerados e alcançar as páginas corretas cerca de 92 por cento das vezes. No entanto, a jornada de um aplicativo funcional para um perfeito ainda é longa. Embora o código pudesse rodar, os detalhes visuais frequentemente se afastavam das fotos originais. Os modelos tinham dificuldade em manter cores e layouts consistentes entre diferentes telas, muitas vezes recriando a mesma barra de navegação de maneiras ligeiramente diferentes em cada página, em vez de usar um único componente compartilhado. Essa inconsistência significava que, embora os aplicativos parecessem semelhantes aos originais, eles careciam do toque polido e unificado de um produto projetado profissionalmente.
Talvez a descoberta mais surpreendente tenha sido que ser visualmente preciso não significava que o código estava bem escrito. O modelo que produziu os aplicativos visualmente mais fiéis gerou, na verdade, um código duas vezes mais longo e duas vezes mais bagunçado do que o código produzido por outros modelos. Ele criou muitas partes não utilizadas e falhou em reutilizar elementos comuns de forma eficiente. Em contraste, outro modelo produziu um código muito mais curto e limpo, mais fácil para humanos editarem e manterem, embora seu resultado visual fosse ligeiramente menos perfeito. Isso sugere que a geração atual de inteligência artificial ainda não aprendeu a equilibrar a aparência de um aplicativo com a qualidade de engenharia de seu código subjacente. Os pesquisadores também descobriram que os modelos frequentemente falhavam de maneiras previsíveis. Às vezes, um botão aparecia na tela, mas não fazia nada ao ser clicado; outras vezes, a tela carregava, mas ficava completamente em branco, deixando o usuário travado. Essas falhas não eram glitches aleatórios, mas quebras específicas na compreensão de como um elemento visual se conecta à sua função.
Para realizar este teste, os pesquisadores tiveram que inventar novas formas de medir o sucesso que iam além da simples comparação visual. Eles desenvolveram um método para testar a navegação, começando cada teste de um ponto fixo específico, em vez de deixar o computador vagar pelo aplicativo em uma cadeia, o que impedia que um erro estragasse toda a avaliação. Eles também criaram um sistema onde uma inteligência artificial julgadora comparava as telas geradas contra as fotos originais, mas com uma verificação de segurança integrada para garantir que o juiz estivesse realmente prestando atenção e não apenas adivinhando. Essa abordagem rigorosa permitiu que vissem as diferenças sutis que testes mais antigos teriam perdido. O estudo conclui que, embora a inteligência artificial tenha dado um salto significativo ao transformar imagens em código, ela ainda não está pronta para substituir designers e engenheiros humanos em projetos complexos de múltiplas telas. A tecnologia pode construir o esqueleto de um aplicativo, mas ainda luta com a memória muscular da navegação e os detalhes finos de consistência de design que fazem um aplicativo parecer real e confiável.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.