Looks Right, Works Right: A Project-Level Benchmark for Multi-Screen Mobile App Generation
Dit artikel introduceert MobileForge, de eerste projectniveau-benchmark voor multi-screen mobiele app-generatie die multimodale LLM's evalueert op het gebied van build, navigatie, visuele getrouwheid, onderhoudbaarheid en efficiëntie, waarbij wordt onthuld dat hoewel huidige modellen apps kunnen compileren en navigeren, ze nog steeds moeite hebben met betrouwbare interactie en codekwaliteit.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin je een computer een map kunt laten zien met foto's die zijn gemaakt met een smartphone, en de computer direct het volledige computerprogramma schrijft dat nodig is om die exacte app te bouwen. Dit is de belofte van een vakgebied genaamd design-to-code, waarbij kunstmatige intelligentie probeert visuele afbeeldingen te vertalen naar de functionele instructies die software laten werken. Jarenlang hebben onderzoekers deze systemen getest door ze een enkele afbeelding van een webpagina te laten zien en te vragen om de code te genereren om dat ene scherm te recreëren. Hoewel dit tot indrukwekkende resultaten heeft geleid voor eenvoudige, geïsoleerde pagina's, mist het de complexiteit van echte software. Een echte mobiele applicatie is niet slechts één afbeelding; het is een verbonden wereld van vele schermen, knoppen die je van de ene naar de andere plek brengen, en gedeelde designelementen die consistent moeten blijven over de gehele ervaring. De vraag blijft: kan een kunstmatige intelligentie naar een complete set screenshots van een echte app kijken en een werkend, meerpagina-project bouwen waar een menselijk team daadwerkelijk iets aan heeft?
Een team van onderzoekers heeft zich ingesteld om deze vraag te beantwoorden met een nieuwe test genaamd MobileForge. In plaats van modellen te vragen om een enkele pagina te bouwen, vroegen ze hen om volledige applicaties vanaf nul op te bouwen. De onderzoekers verzamelden screenshots van 29 echte, populaire mobiele apps die mensen dagelijks gebruiken, variërend van sociale media tot financiën en navigatie. Deze apps bevatten in totaal 309 verschillende schermen. Vervolgens vroegen ze zes van de meest geavanceerde beschikbare kunstmatige intelligentiemodellen om naar deze afbeeldingen te kijken en de volledige broncode van de apps te genereren. Om de test eerlijk en rigoureus te houden, maakte het team een gedetailleerde kaart van hoe de schermen met elkaar verbonden zouden moeten zijn en schreef honderden specifieke tests om te controleren of de resulterende apps daadwerkelijk werkten. Ze controleerden niet alleen of de code kon worden gecompileerd, maar ook of de navigatieknoppen naar de juiste plaatsen leidden, of het visuele ontwerp overeenkwam met de originele foto's, en of de code schoon genoeg was zodat andere engineers deze later konden onderhouden.
De resultaten toonden een duidelijke kloof tussen wat deze modellen wel kunnen en wat ze nog niet kunnen. Aan de positieve kant was elk model in staat om code te produceren die gebouwd kon worden tot een werkend project. De sterkste modellen konden zelfs door de gegenereerde apps navigeren en de juiste pagina's bereiken in ongeveer 92 procent van de gevallen. De reis van een werkende app naar een perfecte app is echter nog lang. Hoewel de code kon draaien, week de visuele details vaak af van de originele foto's. De modellen hadden moeite om kleuren en lay-outs consistent te houden over verschillende schermen; ze recreëerden vaak op elke pagina op een licht verschillende manier dezelfde navigatiebalk, in plaats van één enkel gedeeld component te gebruiken. Deze inconsistentie betekende dat hoewel de apps op de originelen leken, ze de gepolijste, verenigde uitstraling van een professioneel ontworpen product misten.
Misschien wel de meest verrassende bevinding was dat het visueel accuraat zijn niet betekende dat de code goed geschreven was. Het model dat de meest visueel getrouwe apps produceerde, genereerde feitelijk code die twee keer zo lang en twee keer zo rommelig was als de code van andere modellen. Het creëerde veel ongebruikte onderdelen en slaagde er niet in om veelvoorkomende elementen efficiënt te hergebruiken. In contrast hiermee produceerde een ander model veel kortere, schonere code die gemakkelijker door mensen te bewerken en te onderhouden was, ook al was de visuele output iets minder perfect. Dit suggereert dat de huidige generatie kunstmatige intelligentie nog niet heeft geleerd om de look van een app te balanceren met de kwaliteit van de onderliggende engineering van de code. De onderzoekers ontdekten ook dat de modellen vaak op voorspelbare manieren faalden. Soms verscheen er een knop op het scherm, maar gebeurde er niets wanneer er op werd geklikt; andere keren werd het scherm geladen, maar was het volledig leeg, waardoor de gebruiker vast kwam te zitten. Deze fouten waren geen willekeurige glitches, maar specifieke defecten in hoe de modellen de verbinding tussen een visueel element en de functie ervan begrepen.
Om deze test uit te voeren, moesten de onderzoekers nieuwe manieren uitvinden om succes te meten die verder gingen dan eenvoudige visuele vergelijking. Ze ontwikkelden een methode om navigatie te testen door elke test te starten vanaf een specifiek, vast punt in plaats van de computer door een app te laten dwalen in een keten, wat voorkwam dat één fout de gehele evaluatie zou verpesten. Ze creëerden ook een systeem waarbij een kunstmatige intelligentie-beoordelaar de gegenereerde schermen vergeleek met de originele foto's, maar met een veiligheidscontrole ingebouwd om te garanderen dat de beoordelaar daadwerkelijk oplette en niet alleen maar gokte. Deze rigoureuze aanpak stelde hen in staat om de subtiele verschillen tussen de modellen te zien die oudere tests gemist zouden hebben. De studie concludeert dat hoewel kunstmatige intelligentie een aanzienlijke sprong heeft gemaakt in het omzetten van afbeeldingen naar code, het nog niet klaar is om menselijke ontwerpers en engineers te vervangen voor complexe, meerpagina-projecten. De technologie kan het skelet van een app bouwen, maar het worstelt nog steeds met het spiergeheugen van navigatie en de fijne details van designconsistentie die een applicatie echt en betrouwbaar laten aanvoelen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.