Looks Right, Works Right: A Project-Level Benchmark for Multi-Screen Mobile App Generation
Dieses Paper stellt MobileForge vor, den ersten Benchmark auf Projektebene für die mehrbildschirmbasierte Generierung mobiler Apps, der multimodale LLMs hinsichtlich Build, Navigation, visueller Treue, Wartbarkeit und Effizienz evaluiert und aufzeigt, dass aktuelle Modelle zwar Apps kompilieren und navigieren können, aber dennoch Schwierigkeiten mit zuverlässiger Interaktion und Codequalität haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der man einem Computer einen Ordner voller Fotografien zeigen könnte, die mit einem Smartphone aufgenommen wurden, und er sofort das gesamte Computerprogramm schreiben würde, das benötigt wird, um genau diese App zu bauen. Dies ist das Versprechen eines Feldes namens Design-to-Code, bei dem künstliche Intelligenz versucht, visuelle Bilder in die funktionalen Anweisungen zu übersetzen, die Software zum Laufen bringen. Jahrelang haben Forscher diese Systeme getestet, indem sie ihnen ein einzelnes Bild einer Webseite zeigten und nach dem Code fragten, um diesen einen Bildschirm zu rekonstruieren. Während dies zu beeindruckenden Ergebnissen für einfache, isolierte Seiten geführt hat, verfehlt es die Komplexität realer Software. Eine echte mobile Anwendung ist nicht nur ein einzelnes Bild; sie ist eine vernetzte Welt aus vielen Bildschirmen, Schaltflächen, die einen von einem Ort zum anderen bewegen, und gemeinsamen Designelementen, die über das gesamte Erlebnis hinweg konsistent bleiben müssen. Die Frage bleibt: Kann eine künstliche Intelligenz einen vollständigen Satz von Screenshots einer echten App betrachten und ein funktionierendes, mehrseitiges Projekt erstellen, das ein menschliches Team tatsächlich nutzen könnte?
Ein Team von Forschern hat sich auf die Beantwortung dieser Frage mit einem neuen Test namens MobileForge gesetzt. Anstatt die Modelle zu bitten, eine einzelne Seite zu bauen, baten sie sie, ganze Anwendungen von Grund auf neu zu erstellen. Die Forscher sammelten Screenshots von 29 echten, populären mobilen Apps, die Menschen jeden Tag nutzen, von sozialen Medien bis hin zu Finanzen und Navigation. Diese Apps enthielten insgesamt 309 verschiedene Bildschirme. Sie baten dann sechs der fortschrittlichsten verfügbaren Modelle künstlicher Intelligenz, diese Bilder zu betrachten und den vollständigen Quellcode der Apps zu generieren. Um sicherzustellen, dass der Test fair und streng war, erstellte das Team eine detaillierte Karte darüber, wie die Bildschirme miteinander verbunden sein sollten, und schrieb hunderte spezifische Tests, um zu prüfen, ob die resultierenden Apps tatsächlich funktionierten. Sie prüften nicht nur, ob der Code kompiliert werden konnte, sondern auch, ob die Navigationsschaltflächen zu den richtigen Stellen führten, ob das visuelle Design den Originalfotos entsprach und ob der Code sauber genug war, damit Ingenieure ihn später warten konnten.
Die Ergebnisse zeigten eine klare Kluft zwischen dem, was diese Modelle können, und dem, was sie noch nicht können. Auf der positiven Seite war jedes einzelne Modell in der Lage, Code zu produzieren, der in ein funktionierendes Projekt gebaut werden konnte. Die stärksten Modelle konnten sogar durch die generierten Apps navigieren und die korrekten Seiten etwa 92 Prozent der Zeit erreichen. Der Weg von einer funktionierenden App zu einer perfekten ist jedoch noch weit. Während der Code laufen konnte, wich die visuelle Detailgenauigkeit oft von den Originalfotos ab. Die Modelle hatten Schwierigkeiten, Farben und Layouts über verschiedene Bildschirme hinweg konsistent zu halten, wobei sie oft dieselbe Navigationsleiste auf jeder Seite auf leicht unterschiedliche Weise nacherstellten, anstatt eine einzige gemeinsame Komponente zu verwenden. Diese Inkonsistenz bedeutete, dass die Apps zwar den Originalen ähnlich sahen, aber es ihnen an dem polierten, einheitlichen Gefühl eines professionell gestalteten Produkts mangelte.
Die vielleicht überraschendste Erkenntnis war, dass visuelle Genauigkeit nicht bedeutete, dass der Code gut geschrieben war. Das Modell, das die visuell treuesten Apps produzierte, generierte tatsächlich einen Code, der doppelt so lang und doppelt so unordentlich war wie der Code, den andere Modelle produzierten. Es erstellte viele ungenutzte Teile und versäumte es, gemeinsame Elemente effizient wiederzuverwenden. Im Gegensatz dazu produzierte ein anderes Modell viel kürzeren, saubereren Code, der für Menschen leichter zu bearbeiten und zu warten war, obwohl sein visuelles Ergebnis etwas weniger perfekt war. Dies deutet darauf hin, dass die aktuelle Generation künstlicher Intelligenz noch nicht gelernt hat, das Aussehen einer App mit der Engineering-Qualität des zugrunde liegenden Codes in Einklang zu bringen. Die Forscher entdeckten auch, dass die Modelle oft auf vorhersehbare Weise scheiterten. Manchmal erschien eine Schaltfläche auf dem Bildschirm, tat aber beim Klicken nichts; ein anderes Mal wurde der Bildschirm geladen, war aber komplett leer, was den Nutzer feststecken ließ. Diese Fehler waren keine zufälligen Glitches, sondern spezifische Zusammenbrüche im Verständnis der Verbindung zwischen einem visuellen Element und seiner Funktion.
Um diesen Test durchzuführen, mussten die Forscher neue Wege erfinden, um Erfolg zu messen, der über den einfachen visuellen Vergleich hinausging. Sie entwickelten eine Methode, um die Navigation zu testen, indem sie jeden Test von einem spezifischen, festen Punkt aus starteten, anstatt den Computer durch eine App in einer Kette wandern zu lassen, was verhinderte, dass ein einzener Fehler die gesamte Evaluierung ruinierte. Sie entwickelten auch ein System, bei dem ein KI-Richter die generierten Bildschirme gegen die Originalfotos prüfte, jedoch mit einer Sicherheitskontrolle eingebaut, um sicherzustellen, dass der Richter tatsächlich aufpasste und nicht nur rätte. Dieser rigorose Ansatz ermöglichte es ihnen, die subtilen Unterschiede zu sehen, die ältere Tests übersehen hätten. Die Studie kommt zu dem Schluss, dass künstliche Intelligenz zwar einen bedeutenden Sprung bei der Umwandlung von Bildern in Code gemacht hat, aber noch nicht bereit ist, menschliche Designer und Ingenieure für komplexe, mehrseitige Projekte zu ersetzen. Die Technologie kann das Skelett einer App bauen, aber sie kämpft noch mit dem Muskelgedächtnis der Navigation und den feinen Details der Designkonsistenz, die eine Anwendung real und zuverlässig wirken lassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.