UI2App: Benchmarking Visual Interaction Inference in Executable Web Application Generation
Das Paper stellt UI2App vor, den ersten Benchmark, der darauf ausgelegt ist, die Fähigkeit von Vision-Language-Modellen zu bewerten, ausführbare Interaktionsverhaltensweisen allein aus statischen UI-Screenshots abzuleiten, wobei eine signifikante Lücke zwischen den visuellen Rekonstruktionsfähigkeiten aktueller Modelle und ihrer Fähigkeit zur Generierung komplexer, zustandskohärenter Webanwendungen aufgezeigt wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Vom „Aussehen“ zum „Tun“
Stellen Sie sich vor, Sie sind ein Meisterkoch. Sie haben das Foto eines wunderschönen, komplexen Kuchens auf einem Tisch vor sich liegen.
- Der alte Weg (Textgesteuert): Sie sagen dem Koch: „Backe mir einen Kuchen, der so aussieht wie dieses Foto, drei Schichten hat, aus Schokolade ist und einen geheimen Knopf im Inneren besitzt, der beim Drücken Streusel freisetzt.“ Der Koch braucht Sie, um jedes einzelne Detail in Worten zu beschreiben. Wenn Sie vergessen zu erwähnen, dass es einen geheimen Knopf gibt, wird der Koch ihn nicht einbauen.
- Der neue Weg (Bildgesteuert): Sie übergeben dem Koch einfach das Foto. Der Koch betrachtet es und versucht, den Kuchen zu backen.
Lange Zeit sind KI-Modelle (wie die „Köche“ in dieser Geschichte) sehr gut darin geworden, ein Foto zu betrachten und einen Kuchen zu backen, der genau so aussieht wie das Bild. Sie können Farben, die Verzierungen des Frostings und die Form perfekt nachahmen.
Aber hier liegt das Problem: Nur weil der Kuchen echt aussieht, heißt das noch lange nicht, dass er auch funktioniert.
- Löst der geheime Knopf tatsächlich die Streusel aus?
- Wenn man ein Stück abschneidet, schmeckt das Innere nach Schokolade oder ist es nur eine hohle Hülle?
- Wenn man eine Schicht bewegt, bleiben die anderen Schichten dann verbunden?
Die Arbeit UI2App sagt: „Wir müssen aufhören, nur zu prüfen, ob der Kuchen richtig aussieht. Wir müssen prüfen, ob der Kuchen tatsächlich funktioniert.“
Der neue Benchmark: UI2App
Die Forscher haben einen neuen Test namens UI2App entwickelt. Anstatt die KI auf der Grundlage einer langen Liste geschriebener Anweisungen aufzubauen, gaben sie der KI einen Stapel Screenshots (Fotos einer Website) und sagten:
„Baue eine funktionierende, anklickbare Website, die sich exakt so verhält wie diese Fotos, ohne uns zu sagen, wie die Buttons funktionieren.“
Die KI muss die „verborgene Magie“ allein durch das Betrachten der Bilder herausfinden. Wenn zum Beispiel ein Foto einen Einkaufswagen mit 1 Artikel zeigt und das nächste Foto denselben mit 2 Artikeln, muss die KI verstehen: „Ah, da muss ein verborgenes System existieren, das sich merkt, was ich hinzugefügt habe!“
Der Vier-Punkte-Zeugnisbericht
Um die Arbeit der KI zu bewerten, haben die Forscher nicht nur das Endprodukt betrachtet. Sie verwendeten eine vierteilige Checkliste:
- Kann es überhaupt laufen? (Ausführbarkeit/Executability): Funktioniert der Code tatsächlich oder stürzt er sofort ab? Es ist, als würde man prüfen, ob der Ofen eingesteckt ist, bevor man den Kuchen probiert.
- Kann man sich bewegen? (Navigationsreichweite/Navigation Reachability): Wenn die Website eine „Kontakt“-Seite in den Fotos hat, kann man dann tatsächlich einen Link anklicken, um dorthin zu gelangen? Oder ist der Link kaputt?
- Sieht es richtig aus? (Visuelle Treue/Visual Fidelity): Sieht die Website wie das Foto aus? (Dies ist die alte Art der Testung, in der die meisten KIs gut sind).
- Verhält es sich richtig? (Interaktions-Inferenz-Score – IIS): Dies ist der wichtigste neue Teil. Wenn man auf „In den Warenkorb legen“ klickt, erhöht sich dann die Anzahl? Wenn man sich einloggt, erinnert sich die Seite dann an einen? Dies testet, ob die KI das Verhalten verstanden hat, nicht nur das Aussehen.
Die schockierenden Ergebnisse
Die Forscher haben sechs der klügsten verfügbaren KI-Modelle getestet. Hier ist, was sie fanden:
- Die „Look-alike“-Falle: Das KI-Modell, das am besten darin war, die Website perfekt aussehen zu lassen (Visuelle Treue), war tatsächlich nur an vierter Stelle, wenn es darum ging, die Website zum Funktionieren zu bringen (Interaktion).
- Analogie: Stellen Sie sich ein Modell vor, das ein echtes Auto aus Ton gebaut hat. Es sah exakt wie ein Ferrari aus (glänzend, perfekte Form), aber wenn man versuchte, den Motor zu starten, passierte gar nichts. Es war eine „gefrorene Fassade“.
- Der „Macher“ gewinnt: Das Modell, das am besten darin war, die Website funktionieren zu lassen (Artikel in den Warenkorb legen, Passwörter speichern, Seiten wechseln), war ein völlig anderes Modell.
- Das „Gedächtnis“-Problem: Das Schwierigste für alle KIs war der Zustand über Routen hinweg (Cross-Route State).
- Analogie: Stellen Sie sich vor, Sie sind in einem Videospiel. Sie nehmen im „Wald“-Level ein Schwert auf. Sie gehen zum „Schloss“-Level. Eine kluge KI erinnert sich daran, dass Sie das Schwert noch haben. Die KIs in diesem Test haben dies oft vergessen. Sie bauten einen Wald, in dem man ein Schwert aufheben konnte, aber wenn man zum Schloss ging, verschwand das Schwert, und das Spiel tat so, als hätte man es nie aufgehoben.
- Das Ergebnis: Die Hälfte der Modelle erzielte bei dieser spezifischen Fähigkeit einen Wert von Null. Sie konnten Informationen nicht über verschiedene Seiten hinweg verfolgen.
Warum das wichtig ist
Die Arbeit kommt zu dem Schluss, dass Visuelle Treue nicht gleich Intelligenz ist.
Nur weil eine KI einen perfekten Button zeichnen kann, bedeutet das nicht, dass sie weiß, was passiert, wenn man darauf klickt. Die aktuelle Generation der KI ist großartig darin, eine Künstlerin zu sein (das Aussehen zu kopieren), aber sie kämpft noch damit, eine Ingenieurin zu sein (die Logik zu bauen).
Der UI2App-Benchmark ist ein neues Werkzeug, um die KI dazu zu zwingen, aufzuhören, nur zu „so tun als ob“, und statanfängt, tatsächlich zu „handeln“. Er verdeutlicht, dass die größte Lücke in der KI derzeit nicht darin besteht, Dinge hübsch aussehen zu lassen, sondern darin, die unsichtbaren Regeln zu verstehen, die eine Website lebendig wirken lassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.