Generative Visual Code Mobile World Models
Die Arbeit stellt gWorld vor, ein neues Paradigma für mobile GUI-Weltmodelle, das ein einziges Vision-Language-Modell nutzt, um den nächsten Interface-Zustand als ausführbaren Webcode anstelle von Rohpixeln vorherzusagen, wodurch eine hochpräzise visuelle Darstellung und eine genaue Textgenerierung erreicht werden, während gleichzeitig die Genauigkeit deutlich über die von deutlich größeren bestehenden Modellen hinausgeht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Der „unscharfe Kristallball"
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie man Ihr Smartphone benutzt. Dafür benötigt der Roboter einen „Kristallball" (ein Weltmodell), der vorhersagen kann: „Wenn ich auf diesen Knopf drücke, wie wird der Bildschirm dann aussehen?"
Aktuelle Versuche, diesen Kristallball zu bauen, haben einen gravierenden Mangel:
- Das „Nur-Text"-Modell: Einige Modelle versuchen, den nächsten Bildschirm mit Worten zu beschreiben (z. B. „Der Knopf wird blau"). Das ist schnell, aber es ist wie das Beschreiben eines Films durch das Lesen des Drehbuchs. Sie verlieren alle visuellen Details, wie die genaue Schriftart, den Farbton oder das Layout.
- Das „Pixel-Generator"-Modell: Andere Modelle versuchen, den nächsten Bildschirm pixelweise zu zeichnen, wie ein Künstler, der ein Bild malt. Obwohl das hübsch aussieht, sind diese Modelle schrecklich darin, Text zu zeichnen. Sie produzieren oft Kauderwelsch-Buchstaben, verzerrte Knöpfe oder seltsame Layouts. Um dies zu beheben, benötigen sie eine riesige, langsame, mehrstufige Fabrik, die andere KI-Tools einsetzt, um den Text zu prüfen und Fehler zu korrigieren. Es ist, als würde man einen Maler, dann einen Rechtschreibprüfer, dann einen Architekten und dann einen Redakteur einstellen, nur um einen einzigen Knopf zu zeichnen.
Die Lösung: Der „Bauplan des Architekten"
Die Autoren schlagen einen neuen Weg vor, um den Kristallball zu bauen. Anstatt die KI zu bitten, das Bild zu malen (Pixel) oder es zu beschreiben (Text), bitten sie sie, den Code zu schreiben, der das Bild erstellt.
Stellen Sie es sich so vor:
- Alter Weg (Pixel-Generator): Man bittet einen Künstler, eine perfekte Kopie einer Website zu malen. Er könnte die Farben richtig hinbekommen, aber der Text könnte wie Kritzeln aussehen.
- Neuer Weg (gWorld): Man bittet einen Meisterarchitekten, den Bauplan (HTML/CSS-Code) für die Website zu schreiben.
Da die KI Code schreibt (der strukturiert und logisch ist), weiß sie genau, wie man einen Knopf platziert, wie man ein Wort schreibt und wie man das Layout anordnet. Wenn dieser Code „gerendert" wird (in einem Browser ausgeführt), wird er sofort zu einem perfekten, scharfen Bild des nächsten Bildschirms.
Was ist gWorld?
gWorld ist der Name des neuen KI-Systems, das die Autoren entwickelt haben.
- Es ist ein „Weltmodell": Es nimmt einen aktuellen Bildschirm und eine Aktion (wie „hier tippen") entgegen und sagt den nächsten Bildschirm voraus.
- Es spricht „Code": Anstatt eine Bilddatei auszugeben, gibt es Webcode (HTML/CSS) aus.
- Es ist offen und schnell: Die Autoren haben die „Gewichte" (das Gehirn) des Modells kostenlos veröffentlicht. Da es die langsame, komplexe Fabrik anderer Methoden überspringt, ist es unglaublich schnell – es sagt den nächsten Bildschirm in weniger als einer Sekunde voraus.
Wie haben sie es unterrichtet?
Man kann eine KI nicht einfach bitten, Code für einen Bildschirm zu schreiben, den sie noch nie gesehen hat. Die Autoren mussten eine spezielle Trainingsfabrik bauen:
- Recycling alter Daten: Sie nahmen bestehende Aufzeichnungen von Menschen, die Telefone benutzen (Verläufe von Tippen und Wischen).
- Der Übersetzer: Sie nutzten eine superintelligente KI, um das „danach"-Bild einer menschlichen Aktion anzusehen und dieses Bild in sauberen, funktionierenden Code zu übersetzen.
- Der Denk-Schritt: Sie lehrten die KI zudem, zuerst „laut zu denken". Bevor sie den Code schreibt, erklärt sie, warum sich der Bildschirm ändern wird (z. B. „Der Benutzer hat auf 'Senden' geklickt, also sollte die E-Mail verschwinden und eine 'Gesendet'-Nachricht erscheinen").
Die Ergebnisse: Warum es wichtig ist
Die Autoren testeten gWorld gegen 8 andere Top-KI-Modelle (von denen einige 50-mal größer und teurer sind).
- Genauigkeit: gWorld war am genauesten bei der Vorhersage des nächsten Bildschirms. Es bekam den Text richtig hin und das Layout perfekt.
- Effizienz: Es erreichte diese Ergebnisse mit einer viel kleineren Modellgröße. Es ist wie ein kompakter Sportwagen, der einen massiven Lastwagen in einem Rennen schlägt.
- Die „Pareto-Grenze": In den Diagrammen erzeugte gWorld eine neue „bestmögliche" Linie. Man kann keine höhere Genauigkeit erreichen, ohne das Modell viel größer zu machen, und gWorld ist bereits das Beste in seiner Größe.
- Realwelt-Test: Sie testeten es sogar an Apps und Sprachen (wie Koreanisch), die es noch nie gesehen hatte, und es performte dennoch sehr gut.
Die „Magie" des Bauplans
Das Paper hebt eine wichtige Erkenntnis hervor: Mobile Bildschirme bestehen hauptsächlich aus Struktur und Text, nicht aus komplexen Fotos.
Während einige Bildschirme Fotos haben (wie eine Kameraansicht), sind die meisten Listen, Knöpfe und Text. Da gWorld Code schreibt, behandelt es den Bildschirm wie ein strukturiertes Dokument. Das bedeutet, es macht niemals Rechtschreibfehler oder Layoutfehler, was die größte Schwäche der „pixel-malenden" Modelle ist.
Zusammenfassung
Das Paper stellt gWorld vor, eine neue Art von KI, die vorhersagt, wie sich ein Telefonbildschirm ändert, nachdem ein Benutzer damit interagiert. Anstatt zu versuchen, den nächsten Bildschirm zu „malen" (was zu unscharfem Text und Fehlern führt), schreibt gWorld den Code, um den Bildschirm zu bauen. Dieser Ansatz ist schneller, genauer, benötigt weniger Rechenleistung und erzeugt perfekten Text und Layouts, und setzt einen neuen Standard dafür, wie KI-Agenten lernen können, unsere Telefone zu benutzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.