LongWebBench: Evaluating Structural and Functional Webpage Generation in Long-Horizon Settings
Dieses Paper führt LongWebBench ein, einen umfassenden Benchmark, der darauf ausgelegt ist, die strukturelle Treue und funktionale Ausführbarkeit der langfristigen Webseiten-Generierung durch Vision-Language-Modelle zu bewerten, wobei aufgezeigt wird, dass aktuelle State-of-the-Art-Systeme trotz visueller Plausibilität Schwierigkeiten mit der langfristigen Kohärenz und den interaktiven Fähigkeiten haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen talentierten Architekten ein, um ein Haus basierend auf einem einzigen, riesigen Foto eines Herrenhauses zu bauen.
Das Problem:
Bis jetzt haben die meisten Tests für KI-„Architekten“ (genannt Vision-Language-Modelle) nur verlangt, dass sie winzige, einräumige Hütten bauen. Diese Tests prüften, ob die Haustür richtig aussah oder ob die Farbe der Wand passte. Aber echte Websites sind wie massive Herrenhäuser mit Dutzenden von Zimmern, mehreren Etagen und komplexen Leitungen. Wenn man eine KI bittet, ein ganzes Herrenhaus aus einem einzigen Foto zu bauen, baut sie vielleicht die Haustür richtig, vergisst aber, wie man die Treppe mit dem zweiten Stock verbindet, oder baut eine Küche, die zwar echt aussieht, aber keinen funktionierenden Wasserhahn hat.
Die Lösung: LongWebBench
Die Autoren dieses Papers haben einen neuen, härteren Test namens LongWebBench entwickelt. Anstatt nur zu prüfen, ob das Haus wie das Foto aussieht, prüfen sie zwei Dinge:
- Der Bauplan (Struktur): Ergibt das gesamte Gebäude Sinn? Sind die Räume in der richtigen Reihenfolge? Ist das Dach mit den Wänden verbunden?
- Die Wasser- und Elektroinstallation (Funktion): Wenn man den Wasserhahn aufdreht, kommt Wasser heraus? Wenn man den Lichtschalter umlegt, geht das Licht an?
Wie sie den Test aufgebaut haben:
Sie sammelten zwei riesige Kollektionen echter „Herrenhaus-Fotos“ (lange Webseiten):
- 490 „Look-Alike“-Tests: Sie nahmen Fotos von sehr langen Websites (einige so lang, dass man etwa 30 Bildschirme nach unten scrollen müsste, um das Ende zu sehen). Sie baten die KI-Modelle, den Code für diese Seiten zu rekonstruieren. Der Test prüfte, ob die KI in der Lage war, das Layout vom oberen Teil der Seite bis ganz nach unten konsistent zu halten.
- 507 „Do-It“-Tests: Sie wählten 129 Websites aus und gaben der KI spezifische Aufgaben, wie zum Beispiel „Suche einen Flug nach Tokio“, „Lege einen Artikel in den Warenkorb“ oder „Filtere die Suchergebnisse“. Die KI musste Code schreiben, der diese Dinge in einem echten Webbrowser tatsächlich ausführt, anstatt nur so zu tun, als ob.
Die Ergebnisse: Die „Realitätslücke“
Als sie die besten KI-Modelle durch diesen neuen Test laufen ließen, fanden sie einige überraschende Dinge:
- Das „Lange-Scrollen-Problem“: Je länger die Websites wurden, desto schlechter wurde die Fähigkeit der KI, die Struktur korrekt beizubehalten. Es ist wie ein Architekt, der ein perfektes Erdgeschoss entwerfen kann, aber vergisst, wie das zweite Stockwerk damit verbunden wird.
- Das „Fake-Haus-Problem“: Viele KIs bauten Websites, die wunderschön und realistisch aussah (wie ein Filmset), aber wenn man versuchte, auf einen Button zu klicken oder ein Formular auszufüllen, passierte nichts. Die „Leitungen“ waren defekt.
- Das Input-Problem: Selbst als die Forscher das lange Foto in kleinere Stücke zerlegten, um es für die KI einfacher zu machen, zu sehen, hatte die KI dennoch Schwierigkeiten, die Teile zu einem funktionierenden Ganzen zusammenzufügen.
Das Fazit
Das Paper kommt zu dem Schluss, dass wir eine KI nicht nur danach beurteilen können, wie hübsch ihre Zeichnungen aussehen. Um wirklich nützlich zu sein, muss eine KI in der Lage sein, lange, komplexe Websites zu bauen, die auch tatsächlich funktionieren, wenn man mit ihnen interagiert. LongWebBench ist das neue Lineal, mit dem sie dies messen, und es zeigt uns, dass die KI zwar gut im Zeichnen wird, aber noch einen weiten Weg vor sich hat, bevor sie ein voll funktionsfähiges digitales Haus bauen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.