MT-Web2Code: Benchmarking Coding Agents on Multi-Turn Regional Reconstruction and Localized Modification
Dieses Paper führt MT-Web2Code ein, den ersten multimodalen Benchmark, der darauf ausgelegt ist, Coding-Agenten bei realistischen Multi-Turn-Web-UI-Aufgaben zu evaluieren, die regionale Rekonstruktion und lokale Modifikationen beinhalten, wobei signifikante Einschränkungen der aktuellen Agenten hinsichtlich ihrer Fähigkeit aufgezeigt werden, die Treue aufrechtzuerhalten und Fehlerakkumulation über iterative Durchgänge hinweg zu verhindern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Meister im Webdesign zu werden. In der Vergangenheit haben wir diese Roboter getestet, indem wir ihnen eine leere Leinwand und das Bild einer Website gaben und sie baten, das Ganze auf einmal von Grund auf neu zu erstellen. Es war, als würde man einen Koch bitten, sofort ein komplettes Fünf-Gänge-Menü zuzubereiten. Aber in der realen Welt ist Webdesign selten so dramatisch. Normalanweise öffnet ein Entwickler eine bestehende Website, findet einen defekten Button, korrigiert eine seltsame Schriftart oder fügt ein fehlendes Foto hinzu – und achtet dabei darauf, nicht versehentlich den Rest der Seite zu löschen. Es ist eher wie ein Spiel aus „Finde den Fehler“ und „Behebe den Glitch“, das immer und immer wieder gespielt wird. Dies ist die Welt des „iterativen Codierens“, in der der Roboter sich erinnern muss, was er vor fünf Minuten getan hat, und nichts vermasseln darf, während er das neue Problem löst. Die große Frage, die sich Forscher stellen, ist: Können unsere klügsten KI-Roboter mit dieser chaotischen, schrittweisen Realität umgehen, oder funktionieren sie nur gut, wenn man ihnen ein unbeschriebenes Blatt gibt?
Genau dies untersucht das Paper „MT-Web2Code“. Die Autoren haben einen brandneuen, super-anspruchsvollen Test namens MT-Web2Code entwickelt, um zu sehen, wie gut KI-Coding-Agenten wirklich bei dieser „Reparieren-während-des-Laufens“-Arbeitsweise sind. Anstatt die KI zu bitten, eine ganze Seite zu bauen, gaben sie ihr 102 verschiedene Webseiten aus 16 verschiedenen Kategorien (wie Shopping-, News- und Regierungsseiten) und baten sie, zwei spezifische Arten von Aufgaben über mehrere Runden hinweg auszuführen. Die erste Aufgabe ist die „Regionale Rekonstruktion“, was so aussieht, als würde der Roboter gesagt bekommen: „Hey, dieser ganze Abschnitt der Seite fehlt; hier ist ein Bild davon, wie er aussehen sollte, bitte baue nur diesen Teil nach, ohne den Rest zu berühren.“ Die zweite Aufgabe ist die „Lokalisierte Modifikation“, die noch kniffliger ist: „Hier sind drei winzige Dinge, die falsch aussehen (vielleicht ist ein Button in der falschen Farbe oder eine Linie ist zu dick); bitte korrigiere nur diese winzigen Stellen.“
Um diesen Test fair und unumgänglich zu machen, erfanden die Forscher eine clevere „Reverse-Corruption“-Engine (Umkehr-Korruption). Stellen Sie sich vor, sie hätten eine perfekte, makellose Website genommen und sie dann absichtlich auf spezifische Weise beschädigt – indem sie einen ganzen Abschnitt versteckt oder ein paar Schriftarten manipuliert haben. Dann haben sie genau aufgezeichnet, wie sie sie beschädigt haben. Die Aufgabe der KI ist es, diesen Prozess umzukehren: die beschädigte Seite anzusehen, herauszufinden, was falsch ist, und sie wieder in den perfekten Zustand zurückzuführen. Da die Forscher genau wissen, wie die Seite beschädigt wurde, können sie den Erfolg der KI mit extremer Präzision messen. Sie fanden heraus, dass diese KI-Roboter zwar besser werden, aber mit diesem Multi-Turn-Spiel immer noch massiv zu kämpfen haben.
Die Ergebnisse waren ein wenig wie ein Realitätscheck. Wenn die KI versuchte, eine fehlende Region wieder aufzubauen, erledigte sie den neuen Teil oft ordentlich, vermasselte aber versehentlich den umliegenden Inhalt, wie zum Beispiel die Hintergrundfarbe der gesamten Seite zu ändern, obwohl sie nur ein Menü reparieren sollte. Wenn sie angewiesen wurde, winzige, präzise Änderungen vorzunehmen, scheiterten die Roboter oft daran, den Code perfekt mit der visuellen Korrektur abzugleichen, was zeigt, dass es ihnen an feingliedriger Kontrolle mangelt. Vielleicht am besorgniserregendsten war der Fund der Forscher, dass es einen „Fehler-Schneeball-Effekt“ gibt. Wenn die KI in der ersten Runde einen kleinen Fehler machte, wurde dieser Fehler in den nächsten Runden übernommen und verstärkt, was das Endergebnis viel schlechter machte, als wenn sie jedes Mal mit einem frischen Start begonnen hätte. Interessanterweise entdeckten die Forscher auch, dass es der KI nicht immer half, eine schriftliche Beschreibung dessen zu geben, wie der beschädigte Teil aussah; manchmal verwirrte es den Roboter sogar, wodurch er sich zu sehr auf die Worte verließ und das eigentliche Bild ignorierte.
Kurz gesagt deutet dieses Paper darauf hin, dass KI zwar großartig darin ist, Websites von Grund auf neu zu bauen, aber noch lernt, ein vorsichtiger, iterativer Editor zu sein. Es zeigt, dass man nicht automatisch gut darin ist, wenn man in dem einen gut ist. Die Autoren hoffen, dass sie durch die Verwendung ihres neuen, super-präzisen Bewertungssystems – das sowohl den reparierten als auch die unberührten Teile prüft – zukünftige KIs dabei helfen können, zuverlässigere, schrittweise Webdesigner zu werden, die nicht das ganze Haus kaputt machen, während sie nur ein einzelnes Fenster reparieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.