VisEditBench: Can Vision-Language Models Edit Visualization Code from Multimodal Feedback?
Dieses Paper führt VisEditBench ein, einen umfassenden Benchmark aus 1.395 von Menschen annotierten Aufgaben, die darauf ausgelegt sind, die Fähigkeit von Vision-Language-Modellen zu bewerten, Visualisierungscode basierend auf multimodalem Feedback zu editieren, wobei signifikante Leistungsunterschiede bei aktuellen Modellen aufgezeigt und VisEditAgent vorgeschlagen wird, ein render-basiertes Framework, das die Editiergenauigkeit erheblich verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Koch, der gerade aus einem Rezeptbuch gelernt hat, ein perfektes Omelett zuzubereiten. Sie können die Anweisungen befolgen, die Eier aufschlagen und die Pfanne wenden. Aber was passiert, wenn Ihr Freund einen Bissen nimmt, das Gesicht verzieht und sagt: „Es ist zu salzig, und der Käse ist am Boden angebrannt“? Oder was, wenn er Ihnen ein Foto eines anderen Omeletts zeigt und sagt: „Ich möchte meins genau so aussehen lassen wie dieses hier“? Plötzlich geht es bei Ihrem Job nicht mehr nur darum, einem Rezept zu folgen; es geht darum, einen Fehler zu beheben oder einen Stil zu kopieren, während man gleichzeitig die Eier und die Hitze genau richtig hält. Dies ist die Welt der Datenvisualisierung, in der Computer versuchen, Zahlen in Bilder wie Diagramme und Grafiken zu verwandeln.
Eine Zeit lang haben Wissenschaftler Computern beigebracht, die „Rezepte“ (Code) zu schreiben, um diese Bilder von Grund auf zu erstellen. Aber in der realen Welt wollen wir selten einfach nur ein völlig neues Bild; meistens haben wir ein bereits existierendes, das ein wenig seltsam aussieht, oder wir wollen seinen Stil ändern, um zu einem Bericht zu passen. Dies wird als multimodales Feedback bezeichnet: die Verwendung einer Mischung aus Textanweisungen, dem tatsächlichen Bild des Diagramms und dem Code, der es erstellt hat, um dem Computer zu sagen, was er korrigieren soll. Die große Frage ist: Können diese intelligenten Computer tatsächlich „sehen“, was an einem Diagramm falsch ist, und es korrigieren, ohne die zugrunde liegenden Daten zu beschädigen?
Dieses Paper mit dem Titel VisEditBench führt einen neuen Spielplatz ein, um genau das zu testen. Die Forscher haben eine riesige Sammlung von 1.395 realen Bearbeitungsherausforderungen erstellt, vergleichbar mit einer „Fahrprüfung“ für KI-Diagrammersteller. Sie fanden heraus, dass die besten KI-Modelle zwar immer besser darin werden, Code zu schreiben, aber immer noch recht tollpatschig darin sind, Diagramme basierend auf visuellem Feedback zu korrigieren. Das Top-Modell, Claude-4.6-Sonnet, bestand etwa 74,46 % der Tests, aber die meisten Open-Source-Modelle hatten Schwierigkeiten und blieben unter 50 %. Der schwierigste Teil? Den Stil eines Diagramms zu ändern, um einem Referenzbild zu entsprechen; selbst das beste Modell schaffte dies nur in 55,71 % der Fälle richtig.
Um diesen Modellen zu helfen, besser zu werden, haben die Autoren ein neues Werkzeug namens VisEditAgent entwickelt. Betrachten Sie dies als eine „Versuch, Scheitern und Korrigieren“-Schleife. Anstatt die Antwort nur einmal zu raten, schreibt der Agent einige verschiedene Versionen des Codes, zeichnet die Diagramme tatsächlich, prüft, ob sie richtig aussehen, und passt sie dann an, bis sie perfekt sind. Als sie diese Methode mit einem starken Modell anwandten, sprang die Erfolgsquote von 55,75 % auf 67,99 %. Dies deutet darauf hin, dass das Geheimnis beim Korrigieren von Diagrammen nicht nur darin liegt, klug zu sein; es liegt darin, in der Lage zu sein, sich die eigene Arbeit anzusehen, zu erkennen, dass sie falsch ist, und es erneut zu versuchen. Das Paper kommt zu dem Schluss, dass wir zwar Fortschritte machen, aber das Beibringen von Diagramm-Bearbeitung mit der gleichen Sorgfalt wie bei einem menschlichen Designer noch ein laufender Prozess ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.