Diagram-MMU: A Multi-Modal Benchmark for Scientific Diagrams
Dieses Paper führt Diagram-MMU ein, einen multimodalen Benchmark bestehend aus 3,7k wissenschaftlichen Diagrammen und 18,3k validierten Fragen zur Evaluierung von MLLMs beim Diagramm-zu-Code-Parsing, dem Editieren und der Beantwortung von Fragen, wobei aufgezeigt wird, dass Modelle zwar exzellent im Schlussfolgern sind, aber Schwierigkeiten mit Code-Generierungsaufgaben haben, sofern sie nicht in agentischen Umgebungen operieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Wissenschaftler, der eine Arbeit über eine neue Entdeckung schreibt. Sie haben eine wunderschöne Grafik zu Ihren Daten, ein Schaltbild Ihres Experiments oder eine Molekularstruktur eines neuen Medikaments. In den alten Tagen hätten Sie dies von Hand gezeichnet oder ein Computerprogramm verwendet, um eine Bilddatei (wie eine PNG- oder JPG-Datei) zu erstellen und sie in Ihr Dokument einzufügen. Aber moderne Wissenschaftler verwenden oft eine spezielle Sprache namens LaTeX, weil sie so professionell aussieht und Mathematik perfekt handhabt. Innerhalb von LaTeX gibt es ein besonders leistungsstarkes Werkzeug namens TikZ. Stellen Sie sich TikZ wie eine Anleitung für einen Roboterkünstler vor. Anstatt dem Roboter ein fertiges Bild zu geben, geben Sie ihm eine Liste von Befehlen wie „zeichne einen roten Kreis hier“, „verbinde diese Linie mit jener“ und „schreibe die Zahl 5 hier“. Wenn der Roboter die Anweisungen perfekt befolgt, zeichnet er genau das Diagramm, das Sie benötigen, und es fügt sich perfekt in Ihre Arbeit ein.
Stellen Sie sich nun vor, Sie haben ein superintelligentes Computergehirn, ein Multimodales Großes Sprachmodell (MLLM). Sie könnten denken: „Wenn dieses Gehirn ein Bild lesen und verstehen kann, was es bedeutet, kann es dann nicht einfach mein Diagramm betrachten und die TikZ-Anweisungen dafür schreiben?“ Das ist die große Frage, die diese Arbeit behandelt. Wissenschaftler wollen, dass diese KI-Gehirne in der Lage sind, ein Diagramm zu betrachten, die Wissenschaft dahinter zu verstehen und dann den Code zu schreiben, um es zu rekonstruieren oder es sogar zu verändern (wie etwa ein Balkendiagramm in ein Liniendiagramm zu verwandeln), nur indem sie auf eine einfache Anweisung hören. Dies ist Teil eines neuen Trends namens „Vibe Writing“, bei dem Sie einfach beschreiben, was Sie wollen, und die KI die schwere Arbeit erledigt. Aber besitzt die KI tatsächlich diese Fähigkeiten, oder tut sie nur so, als ob sie sie verstünde?
Die Forscher hinter Diagram-MMU beschlossen, einen riesigen, strengen Test zu erstellen, um dies herauszufinden. Sie entwickelten einen Benchmark (einen standardisierten Test), der 3.744 einzigartige wissenschaftliche Diagramme und 18.305 verschiedene Fragen und Aufgaben umfasst. Diese Diagramme decken sechs verschiedene wissenschaftliche Welten ab: Diagramme (wie Graphen), flache Geometrie, 3D-Formen, Netzwerkdiagramme, chemische Moleküle und elektrische Schaltkreise. Sie haben die KI nicht nur gefragt, sich das Bild anzusehen; sie haben sie bei drei spezifischen Herausforderungen getestet:
- Parsing: Ein Diagramm betrachten und den Code schreiben, um es von Grund auf neu zu zeichnen.
- Editing (Bearbeitung): Ein Diagramm und den Code betrachten und dann den Code ändern, um einer neuen Anweisung zu entsprechen (wie „mache den Widerstand blau“ oder „verwandle diesen Parallelschaltkreis in einen Serienschaltkreis“).
- Fragebeantwortung (Question Answering): Ein Diagramm betrachten und eine Frage über die darin enthaltene Wissenschaft beantworten (wie „was ist der Gesamtwiderstand?“).
Sie testeten auch, ob die KI wie ein hilfreicher Assistent agieren kann, der weiß, wann er Informationen nachschlagen muss. Sie gaben der KI ein spezielles „Suchwerkzeug“, um die TikZ-Syntax (die Regeln der Sprache) nachzuschlagen, falls sie stecken bleibt, und testeten, ob die KI ihre Schritte planen kann: „Zuer Sie muss ich das Bild verstehen, dann werde ich die Regel nachschlagen, dann werde ich den Code schreiben.“
Und was haben sie herausgefunden? Die Ergebnisse waren eine Mischung aus „Wow“ und „Oje“. Die KI-Modelle sind tatsächlich sehr gut darin, über die Diagramme nachzudenken. Wenn sie Fragen gestellt wurden wie „Welcher Balken ist der höchste?“ oder „Sind diese beiden Komponenten miteinander verbunden?“, hatten die Modelle meistens recht (bis zu 86 % Genauigkeit). Sie verstehen die Wissenschaft!
Als es jedoch darum ging, den Code zu schreiben, um die Diagramme zu zeichnen, hatten die Modelle erhebliche Schwierigkeiten. Selbst die besten Modelle bekamen nur etwa 31 % bis 57 % der grundlegenden Bausteine (wie Kreise, Linien und Text) an der richtigen Stelle. Es ist, als könnte die KI ein perfektes Haus im Detail beschreiben, aber wenn sie versucht, es tatsächlich mit Ziegeln zu bauen, setzt sie die Fenster auf das Dach und die Tür in den Boden. Die Arbeit legt nahe, dass diese Modelle zwar großartig im Schlussfolgern sind, aber immer noch ziemlich schlecht in der feingliedrigen visuellen Wahrnehmung, die nötig ist, um ein Bild in präzisen Code zu übersetzen.
Die Studie untersuchte auch, ob es der KI half, ein „Suchwerkzeug“ zu geben (ihr zu ermöglichen, Regeln nachzuschlagen). Bei den Bearbeitungsaufgaben half es ein wenig. Aber bei den Aufgaben zur Fragebeantwortung machte es die Sache oft schlimmer, weil die KI durch zu viele Informationen verwirrt wurde oder die falschen Fragen stellte. Ein Modell, Claude-4.6 Opus, stach als das konsistenteste hervor, da es mit dem Suchwerkzeug bei allen drei Aufgaben besser wurde, aber die meisten anderen Modelle stolperten.
Kurz gesagt, die Arbeit enthüllt eine amüsante Lücke: Die heutige KI kann ein brillanter Wissenschaftler sein, der Ihre Diagramme perfekt versteht, aber sie ist immer noch eine ungeschickte Künstlerin, wenn sie versucht, sie mithilfe der TikZ-Sprache zu zeichnen. Die Autoren hoffen, dass dieser Test Entwicklern helfen wird, bessere Werkzeuge zu bauen, damit Wissenschaftler in Zukunft ihre Diagramme wirklich einfach nur „viben“ können, ohne sich um den Code sorgen zu müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.