ChartAnno: Evaluating MLLMs for Chart Annotation Generation

Stellen Sie sich vor, Sie sind der Kapitän eines Raumschiffs und Ihr Computer hat gerade eine wunderschöne, komplexe Sternenkarte gezeichnet. Die Karte ist perfekt, aber sie ist stumm. Sie zeigt die Sterne, aber sie verrät Ihnen nicht, warum sie dort sind, welche am gefährlichsten sind oder wo der Schatz versteckt liegt. Um die Karte nützlich zu machen, müssen Sie Notizen, Pfeile und Beschriftungen hinzufügen – das nennt man Chart-Annotation. Es ist die Kunst, aus einem reinen Bild eine Geschichte zu machen, die jeder verstehen kann.

In der Welt der künstlichen Intelligenz gibt es superintelligente Roboter, die Multimodale Large Language Models (MLLMs) genannt werden. Denken Sie an Roboter, die gleichzeitig Texte lesen, Bilder betrachten und Computercode schreiben können. Wir haben ihnen bereits beigebracht, Diagramme zu verstehen und sogar neue von Grund auf neu zu zeichnen. Aber es gibt eine knifflige Lücke: Können diese Roboter eine bestehende Grafik betrachten und die richtigen Notizen hinzufügen, um sie zu erklären? Es geht nicht nur darum, eine Linie zu ziehen; es geht darum, herauszufinden, was diese Linie bedeutet, und dann den Code zu schreiben, um ein Label genau an die richtige Stelle zu setzen. Das ist die Herausforderung, die dieses Paper angeht: der KI beizubringen, ein hilfreicher Reiseführer für Daten zu sein, statt nur ein Kartograf.

Hier kommt CHARTANNO ins Spiel, ein neuer „Trainingsplatz“, den Forscher geschaffen haben, um zu testen, wie gut diese KI-Roboter bei dieser speziellen Aufgabe sind. Die Forscher haben eine riesige Bibliothek von 1.200 realen Diagrammen erstellt – von Nachrichten-Grafiken bis hin zu wissenschaftlichen Arbeiten – und jedes davon mit einer Reihe von Anweisungen kombiniert. Sie gaben den Robotern nicht nur eine Art von Anweisung; sie testeten sie mit drei Detailstufen, wie in einem Videospiel mit steigendem Schwierigkeitsgrad:

1. Das Level „Vages Ziel“: Dem Roboter wird gesagt: „Hebe den wichtigsten Trend hervor.“ Er muss erraten, was das bedeutet und wie er es darstellen soll.
2. Das Level „Aktionsplan“: Dem Roboter wird gesagt: „Zeichne ein lilafarbenes Rechteck um die Jahre 1890 bis 1900 und platziere eine Beschriftung in der Mitte.“ Er weiß, was er tun soll, muss aber die genauen Farben und Größen noch bestimmen.
3. Das Level „Blaupause“: Der Roboter erhält ein Rezept: „Zeichne ein lilafarbenes Rechteck von x=0 bis x=10 mit einem spezifischen Lilaton und platziere den Text an den Koordinaten (4, 15).“

Die Forscher baten dann 10 verschiedene KI-Modelle (einige von großen Tech-Unternehmen, andere Open-Source), den Computercode zu schreiben, der diese Annotationen hinzufügt. Sie überprüften, ob der Code tatsächlich funktionierte, ob das Diagramm richtig aussah, ob die Bedeutung klar war und ob das Design hübsch war.

Hier ist, was sie fanden, und es ist ein wenig gemischt. Erstens sind die Big-Tech-Modelle (wie die von Google und OpenAI) immer noch die Champions; sie machen im Allgemeinen den besten Job beim Verständnis der „vagen Ziele“ und beim Erstellen schöner Designs. Einige der Open-Source-Modelle holen jedoch schnell auf, wobei eines namens Kimi K2.5 fast so gut abschneidet wie die teuren, geschlossenen Giganten.

Die Studie enthüllte auch einige überraschende Wahrheiten darüber, wie diese Roboter denken. Wenn die Anweisungen super spezifisch waren (das „Blaupausen“-Level), machten die Roboter einen großartigen Job. Aber wenn die Anweisungen vage waren (das „Vage Ziel“-Level), stolperten sie oft und hatten Schwierigkeiten zu erraten, was eigentlich der wichtigste Teil des Diagramms war. Es ist, als würde man einem Koch ein Rezept mit exakten Maßen geben im Gegensatz zu dem, wenn man nur sagt: „Mach etwas Leckeres“; die Roboter sind gut darin, Rezepten zu folgen, aber sie lernen erst noch, kreative Köche zu sein.

Eine weitere interessante Entdeckung war, was die Roboter sehen müssen. Man könnte denken, dass es dem Roboter sehr helfen würde, wenn man ihm das Bild des Diagramms zeigt. Aber die Forscher fanden heraus, dass es für den Roboter weita viel wichtiger war, den Code zu erhalten, der das Diagramm erstellt hat. Das Bild half ein bisschen dabei, die Annotationen hübsch aussehen zu lassen, aber ohne den Code (der die eigentlichen Datennummern und die Struktur enthält) verloren sich die Roboter. Tatsächlich brach ihre Leistung ein, wenn man ihnen nur das Bild zeigte und den Code verbarg. Es stellt sich heraus, dass für diese KI-Roboter das Wissen über die Mathematik hinter dem Bild nützlicher ist als nur das bloße Betrachten des Bildes selbst.

Schließlich stellten die Forscher fest, dass die Aufgabe viel schwieriger wird, wenn die Diagramme komplexer werden. Wenn ein Diagramm viele Datenpunkte hat oder eine lange, komplizierte Code-Änderung erfordert, um die Annotation hinzuzufügen, beginnen selbst die klügsten Roboter Fehler zu machen. Sie schreiben vielleicht Code, der nicht läuft, oder sie platzieren ein Label an der falschen Stelle.

Kurz gesagt: CHARTANNO zeigt uns, dass KI zwar sehr gut darin wird, Diagramme zu zeichnen und zu lesen, aber das Lehren der KI, sie durch Annotationen zu erklären, noch ein laufender Prozess ist. Die Roboter sind exzellent darin, strengen Anweisungen zu folgen, aber sie brauchen noch Hilfe dabei, das „große Ganze“ aus eigenem Antrieb zu erfassen. Die Forscher hoffen, dass dieser neue Test dazu beitragen wird, bessere KI-Werkzeuge zu bauen, die eines Tages jedes verwirrende Diagramm in eine klare, hilfreiche Geschichte für alle verwandeln können.