PlotPick: AI-powered batch extraction of numerical data from scientific figures
Das Papier stellt PlotPick vor, ein Open-Source-Tool, das Vision-Language-Modelle nutzt, um numerische Daten aus wissenschaftlichen Abbildungen effizient im Batch zu extrahieren, und zeigt eine überlegene Leistung gegenüber spezialisierten Chart-to-Table-Modellen wie DePlot über verschiedene Benchmarks und Diagrammtypen hinweg.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Forscher, der versucht, einen großen Bericht über Gesundheitsstudien zu verfassen. Sie benötigen Zahlen aus Hunderten verschiedener Diagramme und Grafiken, die in alten wissenschaftlichen Papers zu finden sind. Doch hier liegt das Problem: Diese Zahlen sind in Bildern eingeschlossen. Sie sind nicht in einer Tabellenkalkulation geschrieben; es sind lediglich Linien und Balken auf einer Seite.
Um an die Zahlen zu gelangen, müssen Sie normalerweise ein mühsames Spiel von „Raten und Klicken" spielen und jeden einzelnen Punkt auf jedem Diagramm manuell vermessen. Es ist, als würde man versuchen, eine ganze Bibliothek von Büchern zu kopieren, indem man die Buchstaben mit einem Bleistift nachzeichnet – es dauert ewig und lässt sich nicht skalieren.
Tritt „PlotPick" in Erscheinung.
Stellen Sie sich PlotPick als einen superschnellen, roboterhaften Bibliothekar vor, der nicht nur Text liest, sondern auch Bilder „sehen" kann. Es ist ein kostenloses Tool, das von Tommy Carstensen entwickelt wurde und eine spezielle Art von KI verwendet, die als „Vision-Language Model" (VLM) bezeichnet wird. Man kann sich ein VLM wie einen Schüler vorstellen, der fast jedes Buch gelesen und fast jedes Bild der Welt betrachtet hat.
So funktioniert PlotPick und was das Paper herausfand, einfach erklärt:
Der magische Trick: Die richtige Frage stellen
Anstatt für jede spezifische Diagrammart einen komplexen, maßgeschneiderten Roboter zu benötigen, stellt PlotPick der KI einfach eine sehr einfache Frage: „Hier ist ein Bild eines Diagramms. Bitte verwandeln Sie die Zahlen in diesem Bild in eine ordentliche Liste (eine Tabelle)."
Das Paper testete dies, indem es diese „Generalisten"-KI-Schüler gegen einen „Spezialisten"-Roboter namens DePlot antreten ließ. DePlot ist wie ein Meisterzimmermann, der fantastisch Stühle (Balkendiagramme) bauen kann, aber noch nie eine Leiter (Boxplots) oder eine Rutsche (Histogramme) gesehen hat.
Die Ergebnisse: Die Generalisten gewannen
Das Paper ließ auf zwei verschiedenen Strecken (sogenannten Benchmarks) ein Rennen laufen, um zu sehen, wer die Zahlen am genauesten extrahieren konnte.
Die „ChartX"-Strecke (Der Vielfaltstest):
Diese Strecke umfasste viele verschiedene Diagrammtypen, darunter einige, die der Spezialisten-Roboter noch nie gesehen hatte, wie Boxplots.- Der Spezialist (DePlot): Lag bei etwa 71 % der Zahlen richtig. Er hatte große Schwierigkeiten mit den Diagrammen, an denen er nicht geübt hatte (bei Boxplots sank die Rate auf nur 24 %!).
- Die Generalisten (PlotPicks KI): Lag zwischen 88 % und 96 % richtig. Selbst das „günstigste" KI-Modell in der Gruppe schlug den Spezialisten mit einem riesigen Vorsprung.
Die „PlotQA"-Strecke (Der Expertentest):
Diese Strecke wurde speziell für den Spezialisten-Roboter entwickelt. Man würde denken, dass der Spezialist hier gewinnt.- Der Spezialist: Lag bei 94 % richtig.
- Die Generalisten: Überraschenderweise lagen sie bei 86 % bis 99 % richtig. Die besten schlugen tatsächlich den Spezialisten, obwohl dieser speziell für diesen Test trainiert worden war.
Warum gewannen die Generalisten?
Das Paper nennt drei Hauptgründe, warum die „Allrounder"-KIs den „Meister in einem Fach" schlugen:
- Sie haben mehr gesehen: Die allgemeinen KIs wurden mit Millionen mehr Bildern trainiert als der Spezialist. Sie verfügen über einen viel breiteren „visuellen Wortschatz".
- Sie kennen das Unbekannte: Der Spezialist wurde nur darin unterrichtet, Balkendiagramme und Liniendiagramme zu lesen. Als er einen Boxplot sah (ein häufiges Diagramm in der Wissenschaft), war er verwirrt. Die allgemeinen KIs hatten Boxplots in ihren massiven Trainingsdaten gesehen, also wussten sie genau, was zu tun war.
- Beschriftungen sind am wichtigsten: Die KI funktioniert am besten, wenn die Zahlen direkt auf dem Diagramm geschrieben sind (wie „50 %", direkt über einem Balken). Wenn die Zahlen versteckt sind und man die Skala von der Seite des Graphen erraten muss, kann selbst die intelligenteste KI Fehler machen (wie zum Beispiel „2,3 Millionen" als „2.300" zu lesen).
Das Fazit
PlotPick ist ein Tool, das es Forschern ermöglicht, ein PDF voller wissenschaftlicher Papers hochzuladen. Es findet automatisch die Diagramme, liest die Zahlen und gibt sie in einer Tabellenkalkulation (Excel, CSV usw.) zur Analyse aus.
Das Paper behauptet, dass man nicht länger eine maßgeschneiderte KI für jede Diagrammart bauen muss. Man kann einfach diese leistungsstarken, allgemein einsetzbaren KI-Tools mit einem einfachen Prompt verwenden, und sie werden eine bessere Arbeit leisten als die derzeit verfügbaren Spezialwerkzeuge. Das Tool ist kostenlos, quelloffen und wird bereits von einem Forschungszentrum in Kopenhagen eingesetzt, um ihre Arbeit zu beschleunigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.