Bar-JEPA: Extracting Values from Bar Chart with Joint-Embedding Predictive Architecture

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber die einzigen Hinweise, die Sie haben, sind eine Reihe farbenfroher Zeichnungen. Diese Zeichnungen sind Balkendiagramme, jene Art von Diagrammen, die man in Zeitungsartikeln oder Schulberichten sieht, bei denen Balken unterschiedlicher Höhe eine Geschichte über Zahlen erzählen. Für Menschen ist das Lesen dieser Diagramme einfach; wir schauen uns einfach die Höhe eines Balkens an und erraten die Zahl. Aber für einen Computer ist ein Diagramm nur ein Bild aus Pixeln. Er weiß nicht, dass ein hoher blauer Rechteck „500 Dollar“ bedeutet oder dass ein winziger Strich an der Seite „100“ bedeutet. Für eine Maschine sind die Daten in der Kunst verborgen.

Hier kommt ein Feld namens „Computer Vision“ ins Spiel. Es ist der Zweig der Wissenschaft, der Computern beibringt, Bilder zu „sehen“ und zu verstehen. Normalerweise muss man einen Computer darauf trainieren, ein Diagramm zu lesen, indem man ihm tausende Beispiele zeigt, bei denen ein Mensch bereits die Antworten aufgeschrieben hat. Das ist so, als würde ein Lehrer neben dem Computer sitzen, stundenlang auf jeden einzelnen Balken zeigen und sagen: „Das ist 50, das ist 100.“ Aber in der realen Welt ist es unglaublich schwer und zeitaufwendig, tausende von Diagrammen mit perfekt aufgeschriebenen Antworten zu finden. Es ist, als versuche man, eine Nadel im Heuhaufen zu finden, wobei der Heuhaufen aus Papier besteht und die Nadeln fehlen. Diese Arbeit untersucht einen cleveren neuen Weg, um Computer zu lehren, diese Diagramme zu lesen, ohne dass zuerst ein Mensch jedes einzelne Beispiel beschriften muss.

Die Forscher hinter dieser Studie, Poonam Poonam und ihr Team von der Hochschule Ulm in Deutschland, wollten das Problem des „Chart De-rendering“ lösen. Das ist eine schicke Art zu sagen: „Ein Bild eines Diagramms nehmen und es wieder in die ursprünglichen Rohdaten zurückverwandeln, aus denen es stammt.“ Sie stellten fest, dass Computer zwar großartig darin sind, Katzen oder Autos zu erkennen, aber Schwierigkeiten mit der spezifischen Geometrie von Diagrammen haben, besonders wenn die Diagramme unterschiedliche Größen haben oder unordentliche Hintergründe aufweisen.

Um dies anzugehen, verwendeten sie eine spezielle Art von KI-Architektur namens JEPA (Joint-Embedding Predictive Architecture). Denken Sie bei JEPA nicht an einen Schüler, der Antworten auswendig lernt, sondern an einen neugierigen Entdecker, der lernt, indem er ein Ratespiel spielt. Anstatt ihm gesagt zu bekommen „dieser Balken ist 50“, wird der KI ein Bild eines Diagramms gezeigt, bei dem ein großer Teil davon verdeckt ist (maskiert). Sie muss raten, wie der verborgene Teil aussieht, basierend auf den sichtbaren Teilen. Indem sie dieses Spiel immer und immer wieder mit Millionen von Diagrammen spielt, lernt die KI die „Regeln“, wie Diagramme funktionieren – wie Balken mit Skalenstrichen zusammenhängen, wie Achsen gezeichnet werden und wie ein „Balken“ in einem tiefen, mathematischen Sinne tatsächlich aussieht. Dies wird als „selbstüberwachtes Lernen“ bezeichnet, weil der Computer sich selbst unter Verwendung der Muster lehrt, die er in den Daten findet, anstatt darauf zu warten, dass ein Mensch ihm ein Lehrbuch gibt.

Das Team baute eine Pipeline, die sie „Bar-JEPA“ nennen. Zuerst trainierten sie diesen KI-Entdecker auf einer riesigen Bibliothek von 100.000 computergenerierten Balkendiagrammen. Sie verwendeten nicht nur Standardbilder; sie modifizierten die KI so, dass sie Diagramme aller verschiedenen Formen und Größen verarbeiten kann, damit sie nicht verwirrt wird, wenn ein Diagramm hoch und schmal oder kurz und breit ist. Sobald die KI die „Sprache“ der Diagramme gelernt hatte, hängten sie einen einfachen, leichtgewichtigen „Decoder“ an sie an. Die Aufgabe dieses Decoders ist es, basierend auf dem Verständnis der KI genau zu bestimmen, wo sich die Balken und die Zahlen befinden.

Die Ergebnisse waren sehr vielversprechend. Als sie ihr System an realen Diagrammen testeten (den Arten, die man in einer Zeitung findet), war die KI, die durch dieses selbstüberwachte Ratespiel gelernt hatte, wesentlich besser darin, die Balken zu finden und die Zahlen zu lesen, als eine Standard-KI, die nicht auf diese Weise trainiert worden war. Tatsächlich war der Computer ohne dieses spezielle Training fast völlig verloren und konnte keinerlei Werte finden. Mit dem JEPA-Training konnte er die Daten mit einer viel höheren Genauigkeit wiederherstellen. Die Arbeit legt nahe, dass diese Methode ein starker, effizienter Weg ist, um Computer zum Verständnis von Diagrammen zu bringen, insbesondere wenn man nicht über einen riesigen Stapel vorbeschrifteter Daten verfügt.

Die Autoren sind jedoch vorsichtig, nicht zu behaupten, dass dies die endgültige, perfekte Lösung sei. Sie geben zu, dass ihr System noch etwas einfach ist; es kann nur vertikale Balkendiagramme lesen und hat Schwierigkeiten mit komplexeren Typen wie gestapelten Balken oder 3D-Diagrammen. Es ist auch noch nicht das absolut beste System der Welt, aber es beweist, dass es ein mächtiger Trick ist, den Computer zuerst das „Raten“ der Struktur eines Diagramms beizubringen. Sie schlagen vor, dass dieser intelligente „Entdecker“-KI in der Zukunft noch leistungsfähigere Werkzeuge, wie etwa große Sprachmodelle, beigegeben werden könnten, um nicht nur die Zahlen zu lesen, sondern auch Fragen über die Daten zu beantworten, wie zum Beispiel: „Welcher Balken ist der größte?“ oder „Was ist die Summe?“. Für den Moment zeigt Bar-JEPA uns jedoch, dass es manchmal der beste Weg ist, einen Computer zu lehren zu sehen, indem man ihn das Rätsel für sich selbst lösen lässt.