DRAGON: A Benchmark for Evidence-Grounded Visual Reasoning over Diagrams
Das Papier stellt DRAGON vor, einen Benchmark-Datensatz und ein Evaluierungsframework, die entwickelt wurden, um die Fähigkeit von Vision-Language-Modellen zu bewerten, ihre Antworten in spezifischen visuellen Belegen innerhalb von Diagrammen zu verankern, und damit die Einschränkung hoher Genauigkeit ohne zuverlässige Begründung durch Schlussfolgerungen zu adressieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie schreiben einen Test, bei dem Sie ein komplexes Diagramm betrachten müssen – etwa eine Karte, eine Leiterplatte oder ein Balkendiagramm – und eine Frage dazu beantworten sollen.
In der Vergangenheit gingen wir davon aus, dass ein Computerprogramm (eine KI), wenn es die richtige Antwort lieferte, das Bild „verstanden" habe. Doch dieses neue Papier, DRAGON, argumentiert, dass eine richtige Antwort nicht ausreicht. Die KI könnte betrügen. Sie könnte die Antwort basierend auf den Wörtern in der Frage oder Mustern in den Daten erraten, ohne tatsächlich die spezifischen Teile des Bildes zu betrachten, die beweisen, dass die Antwort wahr ist.
Stellen Sie sich einen Schüler vor, der einen Mathe-Test schreibt.
- Der alte Weg: Wenn der Schüler „42" als Antwort hinschreibt, erhält er ein Häkchen vom Lehrer. Wir wissen nicht, ob er die Rechnung durchgeführt oder nur geraten hat.
- Der DRAGON-Weg: Der Lehrer verlangt, die Rechenarbeit des Schülers zu sehen. Der Schüler muss die spezifischen Zahlen, die er verwendet hat, umkreisen, Pfeile zu den Formeln zeichnen und den Teil des Graphen hervorheben, der zu „42" geführt hat. Wenn er nicht auf den Beweis zeigen kann, hat er das Problem nicht wirklich gelöst, selbst wenn die Endzahl korrekt war.
Was ist DRAGON?
DRAGON ist ein neuer „Test" (Benchmark), der entwickelt wurde, um KI-Modelle zu entlarven, die raten. Er stellt eine einfache, aber schwierige Frage: „Zeigen Sie mir genau, wo in dem Bild Sie die Antwort gefunden haben."
Um diesen Test zu bestehen, muss die KI einen Kasten um die spezifischen visuellen Hinweise ziehen, die sie verwendet hat. Diese Hinweise könnten sein:
- Ein bestimmter Balken in einem Diagramm.
- Eine Beschriftung auf einer Karte.
- Ein Draht in einem Schaltplan.
- Eine Legende oder ein Titel.
Wie sie den Test aufgebaut haben
Die Forscher haben die KI nicht einfach gebeten, zu raten; sie bauten eine riesige Bibliothek mit über 11.000 Fragen aus sechs verschiedenen Diagrammtypen (Diagramme, Karten, Schaltpläne usw.) auf.
Für jede einzelne Frage agierten Menschen als „Wahrheitsfinder". Sie betrachteten das Diagramm und die richtige Antwort und zeichneten dann die exakten Kästen um die visuellen Beweise, die nötig waren, um diese Antwort zu belegen.
- Analogie: Stellen Sie sich einen Detektiv vor, der ein Verbrechen aufklärt. Die menschlichen Annotatoren sind diejenigen, die sagen: „Der Hinweis ist nicht nur der ganze Raum; der Hinweis ist dieser spezifische schlammige Fußabdruck auf dem Boden." Die KI muss dann denselben Fußabdruck finden.
Die drei Arten, wie sie die KI fragten
Die Forscher versuchten drei verschiedene „Prompts" (Arten, die KI zur Aufgabe aufzufordern), um zu sehen, ob sie lernen konnte, ihre Arbeit zu zeigen:
- EDGE (Der direkte Ansatz): „Hier ist das Bild und die Antwort. Zeichnen Sie einfach die Kästen um die Beweise." (Wie einen Schüler zu bitten, einfach die Antwort hinzuschreiben).
- SAGE (Der schrittweise Ansatz): „Sagen Sie mir zuerst, was Sie sich ansehen müssen (z. B. 'der rote Balken' und 'das Jahr 2020'). Zeichnen Sie dann die Kästen darum." (Wie einen Schüler zu bitten, ihre Schritte vor dem Lösen aufzulisten).
- VERGE (Der Selbstkorrektur-Ansatz): „Zeichnen Sie Ihre Kästen. Schauen Sie sich nun Ihre Zeichnung erneut an. Haben Sie etwas übersehen? Ist Ihr Kasten zu groß? Korrigieren Sie es." (Wie einen Schüler zu bitten, ihre Arbeit zu überprüfen).
Was sie fanden (Die Ergebnisse)
Die Ergebnisse waren ein gewisser Weckruf für die KI-Community:
- KI ist gut im Raten, schlecht im Beweisen: Viele KI-Modelle lieferten die richtige Antwort, scheiterten aber kläglich, als man sie bat, die Kästen zu zeichnen. Oft wiesen sie auf den falschen Teil des Bildes hin oder überließen entscheidende Details.
- Das „Black Box"-Problem: Selbst die intelligentesten KI-Modelle (wie Claude Opus oder Gemini) hatten Schwierigkeiten, ihre Arbeit zu zeigen. Sie konnten sagen „Die Antwort ist 50", aber sie konnten den „50" im Diagramm nicht zuverlässig lokalisieren.
- Einige Modelle sind besser als andere: Die „Closed-Source"-Modelle (die großen, teuren von Firmen wie Anthropic und Google) waren besser darin, die Beweise zu finden als die Open-Source-Modelle, aber keines von ihnen war perfekt.
- Höfliches Fragen hilft ein wenig: Die Verwendung der schrittweisen (SAGE) oder Selbstkorrektur (VERGE) Methoden half der KI, öfter die richtigen Stellen zu finden, löste aber das grundlegende Problem nicht. Die KI überließ oft noch Teile der Beweise.
Warum das wichtig ist
Das Papier kommt zu dem Schluss, dass wir der KI nicht trauen können, Diagramme zu analysieren, nur weil sie die richtige Antwort liefert. Wenn eine KI verwendet wird, um medizinische Diagramme, Finanzgraphen oder Sicherheitspläne zu analysieren, müssen wir wissen, warum sie eine Entscheidung getroffen hat.
DRAGON ist ein Werkzeug, um die KI zu zwingen, aufzuhören zu raten und anzufangen, „ihre Arbeit zu zeigen". Es ist ein neuer Standard, um sicherzustellen, dass eine KI, wenn sie behauptet, ein Bild zu verstehen, tatsächlich den Beweis dafür zeigen kann.
Die Einschränkungen
Die Autoren geben zu, dass ihr Test nicht perfekt ist. Sie verwenden einfache rechteckige Kästen, um Beweise zu markieren. Das funktioniert für große Balken oder Blöcke, aber es ist schwierig, einen Kasten zu verwenden, um einen dünnen, gewundenen Draht in einem Schaltplan oder einen gekrümmten Pfeil auf einer Karte zu markieren. Außerdem stimmen manchmal verschiedene Menschen nicht überein, welcher Teil des Bildes genau der „wichtigste" Hinweis ist, was dem Test ein wenig Subjektivität hinzufügt.
Kurz gesagt: DRAGON ist ein neues Regelbuch, das sagt: „Gib mir nicht nur die Antwort; zeig mir die Beweise im Bild." Und im Moment bestehen die meisten KI-Schüler diesen Test nicht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.