Unveiling Fine-Grained Visual Traces: Evaluating Multimodal Interleaved Reasoning Chains in Multimodal STEM Tasks
Dieser Beitrag stellt StepSTEM vor, ein rigoroses Benchmark auf Graduiertenniveau mit 283 Aufgaben und ein neuartiges Evaluierungsframework auf Ebene einzelner Schritte, das darauf ausgelegt ist, feinabgestimmtes cross-modales Schlussfolgern in multimodalen großen Sprachmodellen zu bewerten und dabei aufdeckt, dass aktuelle State-of-the-Art-Modelle nach wie vor stark auf textuelle Abkürzungen statt auf eine genuine visuelle-textuelle Integration angewiesen sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, ein schwieriges Wissenschaftspuzzle zu lösen, etwa zu verstehen, wie eine Brücke standhält oder die Umlaufbahn eines Satelliten zu berechnen. Sie zeigen dem Roboter ein Bild der Brücke und eine Textbeschreibung des Problems.
Das Problem: Der „Cheats"-Roboter
Derzeit sind die intelligentesten KI-Roboter (Multimodale Large Language Models) wie Schüler, die hervorragend im Lesen, aber schrecklich im Hinsehen sind. Wenn man ihnen ein Wissenschaftsproblem mit einem Diagramm gibt, ignorieren sie das Bild oft vollständig. Sie lesen einfach den Text, raten die Antwort basierend auf ihrem Gedächtnis und sagen: „Ich habe es gelöst!"
Die Arbeit nennt dies „Modality Collapse" (Modalkollaps). Es ist wie bei einem Schüler, der eine Mathearbeit schreibt, ein Diagramm sieht, sich aber entscheidet, einfach die Wörter der Frage zu lesen und das Diagramm zu ignorieren, weil es einfacher ist. Bestehende Tests lassen ihnen dies oft durchgehen, da sie nur prüfen, ob die Endantwort richtig ist. Wenn der Roboter die richtige Zahl rät, ohne das Bild anzusehen, sagt der Test: „Gut gemacht!" Aber der Roboter hat tatsächlich nicht gelernt, wie man visuelle Hinweise nutzt.
Die Lösung: STEPSTEM (Der „Strenge Lehrer")
Die Autoren entwickelten einen neuen, sehr strengen Test namens STEPSTEM. Stellen Sie sich dies als eine „Abschlussprüfung" auf Hochschulniveau für Roboter vor, die sie zwingt, ihre Arbeit nachzuweisen.
- Die Falle: Sie entwarfen 283 knifflige Probleme, bei denen man sie nicht lösen kann, ohne das Bild anzusehen. Der Text allein ist eine Sackgasse; das Bild hält den Schlüssel. Es ist wie eine Schnitzeljagd, bei der die Karte (das Bild) der einzige Weg ist, den Schatz zu finden, und die Hinweise (der Text) ohne sie nutzlos sind.
- Die Anforderung: Der Roboter darf nicht nur eine Antwort geben; er muss die Lösung schrittweise durchgehen und dabei abwechselnd Text schreiben und Bilder zeichnen. Es ist wie ein Schüler, der ein Physikproblem lösen soll, indem er eine Erklärung schreibt, dann ein Kräftediagramm zeichnet, dann den nächsten Schritt schreibt, dann ein neues Diagramm zeichnet und so weiter.
- Die Benotung: Anstatt nur die Endzahl zu prüfen, bauten die Autoren einen „intelligenten Korrektor", der jeden einzelnen Schritt betrachtet.
- Hat der Roboter den richtigen Teil des Bildes betrachtet? (Sie verwenden „Bounding Boxes" wie digitale Haftnotizen, um dies zu prüfen).
- Stimmt der Text mit der Zeichnung überein?
- Folgte der Roboter einem logischen Pfad, oder sprang er einfach zu einer Schlussfolgerung?
Die Ergebnisse: Die Roboter lernen noch immer
Als sie ihre leistungsstärksten Roboter durch diesen strengen Test laufen ließen, waren die Ergebnisse überraschend:
- Die „Nur-Text"-Experten: Die leistungsfähigsten Roboter, die nur Text schreiben können (wie Claude Opus 4.6 und Gemini 3.1 Pro), bekamen etwa 38 % der Antworten richtig. Sie waren gut in den Textteilen, scheiterten aber völlig an den Zeichenteilen, weil sie buchstäblich nicht zeichnen können.
- Die „Allrounder"-Roboter: Die Roboter, die sowohl lesen als auch zeichnen können (wie Gemini 2.5 Flash Image), waren beim Zeichnen besser, hatten aber immer noch Schwierigkeiten, die Endantwort richtig zu bekommen. Sie konnten ein Bild zeichnen, verstanden aber oft die Logik falsch.
- Die große Kluft: Die Arbeit ergab, dass selbst die besten Roboter weit davon entfernt sind, echte „visuelle Denker" zu sein. Sie verlassen sich zu sehr auf Text und haben nicht gelernt, Sehen und Denken wirklich zu verbinden.
Das Fazit
Die Arbeit argumentiert, dass wir aufhören müssen, Roboter nur zu fragen: „Was ist die Antwort?", und anfangen müssen zu fragen: „Zeigen Sie mir, wie Sie darauf gekommen sind."
Stellen Sie sich einen Detektiv vor. Wenn ein Detektiv ein Verbrechen aufklärt, aber nicht die Fingerabdrücke oder die Fotos vom Tatort betrachtet hat, würden wir seiner Lösung nicht vertrauen, selbst wenn er den richtigen Namen erraten hat. STEPSTEM ist das Werkzeug, das den KI-Detektiv zwingt, die Beweise (die Bilder) zu betrachten und schrittweise zu erklären, wie diese Beweise zur Schlussfolgerung führten.
Die Autoren kommen zu dem Schluss, dass KI zwar intelligenter wird, aber noch einen langen Weg vor sich hat, bevor sie Wissenschaftsprobleme wirklich so „sehen" und „denken" kann wie ein menschlicher Experte. Sie hoffen, dass dieser neue Test Forschern hilft, Roboter zu bauen, die nicht nur raten, sondern die visuelle Welt tatsächlich verstehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.