PRISMM-Bench: A Benchmark of Peer-Review Grounded Multimodal Inconsistencies

Die Arbeit stellt PRISMM-Bench vor, den ersten Benchmark, der auf von Gutachtern identifizierten Inkonsistenzen in wissenschaftlichen Publikationen basiert und zeigt, dass aktuelle Large Multimodal Models bei der Erkennung und Behebung multimodaler Widersprüche in wissenschaftlichen Texten erhebliche Schwierigkeiten haben.

Das Wesentliche

Das große Problem: Der „verwirrte Wissenschaftler"

Stell dir vor, du hast einen riesigen, hochintelligenten Roboter-Helfer (einen sogenannten Large Multimodal Model oder LMM). Dieser Roboter ist super darin, Texte zu lesen und Bilder zu betrachten. Er soll Wissenschaftlern helfen, ihre Forschungsarbeiten zu verstehen, zusammenzufassen oder Fehler zu finden.

Aber es gibt ein riesiges Problem: Der Roboter ist manchmal blind für Widersprüche.

In wissenschaftlichen Papieren passiert oft Folgendes:

• Im Text steht: „Wir haben 10 Äpfel."
• In der Grafik daneben sind aber nur 5 Äpfel zu sehen.
• Oder im Text wird eine Formel erklärt, aber in der Tabelle daneben stehen völlig andere Zahlen.

Für einen menschlichen Wissenschaftler ist das sofort klar: „Hoppla, hier stimmt was nicht!" Für den KI-Roboter ist das oft wie ein Rätsel, das er nicht lösen kann. Er liest den Text, schaut das Bild, aber er merkt nicht, dass die beiden Dinge sich gegenseitig widersprechen.

Die Lösung: PRISMM-Bench (Der „Fehler-Jäger")

Die Forscher haben sich gedacht: „Wir müssen dem Roboter beibringen, diese Widersprüche zu finden." Dafür haben sie einen neuen Test entwickelt, den sie PRISMM-Bench nennen.

Stell dir PRISMM-Bench wie einen großen, echten Detektiv-Kurs vor, den man dem Roboter gibt.

Wie funktioniert dieser Kurs?

1. Echte Fälle statt Fake-Filmen: Bisherige Tests haben den Robotern oft künstliche Fehler gezeigt (z. B. „Hier ist ein roter Ball, aber der Text sagt blau"). Das ist zu einfach.
2. Der Schatz der Kritiker: Die Forscher sind in die echten Archive von Wissenschaftskonferenzen gegangen (OpenReview). Dort haben sie sich die echten Kommentare von Gutachtern (Reviewern) angesehen. Diese Gutachter sind Experten, die sagen: „Hey, in Abbildung 3 steht etwas anderes als im Text!"
3. Der Datenschatz: Sie haben 384 echte Widersprüche aus echten Papieren gesammelt. Das ist wie eine Sammlung von 384 echten „Fehler-Fällen", die wirklich passiert sind.

Die drei Aufgaben des Tests

Um zu prüfen, wie gut der Roboter lernt, haben sie drei verschiedene Spiele erfunden:

1. Der Detektiv (Identifikation):
   • Frage: „Was ist hier falsch?"
   • Aufgabe: Der Roboter muss den Fehler finden. Ist es das Bild? Ist es der Text?
2. Der Heiler (Remedy):
   • Frage: „Wie reparieren wir das?"
   • Aufgabe: Nicht nur finden, sondern sagen: „Wir müssen das Bild ändern" oder „Den Text korrigieren".
3. Das Paar-Spiel (Matching):
   • Frage: „Welches dieser beiden Bilder passt nicht zum Text?"
   • Aufgabe: Der Roboter muss aus vier Bildern das eine finden, das im Widerspruch zum Text steht.

Das große Geheimnis: Warum die Roboter bisher so schlecht waren

Die Forscher haben etwas Spannendes entdeckt. Viele Roboter schienen die Antworten zu kennen, ohne wirklich hinzuschauen.

Die Analogie:
Stell dir vor, du hast einen Multiple-Choice-Test.

• Antwort A ist sehr lang und kompliziert.
• Antwort B ist kurz und einfach.
• Antwort C ist mittellang.
• Antwort D ist sehr lang.

Der Roboter hat gelernt: „Aha! Wenn die Antwort lang und kompliziert klingt, ist sie wahrscheinlich richtig!" Er hat nicht den Text gelesen, sondern nur die Wortwahl analysiert. Das nennt man „Abkürzungen" (Shortcuts).

Die neue Trickkiste (JSON):
Um das zu verhindern, haben die Forscher die Antworten in eine geheime Code-Sprache (JSON) übersetzt.

• Statt: „Das Bild zeigt 5 Äpfel, aber der Text sagt 10."
• Sagt der Test jetzt: {"Fehler": "Apfel-Anzahl", "Text": "10", "Bild": "5"}.

Jetzt kann der Roboter nicht mehr an der Länge der Sätze raten. Er muss wirklich das Bild und den Text vergleichen, um die Antwort zu finden.

Das Ergebnis: Noch viel zu tun

Als sie 21 der klügsten Roboter der Welt getestet haben, kam ein ernüchterndes Ergebnis:

• Selbst die besten Roboter (wie Gemini oder GPT-5) lagen nur bei ca. 54 % richtigen Antworten.
• Das ist nicht viel besser als ein Glücksspiel (bei 4 Antworten wären es 25 %).

Was bedeutet das?
Unsere KI-Assistenten sind noch nicht bereit, allein wissenschaftliche Arbeiten zu prüfen. Sie sind wie ein Student, der sehr gut lesen kann, aber noch nicht gelernt hat, zwischen den Zeilen zu denken und Widersprüche zu erkennen.

Fazit

Die Forscher haben mit PRISMM-Bench den ersten echten „Fehler-Jäger" für KI gebaut. Sie haben gezeigt, dass KI noch viel lernen muss, bevor sie uns Wissenschaftlern vertrauensvoll zur Seite stehen kann. Und sie haben einen neuen Weg gefunden, die KI fair zu testen, damit sie nicht einfach nur „raten" kann.

Es ist ein wichtiger Schritt, um sicherzustellen, dass die KI der Wissenschaft hilft und nicht versehentlich falsche Fakten verbreitet.

Technische Zusammenfassung

Problemstellung

Große Multimodale Modelle (LMMs) werden zunehmend als intelligente Assistenten in der wissenschaftlichen Forschung eingesetzt, etwa zur Interpretation von Abbildungen, zur Zusammenfassung von Papers oder zur Fehlererkennung. Ein zentrales, bisher ungelöstes Problem ist jedoch die Fähigkeit dieser Modelle, multimodale Inkonsistenzen in wissenschaftlichen Publikationen zuverlässig zu erkennen und zu lösen.

In wissenschaftlichen Papers treten häufig subtile Widersprüche zwischen Text, Abbildungen, Tabellen und Gleichungen auf (z. B. durch Copy-Paste-Fehler, veraltete Ergebnisse oder inkonsistente Notation). Diese Diskrepanzen untergraben die Klarheit, Reproduzierbarkeit und das Vertrauen in die Wissenschaft.
Bestehende Benchmarks sind für diese Aufgabe unzureichend, da sie entweder:

1. Nur einzelne Modalitäten isoliert betrachten.
2. Auf synthetisch erzeugten Fehlern basieren, die die reale Komplexität und Subtilität menschlicher Fehler nicht abbilden.

Methodik: PRISMM-Bench

Die Autoren stellen PRISMM-Bench vor, den ersten Benchmark, der auf realen, von Gutachtern (Reviewern) gemeldeten Inkonsistenzen in wissenschaftlichen Papers basiert. Die Datenerstellung erfolgte in einem mehrstufigen Pipeline-Prozess:

1. Quellensammlung (Review Sourcing): Es wurden Reviews von Einreichungen bei der Konferenz ICLR 2024 und 2025 über die OpenReview-API gesammelt. Um sicherzustellen, dass die gemeldeten Fehler in den finalen PDFs noch vorhanden waren, konzentrierte man sich auf zurückgewiesene oder zurückgezogene Einreichungen ohne Rebuttal.
2. LLM-basierte Filterung: Ein großes Sprachmodell (Mistral Nemo) filterte die Reviews, um potenzielle Hinweise auf Multimodal-Inkonsistenzen zu identifizieren.
3. Manuelle Annotation: Experten annotierten die gefundenen Fälle manuell. Sie verifizierten die Fakten, markierten die betroffenen Text- und Bildbereiche im PDF und kategorisierten die Inkonsistenz (z. B. Figure-Text-Mismatch).
4. Datensatz: Der resultierende Datensatz umfasst 384 validierte Inkonsistenzen aus 353 Papers, die sich in 15 verschiedene Kategorien einteilen lassen (häufigste: Figure-Text-Mismatches und intra-Figure-Inkonsistenzen).

Aufgabenformulierung:
Basierend auf diesem Datensatz wurden drei Multiple-Choice-Aufgaben (MCQ) entwickelt:

• Inconsistency Identification (Ident): Welcher spezifische Widerspruch liegt vor?
• Inconsistency Remedy: Wie muss der Fehler korrigiert werden?
• Inconsistency Pair Match: Welches der beiden visuellen Elemente steht im Konflikt?

Debiasing-Strategie (JSON-Formatierung):
Ein kritisches Problem bei MCQ-Evaluationen ist die Tendenz von Modellen, „Sprach-Tricks" (Linguistic Biases) zu nutzen, um Antworten zu erraten, ohne den Kontext zu verstehen. Um dies zu verhindern, wurden die Antwortoptionen nicht als freier Text, sondern als strukturierte JSON-Objekte dargestellt.

• Für die Ident-Aufgabe: Evidence-Claim-Format (Quelle der Behauptung vs. Quelle des Beweises).
• Für die Remedy-Aufgabe: Target-Action-Format (Ziel, Aktion, Grund).
  Dies zwingt die Modelle, sich auf die semantische Struktur und den multimodalen Inhalt zu konzentrieren, statt auf oberflächliche sprachliche Muster.

Experimente und Ergebnisse

Die Autoren evaluierten 21 führende LMMs, darunter große Open-Weight-Modelle (z. B. GLM-4.5V 106B, InternVL3 78B) und proprietäre Modelle (Gemini 2.5 Pro, GPT-5). Die Evaluation erfolgte unter drei Kontextbedingungen:

• Focused: Nur die relevanten Ausschnitte (Bild/Text).
• Page: Die gesamte Seite.
• Document: Das gesamte Paper (aufgeteilt in Collagen).

Wichtige Ergebnisse:

• Geringe Gesamtleistung: Selbst die besten Modelle erreichen nur eine Genauigkeit von 27,8 % bis 53,9 %. GPT-5 (High Reasoning) führt mit 53,9 %, gefolgt von Gemini 2.5 Pro (52,8 %). Open-Weight-Modelle liegen meist darunter (z. B. GLM-4.5V bei 42,6 %).
• Kontext-Sensitivität: Die Leistung sinkt drastisch, wenn der Kontext von fokussierten Ausschnitten auf ganze Seiten oder Dokumente erweitert wird. Modelle scheitern oft an Ablenkungen und langreichweitigem Grounding.
• Rechenleistung vs. Architektur: Größere Parameterzahlen garantieren keine bessere Leistung. Architekturen mit dedizierten Reasoning-Fähigkeiten (Chain-of-Thought) schneiden deutlich besser ab als ihre Nicht-Reasoning-Pendants, auch bei kleineren Parametern.
• Menschlicher Vergleich (User Study): In einer Studie mit 8 Experten (PhD-Niveau) zeigten sich zwei Dinge:
  1. Ohne Kontext nutzten LMMs sprachliche Priors, um hohe Trefferquoten zu erzielen (bis zu 70 %), während Menschen nahe dem Zufall lagen (~27 %).
  2. Mit Kontext und JSON-Antworten sank die LMM-Leistung auf menschliches Niveau oder darunter. Menschen verlassen sich stärker auf visuelle Evidenz (Visual Reliance Ratio: 69 % bei Menschen vs. ~53 % bei Top-Modellen).

Hauptbeiträge

1. PRISMM-Bench: Der erste Benchmark für multimodale Inkonsistenzen, der vollständig auf echten Peer-Review-Feedbacks basiert und somit reale wissenschaftliche Herausforderungen abbildet.
2. Drei-Tasks-Suite: Eine umfassende Evaluierung von Detektion, Korrektur und relationaler Reasoning-Fähigkeit.
3. JSON-basiertes Debiasing: Eine neue Methode zur Umwandlung von MCQ-Antworten in strukturierte JSON-Formate, um sprachliche Verzerrungen zu eliminieren und die Evaluierung fairer zu gestalten.
4. Umfassende Evaluation: Die erste systematische Analyse des Zustands der Kunst bei 21 LMMs in Bezug auf wissenschaftliche Dokumentenanalyse, die massive Defizite aufzeigt.

Signifikanz und Ausblick

Die Arbeit demonstriert, dass aktuelle LMMs noch weit davon entfernt sind, als zuverlässige wissenschaftliche Assistenten zu fungieren. Sie können subtile, multimodale Widersprüche in komplexen Dokumenten kaum erkennen, geschweige denn korrektieren.
Die Einführung von PRISMM-Bench und die Debiasing-Strategie setzen neue Standards für die Evaluierung von Multimodal-Modellen. Sie zeigen, dass zukünftige Fortschritte nicht nur durch Skalierung (mehr Parameter), sondern durch verbesserte Reasoning-Architekturen und robustere Mechanismen für das Grounding in langen, ablenkenden Kontexten erreicht werden müssen. Der Benchmark dient als Katalysator für die Entwicklung vertrauenswürdiger KI-Systeme in der Wissenschaft.