💻 computer science

Multimodal QUD: Inquisitive Questions from Scientific Figures

Dieser Beitrag stellt MQUD vor, einen neuartigen Datensatz und ein neues Framework, das die linguistische Theorie der Fragen unter Diskussion (QUD) auf den multimodalen Bereich erweitert, indem es aus wissenschaftlichen Abbildungen und ihrem begleitenden Text neugierige, kontextbewusste Fragen generiert und Vision-Language-Modelle dadurch in die Lage versetzt, hochrangiges Schlussfolgern über die reine visuelle Extraktion hinaus zu leisten.

Ursprüngliche Autoren: Yating Wu, William Rudman, Venkata S Govindarajan, Alexandros G. Dimakis, Junyi Jessy Li

Veröffentlicht 2026-04-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yating Wu, William Rudman, Venkata S Govindarajan, Alexandros G. Dimakis, Junyi Jessy Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Lesen mit der Denkweise eines Detektivs

Stellen Sie sich vor, Sie lesen einen Kriminalroman. Ein guter Leser liest nicht nur die Wörter; er stellt Fragen. Wenn er sieht, wie ein Charakter einen Brief versteckt, denkt er: „Warum verstecken sie das?" Wenn er eine Karte mit einem roten X sieht, fragt er sich: „Was ist an dieser Stelle?"

Dieses Papier argumentiert, dass Wissenschaftler beim Lesen von Forschungsarbeiten genau dasselbe tun. Sie betrachten den Text und die Abbildungen (Diagramme, Grafiken, Schemata) und stellen tiefgründige, neugierige Fragen, um die Geschichte zu verstehen.

Aktuelle KI-Modelle sind jedoch wie schlechte Detektive. Sie können den Text lesen und das Bild betrachten, stellen aber nur oberflächliche Fragen wie: „Welche Farbe hat diese Linie?" oder „Wie viele Balken gibt es?" Sie übersehen das große Ganze.

Dieses Papier stellt eine neue Methode vor, um KI zu einem besseren Detektiv zu erziehen. Sie nennen dies Multimodal QUD (Fragen unter Diskussion).

Das Problem: Das „Was" versus das „Warum"

Stellen Sie sich ein wissenschaftliches Papier als Gerichtsverhandlung vor.

Der Text ist die Rede des Anwalts.
Die Abbildung ist der Beweis (ein Foto, ein Diagramm, ein Fingerabdruck).

Aktuelle KI-Benchmarks sind wie ein Quiz, das nur fragt: „Wie viele Finger sind auf dem Foto?" oder „Wie viel Uhr steht auf der Uhr?" Das sind einfache, oberflächliche Fragen.

Aber echte wissenschaftliche Neugier ist anders. Sie fragt: „Warum tauchten die Fingerabdrücke des Verdächtigen auf der Uhr auf?" oder „Wie beweist dieses Foto die Theorie des Anwalts?"

Die Autoren stellten fest, dass bestehende KI-Modelle Schwierigkeiten haben, diese tiefgründigen Fragen zu stellen, weil sie nicht verstehen, wie Text und Bild zusammenarbeiten, um eine Geschichte zu erzählen.

Die Lösung: Ein neuer Datensatz (MQUD)

Um dies zu beheben, erstellten die Forscher einen neuen Trainingsdatensatz namens MQUD.

Wer hat ihn erstellt? Sie nutzten nicht nur Computer, um zu raten. Sie gingen zur Quelle: den Originalautoren der wissenschaftlichen Papers.
Wie haben sie es gemacht? Sie fragten diese Wissenschaftler: „Als Sie dieses Papier geschrieben und dieses Diagramm gezeichnet haben, welche Fragen versuchten Sie zu beantworten? Wovor waren Sie neugierig?"
Das Ergebnis: Sie sammelten 1.250 hochwertige Fragen. Das sind nicht nur „Was ist die Zahl?"-Fragen. Es sind Fragen wie „Warum passiert dieses Muster?" oder „Wie verändert dieses Ergebnis unser Verständnis?"

Sie kategorisierten diese Fragen zudem in zwei Typen:

Die „Nur-Bild"-Fragen: Manchmal beantwortet das Diagramm die Frage allein (z. B. „Welcher Balken ist der höchste?").
Die „Teamwork"-Fragen: Dies ist die Goldmine. Das Diagramm zeigt ein seltsames Muster, aber Sie benötigen den Text, um zu erklären, warum es passiert. Die KI muss den visuellen Hinweis mit der geschriebenen Geschichte kombinieren, um das Rätsel zu lösen.

Das Training: Die KI zum „Schauen" zu bringen

Die Forscher nahmen ein Standard-KI-Modell (ein Vision-Language-Modell) und gaben ihm einen speziellen Trainingskurs mit ihrem neuen Datensatz.

Stellen Sie sich vor, Sie bringen einem Schüler das Lesen einer Karte bei.

Vor dem Training: Wenn Sie dem Schüler eine Karte und eine Geschichte zeigen, sagt er vielleicht nur: „Ich sehe einen Berg."
Nach dem Training: Er lernt zu sagen: „Die Geschichte sagt, dass der Fluss hier überschwemmt, und die Karte zeigt den steigenden Wasserstand, also ist der Berg eigentlich ein Überschwemmungsgebiet."

Sie testeten die KI mit zwei cleveren Tricks, um zu sehen, ob sie wirklich lernte:

Der „Fehlende-Karte"-Test: Sie baten die KI, eine Frage zu generieren, ohne ihr das Bild zu zeigen. Die KI wurde bei ihrer Aufgabe viel schlechter. Dies bewies, dass die KI tatsächlich das Bild nutzte und nicht nur basierend auf dem Text riet.
Der „Falsche-Karte"-Test: Dies ist der wichtigste. Sie tauschten das richtige Bild gegen ein anderes Bild aus demselben Papier aus.
- Vor dem Training: Die KI war es egal. Sie generierte eine Frage, selbst mit dem falschen Bild, weil sie nur nach irgendeinem visuellen Hinweis suchte.
- Nach dem Training: Die KI merkte: „Warte, diese Frage ergibt keinen Sinn mit diesem Bild!" Sie wurde empfindlich gegenüber den spezifischen Details des Bildes. Sie lernte, auf den Inhalt zu schauen, nicht nur auf das Vorhandensein eines Bildes.

Die Ergebnisse: Ein schlauerer Detektiv

Das Papier zeigt, dass die KI nach diesem Training:

aufhört, oberflächliche Fragen zu stellen wie „Was ist der Wert des roten Balkens?"
beginnt, tiefgründige „Teamwork"-Fragen zu stellen wie „Warum verhält sich das Modell in diesem spezifischen Szenario, das im Graphen gezeigt wird, anders?"
viel besser darin wird, die Verbindung zwischen den visuellen Daten und der schriftlichen Erklärung herzustellen.

Zusammenfassung

Kurz gesagt lehrt dieses Papier der KI, aufzuhören, Bilder nur zu „betrachten", und beginnt, im Kontext einer Geschichte über sie zu „denken". Durch das Training mit Fragen, die von echten Wissenschaftlern generiert wurden, lernte die KI, die Art von neugierigen, einsichtigen Fragen zu stellen, die Menschen stellen, wenn sie wirklich in die wissenschaftliche Entdeckung vertieft sind. Sie wandelte sich von einem passiven Beobachter, der Balken auf einem Diagramm zählt, zu einem aktiven Teilnehmer, der die Geschichte versteht, die das Diagramm erzählt.

1. Problemstellung

Aktuelle Vision-Language-Modelle (VLMs) und wissenschaftliche Benchmarks (z. B. ChartQA, FigureQA) bewerten primär das perzeptive Schlussfolgern – die Fähigkeit, explizite Werte aus einer Abbildung zu extrahieren oder Elemente zu zählen. Diese Benchmarks erfassen weder wissenschaftliche Neugier noch diskursives Schlussfolgern, bei denen Abbildungen in Forschungsarbeiten oft implizite Fragen auslösen, die zur Lösung die Integration visueller Muster mit textuellem Kontext erfordern.

Bestehende Datensätze unterscheiden nicht zwischen Fragen, die allein durch eine Abbildung beantwortet werden können, und solchen, die multimodales Schlussfolgern (Text + Abbildung) erfordern. Folglich generieren Modelle oft generische, oberflächliche Fragen oder scheitern daran, ihr Schlussfolgern im spezifischen Inhalt einer Abbildung zu „verankern", und verlassen sich stattdessen auf visuelle Priors oder generische Textmuster.

2. Methodik

A. Theoretischer Rahmen: Multimodale QUD

Die Autoren erweitern die linguistische Theorie der Fragen unter Diskussion (Questions Under Discussion, QUD) auf den multimodalen Bereich. In der Standard-QUD-Theorie ist der Diskurs um implizite Fragen organisiert, die durch Aussagen aufgeworfen und gelöst werden.

Erweiterung: In diesem Rahmen fungieren Abbildungen als Diskursbeteiligte, die implizite Fragen ( $Q_F$ ) aufwerfen, die durch den umgebenden Text ( $C_F$ ) zur Lösung beitragen.
Taxonomie: Die Autoren definieren sechs Fragearten, die an den multimodalen Diskurs angepasst sind:
1. Ursache: Warum tritt ein Muster auf?
2. Vergleich: Wie unterscheiden sich Elemente?
3. Ausmaß: In welchem Maße tritt ein Phänomen auf?
4. Konsequenz: Was sind die Implikationen?
5. Prozedural: Wie wird eine Methode erreicht?
6. Konzept: Was bedeutet eine visuelle Darstellung?
Unterscheidung: Sie kategorisieren Fragen in Abbildungsgetrieben (nur durch die Abbildung beantwortbar, z. B. Vergleich, Ausmaß) und Integration (erfordert Text + Abbildung, z. B. Ursache, Konsequenz).

B. Der MQUD-Datensatz

Die Autoren stellten MQUD zusammen, einen Datensatz mit 1.250 validierten multimodalen QUDs, die aus 56 wissenschaftlichen Papern aus den Bereichen NLP, Machine Learning und Astronomie abgeleitet wurden.

Generierung: Kandidatenfragen wurden mit GPT-4o generiert, konditioniert auf die Abbildung, Bildunterschrift, Abstract und relevante Textabschnitte.
Annotation: 17 ursprüngliche Paper-Autoren (Domänenexperten) annotierten die Daten über sieben Dimensionen:
- Relevanz: Ist die Frage für das Kernargument des Papers relevant?
- Nützlichkeit der Abbildung: Ist die Abbildung notwendig, um die Frage zu lösen?
- Antwortquelle: Kann die Abbildung allein die Frage beantworten, oder ist Text erforderlich?
- Korrektheit & Qualität: Faktizität und sprachliche Qualität.
Skalierung: 703 Fragen wurden von Menschen annotiert; die verbleibenden 547 wurden von einem validierten LLM-Richter (GPT-5-mini) annotiert, mit hoher Übereinstimmung (88 % Präzision bei der Korrektheit).

C. Diagnostika zur Verankerung (Grounding)

Um zu messen, ob Modelle den Abbildungsinhalt tatsächlich verstehen, stellten die Autoren zwei wiederverwendbare Diagnostika vor:

Relativer Informationsgewinn (rIG): Misst, wie viel schwieriger es ist, eine Frage vorherzusagen, wenn die Abbildung entfernt wird ( $L_{text-only} - L_{multimodal}$ ). Ein hoher rIG-Wert zeigt an, dass das Modell sich auf die Abbildung verlässt.
Abbildungs-Tausch-Diagnostik: Testet die inhaltsspezifische Verankerung. Das Modell erhält den korrekten Text, aber eine falsche Abbildung aus demselben Paper.
- Hypothese: Wenn ein Modell eine echte Verankerung besitzt, sollte eine falsche Abbildung die Leistung stärker beeinträchtigen als das Fehlen einer Abbildung (da das Modell spezifische visuelle Hinweise erwartet). Wenn es sich auf generische visuelle Priors verlässt, könnte eine falsche Abbildung dennoch helfen.

D. Modelltraining

Die Autoren fine-tunten Qwen3.5-9B mittels LoRA auf dem MQUD-Datensatz. Das Trainingsziel war die Generierung der impliziten Frage ( $Q_F$ ) gegeben den auslösenden Kontext (Titel, Abstract, Abbildung, Bildunterschrift).

3. Hauptbeiträge

MQUD-Datensatz: Der erste Datensatz, der explizit neugierige Fragen abzielt, die aus Abbildungs-Text-Interaktionen in wissenschaftlichen Papern entstehen, annotiert von den ursprünglichen Autoren hinsichtlich wissenschaftlicher Nützlichkeit.
Multimodales QUD-Framework: Eine formale Erweiterung der QUD-Theorie auf multimodalen Diskurs, die zwischen abbildungsgetriebenen und Integrations-Fragen unterscheidet.
Neuartige Diagnostika: Einführung der rIG- und Abbildungs-Tausch-Metriken, um rigoros zu testen, ob VLMs eine inhaltsspezifische Verankerung besitzen und nicht nur visuelle Sensitivität.
Empirische Evidenz: Nachweis, dass Fine-Tuning auf MQUD das Modellverhalten von generischen visuellen Abfragen hin zu tiefgreifendem, kontextbewusstem wissenschaftlichem Nachfragen verschiebt.

4. Ergebnisse

Leistung bei Diagnostika

Inhaltsspezifische Verankerung (Tausch-Test):
- Baseline (Zero-shot GPT-4o/Qwen): Zeigte eine „generische Verzerrung". Bei einer falschen Abbildung war der Verlust niedriger als bei keiner Abbildung ( $\Delta < 0$ ), was bedeutet, dass sie sich auf generische visuelle Hinweise statt auf spezifischen Inhalt verließen. Nur 18 % der Fälle zeigten inhaltsspezifische Verankerung (falsche Abbildung schadet mehr als keine Abbildung).
- SFT-Modell: Nach dem Fine-Tuning zeigten 76 % der Fälle inhaltsspezifische Verankerung ( $\Delta > 0$ ). Das Modell wurde für nicht übereinstimmende Abbildungen bestraft, was beweist, dass es gelernt hat, sich auf spezifische visuelle Details zu verlassen.
Visueller Informationsgewinn (rIG):
- Der rIG-Score stieg von 0,60 (Base) auf 0,97 (SFT), was zeigt, dass das Modell für die Fragegenerierung signifikant stärker von der Abbildung abhängig wurde.
- Ablation: Ein text-only SFT-Modell erreichte hohe Tauschraten (76 %), aber einen niedrigen rIG (0,27), was beweist, dass hohe Tauschraten allein keine visuelle Verankerung garantieren; das Modell muss die visuellen Informationen tatsächlich nutzen.

Fragenqualität

Tiefe: SFT-generierte Fragen wurden von menschlichen Experten in 75 % der Fälle bezüglich „Tiefe" und in 78 % bezüglich „Vielfalt" gegenüber Baselines bevorzugt.
Stil: Das Basis-Modell produzierte oft ausführliche Meta-Kommentare vor dem Stellen einer Frage. Das SFT-Modell generierte prägnante, abbildungsverankerte Fragen (z. B. Fragen nach dem Warum eines Musters statt nach dem Was).
Vergleich mit GPT-4o: Obwohl GPT-4o empfindlich auf Abbildungen reagiert (rIG = 0,72), fehlt ihm die inhaltsspezifische Verankerung (18 % Tausch-Positivität). Das Fine-Tuning schloss diese Lücke und erreichte sowohl hohe Sensitivität als auch Spezifität.

5. Bedeutung

Fortschritt in der wissenschaftlichen KI: Diese Arbeit geht über einfaches „visuelles QA" (Lesen eines Diagramms) hinaus hin zu „wissenschaftlicher Ideation" (Fragen, warum ein Diagramm wichtig ist). Dies ist entscheidend für die Entwicklung von KI-Agenten, die bei wissenschaftlichen Entdeckungen wirklich unterstützen können.
Auditierung von VLMs: Die vorgeschlagenen Diagnostika (rIG und Swap) bieten eine robuste Methode, um zu prüfen, ob VLMs halluzinieren oder ihr Schlussfolgern tatsächlich in visuellen Daten verankern – ein kritischer Schritt für zuverlässige wissenschaftliche Anwendungen.
Diskurstheorie: Sie verbindet erfolgreich linguistische Diskurstheorie (QUD) mit Computer Vision und bietet ein neues Paradigma zum Verständnis, wie Menschen und Maschinen multimodale wissenschaftliche Literatur verarbeiten.
Zukünftige Anwendungen: Das Framework und der Datensatz dienen als Grundlage für den Aufbau fortschrittlicher wissenschaftlicher Leseassistenten, rigoroserer QA-Benchmarks und Werkzeuge zur Auditierung der Schlussfolgerungsfähigkeiten großer multimodaler Modelle.