🤖 AI

SeePhys Pro: Diagnosing Modality Transfer and Blind-Training Effects in Multimodal RLVR for Physics Reasoning

Die Arbeit stellt SeePhys Pro vor, einen Benchmark, der zeigt, dass aktuelle multimodale Modelle Schwierigkeiten mit dem Modality-Transfer von Text zu Bildern haben, und belegt, dass scheinbare Fortschritte durch multimodales RLVR-Training häufig auf verbliebenen textuellen Hinweisen statt auf echtem visuellen Schlussfolgern beruhen.

Ursprüngliche Autoren: Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhe

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhen, Dandan Tu, Yinya Huang, Xiaodan Liang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Schüler darin, wie man ein Physikproblem löst. Sie haben zwei Möglichkeiten, ihm die Informationen zu geben:

Die Lehrbuchmethode: Sie schreiben das Problem in Worten aus, beschreiben den Aufbau, die Zahlen und die Regeln.
Die Diagrammmethode: Sie zeichnen eine Skizze des Aufbaus, beschriften die Teile und schreiben die Zahlen direkt in die Zeichnung.

Intuitiv würde man erwarten, dass ein intelligenter Schüler das Problem gleichermaßen gut löst, egal ob Sie ihm die Worte oder das Bild geben, solange die Informationen identisch sind. Doch dieses Papier, SEEPHYS PRO, hat herausgefunden, dass dies für aktuelle KI-Modelle nicht zutrifft. Tatsächlich schneiden sie deutlich schlechter ab, wenn Sie von Worten zu Bildern wechseln.

Hier ist eine Aufschlüsselung dessen, was die Forscher mit einfachen Analogien gefunden haben.

1. Der Test „Gleiche Geschichte, anderes Format"

Die Forscher haben einen speziellen Test namens SEEPHYS PRO entwickelt. Denken Sie daran wie an eine „Übersetzungs-Herausforderung" für KI.

Für jedes einzelne Physikproblem erstellten sie vier Versionen, die exakt dieselbe Geschichte erzählen, aber die Art und Weise ändern, wie die Informationen präsentiert werden:

Level 1 (Nur Text): „Ein Block wiegt 5 kg und befindet sich auf einer Rampe." (Alle Informationen sind in Worten).
Level 2 (Struktur im Bild): Sie zeichnen die Rampe und den Block, aber der Text sagt immer noch „5 kg". (Die Form ist ein Bild, die Zahlen sind Worte).
Level 3 (Variablen im Bild): Sie zeichnen die Rampe, den Block und schreiben „5 kg" direkt auf den Block im Bild. (Sowohl die Form als auch die Zahlen befinden sich nun im Bild).
Level 4 (Vollbild): Das gesamte Problem, einschließlich der Anweisungen und Zahlen, ist handschriftlich auf einem Blatt Papier notiert und als ein einziges Bild eingescannt.

Die Entdeckung:
Als die KI-Modelle diese Tests durchführten, sank ihre Leistung wie ein Stein, sobald die Informationen von Text zu Bildern wechselten.

Der Engpass „Lesen des Labels": Der größte Leistungsabfall trat bei Level 3 auf. Dies ist der Moment, in dem die KI das Bild betrachten und die Variablen „verankern" musste (z. B. „Okay, diese gewellte Linie ist ein Draht, und die Zahl '12' daneben bedeutet 12 Volt").
Die Analogie: Stellen Sie sich einen Koch vor, der ein schriftliches Rezept perfekt befolgen kann (Level 1). Wenn Sie ihm ein Foto der Zutaten mit Beschriftungen geben (Level 3), vergisst er plötzlich, wie man kocht. Er kann das Bild sehen, aber er kann das Label „2 Tassen Mehl" nicht mit der tatsächlichen Mehlpackung auf dem Foto verbinden. Er wird durch die visuelle Bindung verwirrt.

2. Das Experiment „Training mit verbundenen Augen"

Die Forscher stellten dann eine zweite Frage: Wenn wir diese KIs mit Reinforcement Learning (RL) an Tausenden von Physikproblemen mit Bildern trainieren, werden sie dann besser darin, die Bilder zu lesen?

Um dies zu testen, richteten sie ein „Blind-Training"-Experiment ein.

Normales Training: Die KI sieht den Problemtext und das Bild.
Blindes Training: Die KI sieht den Problemtext, aber das Bild ist vollständig schwarzgedeckt (maskiert). Es ist wie das Trainieren eines Schülers, der Physikprobleme löst, während er eine Augenbinde trägt, aber der Lehrer ihm weiterhin dieselben Belohnungen für die „richtige Antwort" gibt.

Das schockierende Ergebnis:
Obwohl die KI überhaupt keine Bilder sah (nur schwarze Bildschirme), wurde sie dennoch besser darin, die unmaskierten Tests zu lösen, bei denen Bilder vorhanden waren.

Die Analogie: Stellen Sie sich einen Schüler vor, der für eine Fahrprüfung übt, während er in einem Auto sitzt, dessen Fenster schwarz angemalt sind. Er sieht die Straße nie. Doch wenn er schließlich den echten Test mit offenen Fenstern macht, fährt er besser.
Warum? Die Forscher fanden heraus, dass die KI nicht lernte, die „Straße zu sehen". Stattdessen lernte sie Abkürzungen. Sie memorisierte Muster im Text, den Stil der Fragen oder die typischen Antworten. Sie lernte, die richtige Antwort basierend auf der „Vibe" des Textes zu erraten, nicht durch eine tatsächliche Analyse des visuellen Diagramms.

3. Der „Magische Trick" der Genauigkeit

Das Papier kommt zu dem Schluss, dass wir, wenn wir sehen, dass die Punktzahl einer KI steigt, nicht einfach jubeln sollten. Wir müssen fragen: Hat sie tatsächlich gelernt zu sehen, oder wurde sie nur besser darin, basierend auf Texthinweisen zu raten?

Der „Blind-Gewinn": Die KI verbesserte ihre Punktzahl, selbst wenn die Trainingsbilder nutzlos waren (schwarz). Dies beweist, dass die Verbesserung aus dem Text und den Mustern des Datensatzes stammte, nicht aus dem visuellen Verständnis.
Die Lücke bleibt: Selbst nach dem Training hatte die KI immer noch mehr Schwierigkeiten mit den bildlastigen Versionen (Level 3 und 4) als mit den reinen Textversionen. Die „Modalitätslücke" (der Unterschied zwischen Textleistung und Bildleistung) schloss sich nicht.

Zusammenfassung

Das Problem: Aktuelle KI-Modelle sind „textlastig". Sie sind großartig darin, Physikprobleme zu lesen, aber schrecklich darin, sie zu „sehen", insbesondere wenn sie Zahlen und Beschriftungen direkt aus einem Diagramm ablesen müssen.
Die Falle: Standard-Trainingsmethoden (Reinforcement Learning) können die KI durch die Verbesserung ihrer textbasierten Ratfähigkeiten schlauer wirken lassen, selbst wenn sie niemals tatsächlich lernt, die visuellen Beweise zu interpretieren.
Die Lehre: Um eine KI wirklich „sehen" zu lassen, können wir nicht nur messen, ob sie die richtige Antwort erhält. Wir müssen testen, ob sie die richtige Antwort erhält, weil sie spezifisch das Bild betrachtet hat, und nicht nur, weil sie das Textmuster erkannt hat.

Das Papier sagt im Wesentlichen: Lassen Sie sich nicht von hohen Punktzahlen täuschen. Wenn eine KI ein Problem lösen kann, ohne auf das Bild zu schauen, hat sie nicht wirklich gelernt zu sehen.

Technische Zusammenfassung: SEEPHYS PRO

Problemstellung

Multimodale KI-Systeme stehen vor einer kritischen Herausforderung in Bezug auf die Konsistenz der Modalitäten: der Fähigkeit, identische Schlussfolgerungsverhalten beizubehalten, wenn äquivalente Informationen in unterschiedlichen Formen präsentiert werden (z. B. Text versus Diagramme). Aktuelle Benchmarks bewerten Modelle häufig nur anhand eines einzigen Eingabeformats, wodurch verschleiert wird, ob Verbesserungen der Genauigkeit der finalen Antwort auf genuine, representationsinvariante Schlussfolgerungen oder auf modalitätsspezifische Abkürzungen zurückzuführen sind. Diese Lücke ist in der Physik besonders akut, da Diagramme oft die Struktur des physikalischen Systems und die Variablenbindungen definieren, anstatt lediglich Text zu illustrieren. Bestehende Evaluierungen haben Schwierigkeiten, zwischen Fehlern bei der Diagrammwahrnehmung, dem Lesen von Variablen, der physikalischen Abstraktion und der nachgelagerten symbolischen Schlussfolgerung zu unterscheiden.

Methodik

1. SEEPHYS PRO Benchmark

Die Autoren stellen SEEPHYS PRO vor, einen fein abgestimmten Benchmark für Modalitätsübertragung, der auf dem Prinzip „gleiche Physik, unterschiedliche Darstellung" basiert.

Design: Jedes ursprüngliche Physikproblem wird in vier semantisch abgestimmte Varianten transformiert, die die aufgabenkritischen Informationen schrittweise von Sprache in Vision verschieben:
- Level 1 (L1): Nur Text (alle Struktur, Variablen und Größen in Sprache).
- Level 2 (L2): Struktur im Bild (physikalische Topologie/Beziehungen im Bild; Variablen bleiben im Text).
- Level 3 (L3): Struktur + Variablen im Bild (Diagramm enthält Beschriftungen und numerische Werte).
- Level 4 (L4): Vollständig gerendertes Bild (Problembeschreibung, Formeln und Diagramm in einen einzigen visuellen Eingabewert umgewandelt, einschließlich handschriftlichen Textes).
Datenerstellung: Abgeleitet von über 5.000 PDF-Seiten aus öffentlichen Datensätzen, Lehrbüchern, Olympiaden und Prüfungen. Der Datensatz enthält 1.000 Ausgangsfragen (insgesamt 4.000 Varianten), die sechs physikalische Disziplinen abdecken (Mechanik, Elektromagnetismus, Optik, Thermodynamik, Wellen, Moderne Physik).
Metriken: Der Benchmark definiert spezifische Metriken zur Zerlegung der Leistung:
- Transferlücken: $\Delta S$ (struktureller Transfer L1→L2), $\Delta V$ (Variablenverankerung L2→L3), $\Delta R$ (Rendering L3→L4) und $\Delta T$ (Gesamtlücke).
- Konsistenz: Der Prozentsatz der Probleme, die gleichzeitig über alle vier Level hinweg korrekt gelöst werden.

2. Diagnostik während des Trainings (Blindes Training)

Um zu untersuchen, ob Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) die visuelle Verankerung tatsächlich verbessert oder lediglich statistische Abkürzungen ausnutzt, entwickelten die Autoren zwei groß angelegte Physik-RL-Korpora (PhysRL-40K und PhysRL-8K).

Kontrollgruppe für blindes Training: Eine negative Kontrollbedingung, bei der alle Trainingsbilder maskiert (durch schwarze Bilder ersetzt) werden, wodurch die Trainingsinstanzen visuell unlösbar werden.
Vergleich: Modelle werden mittels Standard-RL (mit Bildern) und Blind-RL (ohne Bilder) trainiert und an unmaskierten Validierungssätzen evaluiert.
Mechanismusanalyse: Die Autoren setzen Textlöschung, gezielte Textlöschung, Ablation der Bild-Maskierungsrate und Format-Sättigungskontrollen ein, um die Quellen von Leistungssteigerungen beim blinden Training zu isolieren.

Hauptergebnisse

Fragilität zur Inferenzzeit

Die Evaluierung über 15 geschlossene und offene Multimodale Large Language Models (MLLMs) hinweg zeigt eine signifikante Fragilität unter Modalitätsübertragung:

Leistungsverschlechterung: Die durchschnittliche Genauigkeit sinkt von 49,2 % (L1) auf 35,8 % (L4), was zu einer durchschnittlichen gesamten Transferlücke von 13,4 Prozentpunkten führt.
Engpass bei der Variablenverankerung: Der größte Leistungsabfall tritt während Level 2→Level 3 auf ( $\Delta V = 7,4$ ), wo Modelle Variablen und Beschriftungen aus dem Bild verankern müssen. Dies zeigt, dass das Erkennen der Diagrammstruktur weniger problematisch ist als das Lesen und die Bindung spezifischer numerischer Größen an physikalische Entitäten.
Inkonsistenz: Selbst fortschrittlichste Modelle (z. B. GPT-5.4, Claude-4.7-Opus) weisen eine niedrige Vier-Wege-Konsistenz auf (z. B. 32,6 % für GPT-5.4), was bedeutet, dass ein Modell, das ein textbasiertes Problem löst, oft versagt, wenn dasselbe Problem visuell präsentiert wird.
Menschliche Basislinie: Menschliche Oberschüler (54,0 % L1) zeigen eine größere Robustheit; ihre Leistung verbessert sich sogar leicht beim Übergang von Text zu Struktur (L1→L2), während Modelle degradieren.

Diagnostik während des Trainings

Gewinne durch blindes Training: Überraschenderweise verbessert Blind-RL (Training mit maskierten Bildern) die Genauigkeit an unmaskierten Validierungssätzen. Für Qwen3-VL-4B erhöhte Blind-RL die Genauigkeit auf Level 1 von 9,9 % auf 20,9 % und auf Level 4 von 6,4 % auf 13,0 %.
Fehlende Schließung der Lücken: Trotz Genauigkeitsgewinnen schließt Blind-RL die Modalitätsübertragungslücken nicht. Die Gesamtlücke ( $\Delta T$ ) und die Lücke der Variablenverankerung ( $\Delta V$ ) bleiben groß oder vergrößern sich sogar nach dem Training.
Mechanismus der Gewinne: Die Mechanismusanalyse zeigt, dass die blinden Gewinne durch restliche textuelle Hinweise (z. B. Problemtemplates, Antwortoptionen, numerische Bereiche) und datensatzweite statistische Regelmäßigkeiten getrieben werden und nicht durch valide visuelle Evidenz.
- Das Löschen von Text aus den Trainingsdaten eliminiert die blinden Gewinne.
- Die blinden Gewinne bleiben bestehen, selbst wenn Formatbelohnungen gesättigt sind, was einfache Formatkonformität als alleinige Ursache ausschließt.
Validierung über Benchmarks hinweg: Diese Erkenntnisse erstrecken sich auf externe Mathematik- und Physik-Benchmarks (z. B. MathVerse, PhyX), was darauf hindeutet, dass Outcome-only-RL oft nicht-visuelle Abkürzungen verstärkt, anstatt eine echte visuelle Verankerung zu fördern.

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass aktuelle Evaluierungen multimodaler Schlussfolgerungen unzureichend sind, wenn sie sich ausschließlich auf die Genauigkeit der finalen Antwort verlassen. Die Autoren behaupten:

Repräsentationsinvarianz fehlt: Fortschrittliche MLLMs sind noch keine representationsinvarianten Schlussfolgerer; sie reagieren hochsensibel darauf, wie Informationen kodiert sind, wobei die Variablenverankerung eine primäre Fehlerart darstellt.
Grenzen von RLVR: Reinforcement Learning mit reinen Ergebnisbelohnungen kann die Benchmark-Leistung verbessern, ohne tatsächlich die Fähigkeit des Modells zu steigern, visuelle Evidenz zu nutzen. Die im Standard-RL beobachteten „Gewinne" stammen möglicherweise weitgehend daraus, dass das Modell lernt, textuelle und distributionelle Abkürzungen auszunutzen, anstatt zu lernen, Schlussfolgerungen in Bildern zu verankern.
Notwendigkeit der Diagnostik: Zukünftige Forschung muss multimodale Schlussfolgerungen durch Robustheit der Modalitätsübertragung und Diagnostik der Verankerung während des Trainings (wie Kontrollen für blindes Training) evaluieren, um zwischen genuinem visuellem Lernen und leistungssteigernden Abkürzungen zu unterscheiden.

Die Arbeit unterstreicht die Notwendigkeit von Benchmarks und Trainingsprotokollen, die explizit testen, ob Verbesserungen auf aufgabenkritischer visueller Evidenz beruhen, und nicht nur darauf, ob das Modell die richtige Antwort durch alternative, nicht-visuelle Pfade finden kann.