💻 computer science

Sci-Rho: A Multilingual Visually-Grounded Symbolic Benchmark for STEM Problems

Dieses Paper führt Sci-Rho ein, einen multilingualen, visuell fundierten symbolischen Benchmark, der 4.242 ausführbare STEM-Problemvorlagen über fünf Fachbereiche und sieben Sprachen umfasst, welcher signifikante Robustigkeitslücken bei hochmodernen Vision-Language-Modellen aufzeigt, wenn diese gegenüber Worst-Case-Variationen anstatt gegenüber statischen Durchschnittswerten evaluiert werden.

Ursprüngliche Autoren: Muhammad Falensi Azmi, Ikhlasul Akmal Hanif, Vallerie Alexandra Putra, Adi Yeltay, Abdullah Mubarak, Fajri Koto

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Muhammad Falensi Azmi, Ikhlasul Akmal Hanif, Vallerie Alexandra Putra, Adi Yeltay, Abdullah Mubarak, Fajri Koto

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie testen die Fähigkeit eines neuen Schülers, wissenschaftliche Probleme zu lösen. In der Vergangenheit gaben Forscher dem Schüler ein einzelnes, statisches Arbeitsblatt mit einem Bild und einer Frage. Wenn der Schüler sie richtig beantwortete, bestand er. Aber dieses Paper argumentiert, dass das so ist, als würde man einen Autofahrer nur auf einer leeren, geraden Straße testen. Es sagt einem nicht, ob er ein plötzliches Schlagloch, eine Umleitung oder andere Wetterbedingungen bewältigen kann.

Die Autoren dieses Papers, Sci-ρ, beschlossen, einen viel härteren, dynamischeren Fahrtest für KI-"Schüler" (speziell Vision-Language Models oder VLMs) zu entwickeln.

Hier ist eine einfache Aufschlüsselung dessen, was sie getan und was sie herausgefunden haben:

1. Der "Gestaltwandler"-Test (Der Datensatz)

Anstatt der KI 606 statische wissenschaftliche Fragen zu geben, bauten die Forscher eine digitale Fabrik.

Die Blaupause: Sie erstellten 606 "Templates" (Vorlagen) für Probleme in Mathematik, Physik, Chemie, Biologie und Informatik. Denken Sie an diese als Master-Blaupausen.
Die Fabrik: Sie schrieben Computercode (Python), der diese Blaupausen nimmt und sofort 10 leicht unterschiedliche Versionen jeder Aufgabe ausdruckt.
- Beispiel: Wenn eine Matheaufgabe nach der Fläche eines Quadrats fragt, druckt die Fabrik eine Version mit einer Seitenlänge von 5, eine andere mit 7, eine andere mit einer anderen Farbe oder sogar mit einer ganz anderen Form.
Der mehrsprachige Twist: Sie machten das nicht nur auf Englisch. Sie übersetzten die Anweisungen in 7 Sprachen (einschließlich Swahili, Hindi und Arabisch), während sie die Bilder gleich ließen.
Das Ergebnis: Sie endeten bei 42.420 einzigartigen Problemen. Es ist, als würde man der KI eine riesige Bibliothek geben, in der jedes Buch 10 verschiedene Ausgaben hat, die alle dieselbe Kernlogikfrage stellen, aber etwas anders aussehen.

2. Die "Durchschnitts"- vs. "Worst-Case"-Falle

Die Forscher testeten 17 verschiedene KI-Modelle mit dieser massiven Bibliothek. Sie betrachteten zwei Werte:

Durchschnittliche Genauigkeit (Average Accuracy): Wie oft die KI die Antwort über alle 10 Versionen einer Aufgabe hinweg richtig bekam.
Worst-Case-Genauigkeit (Worst-Case Accuracy): Wie oft die KI jede einzelne der 10 Versionen richtig beantwortete.

Die große Entdeckung:
Die KI-Modelle sahen beim "Durchschnitts"-Score großartig aus. Aber als die Forscher sich den "Worst-Case"-Score ansah, brachen die Modelle zusammen.

Die Analogie: Stellen Sie sich einen Schüler vor, der 9 von 10 Matheaufgaben richtig löst. Er wirkt klug. Aber wenn Sie ihn bitten, dieselben 10 Aufgaben noch einmal mit leicht anderen Zahlen zu lösen, und er diesmal 4 davon falsch macht, dann "denkt" er nicht wirklich durch die Mathematik hindurch. Er erkennt wahrscheinlich nur Muster oder rät basierend darauf, wie die Zahlen aussehen.
Das Ergebnis: Selbst die klügsten, teuersten KI-Modelle (wie GPT-5.4) zeigten eine riesige Lücke. Sie konnten ein Problem problemlos lösen, aber wenn man die Farbe eines Graphen oder die Zahlen leicht änderte, scheiterten sie oft. Kleinere, günstigere Modelle scheiterten noch heftiger.

3. Die Sprachbarriere

Die Forscher prüften, ob die KI mehr Schwierigkeiten hatte, wenn die Anweisungen in einer anderen Sprache als Englisch waren.

Die großen Modelle: Die riesigen, teuren Modelle waren wie Polyglotte; sie handhabten Englisch, Chinesisch und Swahili fast gleichermaßen gut.
Die kleinen Modelle: Die kleineren Open-Source-Modelle waren wie Touristen, die nur Englisch sprechen. Wenn die Anweisungen in eine weniger verbreitete Sprache wechselten (wie Swahili), sank ihre Leistung signifikant. Sie schienen allein durch den Sprachwechsel verwirrt zu sein, obwohl es sich um dasselbe wissenschaftliche Problem handelte.

4. Das "Augen vs. Gehirn"-Problem

Die Forscher schauten in eines der KI-Modelle hinein, um zu sehen, wie es "denkt". Sie maßen, wie viel Aufmerksamkeit das Modell dem Bild im Vergleich zum Text schenkte.

Das Ergebnis: Die Aufmerksamkeit des Modells verschob sich je nach Sprache.
- Wenn der Text auf Chinesisch war, verließ sich das Modell weniger auf das Bild und mehr auf den Text.
- Wenn der Text auf Kasachisch oder Hindi war, verließ sich das Modell stark auf das Bild.
Die Metapher: Es ist, als ob die KI denkt: "Ich verstehe diese Sprache nicht gut, also rate ich einfach basierend auf der Zeichnung." Wenn sie die Sprache perfekt versteht, vertraut sie den Worten mehr. Dies deutet darauf darauf hin, dass die KI das Bild nicht auf eine menschliche Weise "sieht", sondern das Bild nur als Krücke benutzt, wenn der Text verwirrend ist.

5. Wo die KI stecken blieb

Wenn die KI scheiterte, kategorisierten die Forscher die Fehler:

Das Bild falsch lesen (63 %): Die KI konnte nicht die Punkte in einem Diagramm zählen oder die Zahlen auf einem Graphen korrekt ablesen.
Schlechte Logik (29 %): Die KI kannte die richtige Formel, wandte sie aber auf das falsche Objekt an oder erfand Fakten, die gar nicht da waren.
Rechenfehler (8 %): Die KI hatte die Logik richtig verstanden, vertauschte aber bei der einfachen Arithmetik.

Das Fazkto (The Bottom Line)

Das Paper kommt zu dem Schluss, dass statische Tests uns anlügen. Nur weil eine KI ein spezifisches wissenschaftliches Problem einmal lösen kann, bedeutet das nicht, dass sie die Wissenschaft versteht. Sie könnte lediglich ein Muster erkennen, das sie während ihres Trainings gesehen hat.

Um wirklich zu wissen, ob eine KI intelligent ist, müssen wir den Tisch schütteln, die Zahlen ändern, die Sprachen austauschen und sehen, ob sie das Problem immer noch lösen kann. Wenn sie es nicht kann, dann denkt sie nicht nach, sondern sie rät nur. Sci-ρ ist das Werkzeug, das dazu dient, diesen Tisch zu schütteln.

Technisches Resümee: Sci-ρ: Ein multilingualer, visuell fundierter symbolischer Benchmark für STEM-Probleme

Problemstellung

Aktuelle Benchmarks zur Evaluierung von Large Vision-Language Models (VLMs) in STEM-Domänen leiden unter drei primären Limitationen:

Mangelnde Robustheitsbewertung: Die meisten existierenden Benchmarks verlassen sich auf statische Einzelbilder. Sie versäumen es, zwischen Modellen zu unterscheiden, die tatsächlich über visuellen Inhalt schlussfolgern, und solchen, die erfolgreich sind, weil sie Oberflächenmerkmale abgleichen, die während des Trainings gesehen wurden. Die visuelle Präsentation eines Problems (z. B. spezifische Koordinaten oder Farben) ist oft nebensächlich für dessen zugrunde liegende Logik; dennoch testen aktuelle Evaluationen nicht, ob Modelle in der Lage sind, logisch äquivalente Varianten mit unterschiedlichen visuellen Parametern zu lösen.
Enger Domänenumfang: Bestehende Bemühungen konzentrieren sich stark auf Mathematik und Physik, wodurch Biologie, Chemie und Informatik im Kontext visuell fundierter Argumentation weitgehend unerschlossen bleiben, trotz ihrer distinkten visuellen Anforderungen (z. B. molekulare Strukturen, biologische Diagramme).
Monolinguale Verzerrung (Bias): Evaluationen werden fast ausschließlich in Englisch durchgeführt, was es unklar lässt, ob sich die Fähigkeiten von VLMs auf die multilingualen Settings übertragen lassen, in denen Lernende und Praktiker die meisten STEM-Inhalte tatsächlich antreffen.

Methodik: Der Sci-ρ Benchmark

Um diese Lücken zu schließen, führen die Autoren Sci-ρ (Science Rhobustness) ein, einen dynamischen, symbolischen und multilingualen Benchmark für visuell fundierte STEM-Probleme.

Datensatz-Konstruktion

Der Datensatz wurde in zwei Phasen unter Beteiligung von Fachexperten erstellt, darunter Olympiaden-Medaillengewinner und fortgeschrittene Studenten.

Template-Erstellung: Es wurden 606 hochwertige Problem-Templates in fünf Fachbereichen (Mathematik, Physik, Chemie, Biologie und Informatik) erstellt, die auf den Cambridge IGCSE und A-Level Lehrplänen basieren. Jedes Problem ist als ausführbare Python-Klasse implementiert. Diese Klassen generieren dynamisch Probleminstanzen, indem sie variieren:
- Numerische Werte: Änderung von Zahlen in Text oder Bildern.
- Visuelle Muster: Änderung von Anordnungen (z. B. Objektpositionen).
- Geometrische Formen: Modifikation von Dimensionen oder Formen.
- Farbschemata: Änderung von Lösungskoloren oder Objektfarben.
- Funktionstypen: Wechsel zwischen linearen, quadratischen etc. Funktionen.
  Jedes Template garantiert mindestens 10 distinkte Varianten.
Übersetzung: Die Problembeschreibungen wurden unter Verwendung maschineller Übersetzung in sechs weitere Sprachen (Indonesisch, Chinesisch, Arabisch, Hindi, Kasachisch und Swahili) übersetzt, gefolgt von einer strengen Verifizierung durch Muttersprachler. Die Qualitätskontrolle beinhaltete „Honey-Pot“-Fehler, um die Genauigkeit der Übersetzer sicherzustellen.

Der fertige Datensatz umfasst 42.420 einzigartige Probleminstanzen (606 Templates × 10 Varianten × 7 Sprachen), jeweils gepaart mit Ground-Truth-Lösungen und schrittweisen Begründungsschritten in LaTeX.

Evaluationsrahmen

Die Autoren evaluierten 17 State-of-the-Art VLMs (darunter GPT-5.4, Gemini 2.5, Qwen3.5, Llama 4, InternVL und andere) anhand von sechs Metriken:

Durchschnittliche Genauigkeit ( $A_{avg}$ ): Die mittlere Genauigkeit über alle generierten Varianten hinweg.
Worst-Case-Genauigkeit ( $A_{wst}$ ): Der Anteil der Problem-Templates, bei denen das Modell jede Variante korrekt beantwortet hat. Dies misst die Konsistenz.
Schritt-basierte Metriken: Recall ( $R$ ), Precision ( $P$ ) und F1-Score ( $F$ ) für die Begründungsschritte, berechnet durch den Vergleich der Modellausgaben mit der Ground Truth unter Verwendung eines LLM-Judges (GPT-5.4).
Worst-Case Step F1 ( $F_{wst}$ ): Der minimale F1-Score über alle Varianten eines gegebenen Templates hinweg.
Image Attention Ratio (IAR): Eine mechanistische Analyse, die misst, wie viel relative Aufmerksamkeit VLMs Bild-Tokens gegenüber Text-Tokens während der Generierung zuweisen.

Kernergebnisse

1. Die Robustheitslücke

Es existiert eine signifikante Performance-Lücke zwischen der durchschnittlichen und der Worst-Case-Genauigkeit über alle Modelle hinweg.

Frontier-Modelle: Selbst Top-Tier-Modelle wie GPT-5.4 und Gemini 2.5 zeigen Einbußen von 10–28 % in der Worst-Case-Genauigkeit im Vergleich zu ihrer durchschnittlichen Genauigkeit. Beispielsweise sinkt die Genauigkeit von GPT-5.4 in Biologie von 72,2 % (Durchschnitt) auf 47,8 % (Worst-Case).
Kleinere Modelle: Kleinere Open-Weight-Modelle leiden unter einer schweren Degradation. In der Biologie kollabieren Modelle wie InternVL3.5-4B und Molmo2-4B unter Worst-Case-Bedingungen effektiv, wobei die Genauigkeit für bestimmte Varianten auf nahezu 0 % sinkt.
Architektur-Sensitivität: Das Qwen3.5-122B-A10B Modell (MoE-Architektur) zeigte eine signifikant niedrigere Worst-Case-Genauigkeit im Vergleich zu seinem 27B dichten Gegenstück, was darauf hindeutet, dass die Parameteranzahl allein keine Robustheit garantiert.

2. Multilinguale Performance

Proprietäre/Große Modelle: Große proprietäre Modelle (GPT-5.4, Gemini 2.5) und große Open-Weight-Modelle zeigen eine nahezu null Betrachtung der Performance-Degradation über Sprachen hinweg und halten ihre Robustheit in nicht-englischen Settings aufrecht.
Kleinere Modelle: Kleinere Open-Weight-Modelle weisen merkliche Performance-Einbußen in nicht-englischen Sprachen auf, insbesondere in ressourcenarmen Sprachen wie Swahili. Dies deutet darauf hin, dass die Repräsentation im Pretraining-Korpus die multilinguale Robustheit stark beeinflusst.

3. Analyse der Begründungsschritte

Die schrittweise Evaluation zeigt, dass die Fragilität der Argumentation ein allgemeines Phänomen ist und nicht auf kleinere Modelle beschränkt ist.

Konsistenz: Es gibt eine konsistente Lücke zwischen dem durchschnittlichen F1-Score und dem Worst-Case F1-Score. Selbst GPT-5.4 verliert unter Worst-Case-Bedingungen 13–20 Punkte im F1-Score.
Fachliche Schwierigkeit: Biologie bleibt das anspruchsvollste Fach über alle Modelle hinweg, gefolgt von Mathematik und Informatik, die die größten Einbußen bei der schrittweisen Konsistenz zeigen.

4. Mechanistische Erkenntnisse (Attention Heads)

Die Analyse der Attention Heads des Qwen3-VL-8B-Instruct Modells offenbart erhebliche cross-linguale Variationen in der Image Attention Ratio (IAR):

Sprachabhängigkeit: Das Modell verlässt sich weniger auf den visuellen Kontext, wenn es auf Chinesisch promptet wird (niedrigster IAR), und deutlich mehr, wenn es auf Kasachisch und Hindi promptet wird (höchster IAR).
Hypothese: Die Autoren hypothetisieren, dass eine höhere Sprachvertrautheit es dem Modell ermöglicht, sich stärker auf textuelle Inputs zu verlassen, während eine geringere Vertrautheit eine kompensatorische Abhängigkeit von visuellen Inputs erzwingt.

5. Fehlermodi

Eine manuelle Inspektion der GPT-5.4 Fehler identifizierte drei primäre Fehlertypen:

Ablesefehler bei Abbildungen (63,5 %): Versagen beim Extrahieren genauer numerischer Werte oder Fehlzählen von Objekten.
Wissensfehler (28,8 %): Fehlerhafte logische Schlussfolgerung, Halluzination nicht existenter Informationen oder Anwendung falscher Theoreme.
Rechenfehler (7,7 %): Arithmetische Fehler trotz korrekter Logik.

Bedeutung und Ansprüche

Das Paper behauptet, dass Sci-ρ der erste symbolische, multilinguale Robustheits-Benchmark für visuell fundierte STEM-Argumentation ist. Seine primäre Bedeutung liegt im Wechsel des Evaluationsparadigmas von statischem, Single-Instance-Testing hin zu dynamischer, variantenbasierter Bewertung.

Die Autoren argumentieren:

Statische Benchmarks sind unzureichend: Sie können nicht zwischen echtem Schlussfolgern und oberflächlichem Musterabgleich unterscheiden. Die große Lücke zwischen Durchschnitts- und Worst-Case-Genauigkeit legt die Fragilität aktueller VLMs offen.
Robustheit ist eine kritische Metrik: Wahre Kompetenz in STEM erfordert eine konsistente Performance über visuelle und numerische Perturbationen hinweg – eine Fähigkeit, die derzeit selbst in Frontier-Modellen fehlt.
Multilinguale Robustheit ist modellabhängig: Während große Modelle gut über Sprachen hinweg generalisieren, kämpfen kleinere Modelle damit, was die Notwendigkeit eines besseren multilingualen Pretrainings oder architektonischer Anpassungen unterstreicht.
Visuelle Fundierung ist inkonsistent: Die Variation in der Aufmerksamkeitsallokation über verschiedene Sprachen hinweg deutet darauf hin, dass VLMs visuelle und textuelle Informationen nicht einheitlich integrieren, sondern potenziell Text nutzen, wenn sie vertraut sind, und Bilder, wenn sie fremd sind.

Die Arbeit kommt zu dem Schluss, dass die Evaluierung von VLMs jenseits statischer Benchmarks essenziell ist, um deren wahre Qualität und Einsatzbereitschaft für rigorose STEM-Anwendungen zu messen.