The CompMath-MCQ Dataset: Are LLMs Ready for Higher-Level Math?

Die Studie stellt CompMath-MCQ vor, einen neuen Benchmark-Datensatz mit 1.500 von Professoren erstellten Multiple-Choice-Fragen zu fortgeschrittenen mathematischen Themen, der zeigt, dass aktuelle Large Language Models bei rechnerischer mathematischer Argumentation auf Hochschulniveau noch erhebliche Schwierigkeiten haben.

Das Wesentliche

Stell dir vor, du hast einen sehr schlauen Roboter, der riesige Mengen an Texten gelesen hat und jetzt behauptet, ein Genie in Mathematik zu sein. Bisher haben wir diesen Roboter nur mit einfachen Rechenaufgaben (wie „2 + 2") oder mit kniffligen Mathe-Olympiade-Rätseln getestet. Das war aber wie ein Probelauf: Entweder war es zu einfach, oder es war zu sehr auf das „Knobeln" ohne tiefes Verständnis ausgelegt.

Die Autoren dieses Papers haben sich gedacht: „Wie sieht es eigentlich aus, wenn wir den Roboter auf das Niveau eines echten Universitätsprofessors stellen?"

Hier ist die Geschichte ihrer Lösung, einfach erklärt:

1. Das Problem: Der „Fake-Test"

Bisherige Tests waren oft wie ein Lehrbuch, das der Roboter schon auswendig gelernt hat. Wenn ein Schüler für eine Prüfung lernt, aber die Fragen im Test genau aus demselben Buch stammen, weiß er die Antworten nicht wirklich, er hat sie nur auswendig gelernt. Das nennt man „Daten-Leckage".

Die Forscher wollten einen Test, bei dem der Roboter niemals die Fragen vorher gesehen hat. Sie wollten wissen: Kann er wirklich denken und verstehen, oder kann er nur raten?

2. Die Lösung: Der „CompMath-MCQ"-Test

Sie haben einen neuen Test entwickelt, den sie CompMath-MCQ nennen. Stell dir das wie eine große, geheime Prüfung vor, die speziell für diesen Roboter geschrieben wurde.

• Wer hat die Fragen geschrieben? Echte Professoren, die jeden Tag an der Universität Mathematik unterrichten.
• Worum geht es? Nicht um einfaches Rechnen, sondern um fortgeschrittene Themen wie:
  • Wie funktionieren komplexe Datenstrukturen? (Lineare Algebra)
  • Wie findet man den besten Weg in einem Labyrinth? (Optimierung)
  • Wie berechnet man Veränderungen in der 3D-Welt? (Vektorrechnung)
  • Und wie programmiert man das Ganze in Python?
• Das Format: Es sind Multiple-Choice-Fragen (A, B oder C). Warum? Stell dir vor, du musst einen Roboter bewerten. Wenn er eine lange, offene Antwort schreibt, ist es schwer zu sagen, ob sie „richtig" ist (vielleicht hat er einen kleinen Fehler gemacht, aber die Idee war gut?). Bei Multiple Choice ist es klar: Richtig oder Falsch. Kein Rätselraten, keine subjektive Bewertung.

3. Der „Qualitäts-Check": Wie man sicherstellt, dass die Fragen fair sind

Bevor sie den Test veröffentlichten, wollten sie sicherstellen, dass die Fragen nicht selbst fehlerhaft waren. Sie haben einen cleveren Trick angewendet:

Stell dir vor, du hast acht verschiedene Experten (die besten KI-Modelle der Welt). Du gibst ihnen alle die gleiche Frage.

• Wenn alle Experten die falsche Antwort wählen, dann ist wahrscheinlich die Frage selbst verwirrend formuliert oder die richtige Antwort ist falsch markiert.
• Wenn die Experten sich streiten, schauen sich die menschlichen Professoren die Frage genau an und korrigieren sie.

Erst nachdem dieser strenge „Doppel-Check" bestanden war, durften die Fragen in den finalen Test.

4. Das Ergebnis: Der Roboter ist gut, aber nicht perfekt

Als sie die besten KIs der Welt (wie GPT-5, Claude, Llama) diesen Test machen ließen, kam Folgendes heraus:

• Starke Seiten: Die Roboter waren hervorragend in Wahrscheinlichkeitsrechnung (Zufall und Statistik) und beim Programmieren (Python). Das ist wie ein Sportler, der im Sprint extrem schnell ist.
• Schwache Seiten: Bei Vektorrechnung (komplexe 3D-Mathematik) und bei der Linearen Algebra stolperten sie. Hier machen sie oft kleine, aber fatale Fehler, wie falsche Vorzeichen oder das Vergessen eines Zwischenschritts.
• Die Erkenntnis: Die KIs können Muster erkennen und raten, aber wenn es darum geht, mehrere komplexe Schritte präzise nacheinander durchzuführen (wie beim Lösen einer komplizierten Gleichung), verlieren sie manchmal den Faden.

Fazit: Was bedeutet das für uns?

Dieser Test ist wie ein neuer, ehrlicher Spiegel für Künstliche Intelligenz. Er zeigt uns:

1. KIs sind schon sehr weit, aber sie sind noch keine echten Mathematik-Genies auf Professoren-Niveau.
2. Sie brauchen noch mehr Übung im „präzisen Denken" und nicht nur im „Mustererkennen".
3. Wir haben jetzt einen fairen Maßstab, um zukünftige KIs zu testen, ohne dass sie die Antworten vorher aus dem Internet „gelesen" haben.

Kurz gesagt: Die KIs bestehen die Grundschule und die Mittelschule mit Bravour, aber im Graduiertenstudium (Master/PhD) müssen sie noch etwas lernen, bevor sie die Prüfung wirklich bestehen.

Technische Zusammenfassung

1. Problemstellung

Die aktuelle Evaluierung von Large Language Models (LLMs) im Bereich des mathematischen Denkens konzentriert sich überwiegend auf elementare Probleme (z. B. GSM8K), Wettbewerbsaufgaben (Olympiaden) oder formale Theorembeweise. Es fehlt jedoch ein standardisierter, lecksicherer Benchmark für fortgeschrittene, computergestützte Mathematik auf Master- und Promotionsniveau.

Bestehende Datensätze weisen folgende Mängel auf:

• Datenlecks: Viele Benchmarks nutzen öffentlich verfügbare Lehrbuchinhalte oder Online-Ressourcen, die bereits in den Trainingsdaten der Modelle enthalten sein könnten.
• Fokus: Olympiaden-Aufgaben testen oft kreative, nicht-standardisierte Lösungswege, während formale Beweise spezialisierte Werkzeuge erfordern.
• Evaluierungsprobleme: Freitext-Antworten (Open-Ended) führen zu Inkonsistenzen bei der Auswertung (z. B. durch heuristisches Matching oder subjektive menschliche Bewertung).
• Lücke: Es gibt kaum Benchmarks, die spezifisch angewandte und rechnerische Mathematik (Lineare Algebra, Numerische Optimierung, Vektoranalysis) in einem objektiven Multiple-Choice-Format abdecken.

2. Methodik

2.1. Datensatz: CompMath-MCQ

Die Autoren stellen CompMath-MCQ vor, einen neuen Benchmark-Datensatz mit 1.500 originär erstellten Multiple-Choice-Fragen.

• Ursprung: Alle Fragen wurden manuell von Professoren für Master-Studiengänge verfasst. Es wurden keine Inhalte aus bestehenden Lehrbüchern oder Repositorien übernommen, um Datenlecks (Data Leakage) vollständig auszuschließen.
• Thematische Verteilung: Der Datensatz deckt fünf Kernbereiche ab:
  • Lineare Algebra (22,1 %)
  • Numerische Optimierung (22,0 %)
  • Vektoranalysis (19,5 %)
  • Wahrscheinlichkeitstheorie (23,3 %)
  • Python-basiertes wissenschaftliches Rechnen (13,1 %)
• Format: Jede Frage bietet genau drei Antwortmöglichkeiten, von denen nur eine korrekt ist. Die Distraktoren (falsche Antworten) sind so konstruiert, dass sie typische Missverständnisse oder Rechenfehler auf Master-Niveau widerspiegeln.

2.2. Validierungsframework

Um die Qualität und Konsistenz des Datensatzes sicherzustellen, wurde ein zweistufiger Validierungsprozess entwickelt:

1. Automatisierte Screening-Phase: Acht verschiedene LLMs (drei geschlossene Modelle wie GPT-5, Claude Sonnet 4.5; fünf Open-Source-Modelle wie Llama-3.1, Qwen3-Varianten) beantworteten alle Fragen.
   • Es wurden Fehlerraten pro Frage und die Konsensrate falscher Antworten (ob Modelle systematisch denselben falschen Distraktor wählen) berechnet.
   • Fragen, bei denen mehrere Modelle inkonsistent oder systematisch falsch lagen, wurden als potenziell mehrdeutig oder fehlerhaft markiert.
   • Statistische Anomalien wurden mittels Binomialtests identifiziert.
2. Manuelle Expertenprüfung: Alle markierten Fragen wurden von den Autoren (Professoren) manuell überprüft, um mathematische Korrektheit, Eindeutigkeit der korrekten Antwort und das Fehlen von Mehrdeutigkeiten zu gewährleisten. Fehlerhafte Fragen wurden korrigiert oder entfernt.

2.3. Evaluierungsprotokoll

Die Auswertung erfolgte mit der lm-eval-Library:

• Open-Weight-Modelle: Nutzung von Log-Likelihood-Ranking. Anstatt Text zu generieren, wird die bedingte Log-Likelihood für jede der drei Antwortoptionen berechnet. Die Option mit dem höchsten Wert wird als Antwort gewählt. Dies eliminiert Parsing-Fehler und macht die Evaluierung deterministisch.
• Closed-Weight-Modelle: Da Logits nicht zugänglich sind, wurde ein Prompt-basierter Ansatz mit strikten Formatierungsanweisungen verwendet (Ausgabe nur als <Answer>0</Answer>, <Answer>1</Answer> oder <Answer>2</Answer>).

3. Wichtige Beiträge

1. Neuer Benchmark: Einführung von CompMath-MCQ als erster lecksicherer, curriculum-abgestimmter Benchmark für fortgeschrittene computergestützte Mathematik im Multiple-Choice-Format.
2. Robustes Validierungsframework: Entwicklung einer Methode, die statistische Analysen von Modell-Unstimmigkeiten mit manueller Expertenprüfung kombiniert, um die interne Konsistenz und Zuverlässigkeit des Datensatzes zu gewährleisten.
3. Baseline-Ergebnisse: Bereitstellung umfassender Evaluierungsergebnisse für State-of-the-Art-Modelle, die als Referenzpunkt für zukünftige Forschung dienen.

4. Ergebnisse

Die Baseline-Ergebnisse zeigen deutliche Unterschiede in den Fähigkeiten der Modelle:

• Gesamtleistung: Selbst die besten Modelle (z. B. GPT-5, Claude Sonnet 4.5, Qwen3-Coder 30B) erreichen keine perfekte Leistung, was zeigt, dass fortgeschrittenes mathematisches Rechnen eine große Herausforderung bleibt.
• Stärken: Modelle schneiden in Wahrscheinlichkeitstheorie und Python am besten ab (oft >90 %). Dies deutet darauf hin, dass diese Themen in den Trainingsdaten gut vertreten sind und dass Programmierfähigkeiten („Code-as-Thought") das mathematische Denken unterstützen.
• Schwächen: Vektoranalysis stellt die größte Hürde dar, selbst für leistungsstarke Modelle (z. B. 78,6 % bei Qwen3 30B, 83,5 % bei Gemini 3). Fehler treten hier häufig bei Vorzeichen, partiellen Ableitungen und der Kettenregel auf.
• Open vs. Closed: Spezialisierte Open-Source-Modelle (wie Qwen3-Coder 30B) nähern sich der Leistung proprietärer Modelle stark an. Math-spezifisch feinabgestimmte Modelle (Qwen2.5-Math) übertreffen oft größere, allgemeine Modelle (Llama-3.1 8B).

5. Bedeutung und Fazit

Das Paper unterstreicht, dass LLMs zwar in grundlegenden mathematischen Aufgaben und bei der Kombination von Code und Mathematik Fortschritte machen, aber bei komplexen, mehrstufigen symbolischen Manipulationen (insbesondere in der Vektoranalysis) noch erhebliche Defizite aufweisen.

Signifikanz:

• Verlässlichkeit: Durch die Eliminierung von Datenlecks bietet CompMath-MCQ eine ehrlichere Messung der Generalisierungsfähigkeit von Modellen.
• Objektivität: Das Multiple-Choice-Format ermöglicht eine reproduzierbare, verzerrungsfreie Evaluierung, die frei von den Unsicherheiten der Freitext-Auswertung ist.
• Zukunft: Der Datensatz dient als Testumgebung für die nächste Generation von Modellen, die in der Lage sein müssen, nicht nur kreative Lösungen zu finden, sondern auch präzise, technische und rechnerische Mathematik auf akademischem Niveau zu beherrschen.