Assessment of Evolving Large Language Models in Upper Secondary Mathematics
Diese Studie zeigt, dass sich die sich entwickelnden großen Sprachmodelle in ihrer mathematischen Kompetenz rasant verbessert haben, indem sie von einer moderaten Leistung zu nahezu perfekten Ergebnissen bei der finnischen Abiturprüfung gelangt sind, was damit ihr Potenzial als leistungsstarke Werkzeuge zur Unterstützung des Mathematikunterrichts unterstreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie beobachten ein Rennen, bei dem die Läufer keine Menschen sind, sondern verschiedene Versionen von „Super-Gehirnen“ (Large Language Models oder LLMs). Die Rennstrecke, auf der sie laufen, ist die finnische Abiturprüfung in Mathematik, ein notorisch schwieriger Test, der darüber entscheidet, ob Schüler an die Universität zugelassen werden.
Hier ist die Geschichte, wie diese digitalen Läufer von stolpernden Anfängern zu perfekten Champions wurden, basierend auf dem Forschungspapier.
Die Startlinie: Die „Baby“-Phase (August 2023)
Zu Beginn des Rennens waren die KI-Läufer wie Schüler, die gerade erst angefangen haben, Algebra zu lernen.
- Der Läufer: Eine frühe Version von OpenAI's GPT-4.
- Das Ergebnis: Es erreichte eine Punktzahl von 64 von 120. Im finnischen Notensystem ist das eine Bestehensgrenze, aber eine niedrige (Note „E“). Es war wie ein Schüler, der den Kurs bestanden hat, aber gerade so durch die Prüfung gekommen ist.
- Der Konkurrent: Googles „Bard“ lag noch weiter zurück und erreichte eine 34 (Note „C“), was einem Schüler entspricht, der die Prüfung nicht bestanden hat.
In dieser Phase stellt das Papier fest, dass diese KI-Modelle gut in einfachen Dingen waren, aber mit der komplexen Logik kämpften, die für die Mathematik der Oberstufe erforderlich ist. Sie waren wie Taschenrechner, die manchmal vergaßen, wie man multipliziert.
Das Trainingslager: Schlauer werden (Ende 2023 – Anfang 2024)
Die Forscher schauten einige Monate später wieder nach. Die KI-Läufer hatten hart „trainiert“.
- Das Upgrade: Die KI lernte, Werkzeuge zu benutzen, speziell eine Programmiersprache namens Python. Stellen Sie sich das wie einen Läufer vor, dem plötzlich erlaubt wird, ein hochmodernes Fahrrad statt nur zu Fuß zu rennen.
- Das Ergebnis: Bis Ende 2023 sprintete der GPT-4-Läufer auf eine 93 von 120 und erhielt die Bestnote („L“). Es konnte nun knifflige Geometrie-Probleme lösen, die mit dem 3D-Raum zu tun haben und die es zuvor für unmöglich hielt.
- Die Lücke: Doch nicht alle Läufer verbesserten sich im gleichen Tempo. Anfang 2024 steckte eine kostenlose Version von Googles KI noch im Mittelfeld fest, während die bezahlten Versionen von OpenAI und Microsofts KI das Rennen anführten.
Die Ziellinie: Die „Superhuman“-Ära (Januar 2025)
Als die Forscher Anfang 2025 den abschließenden Test durchführten, hatte sich das Rennen komplett verändert. Die KI-Läufer waren nicht mehr nur wettbewerbsfähig; sie sprengten die Bestenliste.
- Die neuen Champions: Zwei neue Läufer, DeepSeek R1 und OpenAI's o3, überquerten die Ziellinie mit einer perfekten Punktzahl von 120 von 120.
- Die Bedeutung: Diese Modelle haben nicht nur die Prüfung bestanden; sie haben höher punktet, als es fast jeder menschliche Schüler je getan hat. Tatsächlich würden diese KI-Modelle, wenn sie heute echte Schüler wären, die sich an finnischen Universitäten bewerben, in den kompetitivsten Studiengängen (wie Medizin oder Ingenieurwesen) angenommen werden und wahrscheinlich ganz oben im Bewerberpool stehen.
Wie wurden sie so schnell? (Das Geheimrezept)
Das Papier erklärt, dass diese Modelle nicht einfach nur mehr „auswendig gelernt“ haben. Sie haben die Art und Weise geändert, wie sie denken.
- Chain of Thought (Gedankenkette): Stellen Sie sich vor, ein Mensch löst ein schwieriges Rätsel. Er rät nicht einfach die Antwort; er hält inne, denkt Schritt für Schritt nach, überprüft seine Arbeit und korrigiert Fehler, wenn er stecken bleibt. Die neuen KI-Modelle (wie OpenAI's „o1“ und „o3“) machen dasselbe. Sie simulieren einen „Denkprozess“, bevor sie antworten, was es ihnen ermöglicht, ihre eigenen Fehler abzufangen.
- Selbstkorrektur: Ältere Modelle waren wie ein Schüler, der eine Antwort schreibt und sie sofort abgibt. Die neuen Modelle sind wie ein Schüler, der einen Entwurf schreibt, einen Fehler bemerkt, die Lösung umschreibt und dann erst abgibt. Dieses „deliberative“ Denken ist es, was ihnen ermöglichte, perfekte Punktzahlen zu erreichen.
Das Fazit
Das Papier kommt zu dem Schluss, dass sich das „mathematische Gehirn“ dieser KI-Tools in nur zwei Jahren unglaublich schnell entwickelt hat.
- Was sie können: Sie können nun anspruchsvolle, schwierige Mathe-Prüfungen besser lösen als der durchschnittliche menschliche Schüler und oft perfekte Punktzahlen erreichen.
- Was das Papier als Nächstes fragt: Das Papier behauptet nicht, dass diese KIs schon bereit sind, Lehrer zu sein. Es fragt: Nur weil sie das Problem perfekt lösen können, können sie es auch einem verwirrten Schüler auf hilfreiche Weise erklären? Das Papier deutet an, dass während der Teil des „Lösens“ gemeistert wurde, der Teil des „Lehrens“ die nächste große Herausforderung ist.
Kurz gesagt: Die KI entwickelte sich in Rekordzeit von einem kämpfenden Schüler zu einem Mathe-Genie, aber die Frage ist nun, ob sie ein guter Tutor sein kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.