Testing the capability and performance of Claude Sonnet 4 on the GRE physics test

Technische Zusammenfassung: Benchmarking von Claude Sonnet 4 bei der GRE Physics Prüfung

Problemstellung
Da Künstliche Intelligenz (KI) zunehmend in den K–12- und Hochschulbereich integriert wird, besteht die Notwendigkeit, die Fähigkeiten von Large Language Models (LLMs) bei der Lösung komplexer wissenschaftlicher Probleme und beim Nachweis kritischen Denkens zu bewerten. Während bisherige Forschungen darauf hindeuten, dass allgemeine KI-Modelle oft Schwierigkeiten mit physikalischen Problemen der Oberstufe von Universitäten haben (mit einer Genauigkeit von nur 35–39 % in Bereichen wie Optik und Thermodynamik), deuten neuere spezialisierte Modelle, die durch fortschrittliche Verarbeitungskapazitäten verbessert wurden, auf ein gesteigertes Potenzial hin. Diese Studie zielte darauf ab, die Leistung von Claude Sonnet 4, einem von Anthropic entwickelten LLM, gegenüber einer standardisierten, graduierten Physik-Bewertung zu evaluieren, um zu bestimmen, ob es eine Genauigkeitsrate von über 90 % bei komplexen Problemlösungsaufgaben erreichen kann.

Methodik
Die Forscher verwendeten eine öffentlich verfügbare 70-Fragen-GRE-Physics-Übungsprüfung (Form GR1775), die vom Educational Testing Service (ETS) bereitgestellt wurde. Die Studie wandte das folgende Protokoll an:

• Modell: Claude Sonnet 4, das zum Zeitpunkt der Untersuchung als das fortschrittlichste kostenlose Modell von Anthropic identifiziert wurde.
• Input: Jede der 70 Fragen wurde dem Modell einzeln als Screenshot übermittelt, ohne zusätzlichen Text oder Kontext bereitzustellen.
• Bewertungsprotokoll: Die Antworten wurden mit dem offiziellen ETS-Antwortschlüssel verglichen. Aufgrund von Nachrichtenlimits wurden mehrere Chat-Sitzungen initiiert, um alle Fragen zu bearbeiten. Teilpunkte wurden vergeben, wenn das Modell beim ersten Versuch falsch antwortete, aber beim zweiten Versuch korrekt; andernfalls wurden die Fragen als vollständig falsch gewertet.
• Analyse: Die Gesamtzahl der korrekten Antworten wurde gezählt und unter Verwendung des offiziellen GRE-Konvertierungsblatts in einen skalierten Score umgerechnet. Die Studie analysierte zudem die Leistung in spezifischen Inhaltsbereichen (Klassische Mechanik, Elektromagnetismus, Quantenmechanik, Atomphysik usw.) und verglich die Leistung des Modells mit der mittleren Genauigkeit menschlicher Testteilnehmer für spezifische Fragen.

Wesentliche Ergebnisse
Die Studie lieferte die folgenden quantitativen und qualitativen Erkenntnisse:

• Gesamtleistung: Claude Sonnet 4 beantwortete 65 von 70 Fragen korrekt, was einer Genauigkeitsrate von etwa 93 % entspricht. Dies entspricht einem skalierten Score von 990, dem maximal möglichen Wert in der GRE Physics Prüfung.
• Aufschlüsselung nach Inhaltsbereichen:
  • Quantenmechanik & Atomphysik: Das Modell erreichte eine Genauigkeit von 100 % (16/16 Fragen).
  • Elektromagnetismus: Das Modell erzielte 12,5/13 korrekte Antworten.
  • Klassische Mechanik: Dies war der schwächste Bereich des Modells, mit einem Ergebnis von 12,5/14 korrekten Antworten (89 % Genauigkeit).
• Korrelation mit der menschlichen Leistung: Es wurde keine Korrelation zwischen der Leistung des Modells und der mittleren Genauigkeit menschlicher Testteilnehmer gefunden. Für die 17 Fragen, bei denen die menschliche Genauigkeit zwischen 20–30 % lag, verlor das Modell lediglich 0,5 Punkte bei einem einzelnen Problem.
• Fehleranalyse: Wenn Fehler auftraten, wurden diese auf eine fehlerhafte Synthese zurückgeführt, wie etwa die Fehlberechnung von Verhältnissen oder die Fehlanalyse spezifischer Details innerhalb der Aufgabenstellung, statt auf einen Mangel an konzeptionellem Verständnis. Das Modell lieferte konsistent tiefgehende Erklärungen für seine gewählten Antworten, was die Identifizierung spezifischer Denkfehler erleichterte.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Ergebnisse die Hypothese stützen, dass Consumer-Grade-LLMs in der Lage sind, Fragen in fortgeschrittenen wissenschaftlichen Domänen mit hoher Kompetenz zu lösen und zu erklären. Die Autoren kommen zu folgendem Schluss:

1. Hohe Leistungsfähigkeit: LLMs sind in der Lage, Höchstpunktzahlen in graduierten Physikprüfungen zu erreichen, was auf ein transformatives Potenzial für das wissenschaftliche Studium und die Bildung hindeutet.
2. Bildunglicher Nutzen: Diese Modelle dienen als leistungsstarke Werkzeuge, um komplexe Fragen ohne menschliche Fehler durchzuarbeiten, sofern ihre Einschränkungen im Bereich des Denkens über philosophische Konzepte oder ungelöste kosmologische Fragen anerkannt werden.
3. Zukünftige Entwicklung: Durch kontinuierliches maschinelles Lernen und Anwender-Training schlagen die Autoren vor, dass Modelle schließlich eine Genauigkeit von 100 % erreichen könnten. Sie merken zudem an, dass die Leistung je nach Modellversion (z. B. Opus vs. Sonnet) variieren kann und dass kostenpflichtige Abonnements weitere Vorteile bei der Nutzungsvolumen-Zuteilung und der Modellqualität bieten können.

Die Studie betont, dass die KI zwar erhebliches Potenzial zeigt, jedoch weiterhin an Einschränkungen in der detailorientierten Synthese unterliegt und noch nicht über die vollen generativen Fähigkeiten (wie etwa Bild- oder Videogenerierung) verfügt, die bei anderen konkurrierenden Modellen wie ChatGPT zu finden sind.