Testing the capability and performance of Claude Sonnet 4 on the GRE physics test

Technische Samenvatting: Benchmarking van Claude Sonnet 4 op het GRE Physics-examen

Probleemstelling
Naarmate kunstmatige intelligentie (AI) steeds meer wordt geïntegreerd in het K-12- en hoger onderwijs, is er een behoefte aan het benchmarken van de capaciteiten van Large Language Models (LLM's) bij het oplossen van complexe wetenschappelijke problemen en het demonstreren van kritisch denken. Terwijl eerder onderzoek aangeeft dat algemene AI-modellen vaak moeite hebben met natuurkundeproblemen op niveau van de hogere jaren van de universiteit (met een nauwkeurigheid van slechts 35–39% in velden zoals optica en thermodynamica), suggereren nieuwere gespecialiseerde modellen, die zijn verbeterd met geavanceerde verwerkingscapaciteiten, een verbeterd potentieel. Deze studie zocht naar een evaluatie van de prestaties van Claude Sonnet 4, een door Anthropic ontwikkeld LLM, tegenover een gestandaardiseerde, graduate-niveau natuurkunde-assessment om te bepalen of het een nauwkeurigheidspercentage van 90% op complexe probleemoplossende taken kon overtreffen.

Methodologie
De onderzoekers maakten gebruik van een publiekelijk beschikbare oefentoets voor de GRE Physics met 70 vragen (Vorm GR1775), verstrekt door de Educational Testing Service (ETS). De studie hanteerde het volgende protocol:

• Model: Claude Sonnet 4, destijds geïdentificeerd als het meest geavanceerde gratis model van Anthropic.
• Input: Elke van de 70 vragen werd individueel naar het model verzonden als een screenshot, zonder aanvullende tekst of context.
• Scoringsprotocol: De antwoorden werden vergeleken met de officiële ETS-antwoordsleutel. Vanwege limieten op het aantal berichten werden meerdere chatsessies gestart om alle vragen te verwerken. Er werd gedeeltelijke puntentelling toegekend als het model een fout maakte op de eerste poging maar correct was op een tweede poging; anders werden vragen als volledig onjuist gemarkeerd.
• Analyse: Het totale aantal correcte antwoorden werd geteld en omgezet naar een geschaalde score met behulp van de officiële GRE-conversietabel. De studie analyseerde ook de prestaties per inhoudelijk gebied (Klassieke Mechanica, Elektromagnetisme, Kwantummechanica, Atomaire Fysica, etc.) en vergeleek de prestaties van het model met de gemiddelde nauwkeurigheid van menselijke testnemers voor specifieke vragen.

Belangrijkste Resultaten
De studie leverde de volgende kwantitatieve en kwalitatieve bevindingen op:

• Algemene Prestaties: Claude Sonnet 4 beantwoordde 65 van de 70 vragen correct, wat neerkomt op een nauwkeurigheidspercentage van ongeveer 93%. Dit komt overeen met een geschaalde score van 990, de maximale score op de GRE Physics-test.
• Uitsplitsing per Inhoudsgebied:
  • Kwantummechanica & Atomaire Fysica: Het model behaalde een nauwkeurigheid van 100% (16/16 vragen).
  • Elektromagnetisme: Het model scoorde 12,5/13 correct.
  • Klassieke Mechanica: Dit was het zwakste gebied van het model, met een score van 12,5/14 correct (89% nauwkeurigheid).
• Correlatie met Menselijke Prestaties: Er werd geen correlatie gevonden tussen de prestaties van het model en de gemiddelde nauwkeurigheid van menselijke testnemers. Voor de 17 vragen waar de menselijke nauwkeurigheid tussen de 20–30% lag, verloor het model slechts 0,5 punt op één enkel probleem.
• Foutanalyse: Wanneer er fouten optraden, werden deze toegeschreven aan onjuiste synthese, zoals het foutief berekenen van ratio's of het onjuist analyseren van specifieke details binnen de probleemstelling, in plaats van een gebrek aan conceptueel begrip. Het model leverde consistent diepgaande verklaringen voor de gekozen antwoorden, wat de identificatie van specifieke redeneerfouten vergemakkelijkte.

Betekenis en Claims
Het artikel stelt dat de resultaten de hypothese ondersteunen dat consumentenwaardige LLM's vragen in geavanceerde wetenschappelijke domeinen met een hoge mate van bekwaamheid kunnen oplossen en verklaren. De auteurs concluderen dat:

1. Hoogwaardige Capaciteit: LLM's zijn in staat om maximale scores te behalen op graduate-niveau natuurkunde-examens, wat wijst op een transformerend potentieel voor wetenschappelijke studie en educatie.
2. Educatief Nut: Deze modellen dienen als krachtige instrumenten om doorlopende, complexe vragen door te werken zonder menselijke fouten, mits hun beperkingen in het redeneren over filosofische concepten of onopgeloste kosmologische vragen worden erkend.
3. Toekomstige Traject: Door voortdurende machine learning en gebruikers training suggereren de auteurs dat modellen uiteindelijk een nauwkeurigheid van 100% kunnen bereiken. Ze merken ook op dat prestaties kunnen variëren op basis van modelversies (bijv. Opus versus Sonnet) en dat betaalde abonnementen verdere voordelen kunnen bieden in termen van gebruikstoewijzing en modelkwaliteit.

De studie benadrukt dat hoewel AI aanzienlijke belofte vertoont, het nog steeds onderhevig is aan beperkingen in detailgerichte synthese en nog niet beschikt over de volledige generatieve capaciteiten (zoals beeld- of videogeneratie) die worden gevonden in andere concurrerende modellen zoals ChatGPT.