Investigating LLM's Problem Solving Capability -- a Study on Statics Questions

Technische Samenvatting: Onderzoek naar het probleemoplossend vermogen van LLM's – Een studie naar statica-vraagstukken

Probleemstelling
Large Language Models (LLM's) hebben een snelle invloed op het onderwijs uitgeoefend, waarbij ze laten zien in staat te zijn om opdrachten en examens in diverse vakgebieden te voltooien. Bestaand onderzoek naar hun educatieve impact leunt echter vaak op publieke of open probleemdatasets en mist een vakspecifieke analyse, met name binnen de werktuigbouwkunde. Er is een beperkt systematisch onderzoek naar hoe LLM's presteren op specifieke typen problemen, zoals statica, en of hun capaciteiten voldoende zijn geëvolueerd om herziene educatieve beoordelingen te rechtvaardigen. Traditionele evaluatiemethoden, die bestaan uit het direct prompten van LLM's met tekstboekvragen, hebben beperkingen getoond, met name bij driedimensionale problemen en diagraminterpretatie.

Methodologie
Om deze hiaten aan te pakken, adopteerden de auteurs een modeldistillatie-geïnspireerde aanpak in plaats van traditionele directe testen. De studie verliep via de volgende fasen:

1. Initiële Beoordeling & Pivot: Initiële tests met tekstboekvragen uit "McGraw Hill Connect" toonden aan dat LLM's (specifiek ChatGPT) aanzienlijk moeite hadden met driedimensionale statica-problemen, waarbij ze vaak vectorcomponenten foutief toewezen aan coördinatensassen. Bovendien produceerden de modellen, wanneer ze werden geprompt om statica-problemen te genereren, repetitieve, overwegend tweedimensionale en eenvoudige vragen.
2. Datasetconstructie via Distillatie: In het besef dat LLM's beter presteren op problemen die aansluiten bij hun interne trainingsdistributie, lieten de onderzoekers ChatGPT een grote set statica-problemen genereren. Door een iteratief proces van generatie en vergelijking filterden zij repetitieve instanties uit om een definitieve tekstuele dataset te creëren van 25 unieke, tweedimensionale statica-problemen. Deze werden gecategoriseerd op moeilijkheidsgraad:
   • Conceptueel (Gemakkelijk): 8 vragen die definities en kwalitatieve redenering testen.
   • Directe Berekening (Gemiddeld): 7 vragen die toepassing van formules vereisen.
   • Meerstaps Toepassing (Moeilijk): 10 vragen die meerstaps redenering en strategische opzet vereisen.
3. Dataset-expansie: Om visueel redeneren en generalisatie te evalueren, werden twee aanvullende datasets geconstrueerd vanuit de tekstuele set:
   • Diagram-gebaseerde Dataset: De tekstuele beschrijvingen werden handmatig omgezet in heldere 2D-diagrammen met behulp van de Notability-app.
   • Met Waarden Gewijzigde Diagram-gebaseerde Dataset: De diagrammen uit de vorige set werden aangepast met nieuwe numerieke waarden voor krachten, momenten en afstanden om te testen of het model oplossingen onthield of daadwerkelijk redeneerde.
4. Evaluatie: De modellen (ChatGPT-5 en Gemini) werden getest op alle drie de datasets. Prestaties werden gemeten aan de hand van nauwkeurigheid ($A = N_c / 25$), gedefinieerd als het aantal correct opgeloste vragen.

Belangrijkste Bijdragen

• Nieuw Evaluatiekader: De studie introduceert een modeldistillatieperspectief voor het evalueren van LLM's in het technisch onderwijs. In plaats van modellen te testen op externe benchmarks waar ze mogelijk weinig blootstelling aan hebben gehad, evalueert de studie hen op problemen die ze waarschijnlijk zelf gegenereerd hebben of tijdens hun training zijn tegengekomen, wat een duidelijker beeld geeft van hun interne redeneer-capaciteiten.
• Granulaire Prestatieanalyse: Het onderzoek ontleedt de prestaties van LLM's niet alleen op basis van een algemene score, maar ook op basis van probleemtype (Conceptueel, Berekening, Meerstaps) en inputmodaliteit (Tekst, Diagram, Waarde-gewijzigd).
• Identificatie van Redeneer-bottlenecks: De studie isoleert specifieke faalmodi, waarbij onderscheid wordt gemaakt tussen beperkingen in beeldherkenning en tekortkomingen in meerstapsredenering.

Resultaten
De experimentele resultaten wijzen op een significante prestatiedegradatie naarmate de complexiteit en modaliteit van de problemen toenemen:

• Tekst-only Dataset: ChatGPT-5 behaalde 100% nauwkeurigheid, terwijl Gemini 60% behaalde. Opvallend genoeg slaagde Gemini er niet in om enige Meerstaps Toepassingsproblemen op te lossen (0% nauwkeurigheid).
• Diagram-gebaseerde Dataset: De nauwkeurigheid van ChatGPT-5 daalde naar 68%. Hoewel het 100% nauwkeurigheid behield op Conceptuele vragen, daalde de prestatie naar 71,43% bij Directe Berekening en naar 40% bij Meerstaps Toepassing.
• Met Waarden Gewijzigde Diagram-gebaseerde Dataset: ChatGPT-5 behaalde 60% nauwkeurigheid. De prestatie bij Meerstaps Toepassing verbeterde licht naar 60%, maar Directe Berekening daalde naar 42,8%.
• Foutanalyse: Over alle tests heen volgden beide modellen consequent correcte oplossingsprocedures en methodologieën. Fouten traden echter frequent op bij de uiteindelijke numerieke berekeningen of in de consistente toepassing van geëxtraheerde visuele informatie gedurende opeenvolgende redeneerfasen.

Betekenis en Claims
Het artikel stelt dat de waargenomen daling in de prestaties van LLM's bij de overgang van tekst-only naar diagram-gebaseerde en meerstaps-problemen niet primair wordt veroorzaakt door beperkingen in beeldherkenning. In plaats daarvan concluderen de auteurs dat de prestatiedaling voortkomt uit problemen met meerstapsredenering en het onvermogen om geëxtraheerde visuele informatie consistent gedurende het gehele oplossingsproces toe te passen.

De studie suggereert dat hoewel LLM's een bijna expert-niveau kunnen benaderen bij gestructureerde, tekstgebaseerde statica-problemen, ze onbetrouwbaar blijven voor complexe, meerstaps technische taken die een strikte logische consistentie vereisen. De auteurs stellen dat dit inzicht cruciaal is voor docenten en curriculumontwerpers om instructiestrategieën en beoordelingen aan te passen, zodat zij de nadruk leggen op conceptueel begrip en hogere orde denken, terwijl ongepaste afhankelijkheid van AI-tools wordt beperkt. De studie erkent beperkingen, waaronder de potentiële bias van het gebruik van door modellen gegenereerde vragen voor evaluatie en de bescheiden omvang van de dataset (25 vragen), maar stelt dat de bevindingen een noodzakelijke baseline bieden voor het begrijpen van de huidige LLM-capaciteiten binnen het technisch onderwijs.