Analyzing Curricular Pattern Complexity Using AI to Improve On-Time Graduation Rates
Dit artikel stelt voor om Large Language Models te gebruiken om software engineering-curricula automatisch te analyseren en te herzien, waardoor de tijd die nodig is voor updates wordt verkort en knelpunten die het afstuderen van studenten vertragen worden verminderd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Grote Cursus-Doolhof
Stel je voor dat je probeert een enorme, driedimensionale puzzel op te lossen waarbij elk stukje een vak is dat je moet volgen om je diploma te behalen. In de wereld van het hoger onderwijs wordt deze puzzel een curriculum genoemd. Soms zijn de stukjes gerangschikt in een lange, kronkelende lijn waarbij je stukje B pas kunt oppakken als je stukje A hebt afgerond, en je aan stukje C niet kunt komen voordat stukje B voltooid is. Als je struikelt en stukje A laat vallen, stort de hele lijn erachter in en kun je misschien een heel jaar moeten wachten om het opnieuw te proberen. Dit is wat onderzoekers "curriculaire complexiteit" noemen. Het is als een verkeersopstopping in een stad waar één kapotte verkeerslicht elke auto kilometers ver achter zich laat.
Om deze opstoppingen op te lossen, vertrouwen universiteiten meestal op een team van menselijke experts (professoren) die urenlang naar de puzzel staren, proberend uit te vogelen welke lijnen ze korter kunnen maken of welke stukjes ze kunnen verplaatsen. Maar dit is traag, saai en zwaar werk. Onlangs is er een nieuw soort digitaal brein gearriveerd: Kunstmatige Intelligentie, specifiek Large Language Models (LLM's). Denk aan deze als superintelligente robots die bijna elk boek en elke website op het internet hebben gelezen. Ze zijn erg goed in het begrijpen van taal en het herkennen van patronen. De grote vraag voor wetenschappers is: kunnen deze digitale breinen naar de cursuspuzzel van een universiteit kijken, de verkeersopstoppingen opsporen en een betere manier voorstellen om de stukjes te rangschikken, zodat studenten op tijd afstuderen? Dit artikel duikt direct in die vraag door het curriculum van een universiteit te behandelen als een complex spelbord dat een frisse strategie nodig heeft.
De Digitale Detective en de Cursus-Doolhof
In dit onderzoek besloot een team van onderzoekers van de Embry-Riddle Aeronautical University om vijf verschillende AI-"detectives" op de proef te stellen. Hun missie was het analyseren van het software engineering-opleidingsprogramma, dat bekend staat om het hebben van enkele zeer lange, lastige ketens van vakken. Als een student één vak in een lange keten niet haalt, kan dat een vertraging van een semester of zelfs een heel jaar betekenen. De onderzoekers wilden zien of een AI naar de lijst met vakken kon kijken, kon uitzoeken welke vakken de grootste knelpunten (de verkeersopstoppingen) veroorzaakten, en wijzigingen kon voorstellen om deze op te lossen.
De onderzoekers gaven elke AI-detective dezelfde opdracht: de regels van het spel lezen (de cursusbeschrijvingen en stroomdiagrammen), berekenen hoe "complex" de doolhof was, en vervolgens voorstellen hoe de vakken te herschikken om het voor studenten makkelijker te maken om binnen vier jaar af te ronden. Ze testten vijf verschillende modellen, waaronder enkele van OpenAI, Google en Amazon, en probeerden zelfs één speciale versie die een "spiekbriefje" had (een techniek genaamd Retrieval-Augmented Generation, of RAG) om het te helpen specifieke feiten te onthouden.
De resultaten waren een mix van "wow" en "oeps". De meeste AI-detectives begrepen de basis van wat een knelpunt was, maar ze hadden moeite met de wiskunde. Het is alsolijk een slimme robot vragen om een langdeling te maken; de robot weet wat de getallen betekenen, maar struikelt soms over de eigenlijke berekening. Eén detective viel echter op. Claude Sonnet 4.6 was het enige model dat de "blocking" en "delay" factoren correct kon berekenen—de specifieke cijfers die aangeven hoeveel studenten vastlopen en hoe lang dat duurt. Het was zo goed dat het zelfs een kleine interactieve tool (een JavaScript-app) bouwde waarmee mensen de wijzigingen konden visualiseren. Deze topper merkte echter ook een beperking op: het kon de "instructiecomplexiteit" (een maatstaf voor moeilijkheid gebaseerd op het slagingspercentage) niet berekenen zonder toegang tot de privéhistorische gegevens van de universiteit.
Op basis van zijn analyse stelde Sonnet 4.6 enkele gedurfde zetten voor om de doolhof te ontwarren. Het stelde voor:
- De ketens inkorten: Sommige vakken als strikte vereisten voor het afstudeerproject verwijderen, zodat het niet falen van één eerder vak niet het hele jaar verpest.
- Dingen verplaatsen: Een vak genaamd "Software Quality Assurance" naar een eerder semester verschuiven, zodat studenten niet pas in hun allerlaatste jaar hoeven te wachten om het te volgen.
- Meer banen openen: Voorstellen dat bepaalde moeilijke vakken zowel in het najaar als in het voorjaar worden aangeboden, in plaats van slechts één keer per jaar, zodat studenten niet een heel jaar hoeven te wachten om het opnieuw te doen als ze het niet halen.
Het verhaal eindigt echter niet met de overwinning van de robot. De onderzoekers namen de suggesties van Sonnet mee naar de echte experts: de professoren van de universiteit. De professoren knikten bij sommige ideeën, maar schudden hun hoofd bij andere. Ze wezen erop dat de AI niet op de hoogte was van sommige verborgen regels, zoals het feit dat sommige vakken gedeeld worden met masterstudenten of dat de vakgroep simpelweg niet genoeg docenten heeft om elk vak twee keer per jaar aan te bieden. Sterker nog, de AI stelde voor om een vak te verplaatsen dat al twee keer per jaar werd aangeboden, wat aantoonde dat het een detail in de echte wereldgegevens had gemist.
Het paper concludeert dat hoewel AI nog niet klaar is om het stuur over te nemen en het curriculum zelfstandig te herontwerpen, het een ongelooflijk krachtige co-piloot is. Sonnet 4.6 bewees het beste hulpmiddel te zijn om de verkeersopstoppingen op te sporen en ideeën te bedenken, hoewel de onderzoekers opmerkten dat wanneer ze probeerden het een "spiekbriefje" (RAG) te geven om feiten te onthouden, het systeem juist in de war raakte door de visuele stroomdiagrammen. Net als een GPS die een route suggereert zonder op de hoogte te zijn van wegwerkzaamheden, moeten de suggesties van de AI gecontroleerd worden door menselijke experts. De onderzoekers vonden dat AI het proces van het vinden van problemen en het voorstellen van oplossingen kan versnellen, maar de uiteindelijke beslissing over hoe de puzzel te herschikken, ligt nog steeds bij de mensen die de school het beste kennen. Het onderzoek suggereert dat als we AI in de toekomst kunnen leren om de cursusstroomdiagrammen beter te "zien" (bijvoorbeeld door speciale visuele tools te gebruiken), deze digitale detectives nog scherper kunnen worden in het houden van studenten op het snelle traject naar afstuderen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.