CodeStylist: Supporting Early Undergraduate Programmers with Course-Aware Code Style Feedback

Stel je voor dat je leert een verhaal te schrijven. Je weet dat het plot logisch moet zijn, dat de personages zich volgens hun karakter moeten gedragen en dat de afloop bevredigend moet zijn. Maar er is nog een andere laag: je docent wil ook dat je specifieke lettertypen gebruikt, je alinea's op de juiste manier inspringt en dat je zinnen niet begint met "En". Als je het plot goed krijgt maar de vormgeving fout is, kun je punten verliezen. In de wereld van computerprogrammeren wordt deze "vormgeving" code style genoemd. Het gaat er niet om of de computer het programma kan uitvoien (dat is het plot), maar of de code netjes, georganiseerd en gemakkelijk leesbaar is voor andere mensen.

Lange tijd hebben docenten hiermee gestreden. Ze willen dat studenten deze regels voor netheid leren, maar het geven van feedback hierop kost een eeuwigheid. Als een docent pas aan het einde van het semester zegt: "Hé, je hebt het verkeerde lettertype gebruikt voor je variabelen," dan is de student de les alweer vergeten. Onlangs is er een nieuw type "slimme assistent" verschenen, een Large Language Model (LLM). Denk aan deze als superintelligente robots die je code kunnen lezen en er met je over kunnen chatten. Maar hier komt de crux: deze robots zijn geweldig in algemeen advies, maar ze kennen de specifieke regels van jouw specifieke klas vaak niet. Ze kunnen je vertellen dat je moet schrijven als een professional in een ander land, terwijl je docent juist wil dat je de lokale schoolregels volgt.

Dit is het probleem dat een team onderzoekers aan de Purdue University probeerde op te lossen met een nieuwe tool genaamd CodeStylist. Ze wilden zien of ze een robot konden bous die precies weet wat jouw specifieke docent wil, zodat deze je nuttige tips kan geven terwijl je nog je code schrijft, en niet nadat je deze al hebt ingeleverd. Ze hebben het niet alleen gebouwd; ze hebben een groep docenten en assistenten gevraagd om het uit te proberen en te vertellen of het daadwerkelijk nuttig was of dat het slechts een flitsend speeltje zou zijn dat studenten in verwarring brengt.

Het Experiment: Een Robot die het Syllabus Kent

De onderzoekers bouwden CodeStylist, een webapp die fungeert als een persoonlijke redacteur voor programmeerstudenten. In plaats van generiek advies te geven zoals "maak je code schoner", is CodeStylist geconfigureerd met de specifieke "stijlgids" van een bepaald vak. Het is alsof je een robot hebt die de exacte tekst van de syllabus en het beoordelingsschema van je docent heeft gekregen om naar te verwijzen.

Zo werkt het in de praktijk: een student uploadt zijn codestanden (dit kan een heel project met veel verschillende bestanden zijn, niet slechts één bestand). Ze vertellen de tool: "Dit is voor mijn C-programmeerles," en de tool stuurt de code naar een Large Language Model (een AI). De AI leest de code en genereert een rapport dat wijst naar specifieke regels. Het zegt dingen als: "Hé, op regel 42 heb je deze variabele 'x' genoemd, maar onze klasregel zegt dat variabelen beschrijvend moeten zijn, zoals 'totaalScore'. Ook ben je hier een commentaar vergeten die uitlegt wat dit deel doet."

Cruciaal is dat in de versie die in deze studie werd getest, de tool volledig vertrouwde op de AI om deze oordelen te vellen. Het had geen aparte, strikte computerprogramma ("deterministische" checker) om de feiten te controleren. Het vroeg de AI om zowel de regels als de fouten tegelijkertijd te vinden.

Het doel was niet om de code voor de student te repareren of hen te beoordelen. Het doel was om te fungeren als een "revisie-maatje"—een tool om studenten te helpen fouten op te sporen voordat ze op de verzendknop drukken. De onderzoekers wilden weten: Zouden docenten deze robot vertrouwen? Zouden studenten de tool daadwerkelijk gebruiken? En belangrijker nog: Zou de robot advies geven dat overeenkomt met wat de docenten daadwerkelijk willen?

Wat de Docenten Zeiden: Een Gemengd Resultaat

Om dit te achterhalen, verzamelden de onderzoekers 18 instructiemedewerkers (assistenten en één docent) van een computerwetenschapsvak aan de Purdue University. Dit waren de mensen die elke week de code van de studenten lazen. Zij kregen de tool en de opdracht om deze met echte codevoorbeelden die ze eerder hadden gezien te testen. Daarna vulden ze een enquête in en deelden ze hun eerlijke gedachten.

De resultaten waren een beetje als een schooltoneelstuk waarbij de acteurs hun best doen, maar het script nog wat bewerking nodig heeft.

Het Goede Nieuws:
De docenten waren het erover eens dat het idee geweldig was. Ze zagen dat CodeStylist onzichtbare regels zichtbaar kon maken. Eén docent merkte op dat het was alsof je een "tweede paar ogen" had dat stijl fouten direct kon opsporen. Ze geloofden dat studenten de tool daadwerkelijk zouden gebruiken, waarbij de meeste voorspelden dat studenten hun code minstens één keer per week zouden controleren. De docenten vonden het een nuttige manier om stijl fouten op te vangen vóór het definitieve cijfer, wat uiteindelijk tijd bespaart voor iedereen.

Het Slechte Nieuws (en de Grote Zorg):
Het hoofdpunt was vertrouwen. De docenten vertrouwden de antwoorden van de robot niet volledig.

• Nauwkeurigheid: Wanneer gevraagd werd hoe vaak de robot het bij het rechte eind had, schatten de docenten een gemiddelde van 60,7%. Dat betekent dat bijna 4 op de 10 keer de robot fout kan zijn, verwarrend kan zijn of advies geeft dat niet overeenkomt met de klassenregels. Omdat de tool uitsluitend op de AI vertrouwde zonder een strikte "spellchecker"-back-up, miste het soms zaken of verzonde het dingen.
• Nuttigheid: Op een schaal van 1 tot 5 gaven de docenten de antwoorden een score van 3,50 voor behulpzaamheid en 3,33 voor bruikbaarheid. Dit zijn "redelijke" scores, maar geen "uitstekende" scores.
• Leren: De grootste zorg was of de tool studenten daadwerkelijk zou helpen leren. De gemiddelde score voor "verwacht studentenleren" was 2,61 van de 5. Dit ligt onder het middelpunt. De docenten maakten zich zorgen dat als de robot foutief advies geeft, studenten dit blindelings zouden opvolgen zonder na te denken, of in de war zouden raken wanneer het advies van de robot botst met de echte regels van de docent.

Eén assistent was zo sceptisch dat hij de tool een nauwkeurigheid van 4% gaf en zei dat studenten het "nooit" zouden gebruiken. Een ander maakte zich zorgen dat als de robot slecht advies geeft, dit juist meer werk voor de docenten zou creëren, omdat zij dan de puinhoop die de robot heeft gemaakt, moeten herstellen.

Het Oordeel: Een Veelbelovend Concept, Geen Afgewerkt Product

De onderzoekers concludeerden dat CodeStylist een veelbelovend begin is, maar het is nog niet klaar om de uiteindelijke autoriteit in de klas te zijn. De docenten zagen het als een nuttige tool voor het controleren van stijl en het vinden van potentiële problemen, maar zij zagen het nog niet als een tool die studenten betrouwbaar de diepere principes van goede programmering kan leren.

Het artikel suggereert dat voor deze tool een "hybride" aanpak nodig is. In plaats van de AI alles te laten raden, zou de tool strikte, onveranderlijke computeregels (zoals een spellchecker) moeten gebruiken om de overduidelijke fouten te vinden, en de AI alleen te gebruiken om uit te leggen waarom die fouten belangrijk zijn. De docenten vroegen ook om betere visuele hulpmiddelen, zoals het markeren van de exacte regel code en het tonen van de specifieke regel die de student heeft overtreden, zodat studenten het advies zelf kunnen verifiëren.

Kortom, de studie suggereert dat hoewel cursus-bewuste feedback een geweldig idee is, de huidige versie van CodeStylist iets te onbetrouwbaar is om de beste vriend van een docent te zijn, omdat het een strikte computer-back-up mist. Het is een veelbelovend concept dat meer werk vereist om te garanderen dat het studenten niet per ongeluk de verkeerde manier aanleert om code te schrijven. De onderzoekers geloven dat als ze de nauwkeurigheidsproblemen kunnen oplossen en de feedback makkelijker verifieerbaar kunnen maken, dit soort tools een gamechanger kan zijn om studenten te helpen schonere, professionelere code te schrijven.