TRACE: AI-Assisted Assessment of Collaborative Projects in Computer Science Education

Het paper introduceert TRACE, een semi-geautomatiseerd AI-raamwerk dat de transparantie, eerlijkheid en schaalbaarheid van de beoordeling van individuele bijdragen in samenwerkingsprojecten binnen het computerwetenschapsonderwijs verbetert door repository-mining en communicatie-analyse te combineren met AI-ondersteunde inzichten.

Songmei Yu, Andrew Zagula

Gepubliceerd Fri, 13 Ma
📖 4 min leestijd☕ Koffiepauze-leesvoer

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een groepstoevaltje organiseert voor een groot feest. Iedereen moet iets doen: de muziek regelen, het eten koken, de versiering ophangen en de drankjes serveren. Aan het einde van de avond is het feest een succes, maar hoe verdeel je nu eerlijk de complimenten? Wie heeft er echt hard gewerkt en wie heeft zich misschien een beetje verstopt achter de groep?

Dit is precies het probleem dat docenten in de informatica hebben. Studenten werken vaak in teams aan softwareprojecten, maar het is heel moeilijk om te zien wie wat heeft bijgedragen. De oude manier was vaak: "Iedereen krijgt hetzelfde cijfer" (wat oneerlijk is als iemand niets deed) of "De groep geeft elkaar een cijfer" (wat vaak beïnvloed wordt door vriendschappen of angst).

De auteurs van dit paper, Songmei Yu en Andrew Zagula, hebben een slimme oplossing bedacht genaamd TRACE. Je kunt TRACE zien als een slimme, digitale assistent die helpt bij het verdelen van de eer.

Hier is hoe TRACE werkt, vertaald naar alledaagse taal:

1. De Drie Hulpjes van TRACE

TRACE bestaat uit drie hoofdonderdelen, die samenwerken als een goed georganiseerd team:

  • De Kwaliteitscontroleur (PQAM): De "Smaakproever"
    Deze kijkt naar het eindresultaat: het programma dat de groep heeft gemaakt. Is het lekker? (Werkt het goed?) Is het gezond? (Is de code schoon en veilig?) Is het makkelijk te lezen? (Is er goede documentatie?)

    • Vergelijking: Stel je voor dat je een gerecht proeft. Deze module kijkt of het eten op smaak is, of de presentatie mooi is en of de receptuur (de code) logisch is.
  • De Detective (ICA): De "Sporenzoeker"
    Dit is het meest interessante deel. Deze module kijkt niet alleen naar het eindresultaat, maar naar wie wat heeft gedaan. Hij gaat op zoek naar digitale sporen in de "rekenmachine" van de groep (de computerbestanden).

    • Hij kijkt naar wie er code heeft geschreven (niet alleen wie er een klein beetje heeft veranderd).
    • Hij kijkt naar wie er vragen heeft gesteld of problemen heeft gemeld (zoals "Hé, dit werkt niet!").
    • Hij kijkt naar wie er heeft gecontroleerd of het werk van anderen goed was (zoals een leraar die een proefwerk nakijkt).
    • Vergelijking: Het is alsof een detective in een film alle camera-beelden en agenda's doorzoekt om te zien wie er echt in de keuken heeft gestaan en wie alleen heeft gekeken.
  • De Rekenmeester (GE): De "Scheidsrechter"
    Deze neemt alle informatie van de Smaakproever en de Detective en rekent het uit tot een eerlijk cijfer.

    • Hij combineert de kwaliteit van het project (bijvoorbeeld 60%) met de persoonlijke inspanning (40%).
    • Als de Detective ziet dat iemand probeerde te bedriegen door honderd keer alleen maar spaties toe te voegen (om het er drukker uit te laten zien), dan telt de Rekenmeester dat niet mee.
    • Vergelijking: De scheidsrechter die de scorebord bijhoudt, maar ook oplet of iemand vals heeft gespeeld. Als er iets vreemds is, roept hij de hoofdscheidsrechter (de menselijke docent) om te kijken.

2. Wat gebeurde er in de proef?

De auteurs hebben TRACE uitgetest in een echte klas. Het resultaat was geweldig:

  • Eerlijkheid: De cijfers die de computer berekende, kwamen bijna perfect overeen met wat de docent zelf zou hebben gegeven.
  • Tijdwinst: De docent moest 45% minder tijd besteden aan het nakijken.
  • Transparantie: Studenten vonden het eerlijker omdat ze precies zagen waarom ze een bepaald cijfer kregen. Ze zagen hun eigen "sporen" in het systeem.

3. Waarom is dit belangrijk? (En wat zijn de valkuilen)

TRACE is niet perfect, maar het is een enorme stap vooruit.

  • Het goede: Het maakt het onmogelijk om zich te verstoppen in een groep. Als je niet werkt, zie je dat in de cijfers. Het maakt het ook makkelijker voor docenten om grote groepen te beoordelen.
  • De voorzichtigheid: De computer kan niet alles zien. Misschien heeft iemand een geweldig idee bedacht tijdens een gesprek, maar heeft die persoon niet veel getypt. Of misschien schrijft iemand in een andere taal, waardoor de computer denkt dat de tekst minder goed is. Daarom is er altijd nog een menselijke docent nodig om de uiteindelijke knoop door te hakken. TRACE is de assistent, niet de baas.

Conclusie

TRACE is als een slimme bril die docenten opzetten. Plotseling kunnen ze zien wie in de groep echt hard werkt en wie niet. Het zorgt ervoor dat hard werk wordt beloond en dat groepswerk in de computerwereld eerlijker en transparanter wordt. Het is geen vervanging voor de leraar, maar een superkrachtige hulpmiddel om de leraar te helpen.