TRACE: AI-Assisted Assessment of Collaborative Projects in Computer Science Education

Die Studie stellt TRACE vor, ein halbautomatisiertes KI-gestütztes Framework zur fairen und skalierbaren Bewertung individueller Beiträge in kollaborativen Informatik-Projekten durch die Analyse von Repositorys und Kommunikation, das in einer Pilotstudie hohe Übereinstimmung mit Dozentenbewertungen und eine Entlastung des Lehrpersonals zeigte.

Songmei Yu, Andrew Zagula

Veröffentlicht Fri, 13 Ma
📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

Each language version is independently generated for its own context, not a direct translation.

Stellen Sie sich vor, Sie leiten eine große Kochklasse. Die Schüler müssen in Teams arbeiten, um ein komplexes Menü zu kochen. Am Ende des Kurses muss jeder Schüler eine Note bekommen. Aber hier liegt das Problem: Wie bewertet man fair, wer wirklich gekocht hat und wer nur am Herd gestanden und zugesehen hat?

Das ist genau das Dilemma, das die Forscher mit ihrem System namens TRACE lösen wollen. TRACE ist wie ein super-intelligenter, digitaler Koch-Assistent, der nicht nur schaut, wie das fertige Gericht aussieht, sondern auch genau nachvollzieht, wer welche Zutat gewürzt hat.

Hier ist eine einfache Erklärung, wie TRACE funktioniert, ohne technisches Fachchinesisch:

1. Das Problem: Der "Freerider"-Effekt

In Gruppenprojekten passiert es oft, dass einer alles macht und die anderen sich nur "mitnehmen". Oder alle bekommen die gleiche Note, obwohl einer nur 10 % gearbeitet hat. Lehrer haben oft keine Zeit, jeden einzelnen Code-Zeile oder jede E-Mail zu prüfen. Das führt zu unfairen Noten.

2. Die Lösung: TRACE – Der digitale Detektiv

TRACE ist ein KI-System, das wie ein Detektiv mit einem riesigen Notizbuch arbeitet. Es schaut sich nicht nur das Endergebnis an, sondern untersucht den gesamten "Kochprozess" (den Code und die Kommunikation).

TRACE besteht aus drei Hauptteilen:

A. Der Qualitäts-Checker (PQAM) – "Schmeckt das Gericht?"

Zuerst prüft das System das Gesamtgericht (das Projekt).

  • Wie? Es schaut, ob der Code sauber ist (wie ein aufgeräumter Arbeitsplatz), ob es Fehler gibt (verbrannte Soße), ob es gut dokumentiert ist (gibt es ein Rezeptbuch?) und ob es funktioniert.
  • Das Ergebnis: Eine Note für die Qualität des Teams. Wenn das Team ein schlechtes Projekt abgibt, bekommen alle eine niedrigere Basisnote.

B. Der Beitrags-Zähler (ICA) – "Wer hat was getan?"

Das ist das Herzstück. Hier schaut sich TRACE an, wer wirklich gearbeitet hat. Es nutzt verschiedene Tricks, um Schummler zu entlarven:

  • Der "Code-Fingerabdruck": Es zählt nicht nur, wie oft jemand etwas geändert hat (jemand könnte ja nur Leerzeichen löschen, um viele Änderungen vorzutäuschen). Es schaut, ob jemand wirkliche Teile des Codes geschrieben hat.
  • Der "Koch-Logbuch": Es prüft, wer Fehler gemeldet hat, wer anderen geholfen hat (Code-Reviews) und wer Diskussionen geführt hat.
  • Das Ergebnis: Eine individuelle Note, die zeigt, wie viel jeder Einzelne zum Team beigetragen hat.

C. Der Noten-Rechner (GE) – "Die faire Mischung"

Am Ende rechnet TRACE die beiden Noten zusammen.

  • Ein Teil der Note kommt vom Team-Ergebnis (wie gut das Projekt ist).
  • Ein Teil kommt von der eigenen Leistung (wie viel man gearbeitet hat).
  • Der Clou: Die KI schlägt eine Note vor, aber der Lehrer ist immer noch der Chef. Wenn TRACE etwas Seltsames sieht (z. B. jemand hat 90 % des Codes geschrieben, aber die Note ist niedrig), warnt es den Lehrer. Der Lehrer kann dann entscheiden, ob er die Note bestätigt oder anpasst.

3. Ein echtes Beispiel aus dem Test

In einem Testkurs mit 20 Studenten hat TRACE gezeigt, wie gut es funktioniert:

  • Fall 1: Alle arbeiteten gleich viel. Alle bekamen eine faire, ähnliche Note.
  • Fall 2: Ein Student machte 58 % der Arbeit. TRACE merkte das sofort und schlug eine höhere Note für diesen Schüler vor. Der Lehrer bestätigte das.
  • Fall 3: Ein Schüler versuchte zu schummeln, indem er hunderte Male nur kleine, sinnlose Änderungen (wie Leerzeichen) einreichte. TRACE durchschaute das, ignorierte diese "leeren" Änderungen und gab ihm keine Punkte dafür.

4. Warum ist das gut? (Die Vorteile)

  • Fairness: Niemand kann sich einfach durchschummeln. Jeder bekommt genau das, was er geleistet hat.
  • Transparenz: Die Schüler sehen genau, warum sie diese Note bekommen haben. Es ist kein "Black Box"-Geheimnis mehr.
  • Zeitersparnis: Lehrer müssen nicht stundenlang Code durchforsten. TRACE macht die schwere Arbeit, und der Lehrer prüft nur noch die Ergebnisse.

5. Vorsicht: Der Mensch bleibt wichtig

Die Autoren betonen, dass TRACE kein Ersatz für Lehrer ist. Es ist wie ein Navigationssystem: Es zeigt den besten Weg an, aber der Fahrer (der Lehrer) muss entscheiden, ob er der Route folgt.
Das System achtet auch auf Datenschutz und versucht, niemanden zu benachteiligen (z. B. wenn jemand nicht muttersprachlich Deutsch oder Englisch spricht).

Zusammenfassung

TRACE ist wie ein ehrlicher, unermüdlicher Assistent, der in Computer-Kursen dafür sorgt, dass harte Arbeit belohnt wird und Faulheit nicht durchkommt. Es macht das Benoten von Gruppenprojekten fairer, schneller und verständlicher für alle Beteiligten.