💬 NLP

CodeGENCAT: Generative Computerized Adaptive Testing for Open-ended Coding Problems

Das Papier schlägt CodeGENCAT vor, ein generatives computergestütztes adaptives Testframework, das ein generatives Item-Response-Theory-Modell nutzt, um Schülercode-Antworten vorherzusagen und Fragen basierend auf der Vielfalt des Programmierstils und der Unsicherheit der Antworten auszuwählen, wodurch es traditionelle Baselines bei der Bewertung von Programmierkenntnissen übertrifft.

Ursprüngliche Autoren: Wanyong Feng, Alexander Scarlatos, Ruochen Sun, Andrew Lan

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wanyong Feng, Alexander Scarlatos, Ruochen Sun, Andrew Lan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind eine Lehrkraft, die herausfinden möchte, wie gut ein Schüler genau im Programmieren ist. Bei einer traditionellen Prüfung stellt die Lehrkraft eine Frage, der Schüler antwortet, und die Lehrkraft bewertet dies einfach als „Richtig" oder „Falsch". Basierend auf dieser einzelnen Bewertung wählt die Lehrkraft die nächste Frage aus: Wenn der Schüler sie richtig beantwortet hat, ist die nächste schwieriger; wenn falsch, ist sie leichter.

Das Problem mit dem alten Weg
Die Arbeit argumentiert, dass dieses „Richtig/Falsch"-System eine Menge nützlicher Informationen verwirft. Stellen Sie sich vor, zwei Schüler scheitern beide an einem Programmieraufgabe.

Schüler A machte einen winzigen Tippfehler (ein fehlendes Semikolon).
Schüler B schrieb Code, der völlig falscher Logik folgte.

Bei einer traditionellen Prüfung sind beide einfach nur „Falsch". Die Lehrkraft kann den Unterschied nicht erkennen und kann daher die nächste Frage nicht anpassen, um dem spezifischen Schüler zu helfen. Es ist wie bei einem Arzt, der einen gebrochenen Arm und einen Kopfschmerz mit exakt derselben Pille behandelt, nur weil der Patient sagte: „Ich fühle mich schlecht."

Die Lösung: CodeGENCAT
Die Autoren schlagen ein neues System namens CodeGENCAT vor. Anstatt nur darauf zu warten, dass ein Schüler antwortet, nutzt dieses System einen „Digitalen Zwilling" (eine KI), um vorherzusagen, was der Schüler schreiben würde, bevor der Schüler tatsächlich antwortet.

So funktioniert es, Schritt für Schritt, mit einer Koch-Analogie:

1. Der „Digitale Zwilling"-Koch (Das GIRT-Modell)

Stellen Sie sich vor, Sie möchten wissen, wie gut ein Schüler im Kochen ist. Anstatt ihn sofort zu bitten, eine ganze Mahlzeit zu kochen, haben Sie einen superklugen KI-Koch, der das aktuelle Können des Schülers kennt.

Wenn der Schüler ein Anfänger ist, sagt die KI voraus, dass er Gemüse ungleichmäßig schneiden oder vergessen würde, die Suppe zu salzen.
Wenn der Schüler ein Experte ist, sagt die KI voraus, dass er präzise Messerfertigkeiten und perfekte Würzung anwenden würde.

In der Arbeit wird diese KI als Generatives Item-Response-Theory-Modell (GIRT) bezeichnet. Sie nimmt das geschätzte Wissen des Schülers entgegen und generiert ein Code-Stück, das exakt so aussieht, wie es dieser spezifische Schüler schreiben würde. Sie rät nicht nur „Richtig" oder „Falsch"; sie generiert den tatsächlichen Code, einschließlich der spezifischen Fehler und Irrtümer, die der Schüler wahrscheinlich machen wird.

2. Die „Menüauswahl" (Frageauswahl)

Sobald die KI vorhergesagt hat, was der Schüler schreiben würde, muss das System entscheiden: „Welche Frage sollten wir dem Schüler als Nächstes stellen, um am meisten zu lernen?"

Die Arbeit stellt drei Möglichkeiten vor, die nächste Frage auszuwählen, wie ein Koch, der die nächste Zutat zum Testen auswählt:

Der Unsicherheits-Koch: Wählt eine Frage, bei der die KI am meisten verwirrt ist darüber, ob der Schüler sie richtig oder falsch beantworten wird (eine 50/50-Gewissheit). Dies ist die klassische „Goldilocks"-Zone – nicht zu einfach, nicht zu schwer.
Der Diversitäts-Koch: Wählt eine Frage, bei der die KI glaubt, dass der Schüler viele unterschiedliche Arten von Code schreiben könnte. Wenn die KI unsicher ist, wie der Schüler sie lösen wird, ist diese Frage sehr aussagekräftig.
Der Informations-Koch: Wählt die Frage, die, basierend auf dem vorhergesagten Code, dem Verständnis des Systems vom Schüler den größten „Schock" versetzt und hilft, die Fähigkeitsabschätzung am schnellsten zu verfeinern.

3. Das Training (Beibringen der KI)

Um sicherzustellen, dass dieser „Digitale Zwilling" genau ist, haben die Autoren ihn in zwei Phasen trainiert:

Überwachtes Feinabstimmen (SFT): Sie lehrten die KI, die vergangenen Antworten eines Schülers zu betrachten und zu lernen, diese nachzuahmen.
Direkte Präferenzoptimierung (DPO): Dies ist das Geheimrezept. Sie stellten fest, dass die KI manchmal faul wurde und auch für Anfänger denselben „perfekten" Code schrieb. Also lehrten sie die KI, ehrlich zu sein: „Wenn der Schüler ein Anfänger ist, müssen Sie Code mit Fehlern generieren." Dies stellt sicher, dass die Vorhersagen der KI realistisch und vielfältig sind.

Die Ergebnisse

Die Forscher testeten dies an realen Programmierdatensätzen (Java und Python). Sie stellten fest, dass CodeGENCAT viel besser darin war, das wahre Können eines Schülers herauszufinden als traditionelle Methoden, insbesondere in den ersten paar Fragen der Prüfung.

Die Analogie: Es ist wie der Unterschied zwischen einer Lehrkraft, die fragt: „Haben Sie es richtig bekommen?" und einer Lehrkraft, die sagt: „Lassen Sie mich raten, genau wie Sie versucht haben, es zu lösen, und dann werde ich die perfekte Folgefrage stellen, um Ihr spezifisches Missverständnis zu beheben."

Wichtige Erkenntnisse

Schauen Sie nicht nur auf die Punktzahl: Die Arbeit behauptet, dass das Betrachten des tatsächlichen Codes (selbst vorhergesagten Codes) viel reichhaltigere Informationen liefert als nur ein „Bestanden/Nicht bestanden"-Label.
Früherkennung ist wichtig: Das System ist zu Beginn einer Prüfung am mächtigsten und hilft, die Stärken und Schwächen eines Schülers viel schneller zu identifizieren als alte Methoden.
Sicherheit: Das System schafft es zudem, die Prüfung sicher zu halten und sicherzustellen, dass nicht alle Schüler exakt dieselben Fragen erhalten, was ein häufiges Problem bei adaptiven Prüfungen ist.

Kurz gesagt, nutzt CodeGENCAT KI, um den Geist eines Schülers zu simulieren, wodurch sich die Prüfung nicht nur daran anpasst, ob sie es richtig hatten, sondern wie sie denken, was zu einer viel genaueren und personalisierten Bewertung führt.

Technisches Fazit: CodeGENCAT

Problemstellung
Bestehende Frameworks für den Computergestützten Adaptiven Test (CAT) stützen sich überwiegend auf die Item-Response-Theorie (IRT), um Fragen basierend auf der vorhergesagten Wahrscheinlichkeit auszuwählen, dass eine Schülerin oder ein Schüler eine Aufgabe korrekt löst. In diesem Paradigma werden Schülerantworten auf binäre Richtig-/Falsch-Labels komprimiert. Diese Abstraktion verwirft reichhaltige diagnostische Informationen, die in offenen Antworten inherent sind, eine Einschränkung, die im Bereich der Programmierausbildung besonders gravierend ist. Bei Codierungsaufgaben können zwei Schüler eine Frage zwar beide falsch beantworten, doch ihre Code-Einreichungen können völlig unterschiedliche Verständnisniveaus offenbaren – der eine mag einen geringfügigen Syntaxfehler aufweisen, während der andere ein fundamentales konzeptionelles Defizit zeigt. Beide als bloß „falsch" zu behandeln, ignoriert die spezifische Natur des Fehlers und beeinträchtigt die Fähigkeit des Systems, konzeptionelles Verständnis und Codierfähigkeit präzise zu modellieren.

Methodik
Die Autoren schlagen CodeGENCAT (Generativer Computergestützter Adaptiver Test für offene Codierungsprobleme) vor, ein Framework, das Large Language Models (LLMs) nutzt, um Fragen basierend auf vorhergesagten, offenen Schülercode-Antworten statt binärer Ergebnisse auszuwählen. Die Methodik besteht aus drei Kernkomponenten:

Generatives Item-Response-Theorie-Modell (GIRT):
- Wissensrepräsentation: Schülerwissen wird als latenter Vektor $z_i$ dargestellt, der über ein Multi-Layer-Perceptron (MLP) in explizite Beherrschungslevel ( $\theta_i$ ) für spezifische Wissenskomponenten (Knowledge Components, KCs) projiziert wird.
- Code-Generierung: Ein LLM generiert vorhergesagte Code-Antworten, konditioniert auf den Fragetext und das geschätzte Wissen des Schülers. Um die Lücke zwischen skalaren Beherrschungsleveln und LLM-Eingaben zu überbrücken, wenden die Autoren eine „Soft Prompting"-Technik an. Die Beherrschungslevel werden linear zwischen vortrainierten Embeddings von „TRUE" und „FALSE" interpoliert, um kontinuierliche Embeddings zu erzeugen, die in den Prompt injiziert werden.
- Trainingsstrategie: Das Modell durchläicht einen zweistufigen Trainingsprozess:
  - Supervised Fine-Tuning (SFT): Das Modell lernt, Code konditioniert auf Wissen zu generieren, während die negative Log-Likelihood minimiert wird. Ein auxiliärer Verlust sorgt dafür, dass der durchschnittlich vorhergesagte Beherrschungsgrad mit dem ground-truth Korrektheitswert übereinstimmt.
  - Direct Preference Optimization (DPO): Um einen Mode Collapse zu adressieren (bei dem das Modell unabhängig vom Eingabewissen identischen Code generiert), wird eine Reinforcement-Learning-Phase eingeführt. Präferenzpaare werden gebildet, indem tatsächliche Schülerantworten mit Antworten anderer Schüler verglichen werden, die angesichts des aktuellen Wissens des Schülers weniger wahrscheinlich sind. DPO verfeinert das Modell, um sicherzustellen, dass generierte Antworten semantisch basierend auf dem Eingabewissenszustand variieren.
Fragenauswahlalgorithmen:
CodeGENCAT nutzt das GIRT-Modell, um $N$ potenzielle Code-Antworten für Kandidatenfragen zu sampeln. Drei Auswahlkriterien werden vorgeschlagen, um die nächste Frage zu bestimmen:
- Unsicherheitsbasiert: Wählt die Frage aus, bei der der durchschnittlich vorhergesagte Korrektheitswert am nächsten bei 0,5 liegt, wodurch der Informationsgewinn bezüglich der Korrektheitswahrscheinlichkeit maximiert wird.
- Diversitätsbasiert: Wählt die Frage aus, bei der die gesampelten Code-Antworten die höchste semantische Diversität aufweisen (gemessen über die paarweise kosinussimilarität von CodeBERT-Embeddings), was auf eine hohe Unsicherheit darüber hindeutet, wie der Schüler reagieren könnte.
- Fisher-Information-basiert: Wählt die Frage aus, die die Spur der Fisher-Information-Matrix maximiert, mit dem Ziel, die Unsicherheit über den latenten Wissensvektor des Schülers am signifikantesten zu reduzieren.
Adaptiver Testzyklus:
Das System initialisiert das latente Wissen eines Schülers unter Verwendung eines Populationspriors. In jedem Schritt sampelt es Antworten vom GIRT-Modell für Kandidatenfragen, bewertet sie mittels des Auswahlalgorithmus, administriert die am höchsten bewertete Frage und aktualisiert das latente Wissen des Schülers mittels Gradientenabstieg basierend auf der tatsächlichen Antwort.

Hauptbeiträge

Generatives CAT-Framework: Das erste CAT-Framework, das speziell für offene Codierungsprobleme entwickelt wurde und vorhergesagte Schülercode-Antworten zur Fragenauswahl nutzt, um über die binäre Korrektheit hinauszugehen.
GIRT-Modell: Ein neuartiges Modell, das latente Wissensrepräsentation mit LLM-gesteuerter Code-Generierung kombiniert und mit SFT und DPO trainiert wird, um sicherzustellen, dass generierte Antworten mit dem geschätzten Schülerwissen übereinstimmen.
Neuartige Auswahlalgorithmen: Drei unterschiedliche Algorithmen (Unsicherheit, Diversität, Information), die generative Fähigkeiten nutzen, um die Informativität von Fragen im Kontext offener Antworten zu bewerten.

Experimentelle Ergebnisse
Das Framework wurde an zwei realen Datensätzen evaluiert: CodeWorkout (Java-Einreichungen) und ProgFeed (Python-Einreichungen).

Leistung: CodeGENCAT übertraf konsistent starke Baselines (1PL IRT, BOBCAT, NCAT, LACAT) bei der Schätzung des Schülerwissens, gemessen an der Area Under the Curve (AUC) und der Genauigkeit.
Gewinne in frühen Phasen: Die signifikantesten Verbesserungen traten in den frühen Phasen des Tests auf ( $t=1$ bis $t=7$ ). Auf CodeWorkout erzielte der diversitätsbasierte Auswahlalgorithmus eine Verbesserung der AUC um 4,32 % gegenüber der stärksten Baseline in der ersten Phase.
Algorithmische Varianz: Der optimale Auswahlalgorithmus variierte je nach Datensatz und Testphase. Diversität schnitt in den frühen Phasen auf CodeWorkout am besten ab, während die Fisher-Information-basierte Auswahl auf ProgFeed und in späteren Phasen auf CodeWorkout konsistent überlegen war.
Test-Sicherheit: CodeGENCAT behielt wettbewerbsfähige Metriken zur Testsicherheit (Fragenexposition und Überlappungsraten) bei und demonstrierte, dass es Effizienz mit Sicherheitsanforderungen in Einklang bringen kann.
Ablationsstudien: Die Studie bestätigte, dass die DPO-Ausrichtung entscheidend ist, damit das Modell diverse, wissenskonditionierte Antworten generiert. Größere Backbone-Modelle (3B vs. 1B) zeigten datensatzabhängige Vorteile, und die Reduzierung der Anzahl der gesampelten Antworten ( $N$ ) von 10 auf 3 bot erhebliche Zeitersparnisse bei minimalem Genauigkeitsverlust.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass CodeGENCAT einen bedeutenden Fortschritt im adaptiven Test für die Programmierausbildung darstellt, indem es die reichhaltigen Informationen aus offenen Code-Antworten nutzt. Durch den Wechsel des Fokus von „ob ein Schüler scheitern wird" zu „wie ein Schüler scheitern könnte", erfasst das Framework spezifische Fehler und Misskonzeptionen, die binäre Modelle übersehen. Die Autoren betonen, dass dieser Ansatz zu einer genaueren und effizienteren Wissenschätzung führt, insbesondere während der kritischen frühen Phasen des Tests. Sie weisen darauf hin, dass die aktuelle Evaluation zwar auf einführende Informatik beschränkt ist, das Framework theoretisch jedoch auf andere offene Domänen anpassbar ist, sofern geeignete Datensätze verfügbar sind. Die Arbeit unterstreicht das Potenzial generativer Modelle, psychometrische Modellierung zu verbessern, ohne die Nuancen von Schülerinhalten zu verworfen.