💻 computer science

Curriculum-Aligned Analysis of Assessment Feedback: A Retrieval-Augmented Large Language Model Approach for Revealing Fine-Grained Student Error Patterns in Higher Education

Diese Studie schlägt einen Retrieval-Augmented Large Language Model-Ansatz vor, der unstrukturierte Bewertungsrückmeldungen mit hoher Genauigkeit in lehrplankonforme Fehlermuster transformiert und es Lehrteams ermöglicht, die Auswirkungen der Instruktion zu reflektieren und gezielte Lehrplanüberarbeitungen in der Hochschulbildung zu steuern.

Ursprüngliche Autoren: Linxin Hua, Jia Xu, Lirui Guo, Nan Zheng, Qingtan Shen, Dilang Tan, Ye Lu

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Linxin Hua, Jia Xu, Lirui Guo, Nan Zheng, Qingtan Shen, Dilang Tan, Ye Lu

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Ingenieursvorlesung an einer Universität vor, in der 200 bis 300 Studierende in Gruppen arbeiten, um ein komplexes Designprojekt zu erstellen. Am Ende des Semesters lesen die Professoren und Lehrassistenten tausende Seiten an Feedback, das zu diesen Projekten geschrieben wurde. Dieses Feedback ist wie ein riesiger, chaotischer Haufen handgeschriebener Notizen, die Dinge sagen wie: „Sie haben vergessen zu erklären, warum Sie diese Geschwindigkeit gewählt haben“, oder „Ihre Zeichnung fehlen die Details zur Krümmung.“

Derzeit schauen sich Lehrkräfte diese Notizen an, um einzelnen Studierenden zu helfen. Aber sie schauen selten auf den gesamten Haufen, um zu sehen, womit die gesamte Klasse zu kämpfen hat, weil es zu viel Arbeit wäre, jede einzelne Notiz zu lesen und Muster zu finden. Es ist, als würde man versuchen, ein bestimmtes Blatt in einem Wald zu finden, indem man sich ein einzelnes Bäumchen nach dem anderen ansieht.

Dieses Paper stellt einen neuen „intelligenten Assistenten“ (basierend auf Large Language Models oder LLMs) vor, der wie ein hocheffizienter Bibliothekar und Detektiv zugleich fungiert. So funktioniert er, unterteilt in einfache Schritte:

1. Der „Detektiv“ lernt die Sprache der Fehler

Anstatt dass die Lehrkräfte vorab eine Liste möglicher Fehler festlegen (wie eine vorgefertigte Checkliste), liest der Computer zuerst das gesamte Feedback eines Jahres. Er agiert wie ein Detektiv, der den Hinweisen lauscht und sagt: „Hey, ich bemerke, dass viele Leute Begründungen vergessen lassen“, oder „Viele Leute machen Probleme bei den Berechnungen.“

Der Computer erstellt dann sein eigenes „Wörterbuch der Fehler“ basierend auf dem, was er tatsächlich in den Notizen sieht. Dies wird als datengetriebene Taxonomie bezeichnet. Es ist so, als würde der Computer den lokalen Slang des Klassenzimmers lernen, anstatt gezwungen zu werden, eine Lehrbuchdefinition zu nutzen, die vielleicht nicht passt.

2. Der „Bibliothekar“ verbindet Fehler mit Lektionen

Sobald der Computer weiß, was der Fehler ist, muss er auch wissen, wo dieser im Kurs aufgetreten ist. Der Kurs verfügt über eine „Wissensbasis“ – im Wesentlichen eine digitale Bibliothek aller Vorlesungsfolien und Lehrmaterialien.

Der Computer nutzt eine Technik namens Retrieval-Augmented Generation (RAG). Stellen Sie sich das so vor: Der Computer hält in der einen Hand eine Notiz eines Studierenden und blättert mit der anderen Hand im Lehrbuch des Kurses. Er findet genau die Seite im Lehrbuch, die der Studierende hätte lesen sollen, als er diesen Fehler machte. Er verknüpft den Fehler (z. B. „fehlende Begründung“) direkt mit der spezifischen Lektion (z. B. „Woche 4: Designgeschwindigkeit“).

3. Der „Reporter“ fasst das Chaos zusammen

Schließlich nimmt der Computer all diese tausenden individuellen Verknüpfungen und gruppiert sie zusammen. Anstatt einer Lehrkraft 1.000 separate Notizen zu zeigen, erstellt er einen Bericht, der besagt:

„In Woche 4 hatten 67 % der Klasse Schwierigkeiten, ihre Designgeschwindigkeit zu begründen.“
„In Woche 5 haben 94 % der Klasse vergessen, ihre Zeichnungen zu beschriften.“

Dies verwandelt einen Berg aus unordentlichem Text in eine klare, farbcodierte Karte, die genau zeigt, wo die „Verkehrsstaus“ im Lernprozess entstehen.

Was haben sie herausgefunden?

Die Forscher testeten dieses System mit 6.072 Feedback-Stücken aus vier Jahren eines Ingenieurskurses.

Es war überraschend genau: Als sie die Sortierung der Fehler durch den Computer mit der eines menschlichen Experten verglichen, lag der Computer in 89,1 % der Fälle richtig.
Der „intelligente“ Weg schlug den „Experten“-Weg: Sie versuchten, eine vorgefertigte Liste von Fehlern zu verwenden, die von einem menschlichen Experten entworfen wurde, aber der Computer kam mit dieser Liste nur auf 74,7 % Genauigkeit. Das eigene „Wörterbuch“ des Computers (das aus den tatsächlichen Notizen erstellt wurde) war viel besser, da es eher der Art entsprach, wie die Lehrkräfte ihr Feedback tatsächlich schreiben, anstatt so zu sein, wie Experten denken, dass es geschrieben werden sollte.
Es half den Lehrkräften, den Kurs zu verbessern: Als das Lehrteam den Bericht des Computers betrachtete, waren sie überrascht. Sie dachten, sie hätten bestimmte Themen gut vermittelt, aber die Daten zeigten, dass viele Studierende immer noch große Probleme damit hatten.
- Beispiel: Ein Lehrer dachte, er hätte das Thema „Krümmungskoordination“ stark betont, aber die Daten zeigten, dass zwei Drittel der Studierenden dies immer noch nicht beherrschten.
- Ergebnis: Das Team entschied sich, ihr Lehren zu ändern. Sie erkannten, dass sie mehr Zeit für die schwierigen Themen aufwenden und weniger Zeit für die einfachen Themen benötigen. Sie entschieden sich außerdem dazu, den Studierenden vor der Aufgabe „gute Beispiele“ (Benchmarks) zu zeigen.

Wichtige Warnungen der Lehrkräfte

Die Lehrkräfte in der Studie waren sehr vorsichtig im Umgang mit diesen Daten. Sie machten drei Kernpunkte deutlich:

Es ist ein Spiegel, kein Richter: Die Daten zeigen, wo Studierende Schwierigkeiten haben, aber das bedeutet nicht, dass die Lehrkraft „schlecht“ ist. Es bedeutet nur, dass die Lehrmethode eine Anpassung benötigt.
Es ist nicht die ganze Geschichte: Der Computer liest nur schriftliche Notizen und Folien. Er weiß nichts über die hilfreichen Gespräche, die im Unterricht stattfanden, oder die zusätzliche Hilfe am „Help Desk“. Daher müssen Lehrkräfte ihren eigenen Erfahrungsschatz nutzen, um die Zahlen zu interpretieren.
Nicht dazu verwenden, Leute zu entlassen: Die Fehlerraten sollten niemals dazu verwendet werden, die Lehrkräfte selbst zu bewerten. Es ist ein Werkzeug zur Verbesserung, kein Zeugnis für das Personal.

Das Fazleiten

Dieses Paper zeigt, dass wir das „Abfallprodukt“ aus unbewertetem, chaotischem Feedback in eine „Schatzkarte“ für Lehrkräfte verwandeln können. Indem wir KI nutzen, um diese Notizen zu lesen, zu sortieren und sie mit dem Lehrplan zu verknüpfen, können Lehrkräfte endlich das große Ganze dessen sehen, womit ihre Studierenden tatsächlich zu kämpfen haben, was es ihnen ermöglicht, ihre Lehrmethoden mit Präzision zu optimieren.

Technisches Resümee: Lehrplanorientierte Analyse von Beurteilungsfeedback mittels Retrieval-Augmented Generation

1. Problemstellung

Beurteilungsfeedback in der Hochschullehre enthält detaillierte Belege für spezifische Fehler von Studierenden, bleibt jedoch eine ungenutzte Datenquelle für die Verbesserung der Lehre. Während Lehrende auf rubrikbasierten Statistiken beruhen, um die Kohortenleistung zu überwachen, versagen diese Metriken oft dabei, die spezifischen Konzepte oder Verfahren aufzuzeigen, die Studierende missverstanden haben oder die Ursprünge dieser Schwierigkeiten zu benennen. Umgekehrt ist Beurteilungsfeedback überwiegend unstrukturierter Text, was eine Quantifizierung, Aggregation oder den Vergleich im großen Maßstab erschwert. Die manuelle Extraktion von Kohorten-Ebenen-Mustern ist für große Klassen unmöglich, und Variationen im Bewertungsstil durch mehrere Lehrkräfte erschweren eine systematische Analyse zusätzlich.

Bestehende Anwendungen von Large Language Models (LLMs) in der Bildung haben sich auf die Generierung von Feedback oder die Analyse aus Sicht der Studierenden konzentriert, aber nicht effektiv die Fehlerklassifizierung mit der Lehrplan-Kartierung kombiniert. Darüber hinaus bleibt die Zuverlässigkeit der LLM-basierten Klassifizierung unter Verwendung expertendefinierter Taxonomien ungewiss, da LLMs sehr sensibel auf Kategoriedefinitionen reagieren. Es mangelt an Methoden, die unstrukturiertes Feedback in handlungsrelevante, lehrplankonforme Fehlermuster transformieren können, um Anpassungen in der Instruktion zu informieren.

2. Methodik

Die Studie schlägt eine dreistufige LLM-basierte Methode vor, um unstrukturiertes Beurteilungsfeedback in eine lehrplankonforme Fehleranalyse zu transformieren. Der Ansatz wurde auf 6.072 Feedback-Elemente aus vier Kohorten (2022–2025) eines Bachelorstudiengangs im Bereich Engineering Design angewendet.

Schritt 1: Datengestützte Generierung der Fehlertaxonomie

Anstatt sich auf vordefinierte Expertenkategorien zu verlassen, generiert die Methode eine Fehlertaxonomie induktiv aus den Feedback-Daten selbst:

Verhaltensabstraktion: Ein LLM abstrahiert jedes Feedback-Element in eine Verhaltenscharakterisierung, die unabhängig vom spezifischen Fachinhalt ist (z. B. die Umwandlung von „fehlende Begründung für Geschwindigkeit“ in „Fehlende prozedurale Transparenz“).
Semantische Gruppierung: Das LLM gruppiert diese Charakterisierungen in Kandidatenkategorien basierend auf semantischer Ähnlichkeit.
Menschliche Überprüfung: Ein menschlicher Reviewer führt überlappende Kategorien zusammen und ordnet Charakterisierungen neu zu, um die Taxonomie zu finalisieren.
Generierung von Definitionen: Das LLM generiert Definitionen und Abgrenzungen für die finalen Kategorien.
Ergebnis: Eine Taxonomie, die aus vier Fehlerkategorien besteht (Unvollständige/Fehlende Inhalte, Prozedurale/Prozessfehler, Denk-/Interpretationsfehler, Präsentation/Kommunikation) und einer positiven Kategorie.

Schritt 2: Retrieval-Augmented Generation (RAG) für das Curriculum-Mapping

Dieser Schritt verknüpft jeden Fehler mit spezifischen Lehrplaninhalten:

Konstruktion der Wissensbasis: Vorlesungsfolien des Kurses werden mittels eines multimodalen LLM und menschlicher Überprüfung in 374 „Wissenseinheiten“ (selbstständige Segmente, die einzelne Themen behandeln) verarbeitet. Diese Einheiten werden mittels text-embedding-3-large eingebettet.
Mapping-Prozess: Für jedes Feedback-Element ruft das System die fünf ähnlichsten Wissenseinheiten via Cosine Similarity ab. Ein LLM analyst dann das Feedback, die abgerufenen Einheiten und die Fehlertaxonomie, um eine Fehlerkategorie zuzuweisen, das Feedback der relevantesten Wissenseinheit zuzuordnen und eine Begründung bereitzustellen.

Schritt 3: Musteraggregation und Abdeckungsanalyse

Einzelne Annotationen werden zu handlungsrelevanten Mustern konsolidiert:

Semantische Konsolidierung: Innerhalb jeder (Wissenseinheit, Fehlerkategorie)-Gruppe werden semantisch ähnliche Begründungsbeschreibungen zusammengeführt, um Variationen im Korrektursstil zu adressieren.
Wöchentliche Musterbildung: Verwandte, zusammengeführte Annotationen über verschiedene Wissenseinheiten innerhalb derselben Unterrichtswoche werden zu einzelnen „Fehlermustern“ konsolidiert.
Quantifizierung: Die Kohortenabdeckung wird als Prozentsatz der Studierendengruppen berechnet, deren Feedback ein spezifisches Muster referenziert, organisiert nach der Unterrichtswoche. Dies ermöglicht eine Trendanalyse über mehrere Jahre hinweg.

Evaluationsdesign

Die Methode wurde durch zwei Perspektiven evaluiert:

Klassifizierungszuverlässigkeit (RQ2): Die Outputs der datengestützten Taxonomie wurden mit einer unabhängig entwickelten Expertentaxonomie und menschlichem Urteil unter Verwendung von Cohens $\kappa$ und der prozentualen Übereinstimmung verglichen.
Praktischer Nutzen (RQ3): Eine Fokusgruppe aus dem Lehrteam (Kurskoordinator und TAs) überprüfte den Output der jahresübergreifenden Analyse hinsichtlich Validität, Neuartigkeit, Interpretierbarkeit und Handlungsrelevanz.

3. Kernergebnisse

Klassifikationsleistung

Human-LLM-Übereinstimmung: Die datengestützte Taxonomie erreichte eine Übereinstimmung von 89,1 % mit dem menschlichen Urteil ( $\kappa = 0,91$ ) und übertraf damit die expertendesignte Taxonomie, die eine Übereinstimmung von 74,7 % ( $\kappa = 0,64$ ) erreichte.
Diskrepanzanalyse: Die Expertentaxonomie zeigte durchgängige Operationalisierungsschwierigkeiten, insbesondere in Kategorien wie „Flüchtig/Unachtsam“ (21,4 % Übereinstimmung) und „Prozedural“ (12,1 % Übereinstimmung). Zudem fehlte eine Kategorie für „Präsentation/Kommunikation“, was dazu führte, dass 5,9 % der Datensätze in unpassende Kategorien gezwungen wurden. Die datengestützte Taxonomie, die aus dem tatsächlichen Feedback-Korpus abgeleitet wurde, bewahrte die Unterscheidungen, die Korrektoren natürlich vornahmen.
Curriculum-Mapping: Die Übereinstimmung bezüglich der Relevanz der verknüpften Wissenseinheiten blieb für beide Taxonomien hoch (92,0 % für datengestützt vs. 89,7 % für Experten).

Lehrplanorientierte Erkenntnisse

Fehlerverteilung: „Unvollständige/Fehlende Inhalte & Begründung“ war der dominante Fehlertyp (66,5 % der Fehler), obwohl „Prozedurale/Prozessfehler“ in der zweiten Beurteilungsphase signifikant anstiegen.
Identifikation von Mustern: Die Methode identifizierte spezifische, wiederkehrende Fehlermuster (z. B. „Fehlende Begründung für die gewählte Konstruktionsgeschwindigkeit“) und ordnete sie spezifischen Wochen und Wissenseinheiten zu.
Jahresübergreifende Trends: Die Analyse zeigte variierende Trajektorien für Fehlermuster auf. Beispielsweise gingen Fehler bezüglich „Querschnittsdaten“ im Zeitverlauf zurück, während Fehler bezüglich der „Begründung der Kurvenkoordination“ zunahmen, was eine Basis für die Untersuchung der Auswirkungen spezifischer Lehranpassungen bietet.

Feedback des Lehrteams

Das Lehrteam bestätigte, dass der Output mit ihrer Bewertungserfahrung übereinstimmte. Zentrale Erkenntnisse waren:

Validierung der Skalierung: Die quantifizierte Skala der Fehler überraschte das Team; es zeigte sich, dass einige Probleme trotz vorheriger Betonung mainstream waren.
Reflektierende Praxis: Jahresübergreifende Trends ermöglichten es dem Team, die Auswirkungen vergangener Lehranpassungen (z. B. detaillierte Projektbeschreibungen) auf die Leistung der Studierenden nachzuverfolgen.
Handlungsrelevante Entscheidungen: Die Evidenz führte zu Vorschlägen, Unterrichtsstunden von Themen mit geringer Fehlerquote auf Themen mit hoher Fehlerquote umzuverteilen und spezifische In-Class-Demonstrationen einzuführen.
Einschränkungen: Das Team mahnte an, dass Fehlerraten nicht als alleiniges Maß für die Lehrqualität verwendet werden sollten, und wies darauf hin, dass die Analyse auf schriftliche Materialien beschränkt ist, wodurch die Nuancen der mündlichen Instruktion potenziell fehlen.

4. Zentrale Beiträge

Methodische Innovation: Die Studie präsentiert eine neuartige Pipeline, die datengestützte Taxonomiegenerierung mit Retrieval-Augmented Generation (RAG) kombiniert, um unstrukturiertes Feedback mit spezifischen Lehrplaninhalten zu verknüpfen.
Empirische Evidenz zum Taxonomie-Design: Die Ergebnisse stellen die Annahme infrage, dass expertendesignte Taxonomien optimal für die LLM-Klassifizierung sind. Die Studie zeigt, dass induktiv aus dem Zielkorpus abgeleitete Kategorien eine signifikant höhere Übereinstimmung mit menschlichem Urteil erzielen als vordefinierte Expertenkategorien.
Neubewertung von Feedback als Lehrressource: Die Arbeit verschiebt die Perspektive von Beurteilungsfeedback von einem kommunikativen Werkzeug für Studierende hin zu einer diagnostischen Datenquelle für die Verbesserung der Lehre, was die Identifizierung von Mängeln in der konstruktiven Ausrichtung (constructive alignment) auf der Ebene spezifischer Lerninhalte ermöglicht.
Human-in-the-Loop-Analytik: Die Studie illustriert, wie Lehrteams lehrplankonforme Evidenz interpretieren, und zeigt, dass solche Daten als Ausgangspunkt für Reflexion und Triangulation mit kontextuellem Wissen dienen und nicht als präskriptiver Ersatz für professionelles Urteilsvermögen.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass dieser Ansatz es Lehrenden ermöglicht, über aggregierte Leistungsmetriken hinauszugehen, um das „Was“ und „Warum“ der Schwierigkeiten der Studierenden in einem bisher unerreichbaren Maßstab zu verstehen. Durch die empirisch sichtbar zu machen von Fehlern in der Abstimmung (alignment failures), unterstützt die Methode gezielte Lehrplanrevisionen und die Umverteilung von Lehraufwand.

Die Autoren merken bescheiden an, dass es sich bei der Studie um eine Fallstudie innerhalb eines einzelnen Ingenieurskurses handelt und dass die Wirksamkeit in anderen Disziplinen, Prüfungsformaten (z. B. Einzelprüfungen) und institutionellen Kontexten weiterer Tests bedarf. Sie räumen auch Einschränkungen hinsichtlich der Abhängigkeit von schriftlichen Materialien für die Wissensbasis ein, welche die mündliche Instruktion möglicherweise nicht vollständig erfassen, sowie die Einschränkungen des Validierungsprozesses aufgrund des kleinen Pools an erfahrenen Reviewern. Dennoch etabliert die Studie eine grundlegende Methode zur Nutzung qualitativer Bildungsdaten zur Information von Lehrentscheidungen in der Hochschulbildung.