Human-in-the-Loop LLM Grading for Handwritten Mathematics Assessments

Die Studie stellt einen skalierbaren, menschlich überwachten Workflow vor, der durch den Einsatz von LLMs zur Bewertung handschriftlicher Mathematikarbeiten den Korrekturaufwand um etwa 23 % senkt und dabei Fairness sowie Genauigkeit im Vergleich zur manuellen Korrektur aufrechterhält.

Das Wesentliche

Titel: Der digitale Assistent für Lehrer – Wie KI das Korrekturieren von Handschriften erleichtert, ohne die Lehrer zu ersetzen

Stellen Sie sich vor, Sie sind ein Lehrer mit einer vollen Klasse. Jeden Woche müssen Sie Dutzende von Heften mit handschriftlichen Matheaufgaben korrigieren. Das ist mühsam, dauert ewig und oft kommt man erst Wochen später zurück zum Schüler, wenn der Lernmoment längst vorbei ist. Gleichzeitig gibt es eine neue Herausforderung: KI-Tools können mittlerweile Hausaufgaben so perfekt lösen, dass man kaum noch weiß, ob der Schüler es wirklich selbst verstanden hat.

Die Lösung, die in diesem Papier vorgestellt wird, ist wie ein hybrides Team aus einem schnellen Roboter und einem weisen Menschen. Hier ist die Geschichte, wie das funktioniert, einfach erklärt:

1. Das Problem: Der "Korrektur-Stau"

Lehrer brauchen Zeit, um Feedback zu geben. Je schneller das Feedback kommt, desto besser lernen die Schüler. Aber handschriftliche Matheaufgaben sind schwer zu automatisieren. Man kann sie nicht einfach wie Multiple-Choice-Fragen abhaken, weil man den Weg zur Lösung sehen muss, nicht nur das Endergebnis.

2. Die Lösung: Ein "Schutzengel" namens KI

Die Forscher haben ein System entwickelt, bei dem eine Künstliche Intelligenz (KI) die erste Korrektur macht, aber der Lehrer das letzte Wort behält. Man kann es sich wie eine Flugzeug-Cockpit-Situation vorstellen: Die KI ist der Autopilot, der den Kurs fliegt und die meisten Dinge perfekt regelt. Der Pilot (der Lehrer) sitzt daneben, überwacht alles und greift nur ein, wenn etwas schiefgeht oder eine Entscheidung getroffen werden muss, die der Autopilot nicht treffen darf.

3. Wie funktioniert das System? (Schritt für Schritt)

• Schritt 1: Der "Bauplan" (Die Korrekturanleitung)
  Bevor die KI überhaupt anfängt, erstellen die Lehrer einen extrem detaillierten "Bauplan" (eine sogenannte Grading Key). Das ist wie eine Kochanleitung für die KI.

  • Das Problem: Wenn man der KI nur sagt "Bewerte die Lösung", wird sie verrückt. Sie muss genau wissen: "Wenn der Schüler diesen einen Schritt macht, gibt es 2 Punkte. Wenn er diesen anderen Weg geht, gibt es 3 Punkte."
  • Die Metapher: Stellen Sie sich vor, Sie geben einem Roboter den Auftrag, einen Kuchen zu bewerten. Wenn Sie nur sagen "Schmeckt gut?", wird er raten. Wenn Sie aber sagen: "Wenn die Kruste goldbraun ist: +2 Punkte. Wenn der Teig innen noch roh ist: -5 Punkte", dann bewertet er fair. Die Forscher haben gelernt, dass diese "Kochrezepte" für die KI extrem wichtig sind.

• Schritt 2: Der "Geister-Test" (Anonymisierung)
  Die Schüler schreiben ihre Aufgaben auf ein spezielles Blatt. Die KI sieht diese Blätter aber nie mit dem Namen des Schülers. Die KI bekommt nur ein Foto des Lösungsteils, auf dem der Name und die Nummer weggeschnitten sind. So bleibt alles anonym und fair.

• Schritt 3: Der "Fünf-Finger-Check" (Mehrfach-Korrektur)
  Da KI manchmal "träumt" (manchmal erfindet sie Dinge, die nicht da sind, oder ist einfach nur zufällig streng oder nachsichtig), lässt das System die KI jede Aufgabe fünfmal korrigieren.

  • Die Analogie: Stellen Sie sich vor, Sie fragen fünf verschiedene Experten nach einer Schätzung. Wenn vier sagen "10 Euro" und einer sagt "100 Euro", wissen Sie, dass der eine etwas falsch verstanden hat. Das System nimmt dann die beste (höchste) Punktzahl als vorläufiges Ergebnis, um die Schüler nicht zu benachteiligen.

• Schritt 4: Der menschliche "Feinschliff"
  Hier kommt der Lehrer ins Spiel. Das System zeigt dem Lehrer eine Liste mit den Vorschlägen der KI.

  • Bei den meisten Aufgaben (ca. 97 %) stimmt der Lehrer mit der KI überein und klickt einfach auf "Bestätigen". Das geht blitzschnell.
  • Bei den wenigen Fällen, wo die KI verwirrt ist oder einen Fehler macht (die "Ausreißer"), schaut der Lehrer genauer hin und korrigiert es.

4. Was hat das gebracht? (Die Ergebnisse)

• Zeitersparnis: Die Lehrer waren im Durchschnitt 23 % schneller. Das klingt nicht nach viel, aber wenn man sich vorstellt, dass ein Lehrer sonst 10 Stunden pro Woche korrigiert, spart das fast 2,5 Stunden pro Woche – Zeit, die er für die Schüler oder sich selbst nutzen kann.
• Gerechtigkeit: Das Wichtigste: Die KI war nicht willkürlich. Im Gegenteil, sie war oft sogar konsistenter als zwei verschiedene menschliche Lehrer, die dieselbe Aufgabe korrigieren. Manchmal waren sich die Lehrer uneinig, aber die KI lag genau in der Mitte oder traf die "richtige" Entscheidung, die beide Lehrer später auch getroffen hätten.
• Sicherheit: Durch den menschlichen Check am Ende gab es keine bösen Überraschungen. Die KI war der effiziente Assistent, der Lehrer der verantwortliche Chef.

5. Das Fazit in einem Satz

Dieses Papier zeigt uns, dass KI nicht dazu da ist, Lehrer zu ersetzen, sondern wie ein Super-Verstärker funktioniert: Sie macht die langweilige, repetitive Arbeit schneller und gleichmäßiger, damit sich die Lehrer auf das konzentrieren können, was wirklich zählt – das menschliche Urteil in den schwierigen Fällen und das pädagogische Feedback an die Schüler.

Es ist also keine "KI gegen den Menschen"-Geschichte, sondern eine "KI mit dem Mensch"-Geschichte, bei der beide Seiten ihre Stärken ausspielen.

Technische Zusammenfassung

1. Problemstellung

Die Bereitstellung von zeitnahem, individualisiertem Feedback zu handschriftlichen Schülerarbeiten ist pädagogisch wertvoll, aber in großen Klassen schwer skalierbar. Traditionelle Multiple-Choice-Tests sind effizient, liefern jedoch keine Einblicke in den Lösungsweg oder diagnostische Missverständnisse. Gleichzeitig untergräbt der Aufstieg generativer KI (z. B. Systeme, die hochwertige handschriftliche Lösungen in Sekunden erstellen) die Zuverlässigkeit von Hausaufgaben, was einen Rückgang zu überwachten, handschriftlichen Prüfungen im Unterricht erzwingt.
Das Hauptproblem besteht darin, wie man den hohen Aufwand für das Korrigieren und Digitalisieren von handschriftlichen Mathematikprüfungen reduziert, ohne dabei die Genauigkeit, Fairness und die pädagogische Qualität des Feedbacks zu beeinträchtigen.

2. Methodik

Die Autoren entwickelten einen skalierbaren, End-to-End-Workflow für die KI-gestützte Bewertung kurzer, handschriftlicher Tests in zwei Grundstudiums-Mathematikvorlesungen an der Vrije Universiteit Brussel. Der Prozess umfasst sechs „Bonus-Tests" (je 10 Minuten, zwei Aufgaben pro Test).

Der Workflow gliedert sich in folgende Schritte:

• Datenerfassung und Anonymisierung:
  • Studenten nutzen standardisierte Antwortbögen mit Bubble-IDs und dedizierten Antwortfeldern.
  • Die Bögen werden gescannt. Ein OCR- und Template-Erkennungsprozess extrahiert die Antwortfelder und schneidet diese als separate Bilder aus.
  • Alle identifizierenden Informationen werden entfernt, bevor die Bilder an das LLM gesendet werden (Pseudonymisierung).
• Erstellung von Lösungsschlüsseln und Bewertungsrastern (Grading Keys):
  • Es wurden detaillierte LaTeX-Lösungen erstellt.
  • Kritischer Schritt: Entwicklung spezifischer Bewertungsraster, die Punkte für einzelne logische Schritte zuweisen. Die Autoren stellten fest, dass LLMs sehr wörtlich auf unpräzise Anweisungen reagieren. Daher mussten die Raster iterativ verfeinert werden (z. B. Vermeidung vager Begriffe wie „teilweise Punkte", stattdessen konkrete Kriterien; Aufteilung der Punkte auf viele kleine Schritte, um die Sensitivität gegenüber einzelnen Fehlern zu minimieren).
• LLM-Bewertungsprozess:
  • Modell: GPT-5.1.
  • Input: Die anonymisierte Antwortbild, die Frage, die vollständige Lösung und das detaillierte Bewertungsraster.
  • Multi-Pass-Strategie: Jede Antwort wird fünfmal unabhängig vom LLM bewertet, um die inhärente Stochastik des Modells zu kompensieren.
  • Aggregation: Als vorläufige Note wird der Maximum-Wert der fünf Bewertungen gewählt (konservativ im Sinne des Studenten, um Unterbewertung zu vermeiden).
  • Konsistenzprüfung: Es werden interne Metriken (Varianz, Spread) berechnet. Abweichende Ergebnisse werden automatisch markiert.
• Human-in-the-Loop (Mensch im Loop):
  • Ein menschlicher Korrektor erhält einen Bericht mit dem anonymisierten Bild, den fünf LLM-Bewertungen, den Konsistenzmetriken und der vorläufigen Note.
  • Der Korrektor prüft die Begründung des LLM und bestätigt oder korrigiert die Note.
  • Ein Teil der Antworten wurde zusätzlich von blinden Assistenten bewertet, um die LLM-Leistung zu kalibrieren.

3. Wichtige Beiträge

• End-to-End-Workflow: Präsentation eines vollständigen Systems, das von der Scan-Verarbeitung über die Anonymisierung bis zur KI-Bewertung und menschlichen Validierung reicht.
• Optimierung von Bewertungsrastern: Identifikation, dass die Qualität der Bewertungsraster (Grading Keys) der kritischste Faktor für die Zuverlässigkeit von LLMs ist. Die Autoren liefern Prinzipien für die Erstellung robuster Raster (feingranulare Schritte, explizite Alternativlösungen, Vermeidung von Mehrdeutigkeiten).
• Hybrides Design: Demonstration, dass eine Kombination aus automatischer Vorbewertung und menschlicher Endkontrolle sowohl Effizienz als auch Fairness gewährleistet, anstatt auf eine vollständige Automatisierung zu setzen.
• Open Source: Die vollständige Implementierung des Pipelines (Code für Verarbeitung, Anonymisierung, Bewertung) ist öffentlich verfügbar.

4. Ergebnisse

Die Studie wurde mit sechs erfahrenen Korrektoren durchgeführt, die sowohl manuell als auch digital (LLM-gestützt) bewerteten.

• Zeiteinsparung:
  • Der Einsatz von LLMs reduzierte die Korrekturzeit im Durchschnitt um 23,3 % (geometrisches Mittel des Verhältnisses digital/manuell: 0,767).
  • Dieser Gewinn war über alle Korrektoren hinweg konsistent und nicht nur auf Lerneffekte zurückzuführen.
• Übereinstimmung und Konsistenz:
  • Die Übereinstimmung zwischen Mensch und LLM (gemessen mit dem quadratisch gewichteten Cohen's $\kappa$) war vergleichbar mit oder sogar höher als die Übereinstimmung zwischen zwei menschlichen Korrektoren.
  • In vielen Fällen stimmten menschliche Korrektoren stärker mit dem LLM überein als miteinander.
  • Die Verteilung der Abweichungen im digitalen Workflow war enger um Null konzentriert (geringere mediane absolute Abweichung), was auf eine stabilisierende Wirkung des LLM als „Anker" hindeutet.
• Ausreißer:
  • Es gab eine kleine Anzahl von Ausreißern (ca. 3 %), bei denen das LLM stark von menschlichen Bewertungen abwich. Diese Fälle wurden jedoch effektiv durch den menschlichen Validierungsschritt identifiziert und korrigiert.
  • Die Wahl des Maximums der fünf LLM-Bewertungen führte zu einer leichten Verschiebung nach oben, wurde aber als Schutzmechanismus gegen Unterbewertung akzeptiert.

5. Bedeutung und Fazit

Das Paper zeigt, dass Large Language Models (LLMs) nicht als Ersatz für menschliche Korrektoren, sondern als leistungsstarke unterstützende Werkzeuge in einem hybriden Workflow fungieren können.

• Skalierbarkeit: Der Ansatz ermöglicht es, den Feedback-Zyklus in großen Klassen deutlich zu beschleunigen, ohne die Qualität zu opfern.
• Fairness: Durch die menschliche Validierung werden Fehler des Modells (Halluzinationen, Fehlinterpretationen) abgefangen.
• Pädagogischer Wert: Der Workflow unterstützt die Rückkehr zu überwachten, handschriftlichen Prüfungen als Reaktion auf generative KI, indem er den administrativen Aufwand für diese Formate senkt.
• Zukunftsausblick: Die Methode ist nicht auf Mathematik beschränkt und könnte auf andere STEM-Fächer (z. B. Programmieraufgaben) übertragen werden, sofern strukturierte Bewertungsraster erstellt werden können.

Zusammenfassend beweist die Studie, dass ein sorgfältig gestalteter „Human-in-the-Loop"-Ansatz die Arbeitslast erheblich reduziert und gleichzeitig faire, genaue und zeitnahe Bewertungen ermöglicht.