Autoscoring Anticlimax: A Meta-analytic Understanding of AI's Short-answer Shortcomings and Wording Weaknesses

Diese Metaanalyse zeigt, dass KI-Modelle beim automatisierten Bewerten von Kurzantworten hinter menschlichen Experten zurückbleiben, wobei die Schwierigkeit für Menschen keine Vorhersagekraft für die KI-Leistung hat, Decoder-Architekturen signifikant schlechter abschneiden als Encoder und zudem Verzerrungen sowie Diskriminierung in Bildungskontexten aufweisen.

Michael Hardy

Veröffentlicht 2026-03-06
📖 5 Min. Lesezeit🧠 Tiefgang

Each language version is independently generated for its own context, not a direct translation.

📝 Der große Enttäuschungs-Check: Warum KI beim Bewerten von Schülerarbeiten noch nicht so gut ist wie ein Lehrer

Stell dir vor, du hast einen riesigen, super-intelligenten Roboter namens KI. Dieser Roboter hat Millionen von Büchern, Artikeln und Internetseiten gelesen. Er kann fließend sprechen, Gedichte schreiben und sogar komplexe Fragen beantworten. Man würde denken: „Der ist doch perfekt, um die Hausaufgaben von Kindern zu korrigieren!"

Aber die neue Studie von Michael Hardy (von der Stanford University) sagt etwas ganz anderes: Der Roboter ist beim Korrigieren von kurzen Schülerantworten noch ziemlich schlecht. Es ist fast so, als würde man einen Weltmeister im Schach bitten, ein Kleinkind beim Laufen zu unterrichten – er ist zwar ein Genie in seinem Bereich, aber für diese spezielle Aufgabe einfach nicht gemacht.

Hier sind die wichtigsten Punkte der Studie, übersetzt in einfache Bilder:

1. Der „Bürokraten"-Roboter vs. Der „Verstehende"-Lehrer

Stell dir vor, du musst einen Aufsatz bewerten.

  • Der Lehrer liest den Text und denkt: „Aha, dieses Kind hat die Idee verstanden, auch wenn es ein paar Rechtschreibfehler hat." Der Lehrer versteht den Gehalt der Geschichte.
  • Die KI (wie GPT) funktioniert wie ein extrem schneller Bürokrat, der nur nach Mustern sucht. Sie schaut nicht wirklich, was gemeint ist, sondern nur, wie es geschrieben ist. Sie sucht nach Schlüsselwörtern und perfekten Sätzen.

Das Problem: Wenn ein Kind schreibt: „Ich bin exited (aufgeregt) für den Weltraum", erkennt die KI oft nur den Fehler („exited" statt „excited") und gibt eine schlechte Note. Ein Lehrer würde aber sehen: „Das Kind ist aufgeregt, das ist eine gute Idee!" Die KI verpasst die Bedeutung, weil sie nur auf die Oberfläche schaut.

2. Das „Schwierigkeits-Rätsel": Was für Menschen leicht ist, ist für KI schwer

In der Studie haben die Forscher herausgefunden, dass die KI nicht dort versagt, wo es für Menschen schwer ist.

  • Beispiel: Eine Aufgabe, bei der man nur Fakten nennen muss (z. B. „Wie viele Beine hat ein Hund?"), ist für die KI leicht.
  • Beispiel: Eine Aufgabe, bei der man eine Geschichte analysieren muss (z. B. „Warum ist die Figur traurig?"), ist für die KI eine Katastrophe.

Es ist, als würde ein Mathematik-Genie versuchen, ein Gedicht zu verstehen. Je mehr „Sinn" und „Gefühl" in der Aufgabe steckt, desto schlechter wird die KI. Und das ist genau das, was man in der Schule oft bewertet: das Verständnis, nicht nur das Auswendiglernen.

3. Der „Wort-Salat"-Effekt (Tokenisierung)

KI-Modelle lesen Texte nicht wie wir, sondern sie zerlegen sie in kleine Häppchen, sogenannte Tokens (wie Puzzleteile).

  • Das Problem: Wenn ein Kind einen Tippfehler macht oder ein Wort seltsam schreibt (weil es noch lernt), zerfällt das Puzzleteil der KI. Die KI denkt dann: „Huch, das Wort kenne ich nicht!" und gerät in Panik.
  • Die Metapher: Stell dir vor, du liest einen Satz, aber alle Wörter werden in Silben zerlegt, und manche Silben fehlen. Du würdest den Satz auch nicht verstehen. Die KI ist extrem empfindlich gegenüber kleinen Änderungen. Ein einziger leerer Raum oder ein Komma kann dazu führen, dass die KI eine völlig andere Note gibt, obwohl der Text derselbe ist.

4. Die „Rassismus-Falle": Wenn die KI Vorurteile hat

Das ist der erschreckendste Teil der Studie. Die Forscher haben getestet, ob die KI fair ist.

  • Das Experiment: Sie gaben der KI exakt denselben Aufsatz eines Kindes.
    • Version A: „Dieser Aufsatz wurde von einem weißen Kind geschrieben."
    • Version B: „Dieser Aufsatz wurde von einem schwarzen Kind geschrieben."
  • Das Ergebnis: Die KI gab dem weißen Kind eine bessere Note und ein freundlicheres Feedback. Dem schwarzen Kind gab sie eine schlechtere Note und kritisierte härter die Rechtschreibung.

Warum passiert das? Die KI wurde mit dem ganzen Internet trainiert. Und im Internet gibt es leider viele Vorurteile. Die KI hat diese Vorurteile „gelernt" und kopiert sie, ohne zu merken, dass sie unfair ist. Sie denkt: „Schwarze Kinder schreiben vielleicht schlechter" (ein Vorurteil aus den Daten), und bewertet den Text danach, nicht nach dem Inhalt.

5. Mehr Größe hilft nicht immer

Man könnte denken: „Wenn wir die KI nur größer und stärker machen, wird sie besser."
Die Studie sagt: Nein.
Es ist, als würde man einen riesigen, schweren LKW bauen, um einen kleinen Garten zu pflegen. Der LKW ist mächtig, aber er kann die kleinen Blumen nicht vorsichtig gießen.

  • Größere Modelle sind besser im Formulieren von Sätzen, aber sie werden nicht automatisch besser darin, die Regeln (den Lehrplan) genau zu befolgen.
  • Die KI ist darauf trainiert, Texte zu erzeugen (wie ein Autor), nicht Texte zu bewerten (wie ein Richter). Das sind zwei völlig verschiedene Aufgaben.

🚀 Was bedeutet das für die Zukunft?

Die Studie ist eine Warnung an alle, die glauben, KI könne jetzt schon Lehrer ersetzen.

  1. Vertraue nicht blind: Wir können KI nicht einfach in Schulen werfen und sagen: „Korrigiert mal!" Die Ergebnisse sind oft unzuverlässig und unfair.
  2. Die Technik muss anders gebaut werden: Wir brauchen keine noch größeren Modelle, sondern Modelle, die speziell dafür trainiert sind, Bedeutung zu verstehen und nicht nur Wörter zu zählen.
  3. Menschen bleiben wichtig: Bis die KI lernt, wirklich zu verstehen, was ein Kind denkt und fühlt, müssen Lehrer die Arbeit bewerten. Die KI kann vielleicht helfen, aber sie darf nicht das letzte Wort haben.

Zusammenfassend: Die KI ist wie ein brillanter Schüler, der alles auswendig gelernt hat, aber noch nie verstanden hat, was er eigentlich schreibt. Wenn wir sie in der Schule einsetzen wollen, müssen wir erst sicherstellen, dass sie nicht nur „klug" aussieht, sondern auch fair und verständnisvoll ist. Bis dahin ist sie für das Bewerten von Kinderarbeiten noch nicht bereit.