Evaluating Austrian A-Level German Essays with Large Language Models for Automated Essay Scoring

Die Studie zeigt, dass aktuelle Large Language Models zwar in der Lage sind, österreichische A-Level-German-Aufsätze anhand von Bewertungsrastern zu analysieren, jedoch mit einer Übereinstimmungsrate von maximal 40,6 % bei Teilaspekten und nur 32,8 % bei der Endnote noch nicht die notwendige Genauigkeit für den realen Einsatz in der automatisierten Benotung erreichen.

Das Wesentliche

🇦🇹 Wenn Computer die Matura korrigieren: Ein Versuch mit KI

Stellt euch vor, ihr seid Lehrer an einer österreichischen Schule. Ihr habt 100 Aufsätze von Schülern vor euch liegen. Jeder Aufsatz ist anders: manche sind Kommentare, andere sind Buchbesprechungen oder Leserbriefe. Um diese zu bewerten, gibt es einen strengen Bewertungszettel (Rubrik). Das ist wie eine Landkarte, die genau sagt: „Wenn der Schüler hier einen guten Punkt macht, gibt es 1, wenn er hier einen Fehler macht, gibt es 4."

Normalerweise braucht ein Lehrer dafür Stunden und Stunden. Die Frage der Forscher Jonas, Lena und Clemens war: Kann eine Künstliche Intelligenz (KI) das schneller und genauso fair machen?

Sie haben sich vier verschiedene „Super-Computer-Gehirne" (Large Language Models) ausgesucht und sie getestet. Hier ist, was dabei herauskam, erklärt mit einfachen Bildern:

1. Die Kandidaten: Vier verschiedene Gehirne

Die Forscher haben vier KI-Modelle getestet, die wie vier verschiedene Schüler mit unterschiedlichen Stärken waren:

• Mixtral: Wie ein Schüler, der sehr schnell ist, aber die Aufgabe gar nicht versteht. Er hat fast allen Aufsätzen die gleiche Note (eine 3) gegeben – egal ob der Text gut oder schlecht war. Ein „Einheitsbrei"-Korrigierer.
• DeepSeek: Wie ein sehr strenger Lehrer, der manchmal sogar auf Chinesisch kommentiert (was bei deutschen Aufsätzen nicht hilft) und oft die Regeln vergisst.
• Qwen: Ein sehr genauer, aber extrem strenger Korrektor. Er erklärt seine Noten gut, ist aber oft zu hart.
• LLama3.3 (Der Gewinner): Das war der „Klassenbeste". Er verstand die Aufgabe am besten, gab unterschiedliche Noten und hielt sich an die Regeln. Aber er war auch langsam – wie ein Schüler, der jeden Satz dreimal überdenkt, bevor er schreibt.

2. Der Trick: Wie man der KI hilft (RAG und Few-Shot)

Die KI allein war am Anfang noch etwas verloren. Sie wusste nicht, was eine „gute" Note ist. Also haben die Forscher ihr zwei Tricks beigebracht:

• Trick A: Der „Beste-Durchschnitt-Schlechteste"-Koffer (RAG)
  Stellt euch vor, ihr gebt der KI vor jedem Aufsatz drei Beispiele mit: einen perfekten Aufsatz (Note 1), einen Durchschnitts-Aufsatz (Note 3) und einen katastrophalen Aufsatz (Note 5).

  • Ergebnis: Das half der KI, ein Gefühl für die Skala zu bekommen. Aber sie war immer noch etwas unsicher.

• Trick B: Das Gespräch (Few-Shot Prompting)
  Hier haben die Forscher mit der KI „gesprochen". Sie sagten: „Hier ist ein Aufsatz, was denkst du? Okay, deine Antwort war falsch, die richtige Note wäre X gewesen. Hier ist der nächste..."

  • Ergebnis: Das war wie ein Nachhilfeunterricht. Die KI lernte aus ihren Fehlern und wurde viel besser. Besonders gut funktionierte es, wenn man für lange Texte andere Beispiele gab als für kurze Texte.

3. Das Endergebnis: Noch nicht fertig, aber vielversprechend

Am Ende haben die Forscher die Noten der KI mit den echten Noten eines menschlichen Lehrers verglichen.

• Die harte Wahrheit: Die KI war nicht perfekt. Nur bei etwa 33 % der Fälle gab sie exakt die gleiche Note wie der Mensch. Bei den Details (wie „Inhalt" oder „Stil") lag die Übereinstimmung manchmal nur bei 40 %.
• Die gute Nachricht: Die KI war in der Lage, die Regeln zu verstehen und zu nutzen. Sie ist kein Zufallsgenerator mehr.

4. Warum wir noch nicht alle Lehrer durch Roboter ersetzen können

Stellt euch vor, die KI müsste einen Aufsatz in 10 Minuten korrigieren. Aktuell dauert es mit dem besten Modell (LLama) oft 10 Minuten pro Aufsatzpaar.

• Das Problem: Wenn ein Lehrer 50 Aufsätze hat, würde er 500 Minuten warten. Das ist für den Schulalltag viel zu langsam.
• Das andere Problem: Die KI ist manchmal noch zu streng oder zu nachsichtig, je nachdem, wie sie „angefüttert" wurde.

🎯 Das Fazit in einem Satz

Die KI ist wie ein sehr fleißiger, aber noch etwas langsamer und manchmal etwas verwirrter Praktikant. Sie kann die Regeln lernen und hilft dem Lehrer, die Arbeit zu strukturieren, aber sie ist noch nicht reif genug, um den Lehrer komplett zu ersetzen.

Die Zukunft liegt nicht darin, den Lehrer zu feuern, sondern ihm einen intelligenten Assistenten an die Seite zu stellen, der die erste Bewertung macht, damit der Lehrer sich auf das Wichtigste konzentrieren kann: das echte Lernen der Schüler.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Evaluating Austrian A-Level German Essays with Large Language Models for Automated Essay Scoring" auf Deutsch:

1. Problemstellung

Das Ziel des Papers ist die Untersuchung der Eignung von State-of-the-Art (SOTA) Large Language Models (LLMs) für das automatisierte Bewerten (Automated Essay Scoring, AES) von österreichischen Matura-Aufsätzen im Fach Deutsch.

• Herausforderung: Das manuelle Korrigieren von Aufsätzen ist zeitaufwendig und unterliegt subjektiven Verzerrungen. Bestehende AES-Systeme basieren oft auf handgefertigten Merkmalen oder spezifisch feinabgestimmten Modellen, die wenig flexibel sind.
• Spezifische Komplexität: Die österreichische Matura umfasst sieben verschiedene Textsorten (z. B. Erörterung, Kommentar, Textinterpretation), die jeweils eigene, detaillierte Bewertungsrubriken (Rubrics) erfordern. Ein System muss diese Textsorten erkennen und die passenden Kriterien anwenden können.
• Ziel: Evaluation, ob offene LLMs in der Lage sind, diese komplexen, rubrikbasierten Bewertungen ohne Feinabstimmung (Fine-Tuning) durchzuführen und wie gut sie mit menschlichen Experten übereinstimmen.

2. Methodik

Datengrundlage

• Korpus: Ein Datensatz von 101 anonymisierten Matura-Aufsätzen (aus den Jahren 2023 und 2024), bereitgestellt vom SRDP (Standardisierte Reife- und Diplomprüfung).
• Textsorten: Der Datensatz umfasst drei Texttypen: Literarische Interpretation, Leserbrief und Kommentar.
• Vorverarbeitung: Die Originale waren gescannte PDFs (teilweise handschriftlich), was zu OCR-Fehlern führte. Handschriftliche Texte mussten ausgeschlossen werden.
• Bewertungsskala: Österreichische 5-Punkte-Skala (1 = sehr gut bis 5 = nicht bestanden). Die Bewertung erfolgt in vier Hauptdimensionen pro Text: Inhalt, Struktur, Sprachnormen und Stil/Ausdruck.

Modelle

Vier Open-Weight-LLMs wurden evaluiert:

1. LLama3.3 70b
2. DeepSeek-R1 32b
3. Qwen3 30b
4. Mixtral 8x7b

Experimentelle Ansätze

Die Studie verglich verschiedene Prompting-Strategien und Kontextmethoden:

1. Zero-Shot Baseline: Nur die Rubrik und der Text wurden als Prompt gegeben.
2. RAG (Retrieval Augmented Generation): Verschiedene Strategien zur Auswahl von Referenztexten als Kontext:
   • Best-Average-Worst: Feste Auswahl von Mustertexten (beste, durchschnittliche, schlechteste Note).
   • Most-similar-matches: Vektorbasierte Suche nach ähnlichsten Texten.
   • Range-of-examples: Auswahl von Texten, die alle Notenstufen (1–5) abdecken.
3. Few-Shot Prompting: Iteratives Bewerten mehrerer Texte mit sofortiger Rückmeldung der korrekten Lösung (Self-Correction).
4. Chain-of-Thought (CoT): Hinzufügen von Schritten zur logischen Begründung vor der Note.

Evaluationsmetriken

• Quadratic Weighted Kappa (QWK): Maß für die Übereinstimmung zwischen Modell und Mensch (unter Berücksichtigung der Schwere von Fehlern).
• Mean Absolute Error (MAE): Durchschnittlicher Fehler in Notenpunkten.
• Pearson Correlation Coefficient (PCC): Lineare Korrelation.
• Accuracy: Prozentsatz der exakt übereinstimmenden Noten.

3. Wichtige Ergebnisse

Modellleistung

• LLama3.3 70b war das einzige Modell, das stabil und divers genug war, um die Aufgabe zu bewältigen.
• Mixtral 8x7b scheiterte fast vollständig (verteilte fast 100 % der Noten auf die mittlere Note 3).
• DeepSeek-R1 zeigte zu strenge Bewertungen, ignorierte Referenztexte und lieferte teilweise inkonsistente Ausgaben (z. B. chinesische Zeichen im Feedback).
• Qwen3 war etwas diverser, aber weniger genau als LLama3.3.
• Hinweis: LLama3.3 benötigte deutlich mehr Rechenzeit (ca. 240–750 Sekunden pro Aufgabenpaar) als die kleineren Modelle.

Strategie-Vergleich

• Few-Shot vs. RAG: Few-Shot Prompting erzielte insgesamt bessere Ergebnisse als reine RAG-Ansätze, insbesondere bei der Abdeckung des gesamten Notenspektrums.
• Kontextlänge: Es zeigte sich ein Unterschied zwischen den Textsorten:
  • Task 1 (längere Texte): Profitierte von weniger Kontext (Best-Average-Worst).
  • Task 2 (kürzere Texte): Profitierte von mehr Kontext (All-Grades).
  • Eine gemischte Strategie (Task-spezifische Kontextwahl) führte zu den besten Ergebnissen.
• Chain-of-Thought (CoT): CoT verbesserte die QWK-Werte nicht signifikant, erhöhte aber die Accuracy (exakte Notenübereinstimmung) drastisch, besonders bei kurzen Texten. Dies deutet darauf hin, dass CoT hilft, die Note präziser zu bestimmen, auch wenn die Fehlerverteilung (QWK) durch härtere Abweichungen in Einzelfällen leiden kann.

Quantitative Ergebnisse

• Die maximale Übereinstimmung in den Rubrik-Subdimensionen lag bei 40,6 %.
• Die Übereinstimmung der Endnoten mit dem menschlichen Gutachter lag bei nur 32,8 % (unter der besten Konfiguration).
• Der beste QWK-Wert für die Endnote wurde mit RAG (einzelner Referenztext) erreicht, aber die Genauigkeit in den Subdimensionen war dort schwach, was die Validität infrage stellt.

4. Hauptbeiträge

1. Evaluation von Open-Source LLMs für Deutsch: Erste umfassende Studie, die mehrere SOTA-Modelle auf österreichische Matura-Aufsätze anwendet.
2. Vergleich von Prompting-Strategien: Systematischer Vergleich von Zero-Shot, RAG-Varianten und Few-Shot-Methoden mit und ohne CoT im Kontext von Rubrik-basiertem Bewerten.
3. Erkenntnis zur Kontextanpassung: Nachweis, dass die optimale Kontextstrategie von der Textsorte (Länge/Komplexität) abhängt und eine hybride Lösung notwendig ist.
4. Identifikation von Limitationen: Aufzeigen, dass aktuelle Modelle trotz guter QWK-Werte noch nicht für den vollautomatischen Einsatz in der Praxis geeignet sind, primär aufgrund mangelnder Genauigkeit bei der Endnote und hoher Rechenkosten.

5. Bedeutung und Fazit

• Aktueller Status: LLMs sind derzeit nicht präzise genug, um menschliche Prüfer in der österreichischen Matura vollständig zu ersetzen. Die Übereinstimmung von ca. 33 % bei der Endnote ist für einen autonomen Einsatz zu niedrig.
• Potenzial: Die Modelle eignen sich jedoch hervorragend als unterstützende Werkzeuge (Co-Pilot), um Lehrkräfte bei der Vorarbeit zu entlasten, insbesondere wenn sie durch strukturierte Few-Shot-Prompts und menschliche Aufsicht (Human-in-the-Loop) gesteuert werden.
• Herausforderungen:
  • Rechenleistung: Hoher Ressourcenbedarf für große Modelle (70B Parameter).
  • Datenqualität: OCR-Fehler und das Fehlen von Mehrfachbewertungen (Ground Truth) durch mehrere menschliche Prüfer limitieren die Validität.
  • Fairness & Sicherheit: Notwendigkeit, Verzerrungen (Bias) und Prompt-Injection-Angriffe zukünftig zu adressieren.

Das Paper schließt, dass die Zukunft des AES nicht im vollständigen Ersatz menschlicher Urteilskraft liegt, sondern in der Entwicklung zuverlässiger, fairer und transparenter KI-Systeme, die die Arbeit von Lehrkräften unterstützen und den Lernprozess der Schüler fördern.