💬 NLP

Toward LLM-Supported Automated Assessment of Critical Thinking Subskills

Diese Studie untersucht die Machbarkeit des automatisierten Assessments von kritischen Denkfertigkeiten in Schüleraufsätze mittels verschiedener LLM-Ansätze und stellt fest, dass das Feinabstimmen des Modells Llama 3.1 8B zwar bei klar abgrenzbaren Kompetenzstufen erfolgreich ist, bei subtilen Unterscheidungen und unausgewogenen Daten jedoch an Grenzen stößt.

Ursprüngliche Autoren: Marisa C. Peczuh, Nischal Ashok Kumar, Ryan Baker, Blair Lehman, Danielle Eisenberg, Caitlin Mills, Payu Wittawatolarn, Kushaan Naskar, Keerthi Chebrolu, Sudhip Nashi, Cadence Young, Brayden Liu, Sher

Veröffentlicht 2026-02-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Marisa C. Peczuh, Nischal Ashok Kumar, Ryan Baker, Blair Lehman, Danielle Eisenberg, Caitlin Mills, Payu Wittawatolarn, Kushaan Naskar, Keerthi Chebrolu, Sudhip Nashi, Cadence Young, Brayden Liu, Sherry Lachman, Andrew Lan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ziel: Den „Gedanken-Detektor" bauen

Stellt euch vor, wir leben in einer Welt, die vollgepumpt ist mit KI-generiertem Unsinn, Fake News und cleveren Tricks, die uns manipulieren wollen. In dieser Welt ist die Fähigkeit, kritisch zu denken (also Fakten von Lügen zu unterscheiden, Beweise zu prüfen und eigene Schlüsse zu ziehen), so wichtig wie ein Feuerlöscher im Haus.

Das Problem ist: Lehrer haben oft keine Zeit, jeden einzelnen Aufsatz eines Schülers minutiös zu lesen, um zu sehen, ob dieser wirklich „kritisch denkt". Sie brauchen einen Assistenten.

Diese Forscher haben sich also gefragt: Können wir eine KI bauen, die wie ein strenger, aber fairer Lehrer Aufsätze liest und bewertet, ob darin kritisches Denken steckt?

Der Versuch: Ein riesiges Puzzle aus Aufsätzen

Um das herauszufinden, haben die Forscher Tausende von Aufsätzen von Schülern (von der 6. bis zur 12. Klasse) gesammelt. Diese Aufsätze waren keine einfachen „Ich mag Pizza"-Texte, sondern Argumentationsaufsätze.

Der menschliche Teil:
Zuerst haben echte Menschen (Experten) diese Aufsätze gelesen. Sie haben sich eine Art Bewertungs-Leiter (ein Rubrik) ausgedacht. Statt nur „gut" oder „schlecht" zu sagen, haben sie den Aufsätzen Stufen gegeben:

Nicht anwendbar (Der Schüler hat gar nicht erst versucht zu denken).
Unterhalb des Starts (Der Versuch war da, aber noch sehr holprig).
Startend (Die Grundlagen sind da).
Erweiternd (Gute Arbeit).
Vorbildlich (Meisterwerk).

Sie haben das für verschiedene „Fertigkeiten" gemacht, wie zum Beispiel:

Quellen mischen: Kann der Schüler verschiedene Infos zu einem Ganzen zusammenfügen?
Beweise prüfen: Sind die Argumente stark oder nur leeres Gerede?
Gegenargumente nutzen: Erkennt der Schüler, wenn jemand anderer Meinung ist, und geht er darauf ein?
Logik-Fallen vermeiden: Verwendet der Schüler keine falschen Schlussfolgerungen?

Das Ergebnis der Menschen:
Die Menschen waren sich nicht immer zu 100 % einig (was völlig normal ist, denn Denken ist komplex). Aber sie haben eine solide Basis geschaffen.

Der KI-Teil: Drei verschiedene Ansätze

Dann haben sie drei verschiedene KI-Modelle (die „Gehirne" der Computer) getestet, um zu sehen, ob diese die menschliche Bewertung nachahmen können.

Der „Blind-Test" (Zero-Shot): Man gibt der KI den Aufsatz und die Regeln, ohne ihr vorher Beispiele zu zeigen. Das ist wie ein Schüler, der zum ersten Mal eine Prüfung macht, ohne gelernt zu haben.
- Ergebnis: Die KI war okay, aber nicht perfekt. Sie verstand die Regeln, aber hatte Schwierigkeiten mit den Feinheiten.
Der „Lernende" (Few-Shot): Man gibt der KI ein paar Beispiele, wie man die Aufsätze bewertet, bevor sie die echten prüft. Das ist wie ein Schüler, der ein paar Musterlösungen sieht.
- Ergebnis: Besser als der Blind-Test, aber immer noch nicht der Hammer.
Der „Praktikant" (Fine-Tuning): Hier haben sie eine KI (ein Modell namens Llama) eigens mit den menschlichen Bewertungen „trainiert". Man hat ihr quasi 500 Aufsätze gezeigt und gesagt: „So hat der Mensch das bewertet, also lerne das."
- Ergebnis: Das war der Gewinner! Diese trainierte KI war der menschlichen Bewertung am nächsten. Sie war fast so gut wie die menschlichen Experten.

Was hat funktioniert und was nicht? (Die Metaphern)

Stellt euch vor, die KI ist ein Koch.

Was gut geklappt hat: Wenn die Zutaten (die Aufsätze) ganz klar waren – zum Beispiel, wenn ein Schüler gar keine Quellen zitiert hat – konnte die KI das sofort erkennen. Das ist wie das Erkennen, ob in einem Kuchen überhaupt Eier drin sind.
Was schwierig war: Wenn die Unterschiede sehr subtil waren. Zum Beispiel: „Hat der Schüler etwas mehr Fakten als Meinungen verwendet?" Das ist wie zu unterscheiden, ob ein Kaffee leicht oder sehr leicht gesüßt ist. Hier hat die KI oft daneben gegriffen.
Das Problem mit den „seltenen" Stufen: Es gab sehr wenige Aufsätze, die „Vorbildlich" waren. Die KI hat sich darauf spezialisiert, die häufigen Fälle zu erkennen (wie ein Koch, der nur Pizza macht, weil Pizza am meisten bestellt wird), und vergaß die seltenen, aber wichtigen Fälle.

Die große Erkenntnis: Man braucht einen „Lehrplan"

Ein spannendes Ergebnis war: Wenn man der KI einen Aufsatz zu einem Thema gab, das sie nie vorher gesehen hat (z. B. ein neues Bewertungskriterium), und ihr keine genauen Regeln (den „Lehrplan" oder Rubrik) mitgab, war sie komplett verloren.

Aber: Wenn man ihr den Lehrplan (die genauen Definitionen der Bewertungskriterien) mitgab, konnte sie sich auch auf neue Themen einstellen.

Vergleich: Es ist wie ein Schüler, der eine neue Matheaufgabe bekommt. Ohne die Formel (den Lehrplan) ist er ratlos. Mit der Formel kann er die Lösung finden, auch wenn er die Aufgabe noch nie gesehen hat.

Fazit: Ein erster Schritt, kein fertiges Produkt

Die Forscher sagen am Ende: Ja, es funktioniert! Wir können KI nutzen, um kritisches Denken in Aufsätzen zu messen. Das ist ein riesiger Schritt, weil es Lehrern helfen könnte, sofortiges Feedback zu geben, statt wochenlang warten zu müssen.

Aber es ist noch nicht perfekt. Die KI ist wie ein junger Praktikant: Sie ist schnell und billig, aber sie braucht noch viel Anleitung und menschliche Aufsicht, besonders bei den schwierigen, feinen Details.

Warum ist das wichtig?
In einer Welt, in der jeder mit KI lügen kann, brauchen wir Werkzeuge, die uns helfen, die Wahrheit zu erkennen. Diese Forschung zeigt, dass wir KI nicht nur nutzen können, um Texte zu schreiben, sondern auch, um zu prüfen, ob Menschen (und bald vielleicht auch KI-Systeme) wirklich gut denken.

Es ist der Anfang einer Reise, um Schulen und Lernsysteme so zu bauen, dass sie uns helfen, die wichtigsten Fähigkeiten des 21. Jahrhunderts zu meistern: Kritisches Denken.

1. Problemstellung

Kritisches Denken ist angesichts der Zunahme von KI-generierten Inhalten, Desinformation und algorithmischer Überzeugungsführung eine entscheidende menschliche Fähigkeit. Trotz seiner Bedeutung gibt es in der Community für Educational Data Mining (EDM) bisher kaum Forschung zur Definition, Messung und Unterstützung dieser Fähigkeit.
Die Hauptherausforderungen liegen in:

Operationalisierung: Kritisches Denken ist komplex, mehrdimensional und oft vage definiert, was eine automatische Messung erschwert.
Skalierbarkeit: Bestehende Assessments (z. B. Multiple Choice oder manuelle Bewertung von Essays) sind oft nicht zuverlässig, nicht valide oder zu aufwendig für den Einsatz in adaptiven Lernumgebungen.
Fehlende Echtzeit-Feedback: Es mangelt an Tools, die kritische Denkprozesse in authentischen Lernaktivitäten (wie dem Schreiben von Argumentationsessays) automatisch und sofort analysieren können.

Das Ziel des Papers ist es, die Machbarkeit zu untersuchen, „Subskills" des kritischen Denkens (z. B. Beweise bewerten, Schlussfolgerungen ziehen) ausschließlich aus studentischen Argumentationsessays mittels Large Language Models (LLMs) zu messen.

2. Methodik

Datengrundlage

Korpus: Ein Teil des PERSUADE 2.0-Korporas, bestehend aus über 4.000 Argumentationsessays von Schülern der 6. bis 12. Klasse.
Auswahl: Es wurden Essays ohne Zugriff auf die ursprünglichen Prompts oder Quellmaterialien verwendet, um die Bewertung rein auf den Text zu stützen.

Bewertungsrubrik und menschliche Kodierung

Rahmenwerk: Basierend auf der „Critical Thinking Progression" der Initiative Skills for the Future (ETS/Carnegie).
Subskills: Drei Hauptfähigkeiten mit sechs Subskills wurden definiert:
1. Informationsanalyse: Synthese mehrerer Quellen, Bewertung der Evidenzstärke.
2. Argumentgenerierung: Nutzung von Gegenargumenten, Nutzung von Fakten vs. Meinungen.
3. Logisches Schließen: Ziehen von Schlussfolgerungen, Vermeidung logischer Fehlschlüsse.
Profizienzniveaus: Ein 5-stufiges System (von „Nicht anwendbar" bis „Exemplarisch").
Human Coding: Zwei Gruppen von Kodierern (insgesamt 500 Essays, ca. 12 % des Datensatzes) bewerteten die Texte. Die Zuverlässigkeit wurde mittels Krippendorffs Alpha (Schwelle $\ge$ 0,60) und Weighted Kappa gemessen.

LLM-Ansätze

Drei verschiedene Ansätze wurden mit drei Modellen getestet:

GPT-5 (Proprietär):
- Zero-Shot Prompting: Direkte Anweisung mit Rubrik ohne Beispiele.
- Few-Shot Prompting: Anweisung mit In-Context-Beispielen für jedes Niveau.
Llama 3.1 8B (Open Source):
- Fine-Tuning: Supervised Fine-Tuning (SFT) mit LoRA-Adaptern.
- Varianten: Mit/ohne Rubrik-Deskriptoren im Prompt; mit/ohne synthetisch generierte Begründungen (Chain-of-Thought).
ModernBERT (Open Source):
- Fine-Tuning: Encoder-only-Modell mit einem Klassifikationskopf, trainiert mit Focal Loss zur Bewältigung von Klassenungleichgewichten.

Evaluierungsdesign

Aufteilung: Essay-basierte Split (70/10/20 Train/Val/Test) und Subskill-basierte Split (Generalisierung auf ungesehene Subskills).
Metriken: Accuracy, RMSE (für ordinale Skalen), Macro/Weighted F1 und Krippendorffs Alpha (als Maß für die Übereinstimmung mit menschlichen Kodierern).

3. Schlüsselergebnisse

Gesamtleistung

Fine-Tuning ist überlegen: Das Fine-Tuning von Llama 3.1 8B erzielte die besten Ergebnisse und übertraf sowohl GPT-5 (Few-Shot) als auch ModernBERT.
Schwellenwert: Nur das fine-getunte Llama-Modell erreichte ein Krippendorffs Alpha von $\alpha \approx 0,606$ , was die vom menschlichen Kodier-Team gesetzte Schwelle für ausreichende Zuverlässigkeit ( $\ge 0,60$ ) überschreitet.
Vergleich: GPT-5 (Few-Shot) erreichte $\alpha \approx 0,542$ , was unter der menschlichen Zuverlässigkeit liegt. Zero-Shot war noch schwächer ( $\alpha \approx 0,487$ ).

Subskill-spezifische Erkenntnisse

Starke Leistung: Subskills mit klaren, trennbaren Profizienzniveaus und balancierten Labels (z. B. Synthesizing Multiple Sources) wurden sehr gut erkannt ( $\alpha \approx 0,74$ ).
Schwache Leistung: Subskills, die subtile Unterscheidungen erfordern oder stark unausgeglichene Daten haben (z. B. Evaluating Evidence Strength mit einem dominanten „Emerging"-Label), führten zu schlechteren Ergebnissen ( $\alpha \approx 0,23$ ), da das Modell zur Mehrheitsklasse neigte.
Logische Fehlschlüsse: Die Erkennung von logischen Fehlschlüssen (Using Logical Fallacies) war schwierig, da diese oft subtil sind und nicht explizit markiert werden.

Generalisierung auf ungesehene Subskills

Beim Testen auf Subskills, die im Training nicht vorkamen (Subskill-basierte Split), sank die Leistung deutlich ( $\alpha \approx 0,42$ ).
Rollen der Rubrik: Rubrik-Deskriptoren im Prompt waren für die Generalisierung essenziell. Ohne diese fiel das Alpha auf nahe Null.
Begründungen: Das Hinzufügen synthetischer Begründungen (Chain-of-Thought) verbesserte die Generalisierung signifikant, da es das Modell zwingt, die Rubrikkriterien aktiv auf den Text anzuwenden.

Fehleranalyse

Die häufigsten Fehler traten zwischen benachbarten Profizienzniveaus auf (z. B. „Emerging" vs. „Expanding"). Das Modell hatte Schwierigkeiten, das Gleichgewicht zwischen Evidenz und logischen Fehlschlüssen zu bewerten, was auf die inhärente Schwierigkeit hinweist, diese Nuancen ohne explizite menschliche Scaffolding zu erkennen.

4. Wichtige Beiträge

Operationalisierung von Subskills: Das Paper liefert einen konkreten Rahmen zur Zerlegung des komplexen Konstrukts „Kritisches Denken" in messbare Subskills für die automatisierte Bewertung.
Benchmark für LLMs in EDM: Es bietet eine der ersten umfassenden Vergleiche von Zero-Shot, Few-Shot und Fine-Tuning für die Bewertung höherer Denkprozesse in authentischen Schülerarbeiten.
Nachweis der Notwendigkeit von Training: Es zeigt, dass proprietäre Modelle (GPT-5) allein durch Prompting oft nicht ausreichen, um menschliche Zuverlässigkeit zu erreichen; Fine-Tuning auf domänenspezifischen Daten ist entscheidend.
Ressourcen und Ethik: Es demonstriert, dass Open-Source-Modelle (Llama) nach Fine-Tuning kosteneffizienter und datenschutzfreundlicher sind als teure API-Lösungen, bei gleichzeitig höherer Leistung.

5. Bedeutung und Ausblick

Die Studie zeigt, dass KI-gestützte Bewertung von kritischem Denken in authentischen Lernkontexten machbar ist, aber keine „One-Size-Fits-All"-Lösung darstellt.

Praktische Implikation: Fine-tuned Open-Source-Modelle können als skalierbare Werkzeuge für formatives Feedback in adaptiven Lernsystemen eingesetzt werden, um Lehrern und Schülern Einblicke in spezifische Denkprozesse zu geben.
Herausforderungen: Die Leistung hängt stark von der Datenverteilung und der Klarheit der Unterscheidungskriterien ab. Für Subskills mit subtilen Nuancen sind weiterhin menschliche Validierung oder hybride Ansätze (Human-in-the-Loop) notwendig.
Zukunft: Weitere Forschung muss sich auf die Generalisierung auf neue Domänen, die Verbesserung der Datenbalance (z. B. durch Synthetic Oversampling) und die Integration expliziterer Fallacy-Definitionen konzentrieren, um die Zuverlässigkeit weiter zu steigern.

Zusammenfassend legt dieses Paper den Grundstein für die Integration von KI in die Bewertung von 21st-Century-Skills und bietet einen Wegweiser für die Entwicklung robusterer, skalierbarer Bildungsassessments.