AI-supported formative assessment of conceptual understanding in mathematics: LLM-based pre-coding of open student responses
Diese Studie zeigt, dass auf Prompting basierende große Sprachmodelle zuverlässig konzeptionelle Kategorien in offenen mathematischen Antworten von Studierenden identifizieren können, ohne dass ein Fine-Tuning erforderlich ist, wobei sie eine hohe Genauigkeit für positive Merkmale und tiefes konzeptionelles Verständnis erreichen, während gleichzeitig die Notwendigkeit von Expert-in-the-Loop-Unterstützung und linguistisch expliziten Prompts hervorgehoben wird, um Herausforderungen bei der Verifizierung fehlender Merkmale oder der Auflösung von Ambiguität zu bewältigen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Im Klassenzimmer ereignen sich die wertvollsten Momente oft nicht dann, wenn ein Schüler die richtige Antwort gibt, sondern wenn er erklärt, wie er zu ihr gelangt ist. Lehrer wissen schon lange, dass sie den Geist eines Schülers wirklich verstehen müssen, indem sie über das Endergebnis hinausblicken und die Logik dahamen dahinter betrachten. Dies ist das Herzstück der formativen Bewertung: ein Prozess der Begleitung des Lernens, während es stattfindet, damit der Unterricht angepasst werden kann, um dem Schüler beim Fortschreiten zu helfen. Es gibt jedoch ein praktisches Problem. Wenn Schüler ihre Gedanken aufschreiben, Bilder zeichnen oder eigene Textaufgaben erstellen, steht der Lehrkraft ein Berg von Text gegenüber, der gelesen und interpretiert werden muss. Dies für jeden einzelnen Schüler in dieser Tiefe zu tun, kostet Zeit, die im hektischen Schulalltag selten zur Verfügung steht. Infolgedessen bewerten viele Lehrkräfte letztlich nur die Endergebnisse und verpassen dabei die reichen Erkenntnisse, die in den Erklärungen der Schüler verborgen liegen.
Seit Jahren versuchen Forscher, Computer zu bauen, die diese Erklärungen lesen und die darin enthaltenen Denkprozesse erkennen können. Frühe Versuche scheiterten oft, weil sie auf starren Regeln basierten oder riesige Mengen an vorab gekennzeichneten Daten benötigten, um zu lernen. Die Ankunft von Large Language Models – leistungsstarken Computersystemen, die auf riesigen Textmengen trainiert wurden, um menschliche Sprache zu verstehen und zu generieren – hat die Frage neu aufgeworfen. Diese Modelle können Anweisungen in natürlicher Sprache befolgen, ohne für jede spezifische Aufgabe neu trainiert werden zu müssen. Doch ein kritischer Zweifel bleibt: Kann eine Maschine, die exzellent in Sprache ist, die spezifische, oft subtile Logik der Mathematik tatsächlich verstehen? Kann sie zwischen einem Schüler unterscheiden, der ein Konzept wirklich durchdrungen hat, und einem, der nur rät oder die richtigen Wörter aus den falschen Gründen verwendet?
Ein Forscher der TU Dortmund University setzte sich zum Ziel, diese Frage im Kontext der Mathematikausbildung zu beantworten. Er wollte wissen, ob diese neuen KI-Werkzeuge zuverlässig spezifische Arten des Denkens in offenen mathematischen Antworten identifizieren können und ob sie dies gut genug leisten können, um im echten Klassenzimmer nützlich zu sein. Die Studie konzentrierte sich auf zwei Hauptbereiche: natürliche Zahlen und Brüche. Der Forscher sammelte tausende schriftliche Antworten von Schülern der Klassen fünf und sechs. Diese Schüler wurden gebeten, Dinge zu tun wie etwa zu erklären, warum ein Bruch auf eine bestimmte Weise funktioniert, oder eine eigene Textaufgabe für eine gegebene mathematische Gleichung zu erstellen. Das Ziel war zu sehen, ob eine KI, geleitet von einem Satz Anweisungen eines menschlichen Experten, diese Antworten in aussagekräftige Kategorien wie „zeigt tiefes Verständnis“, „hat ein spezifisches Fehlkonzept“ oder „liefert keinen Beleg für Verständnis“ sortieren kann.
Der Forscher testete vier verschiedene Open-Source-KI-Modelle, also Versionen der Technologie, die Schulen auf eigenen Servern hosten können, um die Privatsphäre der Schüler zu schützen. Er verglich die Bewertung der KI mit der von menschlichen Experten. Die Ergebnisse waren überraschend positiv. Über mehr als 13.000 kodierte Antworten hinweg erreichten die KI-Modelle eine hohe Übereinstimmung mit den menschlichen Experten und identifizierten die Hauptkategorien des Schülerdenkens in etwa 82 Prozent der Fälle korrekt. Diese Leistung war konsistent über verschiedene Arten von mathematischen Problemen und verschiedene Modelle hinweg. Die KI war besonders gut darin, zu erkennen, wenn ein Schüler ein Konzept korrekt erklärte, wie etwa das Verständnis, dass Multiplikation das Gruppieren von Objeken beinhaltet, oder wenn ein Schüler einen klaren, spezifischen Fehler in seiner Argumentation machte.
Die Studie zeigte jedoch auch auf, wo die Maschinen an ihre Grenzen stießen. Wenn die Aufgabe von der KI eine einfache arithmetische Prüfung verlangte – etwa die Verifizierung, ob die Zahlen in einer Geschichte eines Schülers tatsächlich korrekt addiert wurden –, hatten die Modelle Schwierigkeiten. Sie hatten auch Probleme, wenn die Antwort eines Schülers sehr kurz oder vage war oder wenn der Schüler eine mehrdeutige Sprache verwendete. In diesen kniffligen Situationen neigte die KI zum Raten und nahm oft an, der Schüler hätte mehr verstanden, als er tatsächlich tat. Der Forscher stellte fest, dass die KI etwa so gut abschnitt wie ein sachkundiger Nicht-Experte, wie etwa ein Lehramtsstudent, aber sie konnte die Leistung eines erfahrenen Experten nicht erreichen, der sofort tiefe konzeptionelle Fehler oder Berechnungsfehler erkennen kann.
Die bedeutendste Erkenntnis war nicht nur, dass die KI funktioniert, sondern wie sie funktioniert und wo sie Hilfe benötigt. Der Forscher entdeckte, dass die KI am zuverlässigsten ist, wenn die Antwort eines Schülers linguistisch explizit ist. Wenn ein Schüler klare Wörter verwendet, um eine Gruppierungsstruktur zu beschreiben, erkennt die KI dies problemlos. Wenn der Schüler vage bleibt, verliert sich die KI. Dies deutet darauf an, dass das Design der Testfragen selbst eine enorme Bedeutung hat; Fragen, die Schüler dazu bewegen, klar und vollständig zu schreiben, liefern bessere Ergebnisse von KI-Werkzeugen. Darüber hinaus kam die Studie zu dem Schluss, dass diese KI-Werkzeuge nicht als Ersatz für Lehrkräfte gesehen werden sollten. Stattdessen fungieren sie als kraftvoller Katalysator. Sie können die schwere Arbeit des Lesens und Sortierens tausender Antworten übernehmen und diejenigen markieren, die ein menschliches Auge benötigen. Dies gibt der Lehrkraft den Freiraum, sich auf die schwierigsten Fälle zu konzentrieren und die endgültigen instruktionalen Entscheidungen auf der Grundlage eines klareren, besser organisierten Bildes des Verständnisses der Klasse zu treffen.
Der Forscher betont, dass die KI ein Werkzeug für die Lehrkraft ist, kein Ersatz für deren Urteilskraft. Das System ist als ein Kreislauf konzipiert, in dem die Maschine einen ersten Entwurf der Analyse liefert, den die menschliche Lehrkraft überprüft, Fehler korrigiert und den notwendigen Kontext hinzufügt, den nur ein Mensch bereitstellen kann. Dieser Ansatz respektiert die Komplexität des Lehrens und erkennt gleichzeitig die praktischen Grenzen der menschlichen Zeit an. Durch den Einsatz von KI zur anfänglichen Sortierung können Lehrkräfte potenziell das tiefe konzeptionelle Denken jedes einzelnen Schülers erfassen, anstatt sich nur auf einige wenige zu beschränken. Die Studie bestätigt, dass die KI zwar noch nicht das nuancierte Verständnis einer erfahrenen Lehrkraft ersetzen kann, aber sie einen Punkt erreicht hat, an dem sie das Ziel einer tiefen, personalisierten formativen Bewertung in der Mathematik zu einer praktischen Realität für Schulen machen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.