Fine-Tuning Large Language Models for Codebook-Guided Coding of Students' Mathematics Metaphor Responses

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt nach Fingerabdrücken suchen Sie nach Hinweisen in der Art und Weise, wie Menschen über ihre Gefühle sprechen. In der Welt der Bildung bitten Forscher Schüler oft, ihre Gedanken in eigenen Worten aufzuschreiben – wie zum Beispiel: „Wenn Mathe eine Speise wäre, was wäre es?“ Diese offenen Antworten sind Goldgruben, um zu verstehen, wie Kinder über die Schule fühlen, aber sie sind ein Albtraum beim Lesen. Es dauert sehr lange, für menschliche Experten Tausende dieser Geschichten zu lesen und sie in Kategorien wie „glücklich“, „frustriert“ oder „verwirrt“ zu sortieren. Hier kommt Künstliche Intelligenz (KI) ins Spiel. Insbesondere Large Language Models (LLMs) sind wie superintelligente Roboter, die die menschliche Sprache lesen und verstehen können. Die große Frage, die Forscher gestellt haben, lautet: Können wir diese Roboter lehren, wie Experten-Menschen zu agieren? Und wenn wir das tun, können wir sie so gestalten, dass sie auf unseren eigenen Computern arbeiten, um die Geheimnisse der Schüler zu schützen, anstatt private Daten an große Tech-Unternehmen zu senden?

Diese Studie taucht genau in diese Frage ein. Die Forscher nahmen eine Sammlung von 2.265 echter Schülerantworten über Mathe-Metaphern und brachten zwei kleinere Open-Source-KI-Modelle bei, diese genauso zu kodieren wie ein menschlicher Experte. Sie verwendeten eine spezielle Trainingsmethik namens „Fine-Tuning“, was so ist, als würde man dem Roboter einen Intensivkurs mit den Antwortschlüsseln der menschlichen Experten geben. Die Ergebnisse waren überraschend: Nach diesem Training wurden die kleineren, günstigeren KI-Modelle so gut in ihrem Job, dass sie die massiven, teuren „Black-Box“-KI-Modelle, die Unternehmen normalerweise verkaufen, oft sogar übertrafen. Die Studie legt nahe, dass wir mit dem richtigen Training leistungsstarke, private und genaue KI-Werkzeuge direkt in unseren eigenen Klassenzimmern haben können, um zu verstehen, wie Schüler über Mathe fühlen, ohne dass wir unsere Daten irgendwohin senden müssen.

Das Dilemma des Detektivs: Zwischen den Zeilen lesen

Betrachten Sie die Metapher eines Schülers als einen geheimen Code. Wenn ein Schüler sagt: „Mathe ist wie ein Hund, weil er ein treuer Freund ist“, spricht er nicht nur über Haustiere; er sagt uns, dass er sich bei der Mathematik sicher und glücklich fühlt. Aber wenn er sagt: „Mathe ist wie eine Mücke, weil sie mich nicht in Ruhe lässt“, dann sagt er, dass Mathe nervig und unentrinnbar ist. Dies sind komplexe Gefühle, die in einfache Worte gehüllt sind.

Seit Jahrzehnten verlassen sich Forscher auf menschliche Experten, um diese Botschaften zu entschlüsseln. Es ist ein bisschen so, als hätte man ein Team von Übersetzern, die versuchen, eine ganze Bibliothek von Büchern von Hand zu übersetzen. Es ist langsam, teuer und schwer skalierbar. Wenn Sie 100 Schüler haben, kann ein Mensch das schaffen. Wenn Sie 100.000 haben, werden die Menschen müde, und der Prozess kommt zum Stillstand.

Hier kommt das Large Language Model (LLM) ins Spiel. Sie können sich ein LLM als einen Roboter vorstellen, der fast alles im Internet gelesen hat. Es ist unglaublich gut darin, vorherzusagen, was als Nächstes in einem Satz kommt, und den Kontext zu verstehen. Aber genau wie ein kluger Schüler, der den spezifischen Kurs, den Sie gerade unterrichten, noch nicht besucht hat, weiß ein generischer Roboter vielleicht nicht genau, wie Sie diese Metaphern sortieren möchten. Er könnte „glücklich“ raten, obwohl Sie „neutral“ meinten, oder er könnte den subtilen Unterschied zwischen „herausfordernd“ und „bedrohlich“ übersehen.

Darüber hinaus gibt es ein Problem mit der Privatsphäre. Die meisten der superstarken Roboter (wie die von großen Tech-Unternehmen) leben auf deren Servern. Um sie zu nutzen, müssen Sie die privaten Texte Ihrer Schüler dorthin senden. Für Schulen ist das so, als würde man einem Fremden ein Tagebuch voller Geheimnisse übergeben. Die Forscher wollten wissen, ob sie einen Roboter bauen könnten, der auf dem eigenen Computer lebt, speziell für diesen Job trainiert wurde und die Geheimnisse bewahrt.

Das Experiment: Dem Roboter die Regeln beibringen

Die Forscher ließen ein Rennen laufen. Auf der einen Seite standen die „Big Tech“-Champions: zwei leistungsstarke, proprietäre Modelle (GPT-4o mini und GPT-5 mini), die „als solche“ verwendet wurden. Ihnen wurde ein Regelwerk (ein Codebuch) gegeben und sie wurden gebeten, die Schüler-Metaphern zu sortieren. Sie erhielten kein spezielles Training; sie mussten es allein aus den Anweisungen herausfinden.

Auf der anderen Seite standen zwei „Open-Weight“-Modelle (DeepSeek-R1 1.5B und Mistral 7B). Dies sind kleinere, kostengünstigere Modelle, die jeder herunterladen und auf seinen eigenen Servern ausführen kann. Die Forscher nahmen diese Modelle und gaben ihnen einen „Intensivkurs“ mittels einer Technik namens LoRA-basiertes Supervised Fine-Tuning.

Stellen Sie sich vor, Sie bringen einem Hund das Apportieren bei. Die „Prompt-only“-Methode ist so, als würde man dem Hund immer wieder nur sagen: „Hol den Ball!“ Die „Fine-Tuning“-Methode ist hingegen wie ein Trainingslager, in dem man dem Hund genau zeigt, wie er den Ball greift, ihn zurückbringt und ihn in die Hand legt, indem man tausende Beispiele nutzt, in denen ein Mensch es perfekt gemacht hat. Die Forscher fütterten die Open-Weight-Modelle mit 2.265 Beispielen von Schüler-Metaphern, die bereits korrekt von menschlichen Experten sortiert worden waren. Die Modelle lernten, die Entscheidungen der menschlichen Experten nachzuahmen.

Die Aufgabe bestand aus zwei Teilen:

1. Valenz-Intensitäts-Kodierung: Wie stark ist das Gefühl? Ist es sehr negativ (1), neutral (3) oder sehr positiv (5)?
2. Thematische Kodierung: Was ist die Geschichte? Ist Mathe ein „Werkzeug“, eine „Bedrohung“, eine „Reise“ oder eine „langweilige Pflicht“?

Die Ergebnisse: Die Außenseiter gewinnen

Die Ergebnisse des Rennens waren eindeutig und aufregend. Vor dem Training waren die kleineren Open-Weight-Modelle schrecklich in diesem Job. Sie raten völlig wild drauf los. Aber nach dem „Intensivkurs“ (Fine-Tuning) verwandelten sie sich.

Der Leistungssprung:
Die feinjustierten Modelle wurden nicht nur ein bisschen besser; sie wurden viel besser.

• Bei den „Lebensmittel“-Metaphern sprang die Genauigkeit des DeepSeek-Modells von 0,369 auf 0,787.
• Die Genauigkeit des Mistral-Modells bei Lebensmittel-Metaphern stieg von 0,207 auf 0,778.
• Bei den „Tier“-Metaphern verbesserte sich das Mistral-Modell von 0,267 auf 0,766.

In der Welt der KI sind diese Zahlen gewaltig. Das bedeutet, dass die trainierten Roboter nun fast so oft mit den menschlichen Experten übereinstimmten, wie zwei menschliche Experten untereinander übereinstimmen.

Die Giganten besiegen:
Hier liegt der Clou: Die trainierten, kleineren Modelle übertrafen die großen, teuren „Prompt-only“-Modelle in vielen Kategorien.

• Das feinjustierte Mistral 7B Modell war sowohl bei den Lebensmittel- als auch bei den Tier-Metaphern in fast allen Metriken besser als GPT-4o mini und GPT-5 mini.
• Die einzige Zeit, in der die großen Modelle gewannen, war bei sehr seltenen, spezifischen Themen, bei denen die kleineren Modelle noch etwas kämpften, aber selbst dann war der Unterschied gering.

Der „Stabilitäts“-Test:
Eines der größten Probleme bei KI ist, dass sie Ihnen zwei verschiedene Antworten geben kann, wenn man ihr dieselbe Frage zweimal stellt. Das ist schlecht für die Wissenschaft. Die Forscher testeten dies, indem sie die Modelle dreimal durchlaufen ließen.

• Das untrainierte DeepSeek-Modell war völlig unbeständig, mit einem Stabilitätswert von nur 0,5,92.
• Aber nach dem Training schoss die Stabilität des DeepSeek-Modells auf 0,992 empor.
• Das feinjustierte Mistral-Modell war perfekt und erreichte einen Wert von 1,000.
• Selbst die großen kommerziellen Modelle waren nicht so stabil wie die trainierten Open-Modelle (GPT-5 mini erreichte eine thematische Stabilität von 0,644).

Dies deutet darauf darauf hin, dass das Training des Modells mit spezifischen Beispielen es nicht nur intelligenter, sondern auch konsistenter und zuverlässiger macht.

Was dies für die Zukunft bedeutet

Die Studie legt nahe, dass wir keine massiven, teuren und datenschutzrechtlich riskanten KI-Systeme benötigen, um die Gefühle von Schülern zu analysieren. Indem wir kleinere Open-Modelle nehmen und sie mit menschlichen Beispielen trainieren, können wir Werkzeuge erschaffen, die:

1. Genau sind: Sie passen zu den menschlichen Experten.
2. Privat sind: Sie können auf dem eigenen Computer einer Schule laufen und so die Schülerdaten schützen.
3. Skalierbar sind: Sie können tausende Antworten in Sekunden verarbeiten.

Die Forscher weisen jedoch vorsichtig darauf hin, dass dies kein Zauberstab für alles ist. Die Modelle hatten immer noch leichte Schwierigkeiten mit sehr seltenen Themen (wie spezifischen gesellschaftlichen Ansichten über Mathe), was darauf hindeutet, dass ein Roboter bei einem sehr ungewöhnlichen Thema vielleicht noch mehr Beispiele benötigt, um zu lernen. Zudem betrachtete die Studie nur Schüler der 6. bis 8. Klasse, die über Essen und Tiere sprachen, daher wissen wir noch nicht, ob es auch für Oberstufenschüler funktioniert, die über Algebra sprechen, oder für College-Studenten, die über Analysis diskutieren.

Aber die wichtigste Erkenntnis ist eine hoffnungsvolle: Wir können unsere eigenen „Detektiv-Roboter“ bauen, die klug, sicher und bereit sind, Lehrern zu helfen, die verborgenen Gefühle in den Worten ihrer Schüler zu verstehen. Die Zukunft der Bildungsmessung liegt vielleicht nicht in der Cloud, sondern direkt auf dem Server der Schule, trainiert von den Experten, die die Schüler am besten kennen.