Large language model scoring of medical student reflection essays: Accuracy and reproducibility of prompt-model variations

Die Studie zeigt, dass Large Language Models medizinische Reflexionsaufsätze mit nahezu perfekter Genauigkeit und Reproduzierbarkeit bewerten können, wobei feingestimmte Modelle und Prompts mit Beispielen zwar präziser, aber auch kostspieliger sind, während nicht-feingestimmte Modelle für kleinere Volumina eine kosteneffiziente Alternative bieten.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Lehrer an einer medizinischen Schule. Ihre Schüler schreiben jeden Monat kurze Aufsätze darüber, was sie in der Klinik erlebt haben und was sie daraus gelernt haben. Diese Aufsätze sind wie Spiegel, die zeigen, wie tief die Schüler nachdenken.

Das Problem: Ein Lehrer kann nicht 100 Aufsätze in einer Stunde korrigieren. Es kostet zu viel Zeit, und wenn man müde ist, wird die Bewertung ungenau.

Hier kommt die Künstliche Intelligenz (KI) ins Spiel. Die Forscher in diesem Papier haben getestet, ob ein Computer (ein sogenanntes „Large Language Model" oder LLM) diese Aufsätze so gut bewerten kann wie ein Mensch. Aber nicht irgendein Computer – sie haben verschiedene „Einstellungen" und „Anweisungen" ausprobiert, um herauszufinden, wie man den Computer am besten „dressiert".

Hier ist die Geschichte ihrer Entdeckungen, erklärt mit einfachen Bildern:

1. Der Test: 51 Aufsätze und 29 verschiedene „Dressier-Tricks"

Die Forscher gaben dem Computer 51 Aufsätze (einige echte, einige von einem anderen Computer erfunden) und sagten ihm: „Bewerte diese!"
Sie probierten 29 verschiedene Methoden aus. Stellen Sie sich das vor wie einen Koch, der 29 verschiedene Rezepte für denselben Kuchen probiert, um herauszufinden, welches am besten schmeckt und am günstigsten ist.

Die Methoden unterschieden sich durch:

• Welches Modell: Ein „Super-Genie" (teuer), ein „Schneller Helfer" (günstig) oder ein „Altes Modell" (veraltet).
• Die Anweisung (Prompt): Sollte der Computer wie ein Forscher oder ein Lehrer sprechen?
• Beispiele: Sollte der Computer erst 3 Beispiele sehen, wie man bewertet, bevor er selbst bewertet? (Wie ein Schüler, der erst eine Musterlösung sieht).
• Die Anleitung: Sollte der Computer eine detaillierte Checkliste (Rubrik) haben oder nur eine vage Idee?

2. Die Ergebnisse: Was hat funktioniert?

A. Die „Super-Genies" vs. die „Schnellen Helfer"

• Das Ergebnis: Fast alle modernen Computer-Modelle waren fast perfekt in ihrer Bewertung. Sie lagen so nah an den menschlichen Lehrern, dass man kaum einen Unterschied merkte.
• Die Analogie: Es ist wie beim Autofahren. Ein teurer Sportwagen (das teuerste Modell) fährt sehr präzise. Aber ein kleiner, günstiger Stadtflitzer (das günstigere Modell) fährt auf dieser Strecke fast genauso gut. Man braucht nicht immer das teuerste Auto, um ans Ziel zu kommen.

B. Die Macht der Beispiele (Few-Shot Learning)

• Das Ergebnis: Wenn man dem Computer Beispiele gab (z. B. „Hier ist ein Aufsatz mit Note 6, hier einer mit Note 2"), wurde er noch genauer.
• Die Analogie: Stellen Sie sich vor, Sie wollen jemandem beibringen, wie man einen Korbball wirft.
  • Ohne Beispiele: „Wirf den Ball einfach gut." (Der Computer ist unsicher).
  • Mit Beispielen: „Schau, wie dieser Profi den Ball wirft. Das ist ein guter Wurf. Jetzt wirf du." (Der Computer versteht sofort, was gemeint ist).
  • Aber: Beispiele kosten mehr „Rechenzeit" und damit mehr Geld.

C. Die feine Justierung (Fine-Tuning)

• Das Ergebnis: Wenn man den Computer vorab mit vielen Beispielen „trainiert" hat (wie einen Schüler, der eine ganze Woche lang nur Korrektur übt), war er am genauesten.
• Die Analogie: Das ist wie ein Stammpass. Ein normaler Computer ist wie ein Tourist, der die Sprache gerade lernt. Ein „feinjustierter" Computer ist wie ein Einheimischer, der die Sprache perfekt beherrscht.
• Der Haken: Das Training kostet am Anfang viel Geld. Aber wenn man viele Aufsätze (z. B. 10.000) bewerten muss, wird es pro Aufsatz extrem billig. Für nur 100 Aufsätze lohnt sich das Training aber nicht.

D. Was NICHT funktioniert hat (Überraschungen!)

• Das Ergebnis: Früher dachte man, man müsse dem Computer sagen: „Denke Schritt für Schritt nach!" (Chain-of-Thought). Bei diesen modernen Modellen hat das nicht geholfen. Es machte die Bewertung sogar langsamer, ohne sie besser zu machen.
• Die Analogie: Es ist wie wenn Sie einem sehr klugen Freund sagen: „Erkläre mir, wie du denkst, bevor du die Antwort sagst." Der Freund ist schon so klug, dass er die Antwort sofort weiß. Die Erklärung macht ihn nur langsamer und verwirrt ihn vielleicht sogar ein wenig.

3. Die Kosten: Wie viel kostet das?

Die Kosten waren überraschend niedrig.

• Um 100 Aufsätze zu bewerten, kostet das günstigste Modell nur 4 Cent (in den USA).
• Das teuerste Modell (mit Training und vielen Beispielen) kostet für 100 Aufsätze etwa 2 Dollar.
• Vergleich: Ein menschlicher Lehrer würde dafür Stunden brauchen und viel mehr Geld kosten.

4. Fazit für den Alltag

Die Forscher sagen im Grunde:

„Sie müssen sich keine Sorgen machen, ob Sie den perfekten Prompt (die perfekte Anweisung) schreiben. Die modernen Computer sind so schlau, dass sie fast alles richtig machen, solange Sie ihnen eine klare Checkliste geben."

Die einfache Regel:

1. Für wenige Aufsätze: Nehmen Sie ein günstiges, schnelles Modell ohne viel Vorarbeit. Das ist billig und gut genug.
2. Für Tausende von Aufsätzen: Trainieren Sie das Modell einmalig (Fine-Tuning). Dann wird es pro Aufsatz extrem billig und sehr genau.
3. Beispiele sind gut: Wenn Sie etwas Geld sparen können, geben Sie dem Computer ein paar Beispiele. Das hilft ihm, den Stil zu verstehen.

Zusammenfassend: Die KI ist kein Zauberstab, der alles perfekt macht, aber sie ist ein super-effizienter Assistent. Sie entlastet die Lehrer, kostet fast nichts und macht die Arbeit so genau, dass wir ihr vertrauen können – solange wir sie nicht zu kompliziert anweisen.

Technische Zusammenfassung

Titel: Bewertung medizinischer Reflexionsaufsätze durch Large Language Models (LLMs): Genauigkeit und Reproduzierbarkeit von Prompt- und Modellvariationen

Autoren: David A. Cook et al. (Mayo Clinic & University of New Mexico)
Veröffentlichung: medRxiv Preprint (März 2026)

---

1. Problemstellung

Die Bewertung von narrativen Daten (z. B. Reflexionsaufsätze, Encounter-Notizen) ist in der medizinischen Ausbildung entscheidend, da sie qualitative Aspekte des Lernens erfasst, die durch Multiple-Choice-Tests nicht abgedeckt werden. Die manuelle Bewertung durch menschliche Gutachter ist jedoch mit erheblichen Herausforderungen verbunden:

• Skalierbarkeit: Hoher Personalbedarf, Kosten und Trainingsaufwand.
• Inkonsistenz: Rater-Fatigue, unterschiedliche Strenge/Lenität und zufällige Fehler.
• Technische Hürden: Traditionelle automatisierte Essay-Scoring-Systeme (AES) erforderten oft tiefes technisches Fachwissen, teure Entwicklung und waren inhaltlich limitiert (fokussierten sich oft nur auf Grammatik).

Obwohl Large Language Models (LLMs) wie OpenAI GPT das Potenzial haben, diese Barrieren zu senken, fehlen evidenzbasierte Leitlinien für das „Prompt Engineering" (die Gestaltung der Eingabeaufforderungen). Es ist unklar, welche Kombination aus Modell, Prompt-Struktur (z. B. Few-Shot-Learning, Chain-of-Thought) und Kosten die höchste Genauigkeit und Reproduzierbarkeit liefert.

2. Methodik

Studiendesign und Daten:

• Datensatz: 51 medizinische Reflexionsaufsätze (15 echte, studentische Aufsätze; 36 künstlich generierte Aufsätze).
• Generierung der synthetischen Daten: Die 36 zusätzlichen Aufsätze wurden von einem anderen LLM (Gemini-2.0-Flash) erstellt, um Reflexionsniveaus von 1 bis 6 nachzubilden. Diese wurden von zwei menschlichen Gutachtern (blinded) validiert und als Referenzstandard verwendet.
• Rubrik: Verwendung der „Reflective Ability Rubric" (6-Punkte-Skala), die spezifische Kriterien für Reflexionsqualität definiert.

Experimentelle Bedingungen:
Es wurden 29 verschiedene Prompt-Modell-Kombinationen systematisch verglichen. Variiert wurden folgende Parameter:

• Modelle: GPT-4.1 (Flagship), GPT-4.1-mini, GPT-o4-mini (Reasoning-Modell), GPT-4o, GPT-4-Turbo, GPT-3.5-Turbo.
• Fine-Tuning: Modelle wurden mit 18 Trainingsaufschriften (Supervised Training) feinabgestimmt.
• Prompt-Struktur:
  • Persona: „Schreibbewerter" vs. „Forscher".
  • Rubrik-Details: Vollständige Rubrik (6 Ankerpunkte) vs. Teilrubriken (3 oder 1 Punkt) vs. keine Rubrik.
  • Few-Shot-Learning: Verwendung von 0, 1 oder 3 Beispielen (Exemplaren) mit Scores und Feedback.
  • Chain-of-Thought (CoT): Allgemeine („Denke Schritt für Schritt") vs. spezifische Anweisungen.
  • Reihenfolge: Numerischer Score vor Feedback vs. Feedback vor Score.
  • Temperature: Variation der Zufälligkeit (0,2 vs. 0,7 vs. 1,0).
  • Fine-Tuning-Varianten: Mit/ohne Rubrik, mit/ohne CoT.

Metriken:

• Genauigkeit: Vergleich mit menschlichen Referenzscores gemessen durch den Intraclass Correlation Coefficient (ICC) und die Mean Absolute Difference (MAD).
• Reproduzierbarkeit: ICC innerhalb derselben Bedingung über 6 Wiederholungen.
• Kosten & Zeit: Berechnung basierend auf Token-Nutzung (OpenAI API-Preise) und Verarbeitungszeit pro Aufsatz.

3. Wichtige Beiträge

1. Systematischer Vergleich: Erste umfassende Studie, die nicht nur verschiedene Modelle, sondern auch eine breite Palette von Prompt-Engineering-Techniken (Few-Shot, CoT, Fine-Tuning, Rubrik-Granularität) direkt gegenüberstellt.
2. Kosten-Nutzen-Analyse: Detaillierte Aufschlüsselung der Kosten für kleine (100 Aufsätze) vs. große (10.000 Aufsätze) Volumina, einschließlich der Amortisation von Fine-Tuning-Kosten.
3. Herausforderung bestehender Annahmen: Die Studie widerlegt oder relativiert einige gängige Annahmen des Prompt Engineering (z. B. den Nutzen von Chain-of-Thought bei modernen Modellen).
4. Ressourceneffizienz: Demonstration, wie LLMs genutzt werden können, um sowohl Trainingsdaten zu generieren als auch die Bewertung selbst durchzuführen.

4. Ergebnisse

Genauigkeit und Reproduzierbarkeit:

• Hohe Leistung: 28 von 29 Bedingungen (97 %) zeigten eine „fast perfekte" Genauigkeit (ICC > 0,80) im Vergleich zu menschlichen Gutachtern.
• Fine-Tuning: Feinabgestimmte Modelle waren signifikant genauer als nicht-feinabgestimmte Modelle (MAD-Unterschied: -0,24).
• Beispiele (Few-Shot): Prompts mit Beispielen (Exemplaren) waren signifikant genauer als solche ohne (MAD-Unterschied: -0,44).
• Rubrik-Granularität: Es gab einen klaren ordinalen Trend: Je mehr Ankerpunkte der Rubrik im Prompt definiert waren, desto höher die Genauigkeit. Vollständige Rubriken (6 Punkte) waren am besten, keine Rubrik am schlechtesten.
• Kein signifikanter Effekt bei CoT: Im Gegensatz zu früheren Studien mit älteren Modellen zeigten Chain-of-Thought-Prompts und Variationen der Temperatur oder Persona keinen signifikanten Vorteil gegenüber der Baseline.

Kosten und Effizienz:

• Geschwindigkeit: Durchschnittlich 3,73 Sekunden pro Aufsatz.
• Kosten (100 Aufsätze):
  • GPT-4.1-mini: $0,04 (günstigste Option).
  • GPT-4.1 (Baseline): $0,21.
  • Fine-tuned GPT-4.1: $2,00 (ohne Amortisation).
• Skaleneffekte: Bei Fine-Tuning sinken die Kosten pro Aufsatz drastisch bei großen Volumina. Für 10.000 Aufsätze kostete das feinabgestimmte GPT-4.1 nur noch $0,20 pro 100 Aufsätze (Amortisation der Einmalkosten).
• Trade-off: Für kleine Volumina (<1000) bietet GPT-4.1-mini oder die Baseline ohne Fine-Tuning das beste Kosten-Leistungs-Verhältnis. Für große Volumina ist Fine-Tuning kosteneffizienter.

5. Bedeutung und Implikationen

• Praktische Anwendbarkeit: LLMs können Reflexionsaufsätze mit nahezu menschlicher Genauigkeit und hoher Reproduzierbarkeit bewerten. Dies ermöglicht eine skalierbare Bewertung in der medizinischen Ausbildung.
• Empfehlungen für die Praxis:
  • Für kleine Volumina: Nutzung von GPT-4.1-mini oder GPT-4.1 mit einer vollständigen Rubrik und ggf. einem Beispiel (Few-Shot) bietet hervorragende Ergebnisse zu moderaten Kosten.
  • Für große Volumina: Fine-Tuning ist die kosteneffizienteste und genaueste Methode.
  • Prompt-Strategie: Eine detaillierte Rubrik ist wichtiger als komplexe CoT-Anweisungen oder spezifische Personas.
• Technologische Entwicklung: Die Ergebnisse deuten darauf hin, dass neuere LLM-Generationen weniger auf ausgefeiltes Prompt Engineering angewiesen sind als ältere Modelle. Komplexe Techniken wie CoT bringen bei diesen Aufgaben keinen zusätzlichen Nutzen und erhöhen nur die Latenz und Kosten.
• Zukunftsperspektive: Die Studie unterstreicht, dass LLMs nicht nur als Bewertungstools, sondern auch zur Generierung von Trainingsdaten und zur Unterstützung der Forschungsinfrastruktur eingesetzt werden können.

Fazit: Die automatisierte Bewertung durch LLMs ist eine reife Technologie für narrative medizinische Assessments. Durch die richtige Kombination aus Modellwahl (Fine-Tuning vs. Mini-Modelle) und Prompt-Design (Rubrik-Granularität, Few-Shot) können Bildungseinrichtungen die Bewertungslast erheblich reduzieren, ohne an Genauigkeit oder Fairness zu verlieren.