Quality-Conditioned Agreement in Automated Short Answer Scoring: Mid-Range Degradation and the Impact of Task-Specific Adaptation

Technisches Fazit: Qualitätsbedingte Übereinstimmung bei der automatisierten Bewertung kurzer Antworten

Problemstellung
Die automatisierte Bewertung kurzer Antworten (ASAS) vollzieht einen Übergang von diskriminativen, feinabgestimmten Modellen hin zu Large Language Models (LLMs), die im Few-Shot-Setting eingesetzt werden. Obwohl LLMs über breites Weltwissen verfügen und einfach einzusetzen sind, wirft ihre Abhängigkeit von begrenzten, aufgaben spezifischen Daten Bedenken hinsichtlich der Ausrichtung an der Bewertung durch Experten auf, insbesondere bei komplexen Aufgaben, die eine nuancierte Interpretation erfordern. Ein kritisches, bisher wenig erforschtes Problem ist die Leistung dieser Modelle bei „mittleren" Antworten – Antworten, die teilweise korrekt sind und eine Unterscheidung zwischen korrekten und inkorrekten Elementen erfordern. Die bestehende Literatur deutet darauf hin, dass die Genauigkeit der automatisierten Bewertung systematisch über die Antwortqualität hinweg variieren kann, was zu unfairen Bewertungen für Schüler mit sich entwickelndem Verständnis führen könnte. Die zentrale Forschungsfrage untersucht den Zusammenhang zwischen Antwortqualität und der Übereinstimmung zwischen Bewertern (menschlich-menschlich versus menschlich-KI) über verschiedene Stufen aufgaben spezifischer Anpassung hinweg (variierende Few-Shot-Beispiele versus Feinabstimmung).

Methodik
Die Studie bewertete die Übereinstimmung bei der Bewertung von zwei offenen Biologieaufgaben zur Zellatmung (insbesondere die Auswirkungen von Rauchen und Anämie auf körperliche Belastung). Der Datensatz umfasste etwa 800 Antworten von High-School-Schülern.

• Grundwahrheit: Die Antworten wurden von einem Experten für Biologiedidaktik (Bewerter 1) unter Verwendung eines analytischen Bewertungsbogens bewertet, der die Erklärungen in 10 binäre Kategorien zerlegte. Diese Bewertung diente als Grundwahrheit.
• Verglichene Modelle:
  1. Menschlicher Experte (H2): Ein zweiter Experte für Biologiedidaktik.
  2. Feinabgestimmter Encoder: Ein auf BERT basierendes diskriminatives Modell (DictaBERT), das auf 669 Trainingsantworten feinabgestimmt wurde.
  3. Few-Shot-LLMs: Drei generative, decoder-basierte Modelle (GPT-5.2, GPT-4o und Claude Opus 4.5), die mit variierenden Anzahlen von Beispielen (2, 4, 6, 8 und 10-Shot) promptet wurden.
• Bewertungsmetrik: Bewertungsunterschiede wurden mittels Manhattan-Distanz (L1-Distanz) zwischen dem binären Vektor der Grundwahrheit und dem vom Bewerter/KI erzeugten Vektor gemessen. Diese Metrik zählt die Anzahl der Bewertungskategorien, die unterschiedlich bewertet wurden.
• Experimentelles Design: Die Studie analysierte die Übereinstimmung über das gesamte Spektrum der Antwortqualität (0 bis 10 korrekte Kategorien) hinweg, wobei insbesondere die Leistung an den Extremen (vollständig korrekt/inkorrekt) im Vergleich zum mittleren Bereich (teilweise korrekt) untersucht wurde.

Hauptergebnisse

1. Degradation im mittleren Bereich: Alle KI-Modelle zeigten ein U-förmiges Leistungsmuster (oder eine umgekehrt U-förmige Übereinstimmung). Während die Modelle bei vollständig korrekten (Scores 9–10) und vollständig inkorrekten (Scores 0–1) Antworten gut abschnitten, zeigten sie eine erhebliche Degradation im mittleren Bereich (Scores 4–7).
2. Konsistenz Mensch versus KI: Der menschliche Experte (H2) zeigte über das gesamte Qualitätsspektrum hinweg eine hohe und stabile Übereinstimmung mit der Grundwahrheit und keine signifikante Degradation im mittleren Bereich. Im Gegensatz dazu waren die KI-Bewerter speziell bei mittleren Antworten weniger mit dem Experten abgestimmt.
3. Auswirkung aufgaben spezifischer Anpassung: Das Ausmaß der Degradation im mittleren Bereich war von der Menge aufgaben spezifischer Daten abhängig:
   • Few-Shot-LLMs: Modelle mit weniger Beispielen (z. B. 2-Shot) zeigten die schwerwiegendste Degradation im mittleren Bereich. Eine Erhöhung der Anzahl der Beispiele (bis zu 10-Shot) verringerte diese Lücke, eliminierte sie jedoch nicht.
   • Feinabgestimmte Modelle: Das feinabgestimmte, auf BERT basierende Modell schnitt unter den KI-Systemen am besten ab und reduzierte den Fehler im mittleren Bereich im Vergleich zu Few-Shot-LLMs signifikant, erreichte jedoch immer noch nicht die Stabilität des menschlichen Experten.
4. Modellvariabilität: Während GPT-4o und GPT-5.2 konsistente Muster zeigten, verhielt sich das Modell Claude Opus 4.5 unregelmäßig; es schnitt bei einer Aufgabe am besten und bei der anderen am schlechtesten ab, was auf eine Instabilität beim Few-Shot-Prompting für diese spezifische Architektur hindeutet.

Hauptbeiträge

• Identifikation qualitätsbedingter Fairness: Der Artikel führt das Konzept der „qualitätsbedingten Fairness" ein und definiert es als die Anforderung, dass ASAS-Systeme über den gesamten Bereich der Antwortqualität hinweg eine konsistente Genauigkeit aufrechterhalten müssen.
• Charakterisierung der Verzerrung im mittleren Bereich: Die Studie zeigt empirisch, dass die Hauptquelle der Uneinigkeit zwischen KI und menschlichen Experten nicht an den Extremen der Score-Verteilung liegt, sondern spezifisch im mittleren Bereich, in dem Schüler eine teilweise Beherrschung des Stoffes demonstrieren.
• Anpassung versus Leistung: Die Arbeit klärt auf, dass LLMs zwar Extremfälle mit minimalen Daten bewältigen können, eine genaue Bewertung von teilweise vorhandenem Wissen jedoch eine erhebliche aufgaben spezifische Anpassung (Feinabstimmung oder umfangreiche Few-Shot-Beispiele) erfordert.

Bedeutung und Behauptungen
Die Autoren behaupten, dass diese Erkenntnisse eine kritische Einschränkung des aktuellen Paradigmas beim Einsatz von Few-Shot-LLMs für ASAS ohne ausreichende aufgaben spezifische Daten aufzeigen. Die „Degradation im mittleren Bereich" stellt ein spezifisches Fairness-Risiko dar: Schüler mit sich entwickelnden Wissenszuständen erhalten am ehesten ungenaue Scores, was zu unangemessener Lernunterstützung oder Rückmeldung führen könnte.

Der Artikel schlägt einen praktischen hybriden Ansatz vor: Automatisierte Systeme könnten zuverlässig vollständig korrekte und vollständig inkorrekte Antworten bewältigen (selbst mit Few-Shot-Prompting), während Antworten im mittleren Bereich an menschliche Bewerter weitergeleitet werden sollten, bis ausreichend aufgaben spezifische Daten für eine Feinabstimmung gesammelt wurden. Indem sie dieses spezifische Verzerrungsmuster identifizieren, argumentieren die Autoren, dass das Feld von der Behandlung von Bewertungsfehlern als „unbekannte Verzerrungen" zu „bekannten Verzerrungen" übergehen kann, ein notwendiger Schritt zur Verbesserung der Fairness in der Bildungs-KI. Die Studie behauptet nicht, dass LLMs in allen Kontexten inhärent überlegen oder unterlegen gegenüber feinabgestimmten Modellen sind, sondern dass ihre Leistung stark von der Qualität der zu bewertenden Antwort und dem Grad der angewandten Anpassung abhängt.