💬 NLP

From Scoring to Explanations: Evaluating SHAP and LLM Rationales for Rubric-based Teaching Quality Assessment

Dieses Paper schlägt ein Framework vor, das SHAP-Attributionen und LLM-generierte Begründungen kombiniert, um die rubrikbasierte Bewertung der Lehrqualität zu evaluieren, wobei festgestellt wird, dass zwar feinabgestimmte PLMs eine höhere Genauigkeit erreichen, SHAP jedoch treuere, kohärentere und transferierbarere Erklärungen als LLM-Begründungen liefert.

Ursprüngliche Autoren: Ivo Bueno, Babette Bühler, Philipp Stark, Tim Fütterer, Ulrich Trautwein, Dorottya Demszky, Heather Hill, Enkelejda Kasneci

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ivo Bueno, Babette Bühler, Philipp Stark, Tim Fütterer, Ulrich Trautwein, Dorottya Demszky, Heather Hill, Enkelejda Kasneci

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Lehrer, der einen Stapel Schüleraufsätze korrigiert. Sie haben eine strenge Checkliste (eine „Rubrik“), um zu entscheiden, ob das Feedback in dem Aufsatz gut, schlecht oder irgendwo dazwischen ist. Nun stellen Sie sich vor, Sie stellen zwei verschiedene Arten von „KI-Assistenten“ ein, um diese Korrektur für Sie zu übernehmen.

Dieses Papier ist ein Bericht darüber, wie gut diese zwei KI-Assistenten arbeiten und – was noch wichtiger ist – wie gut sie erklären können, warum sie eine bestimmte Note gegeben haben.

Hier ist die Aufschlüsselung der Studie unter Verwendung einfacher Analogien:

Die zwei Kontrahenten

Die Forscher testeten zwei Arten von KI-Modellen, um Klassengespräche (Transkripte) basierend auf einer spezifischen Rubrik namens „Qualität des Feedbacks“ zu bewerten.

Der „Spezialisierte Praktikant“ (Feingetunte PLMs): Dies sind Standard-KI-Modelle, die speziell auf genau diese Bewertungsaufgabe trainiert wurden. Sie sind wie ein Schüler, der das Lehrbuch auswendig gelernt und die Prüfung hundertmal geübt hat.
Der „Kluge Generalist“ (Prompted LLMs): Dies sind massive, leistungsstarke KI-Modelle (wie die, mit denen man online chatten kann), die nicht speziell für diese Aufgabe trainiert wurden. Stattdessen gaben die Forscher ihnen einfach eine Anweisung (einen Prompt) nach dem Motto: „Hier ist die Rubrik, bewerte das.“ Sie sind wie ein brillanter Experte, der diese spezifische Prüfung noch nie gesehen hat, aber spontan gebeten wird, sie zu absolvieren.

Der erste Test: Wer bekommt die Note richtig? (Bewertung)

Die Forscher fragten: Wer gibt eine genauere Punktzahl?

Das Ergebnis: Der Spezialisierte Praktikant war viel genauer. Er gab konsistent Noten, die den Noten menschlicher Experten sehr nahe kamen.
Der Haken: Der Praktikant hatte die seltsame Angewohnheit, „sicher“ zu spielen. Er vergab selten die höchsten (7) oder niedrigsten (1) Punktzahlen. Er neigte dazu, alle seine Noten im mittleren Bereich (3, 4 oder 5) zu konzentrieren. Er war genau, aber ein wenig langweilig und risikoscheu.
Der Generalist: Der Kluge Generalist war insgesamt weniger genau. Er war jedoch „mutiger“. Er vergab eine größere Vielfalt an Punktzahlen, einschließlich der sehr hohen und sehr niedrigen, auch wenn er dabei nicht immer richtig lag.

Das Fazit: Wenn Sie die präziseste Zahl wollen, nutzen Sie das trainierte Modell. Wenn Sie ein Modell wollen, das keine Angst vor extremen Bewertungen hat (selbst wenn es dabei mehr Fehler macht), nutzen Sie den großen Chatbot.

Der zweite Test: Wer sagt die Wahrheit? (Erklärungen)

Dies ist der wichtigste Teil der Arbeit. In der Bildung möchte man nicht nur eine Note; man möchte wissen, warum.

Der Spezialisierte Praktikante nutzte ein mathematisches Werkzeug namens SHAP. Denken Sie an SHAP wie an einen Wirtschaftsprüfer. Er betrachtet das Transkript Satz für Satz und berechnet genau, wie viel jeder Satz die Endnote verändert hat. Es ist wie ein Taschenrechner, der sagt: „Dieser Satz fügte 0,5 Punkte hinzu; jener Satz zog 0,2 Punkte ab.“
Der Kluge Generalist hat einfach nur gesprochen. Er generierte eine Liste von Sätzen, die er für wichtig hielt, und formulierte sie in natürlicher Sprache. Es ist, als würde ein Schüler die Hand heben und sagen: „Ich denke, dieser Teil ist wichtig, weil...“

Die Forscher testeten, wer die Wahrheit sagte, indem sie ein Spiel namens „Löschen und Sehen“ spielten.

Sie nahmen die Sätze, die die KI als wichtig bezeichnet hatte.
Sie löschten diese Sätze aus dem Transkript.
Sie fragten die KI, das leere Transkript erneut zu bewerten.

Die Logik: Wenn die KI wirklich verstanden hatte, war warum sie eine Punktzahl gab, sollte das Löschen der „wichtigen“ Sätze dazu führen, dass die Punktzahl abstürzt oder sich dramatisch verändert. Wenn die KI nur eine plausible Geschichte erfand, sollte das Löschen dieser Sätze die Punktzahl nicht wesentlich verändern.

Das Ergebnis: Der Spezialisierte Praktikant (SHAP) war ehrlich. Als die Forscher die Sätze löschten, die SHAP markiert hatte, änderte sich die Punktzahl stark. Die KI verließ sich offensichtlich auf diese spezifischen Sätze, um ihre Entscheidung zu treffen.
Das Ergebnis: Der Kluge Generalist (LLM) log oft. Wenn die Forscher die Sätze löschten, die das LLM als wichtig bezeichnet hatte, änderte sich die Punktzahl kaum. Das LLM generierte eine „plausibel klingende“ Erklärung, aber diese Sätze waren nicht die, die seine Entscheidung tatsächlich vorantrieben. Es war, als würde ein Schüler eine überzeugende Rede darüber halten, warum er eine Eins verdient, aber wenn man die angeführten Beweise entfernt, ändert sich seine Note gar nicht.

Der dritte Test: Können sie sich Notizen austauschen? (Cross-Model)

Die Forscher versuchten herauszufinden, ob die Erklärungen universell sind.

Sie nahmen die „wichtigen Sätze“, die der Spezialisierte Praktikant identifiziert hatte, und löschten sie aus dem Input des Klugen Generalisten. Ergebnis: Die Punktzahl des Generalisten änderte sich signifikant. Die Mathematik des Praktikanten funktionierte auch beim Generalisten.
Sie nahmen die „wichtigen Sätze“, die der Kluge Generalist identifiziert hatte, und löschten sie aus dem Input des Spezialisierten Praktikanten. Ergebnis: Die Punktzahl des Praktikanten bewegte sich kaum. Die „Meinung“ des Generalisten spielte für den Praktikanten keine Rolle.

Das Fazit: Die mathematische Erklärung (SHAP) ist eine universelle Wahrheit, die auch bei anderen KI-Gehirnen funktioniert. Die Erklärung des Chatbots ist spezifisch für diesen einen Chatbot und hält bei Tests gegen andere nicht stand.

Das abschließende Urteil

Das Papier kommt zu dem Schluss, dass große, leistungsstarke Chatbots (LLMs) zwar großartig darin sind, Texte zu generieren, die nach einer guten Erklärung klingen, sie aber in Hochrisikosituationen wie der Bewertung von Lehrkräften unzuverlässig sind, wenn es darum geht zu erklären, warum sie eine Entscheidung getroffen haben.

SHAP (Die Mathematik): Ist wie ein transparentes Fenster. Man kann genau sehen, welche Steine die Wand halten. Es ist vertrauenswürdig und konsistent.
LLM Rationales (Der Chat): Sind wie die Zaubertricks eines Magiers. Sie wirken beeindruckend und überzeugend, aber wenn man genau hinsieht (indem man die „wichtigen“ Teile löscht), merkt man, dass sie gar nicht das Gewicht der Entscheidung tragen.

Kurz gesagt: Wenn Sie in einem schulischen Umfeld eine vertrauenswürdige Begründung für eine Note benötigen, vertrauen Sie der Mathematik (SHAP), nicht der Geschichte des Chatbots. Der Chatbot ist großartig beim Schreiben, aber er ist derzeit ein schlechter Zeuge für seine eigenen Entscheidungen.

Technisches Resümee: Von der Bewertung zur Erklärung

Problemstellung

Automatisierte Bewertungsmodelle werden zunehmend eingesetzt, um rubrikbasierte Qualitätsbewertungen für komplexe sprachliche Leistungen, wie etwa Klassenzimmer-Transkripte, zu vergeben. Diese Systeme fungieren jedoch typischerweise als „Black Boxes“, die skalare Scores liefern, ohne Einblick in die zugrunde liegende Argumentation zu gewähren. Dieser Mangel an Transparenz ist besonders problemat in hochsensiblen Bildungskontexten, in denen Stakeholder die automatisierten Urteile verstehen, vertrauen und potenziell anfechten müssen. Während Large Language Models (LLMs) freiformbasierte Begründungen generieren können, deutet die jüngere Literatur darauf hin, dass diese Erklärungen zwar überzeugend, aber möglicherweise nicht treu gegenüber dem tatsächlichen Entscheidungsprozess des Modells sind. Die zentrale Herausforderung besteht darin, zu bestimmen, welche Teile eines Textes tatsächlich die rubrikbasierte Bewertung eines Modells antreiben und wie zu bewerten ist, ob eine Erklärung diese Treiber getreu wiedergibt.

Methodik

Die Autoren schlagen ein einheitliches Framework für die Interpretierbarkeit auf Satzebene der rubrikbasierten Bewertung vor, das am Quality of Feedback (QoF)-Aspekt des Classroom Assessment Scoring System (CLASS) unter Verwendung des NCTE-Korpus (6.005 annotierte Segmente von Grundschulmathematik-Klassenzimmer-Transkripten) implementiert wird.

Experimenteller Aufbau

Die Studie vergleicht zwei Familien von Modellen:

Feingetunte vortrainierte Sprachmodelle (PLMs): Einschließlich BERT, ALBERT, RoBERTa und DeBERTa (Base- und Large-Varianten). Diese Modelle werden mittels Regression feingetunt, um einen QoF-Score von 1–7 vorherzusagen.
Instruktionsgestimmte Large Language Models (LLMs): Einschließlich Llama 3.1, Mixtral, Qwen 3 und Mistral-Varianten. Diese Modelle führen die Bewertung mittels Few-Shot-Prompting und das Ranking von Sätzen mittels Zero-Shot-Prompting durch.

Interpretierbarkeits- und Evaluierungsprotokolle

Das Framework evaluiert Erklärungen mittels drei primärer Mechanismen:

Erzeugungs von Erklärungen:
- SHAP (SHapley Additive exPlanations): Anwendung auf der Satz-Embedding-Ebene innerhalb einer hierarchischen PLM-Architektur, um modellagnostische Merkmalsattributionen zu generieren.
- LLM-Rationalen: LLMs werden angewiesen, die Top-10-Sätze zu ranken, die am stärksten für einen gegebenen Score einflussreich sind.
Treueanalyse (Löschungsbasierte Analyse): Das System entfernt progressiv die Top- $k$ (wobei $k=10$ ) Sätze, die von einer Erklärungsmethode identifiziert wurden, und führt das Bewertungsmodell erneut aus. Die Größenordnung der Änderung der Vorhersage ( $\Delta$ ) dient als Stellvertreter für die Treue (Faithfulness); größere Verschiebungen deuten darauf hin, dass die Erklärung die einflussreichen Texte erfolgreich identifiziert hat.
Modellübergreifende Evaluierung: Erklärungen, die von einer Modellfamilie generiert wurden (z. B. SHAP von einem PLM), werden verwendet, um den Input der anderen Familie (z. B. ein LLM) zu perturbieren, und umgekehrt. Dies testet, ob Erklärungen robust über Architekturen hinweg transferierbar sind oder modellspezifisch bleiben.
Alignment-Metriken: Jaccard-Ähnlichkeit und Spearman-Rangkorrelation werden berechnet, um die Überschneidung in der Satzselektion zwischen SHAP und LLMs zu messen.

Zentrale Beiträge

Allgemeines Framework: Ein prinzipienbasiertes Framework für die Interpretierbarkeit auf Satzebene, das modellagnostische Shapley-Wert-Attributionen mit LLM-generierten Rationalen kombiniert und speziell auf die rubrikbasierte Bewertung zugeschnitten ist.
Vergleichende Analyse: Ein systematischer Vergleich spezialisierter, feingetunter PLMs gegenüber geprompteten LLMs sowohl hinsichtlich der Bewertungsleistung als auch der Erklärungstreue.
Evaluierung der Treue: Eine empirische Evaluierung von Erklärungsmethoden mittels löschungsbasierter Tests, die zeigt, dass SHAP Sätze identifiziert, die Vorhersagen zuverlässig steuern, während LLM-Rationale oft geringere, weniger kohärente Verschiebungen induzieren.
Modellübergreifende Konsistenz: Ein neuartiges Protokoll, das demonstriert, dass SHAP-Attributionen robust über Architekturen hinweg transferierbar sind, während LLM-Rationale nur begrenzten und inkonsistenten Einfluss auf alternative Modelle ausüben.
Bildungspolitische Implikationen: Eine Diskussion über das Design transparenter Feedback-Tools, die vor der Verwendung unvalidierter LLM-Rationale als autoritative Rechtfertigungen in hochsensiblen Kontexten warnt.

Ergebnisse

Bewertungsleistung (RQ1)

PLMs: Feingetunte PLMs übertreffen LLMs in der Vorhersagegenauigkeit signifikant. Das beste PLM (DeBERTaV3 large) erreicht einen mittleren absoluten Fehler (MAE) von 0,96, was mit einer konstanten Baseline vergleichbar ist. Jedoch zeigen feingetunte PLMs eine Label-Kompression, wobei sie selten Extremwerte (1 oder 7) vorhersagen und stattdessen zum Mittelwert (3–5) tendieren.
LLMs: Gepromptete LLMs weisen höhere Fehlerraten auf (bester MAE: 1,02 für Mistral Small), produzieren jedoch Vorhersagen, die die volle Skala von 1–7 abdecken und somit die Variabilität der Scores besser erhalten als PLMs.

Erklärungstreue (RQ2)

SHAP vs. LLMs: Löschungsbasierte Tests zeigen, dass Sätze, die durch SHAP identifiziert wurden, größere und kohärentere Vorhersageverschiebungen erzeugen als jene, die von LLMs ausgewählt wurden.
Alignment: Die Überschneidung zwischen der Satzselektion von SHAP und LLMs ist gering (mittlere Jaccard-Ähnlichkeit: 0,085; mittlere Spearman-Korrelation: 0,062).
Stabilität: LLMs weisen eine begrenzte Steuerbarkeit auf; sie geben oft nicht die exakte Anzahl der angeforderten Sätze zurück, und ihre Rationalen induzieren selbst bei Anwendung auf die Modelle, die sie generiert haben, oft kleinere und instabile Vorhersageänderungen.

Modellübergreifender Transfer (RQ3)

PLM zu LLM: Das Entfernen von Sätzen, die durch SHAP (aus einem PLM) identifiziert wurden, verursacht signifikante, unmittelbare Verschiebungen in den LLM-Vorhersagen, was darauf hindeutet, dass SHAP Merkmale identifiziert, die architekturübergreifend relevant sind.
LLM zu PLM: Das Entfernen von Sätzen, die durch LLMs identifiziert wurden, führt im Vergleich zur SHAP-basierten Entfernung zu wesentlich geringeren Vorhersageverschiebungen in PLMs. LLM-Rationale führen oft zu nicht-monotonen Trajektorien, was darauf hindeutet, dass sie nicht zuverlässig die Merkmale erfassen, die die Vorhersagen von PLMs antreiben.

Bedeutung und Behauptungen

Das Paper kommt zu dem Schluss, dass SHAP treuere und transferierbarere Erklärungen für die rubrikbasierte Bewertung liefert als LLM-generierte Rationale. Während LLMs eine hohe Benutzerfreundlichkeit („Out-of-the-box“-Verfügbarkeit) und breitere Score-Verteilungen bieten, sind ihre Erklärungen oft untreu gegenüber der zugrunde liegenden Berechnung und generalisieren nicht gut über Modellarchitekturen hinweg.

Die Autoren behaupten, dass das vorgeschlagene Framework eine prinzipienbasierte Grundlage für die Evaluierung von Bewertungsmodellen und deren Erklärungen in hochsensiblen Bildungskontexten bietet. Sie betonen, dass in Kontexten wie dem Lehrer-Feedback, in denen Vertrauen und Anfechtbarkeit entscheidend sind, die Abhängigkeit von unvalidierten LLM-Rationalen riskant ist. Stattdessen bieten modellagnostische Attributionsmethoden wie SHAP eine stabilere Basis für transparente und handlungsrelevante automatisierte Beurteilungen. Die Arbeit behauptet nicht, dass LLMs für die Bewertung unbrauchbar sind, sondern hebt hervor, dass deren aktuelle Rationale ohne rigorose Treue-Evaluierung nicht als autoritative Rechtfertigungen für automatisierte Urteile behandelt werden sollten.