💬 NLP

Interpretability from the Ground Up: Stakeholder-Centric Design of Automated Scoring in Educational Assessments

Diese Arbeit stellt ein stakeholderzentriertes Design für interpretierbare automatische Bewertungssysteme vor, das auf vier Prinzipien (FGTI) basiert und im AnalyticScore-Rahmenwerk eine Genauigkeit aufweist, die der von uninterpretierbaren State-of-the-Art-Methoden nahekommt, während sie gleichzeitig Transparenz und menschliche Übereinstimmung gewährleistet.

Ursprüngliche Autoren: Yunsung Kim, Mike Hardy, Joseph Tey, Candace Thille, Chris Piech

Veröffentlicht 2026-04-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yunsung Kim, Mike Hardy, Joseph Tey, Candace Thille, Chris Piech

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen riesigen Berg von Hausaufgaben vor dir – Tausende von Aufsätzen, die von Schülern geschrieben wurden. In der Vergangenheit mussten Lehrer jeden einzelnen Aufsatz lesen, bewerten und Feedback geben. Das ist mühsam, teuer und dauert ewig.

Künstliche Intelligenz (KI) könnte das in Sekunden erledigen. Aber hier liegt das Problem: Wenn eine KI einen Aufsatz bewertet, ist sie oft wie eine Blackbox. Sie gibt ein Ergebnis aus (z. B. "Note 3"), aber niemand weiß genau, warum. Hat sie das Wort "Hund" gezählt? Hat sie den Satzbau analysiert? Oder hat sie einfach nur geraten?

Für Lehrer, Schüler und Eltern ist das beängstigend. Man vertraut einer Entscheidung nicht, wenn man den Weg dorthin nicht nachvollziehen kann.

Diese Forschungsarbeit von Stanford-Universitäten möchte genau das ändern. Sie baut ein neues System namens ANALYTICSCORE, das nicht nur bewertet, sondern auch erklärt, wie es zu seiner Entscheidung kommt.

Hier ist die einfache Erklärung, wie das funktioniert, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der "Zaubertrank"-Effekt

Stell dir herkömmliche KI-Modelle wie einen Zaubertrank vor. Du wirfst Zutaten (den Aufsatz) hinein, der Kessel kocht, und am Ende kommt eine Note heraus. Aber was genau im Kessel passiert, ist unsichtbar. Wenn der Zaubertrank falsch liegt, kannst du nicht sagen, welche Zutat das Problem war.

2. Die Lösung: Das "Baukasten-Prinzip"

Die Forscher sagen: "Nein, wir brauchen keinen undurchsichtigen Zaubertrank. Wir brauchen einen offenen Baukasten."

Ihr System ANALYTICSCORE funktioniert in drei einfachen Schritten, die wie eine transparente Werkstatt aussehen:

Schritt 1: Die Bausteine finden (Analytische Komponenten)
Statt den ganzen Text auf einmal zu "schlucken", sucht die KI nach ganz bestimmten, greifbaren Bausteinen im Text.
- Vergleich: Stell dir vor, du bewertest einen Kuchen. Anstatt den Kuchen einfach zu schmecken und zu raten, ob er gut ist, zählst du die Zutaten: "Ist Zucker drin? Ja. Ist Mehl drin? Ja. Ist ein Ei drin? Nein."
- Die KI extrahiert also klare Aussagen aus dem Schüleraufsatz, z. B.: "Der Schüler hat erklärt, warum Pandas Spezialisten sind."
Schritt 2: Die Zutaten markieren (Featurisierung)
Die KI prüft nun jeden dieser Bausteine und gibt ihm ein klares Label.
- Vergleich: Ein menschlicher Prüfer (oder eine KI, die wie ein Mensch denkt) schaut auf den Satz und sagt: "Aha, hier steht genau das, was wir suchen!" (Grünes Häkchen) oder "Hier fehlt es" (Rotes Kreuz).
- Das Wichtigste: Diese Schritte sind so einfach, dass ein Mensch sie verstehen und sogar selbst nachmachen könnte.
Schritt 3: Die Note berechnen (Nachvollziehbare Logik)
Jetzt kommt die Mathematik, aber sie ist offen. Die KI summiert einfach die Punkte für die gefundenen Bausteine.
- Vergleich: Stell dir eine Waage vor. Jedes grüne Häkchen legt ein Gewicht auf die Waage. Wenn die Waage eine bestimmte Schwelle erreicht, fällt die Note "Sehr gut" heraus.
- Wenn jemand die Note hinterfragt, kann man genau zeigen: "Du hast die Note bekommen, weil du 3 von 5 wichtigen Punkten erwähnt hast."

3. Die vier goldenen Regeln (FGTI)

Damit das System wirklich fair und verständlich ist, haben die Forscher vier Regeln aufgestellt, die man sich wie die Verfassung für eine faire Bewertung vorstellen kann:

Treue (Faithful): Die Erklärung muss die wahre Rechnung der KI sein, nicht nur eine erfundene Geschichte. (Kein "Zaubertrank", der nur so tut, als würde er erklären).
Bodenständigkeit (Grounded): Die Begriffe, die die KI nutzt, müssen etwas sein, das ein Mensch auch im Text sehen kann. (Kein "Geheimcode", sondern klare Sätze).
Nachvollziehbarkeit (Traceable): Jeder Schritt muss wie ein Glied in einer Kette sein, den man einzeln ansehen kann.
Austauschbarkeit (Interchangeable): Das ist das Coolste: Ein Mensch könnte theoretisch an die Stelle der KI treten und die gleichen Schritte machen. Wenn die KI einen Fehler macht, kann ein Mensch den "Baustein" korrigieren und die Note neu berechnen.

4. Das Ergebnis: Besser als gedacht

Die Forscher haben ihr System an echten Schulprüfungen getestet.

Ergebnis: Das System ist fast so gut wie die besten "Blackbox"-KIs (die undurchsichtigen Zaubertränke), aber es ist transparent.
Überraschung: Die KI hat sich so gut verhalten wie menschliche Prüfer, wenn es darum ging, die "Bausteine" im Text zu finden. Sie hat die gleichen Dinge gesehen wie ein Lehrer.

Warum ist das wichtig?

Stell dir vor, du bist ein Schüler und bekommst eine schlechte Note von einer KI.

Ohne dieses System: Du weißt nicht, was du falsch gemacht hast. Du fühlst dich ungerecht behandelt.
Mit diesem System: Die KI sagt: "Du hast die Note bekommen, weil du zwar die Hauptidee genannt hast (Punkt 1), aber die Begründung fehlt (Punkt 2 fehlt)."

Das System verwandelt die KI von einem mysteriösen Richter in einen ehrlichen Tutor, der nicht nur urteilt, sondern auch hilft, Fehler zu verstehen. Es ist ein Schritt weg von "Vertraue mir, ich bin die KI" hin zu "Schau her, hier ist meine Rechnung".

1. Problemstellung

Automatisierte Bewertungssysteme (Automated Scoring) für komplexe, offene Schülerantworten (z. B. Essays) bieten zwar Skalierbarkeit und Effizienz, leiden jedoch unter einem Mangel an Transparenz und Interpretierbarkeit.

Das Dilemma: Obwohl die Nachfrage nach nachvollziehbaren Entscheidungen steigt, gibt es derzeit keine weit verbreitete, akzeptierte Lösung für interpretierbare automatisierte Bewertungen im großen Maßstab.
Die Lücke: Bestehende Ansätze zur Erklärbarkeit (z. B. LLMs, die Texte generieren, um ihre Entscheidungen zu erklären) sind oft nicht faithful (treu), da sie nicht die tatsächliche interne Berechnung widerspiegeln. Zudem ignorieren viele Forschungsarbeiten die spezifischen Bedürfnisse der verschiedenen Stakeholder (Prüflinge, Entwickler, Nutzer), was zu Lösungen führt, die in der Praxis nicht anwendbar sind.
Ziel: Entwicklung eines prinzipienbasierten Rahmens, der sowohl hohe Genauigkeit als auch echte Interpretierbarkeit für reale Bildungsassessments bietet.

2. Methodik: Der FGTI-Rahmen und ANALYTICSCORE

Die Autoren leiten aus der Literatur und Stakeholder-Analysen vier fundamentale Prinzipien für interpretierbare Bewertungen ab, die als FGTI bezeichnet werden:

Faithful (Treue): Die Erklärung muss die tatsächliche Rechenlogik des Modells widerspiegeln (keine nachträglich generierten „Chain-of-Thought"-Texte von LLMs).
Grounded (Fundiert): Die verwendeten Merkmale (Features) müssen menschlich verständlich und explizit auf den Schülerantworten und der Aufgabenstellung basieren (keine abstrakten Embeddings).
Traceable (Nachvollziehbar): Der Bewertungsprozess muss in klar definierte, sequenzielle evidenzbasierte Schritte zerlegbar sein.
Interchangeable (Austauschbar): Ein Mensch muss in der Lage sein, die Teilprozesse (Subroutinen) des Modells zu überprüfen und bei Bedarf durch menschliche Urteile zu ersetzen.

Um diese Prinzipien zu implementieren, stellen die Autoren das ANALYTICSCORE-Framework vor. Es ist ein modulares, dreistufiges System für textbasierte konstruierte Antworten:

Phase 1: Extraktion analytischer Komponenten (Analytic Components):
Aus den Rohdaten der Schülerantworten werden explizit identifizierbare Elemente (z. B. Propositionen oder Konzepte) extrahiert. Dies geschieht durch LLM-Prompts, die auf die Antworttextdaten angewendet werden. Das Ziel ist die Generierung einer Liste von $k$ Komponenten $[c_1, ..., c_k]$ , die für die Bewertung relevant sind.
Phase 2: Featurisierung (Human-Understandable Featurization):
Jede Schülerantwort wird basierend auf dem Vorhandensein der extrahierten Komponenten in Merkmale umgewandelt.
- Es wird eine Labeling-Funktion $f(r; c)$ $f (r; c)$ verwendet, die für jede Komponente $c$ $c$ in einer Antwort $r$ $r$ einen Wert aus $\{0, 1, 2\}$ ${0, 1, 2}$ ausgibt:
  - 2: Direkte Paraphrase der Komponente.
  - 1: Teilweise Paraphrase.
  - 0: Keine Paraphrase.
- Diese Werte werden zu einem One-Hot-Encoded Vektor zusammengefügt. Um Kosten zu senken, wird ein kleines Open-Source-Modell (Llama-3.1-8B) auf einem Datensatz von LLM-Labels (erzeugt durch GPT-4.1/o4-mini) feinabgestimmt (Distillation), um die Featurisierung durchzuführen.
Phase 3: Logisch nachvollziehbare Bewertung (Traceable Scoring):
Ein interpretierbares Klassifikationsmodell wird auf den featurisierten Daten trainiert.
- Als Basis wird eine Ordinale Logistische Regression (Ordinal Logistic Regression) verwendet.
- Das Modell berechnet einen „Evidenzwert" $\eta$ als gewichtete Summe der Merkmale.
- Der endgültige Score wird durch den Vergleich von $\eta$ mit gelernten Schwellenwerten ( $\theta$ ) bestimmt.
- Da die Logik linear und gewichtet ist, kann ein Mensch jeden Schritt nachvollziehen und die Gewichte oder Schwellenwerte manuell anpassen (Interchangeability).

3. Schlüsselbeiträge

Stakeholder-zentrierte Prinzipien (FGTI): Die Definition von vier Prinzipien, die die Kluft zwischen technischer Erklärbarkeit und den tatsächlichen Bedürfnissen von Prüflingen, Entwicklern und Politikern schließen.
ANALYTICSCORE Framework: Der erste praktische Rahmen für interpretierbare automatisierte Bewertungen, der die FGTI-Prinzipien vollständig implementiert.
Nachweis der Machbarkeit: Demonstration, dass ein interpretierbares System nicht zwangsläufig eine signifikante Einbuße in der Genauigkeit gegenüber „Black-Box"-Modellen (SOTA) haben muss.
Mensch-Maschine-Alignment: Ein experimenteller Nachweis, dass die von LLMs durchgeführte Featurisierung (Merkmalsextraktion) stark mit menschlichen Urteilen übereinstimmt.

4. Ergebnisse

Die Evaluation erfolgte auf dem ASAP-SAS-Datensatz (10 offene Fragen in den Bereichen Naturwissenschaften, Sachtexte und Literatur).

Bewertungsgenauigkeit (Scoring Accuracy):
- Gemessen am Quadratic Weighted Kappa (QWK).
- ANALYTICSCORE (mit distilliertem Llama-Featurizer) übertrifft viele uninterpretierbare Baselines (wie AutoSAS, ASRRN) und Few-Shot-Prompting-Ansätze.
- Im Durchschnitt liegt ANALYTICSCORE nur 0,06 QWK unter dem besten uninterpretierbaren State-of-the-Art (SOTA) Modell.
- In den Bereichen Naturwissenschaften und Sachtexte ist die Leistung besonders stark.
Ausrichtung der Featurisierung (Featurization Alignment):
- Die Übereinstimmung zwischen dem automatisierten Featurizer und menschlichen Annotatoren wurde gemessen.
- Der distillierte Llama-Featurizer erreichte eine hohe Übereinstimmung mit menschlichen Labels (QWK von ca. 0,90 in den Naturwissenschaften).
- Die Inter-Rater-Reliabilität zwischen menschlichen Annotatoren lag ebenfalls im akzeptablen Bereich ( $\alpha \approx 0,7$ ), was zeigt, dass die Featurisierungsaufgabe für Menschen gut definiert ist.
Kosten-Nutzen: Durch die Distillation von großen LLMs auf ein kleines Open-Source-Modell (Llama-3.1-8B) konnte die Rechenkosten für die Featurisierung drastisch gesenkt werden, ohne die Genauigkeit signifikant zu beeinträchtigen.

5. Bedeutung und Ausblick

Dieses Paper markiert einen Paradigmenwechsel in der Forschung zu automatisierten Bewertungen:

Vom isolierten Vorhersage-Task zum Lebenszyklus: Es fordert, automatisierte Bewertungen nicht als reine Vorhersageprobleme zu betrachten, sondern sie in den gesamten, stakeholder-zentrierten Bewertungslebenszyklus (Design, Bewertung, Iteration) einzubetten.
Vertrauen und Fairness: Durch die Prinzipien von Treue und Nachvollziehbarkeit wird es möglich, Fehler zu identifizieren, Bias zu erkennen und die Validität der Bewertung zu überprüfen. Dies ist für hochriskante Entscheidungen (High-Stakes Assessments) ethisch zwingend erforderlich.
Praxisrelevanz: ANALYTICSCORE bietet einen konkreten, reproduzierbaren Baseline für zukünftige Forschung und zeigt, dass interpretierbare Systeme in der realen Welt wettbewerbsfähig sind.

Limitationen:
Die Autoren weisen darauf hin, dass die Komplexität der Bewertungslogik durch die gewählte lineare Regression begrenzt sein könnte und weitere Studien an größeren, diverseren Datensätzen sowie Feldstudien zur Validierung der Prinzipien in der Praxis notwendig sind. Zudem müssen ethische Aspekte wie Datenschutz bei der Nutzung von LLMs für die Merkmalsextraktion beachtet werden.