Multi model deliberation improves the stability of automated scoring by large language models across genres and assessment contexts

Technische Zusammenfassung: Multi-Modell-Deliberation für die Stabilität des automatisierten Scorings

Problemstellung
Obwohl Large Language Models (LLMs) vielversprechende Ansätze für das automatisierte Essay-Scoring zeigen, wird ihr praktischer Einsatz in der Bildungsbewertung durch die Instabilität des Scorings und einen Mangel an kontextueller Validierung behindert. Die bestehende Forschung priorisiert die Vorhersagegenauigkeit (Übereinstimmung mit menschlichen Bewertern), vernachlässigt jedoch häufig die Reliabilität – spezifisch die Konsistenz eines Modells bei der wiederholten Bewertung derselben Antwort. Als probabilistische Generatoren führen LLMs eine stochastische Variabilität ein, die der Ermüdung menschlicher Bewerter ähnelt, was die pädagogische Gerechtigkeit und Validität gefährdet. Die klassische Messinstrumententheorie postuliert, dass Reliabilität eine Voraussetzung für Validität ist; ein Instrument, das für dieselbe Antwort unterschiedliche Scores liefert, kann keine validen Rückschlüsse unterstützen. Zudem versagen traditionelle Ensemble-Methoden (z. B. einfache Mittelwertbildung), da sie keine „kognitive Kalibrierung“ fördern, indem sie isolierte Urteile aggregieren, ohne einen Informationsaustausch oder ein gemeinsames Argumentieren zu ermöglichen.

Methodik
Die Studie schlägt ein Multi-Modell-Deliberations-Framework vor, das auf der Theorie der kollektiven Intelligenz basiert. Dieses Framework konzeptualisiert das automatisierte Scoring als einen deliberativen Prozess unter Einbeziehung von drei heterogenen, Open-Source-basierten chinesischen LLMs: Baichuan2-13B, Qwen2.5-14B und ChatGLM4-9B. Der Prozess operiert in drei sequenziellen Runden:

1. Unabhängiges Scoring (R1): Modelle bewerten eine Antwort isoliert und generieren initiale Scores sowie Begründungen (Rationales).
2. Informationsaustausch (R2): Den Modellen werden die Scores und Begründungen der anderen beiden Modelle präsentiert. Sie werden angewiesen, die Antwort neu zu bewerten, wobei sie die Option haben, ihren Score anzupassen oder ihr ursprüngliches Urteil basierend auf den neuen Evidenzen beizubehalten.
3. Finale Bestätigung (R3): Die Modelle erhalten den vollständigen Satz an Anpassungen und Begründungen aus R2 und übermitteln einen definitiven finalen Score.

Das Framework wurde über zwei komplementäre Datensätze evaluiert, um die Generalisierbarkeit und Stabilität zu testen:

• ASAP-AES Korpus: Ein öffentlicher Benchmark, der etwa 13.000 K-12-Schüler-Essays aus acht Writing Prompts enthält. Für diese Studie wurden gezielt fünf Essays aus jedem der acht Prompts (abdeckend für obere, mittlere und untere Score-Segmente) ausgewählt, um einen Testdatensatz von 40 Essays zu erstellen, wobei pro Essay 30 Durchläufe durchgeführt wurden (7.350 Merkmals-Beobachtungen).
• Journalismus-Korpus: Authentische Antworten aus einem chinesischen Journalismus-Kurs einer Universität (10 Essays, jeweils 100 Durchläufe, 9.000 Scoring-Datensätze), bewertet durch einen Experten (menschlicher Rater).

Die Studie verglich das vorgeschlagene Deliberations-Ensemble mit Single-Model-Baselines, einfachen Mittelwert-/Median-Ensembles sowie Post-Deliberations-Single-Model-Scoring. Zu den Metriken gehörten der Cross-Model Mean Absolute Error (MAE) für die Konvergenz, der Variationskoeffizient (CV) für die Stabilität und Rangkorrelationen mit menschlichen Scores.

Wesentliche Ergebnisse

• Signifikante Reduktion der Diskrepanz: Im ASAP-AES Korpus sank die Inter-Modell-Diskrepanz (MAE) von R1 bis R3 über alle Prompts hinweg signifikant (Holm-korrigiertes p < 0,001). Die gepoolte Effektstärke war groß (Cohen's dz = 1,08), mit einer Rangbiserialkorrelation von 0,92, was zeigt, dass die Deliberation unabhängig von Genre oder Rubrik-Skala konsistent zur Konvergenz führte.
• Verbesserte Stabilität: Im Journalismus-Korpus sank der Variationskoeffizient (CV) für das Deliberations-Ensemble von 7,29 % (Baseline) auf 2,78 %, was eine relative Verbesserung von 61,9 % darstellt (t(9) = 7,98, p < 0,001). Diese Verbesserung übertraf signifikant einfache Ensemble-Strategien (die den CV um 40,8 % reduzierten) sowie das Post-Deliberations-Single-Model-Scoring (34,2 % Verbesserung), was einen synergistischen Effekt zwischen Deliberation und Aggregation demonstriert.
• Runden-Dekomposition: Der Konvergenzeffekt wurde in zwei Segmente unterteilt. Die Informationsaustausch-Runde (R1 zu R2) war für etwa zwei Drittel (66–69 %) der gesamten Konvergenz verantwortlich, während die finale Bestätigungsrunde (R2 zu R3) das verbleibende Drittel (31–34 %) beitrug. Beide Phasen erwiesen sich als statistisch signifikant und nicht redundant.
• Modell-Heterogenität und Verhalten: Die drei Modelle zeigten über die Datensätze hinweg distinkte, konsistente Rollen. Baichuan2 agierte als konservativer „Anker“ mit minimalen Score-Änderungen; Qwen diente als „aktiver Adjuster“, der Scores häufig nach oben korrigierte; und ChatGLM fungierte als „robuster Richter“, der eine Balance zwischen Anpassung und Widerstand gegen Groupthink hielt. Diese Heterogenität verhinderte eine vorzeitige Konvergenz.
• Ausrichtung an menschlichen Scores: Während die Deliberation die Präzision (Stabilität) verbesserte, induzierte sie eine systematische Aufwärtsverschiebung der absoluten Scores im Vergleich zu menschlichen Ratern (z. B. +13,46 Punkte auf der 100-Punkte-Skala des Journalismus-Korpus). Die Rangordnung der Korrespondenz mit menschlichen Scores blieb jedoch weitgehend erhalten (Spearman ρ = 0,75 beim Journalismus-Korpus). Die Studie zeigte, dass dieser systematische Bias durch eine Standard-Lineare-Kalibrierung gegen menschliche Anker korrigiert werden konnte, wodurch der Mean Absolute Error um 50,3 % reduziert wurde.

Zentrale Beiträge

1. Neukonzeption der Scoring-Reliabilität: Die Studie verschiebt den Fokus von rein prädiktiver Genauigkeit hin zur Messreliabilität und schlägt ein Deliberations-Framework vor, das Stabilität durch aktive kognitive Kalibrierung statt durch numerische Fehlerkompensation erreicht.
2. Empirische Validierung: Sie liefert robuste Belege für die Wirksamkeit des Frameworks über verschiedene Sprachen (Chinesisch/Englisch), Genres (argumentativ/narrativ) und Bewertungsskalen hinweg und validiert die Generalisierbarkeit der Multi-Modell-Deliberation.
3. Charakterisierung der Mechanismen: Die Forschung charakterisiert die spezifischen Konvergenzmuster und Anpassungsverhaltensweisen heterogener Modelle und zeigt auf, dass der Informationsaustausch den Großteil der Konvergenz antreibt, während eine finale Bestätigungsrunde die notwendige Stabilisierung bietet.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Multi-Modell-Deliberation die Stabilität des automatisierten Scorings erheblich verbessert und LLMs somit für die Bildungsbewertung, in der Konsistenz entscheidend ist, praktikabler macht. Die Autoren argumentieren, dass die Deliberation zwar die Präzision (Reliabilität) der Scores verbessert, dies jedoch nicht automatisch die Validität (absolute Übereinstimmung mit menschlichen Standards) garantiert. Daher wird das Framework als eine präzisionssteigernde Ebene präsentiert, die für Hochrisiko-Anwendungen mit einer durch Menschen verankerten Kalibrierung kombiniert werden muss. Die Studie kommt zu dem Schluss, dass ein solches System die formative Bewertung unterstützen und den Bewertungsaufwand reduzieren kann, sofern das professionelle Urteil des Menschen zentral bleibt und systematische Biase durch Kalibrierung gesteuert werden. Die Ergebnisse legen nahe, dass die „kollektive Weisheit“ heterogener Modelle, wenn sie durch Deliberation strukturiert wird, einen Weg zu zuverlässigerem automatisiertem Scoring bietet als einfache Aggregation oder Single-Model-Ansätze.