💬 NLP

A Two-Phase Stability Study of LLM Judges and Bar Council Examiners on Thai Bar-Exam Free-Form Essays

Diese Studie zeigt, dass zwar LLM-Richter und menschliche Prüfer bei thailändischen Anwaltsprüfungsarbeiten mit klaren Bewertungskriterien übereinstimmen, LLMs jedoch systematisch versagen, eine Minderheiteninterpretation menschlicher Prüfer bei mehrdeutigen Fällen nachzubilden, stattdessen einheitlich der Mehrheitsmeinung menschlicher Prüfer folgen und dadurch ihre Unfähigkeit verdecken, das gesamte Spektrum fachlicher Meinungsverschiedenheiten abzubilden.

Ursprüngliche Autoren: Pawitsapak Akarajaradwong, Wuttikrai Lertprasertphakorn, Chompakorn Chaksangchaichot, Sarana Nutanong

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pawitsapak Akarajaradwong, Wuttikrai Lertprasertphakorn, Chompakorn Chaksangchaichot, Sarana Nutanong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten einen hochriskanten Wettbewerb zur Bewertung der Qualität juristischer Aufsätze. Sie haben ein sehr spezifisches Regelwerk (die „Bewertungsmatrix"), das den Korrektoren mitteilt, wie Antworten zu bewerten sind. Normalerweise ist das Regelwerk klar: Ist die Antwort richtig, geben Sie eine hohe Punktzahl; ist die Begründung schlecht, geben Sie eine niedrige Punktzahl.

Manchmal stößt das Regelwerk jedoch auf eine „Grauzone". Es sagt nicht genau, was zu tun ist, wenn ein Student die endgültige Antwort richtig hat, aber eine spezifische, entscheidende Gesetzeszitation vergisst. Dies ist die „regulationsstille" Zone.

Dieser Artikel beschreibt ein zweigeteiltes Experiment, um zu untersuchen, wie menschliche und künstliche Intelligenz (KI)-Bewerter mit diesen Grauzonen umgehen.

Teil 1: Die „Prüfung" (Phase 1)

Zunächst setzten die Forscher 8 verschiedene KI-Modelle auf den „Studentenstuhl". Sie mussten juristische Aufsätze verfassen, genau wie 42 echte thailändische Jurastudenten. Die KI-Modelle wurden blind von menschlichen Experten bewertet.

Das Ergebnis: Die KI-Modelle schnitten etwa genauso gut ab wie der durchschnittliche menschliche Student. Einige waren hervorragend, einige durchschnittlich und einige hatten Schwierigkeiten. Alle waren „im Spiel".

Teil 2: Die „Bewertung" (Phase 2)

Anschließend nahmen die Forscher dieselben Aufsätze und baten zwei Gruppen, sie zu bewerten:

Das menschliche Gremium: Drei echte, zertifizierte juristische Prüfer.
Das KI-Gremium: Eine riesige Gruppe von 26 verschiedenen KI-Modellen (darunter diejenigen, die zuvor an der Prüfung teilgenommen hatten, sowie viele andere).

Sie gaben allen genau dieselben vier Dinge zur Prüfung: die Frage, das Regelwerk, den „perfekten" Lösungsschlüssel und den Aufsatz des Studenten.

Die große Entdeckung: Die „Einbahnstraße"

Die Forscher stellten eine faszinierende Spaltung fest, jedoch nur bei den kniffligen Fragen, bei denen das Regelwerk stillschweigend war.

Die menschliche Spaltung:
Die drei menschlichen Experten waren sich nicht einig.

Zwei von ihnen (B und C) sagten: „Der Student hat den Hauptpunkt richtig verstanden und die Begründung war gut genug. Geben Sie ihm eine hohe Punktzahl (6–8)."
Einer von ihnen (A) sagte: „Der Student hat eine entscheidende Zitation verpasst. Das macht die Begründung ‚unbrauchbar'. Geben Sie ihm eine sehr niedrige Punktzahl (1–2)."
Stellen Sie es sich wie einen Sportschiedsrichter vor: Zwei Schiedsrichter sagen, der Spieler war „im Spielfeld", und ein Schiedsrichter sagt, er war „außerhalb des Spielfelds". Beide verwenden dasselbe Regelwerk, interpretieren die Grauzone jedoch unterschiedlich.

Die KI-Spaltung (Die Asymmetrie):
Hier wird es seltsam. Die Forscher erwarteten, dass sich die 26 KI-Modelle aufspalten würden, vielleicht einige auf der Seite des strengen Menschen (A) und einige auf der Seite der nachsichtigen Menschen (B und C).

Das taten sie nicht.
22 von 26 KI-Modellen schlossen sich den beiden nachsichtigen Menschen (B und C) an. Sie gaben hohe Punktzahlen.
3 KI-Modelle waren verwirrt und gaben mittlere Punktzahlen.
Kein KI-Modell schloss sich dem strengen Menschen (A) an. Selbst die eine KI, die versuchte, streng zu sein (GPT-5.4 Nano), war nicht konsistent genug, um den Stil des strengen Menschen wirklich zu treffen.

Die Metapher:
Stellen Sie sich eine Gruppe von 26 verschiedenen Kameras vor, die ein Foto eines Gemäldes machen.

Die drei menschlichen Kunstkritiker betrachten das Gemälde und sind sich uneinig: Zwei sagen, es sei ein Meisterwerk, einer sagt, es sei ein Misserfolg.
Sie bitten die 26 Kameras, das Gemälde zu beschreiben.
Das Ergebnis: Alle 26 Kameras stimmen mit den beiden Kritikern überein, die es ein Meisterwerk nannten. Keine der Kameras stimmt mit dem Kritiker überein, der es ein Misserfolg nannte. Obwohl die Kameras verschiedene Marken, Größen und Preise haben, „sehen" sie das Gemälde alle auf die gleiche Weise und lassen die Perspektive des einen strengen Kritikers völlig außer Acht.

Warum ist das wichtig?

Der Artikel argumentiert, dass wir, wenn wir KI-Systeme zum Bewerten von Aufsätzen entwickeln, normalerweise die KI auswählen, die am meisten mit dem „durchschnittlichen" menschlichen Korrektor übereinstimmt.

Da die Mehrheit der Menschen in dieser Studie (2 von 3) nachsichtig war, lernte die KI, ebenfalls nachsichtig zu sein.
Die KI lernte nicht, auf eine ausgewogene Weise „fair" zu sein; sie lernte, asymmetrisch zu sein. Sie konvergierte auf die Mehrheitsmeinung und ignorierte die Minderheitsmeinung vollständig, obwohl diese Minderheitsmeinung eine gültige, juristische Interpretation war.

Die „Dual-Roll"-Überraschung

Die Forscher bemerkten auch etwas Seltsames an der Persönlichkeit der KI.

Die KI-Modelle, die in Phase 1 schlechte Schüler waren (sie erhielten bei ihren eigenen Aufsätzen niedrige Punktzahlen), wurden in Phase 2 tatsächlich zu den konsistentesten nachsichtigen Richtern.
Die KI-Modelle, die in Phase 1 hervorragende Schüler waren, wurden nur zu „ordentlichen" Richtern.
Die Lehre: Gut darin zu sein, die Antwort zu schreiben, macht einen nicht gut darin, die Antwort zu bewerten. Die Fähigkeiten sind völlig unterschiedlich.

Das Fazit

Die Studie zeigt, dass KI-Richter untereinander sehr stabil und konsistent sind, aber einen blinden Fleck haben. Wenn sich menschliche Experten bei einer Grauzonen-Regel nicht einig sind, teilt die KI den Unterschied nicht auf oder erkundet alle gültigen Meinungen. Stattdessen wählt sie überwiegend die „Mehrheits"-Meinung der Menschen aus und ignoriert die „Minderheits"-Meinung.

Wenn Sie KI verwenden, um Aufsätze zu bewerten, erhalten Sie nicht nur eine zweite Meinung; Sie erhalten einen Spiegel, der die Mehrheitsmeinung so stark widerspiegelt, dass die Minderheitsmeinung vollständig verschwindet.

Technische Zusammenfassung: Eine zweiphasige Stabilitätsstudie zu LLM-Richtern und Mitgliedern des Anwaltsrats bei freien Aufsätzen für die thailändische Anwaltsprüfung

Problemstellung

Die aktuelle Evaluation von freien juristischen Aufsätzen mittels Natural Language Processing (NLP) stützt sich auf zwei ungetestete Annahmen: (1) dass die Übereinstimmung zwischen bewerteten menschlichen Experten eine einzelne, flache „Stabilitätsobergrenze" über alle Items hinweg definiert, und (2) dass der Erfolg eines LLM-Richters daran gemessen wird, wie sehr seine Übereinstimmung mit diesem menschlichen Gremium diese Obergrenze annähert. Diese Studie hinterfragt diese Annahmen, indem sie untersucht, ob die Stabilität von Experten über alle Items hinweg einheitlich ist und ob LLM-Richterpopulationen das gesamte Spektrum legitimer menschlicher Interpretationen reproduzieren oder lediglich auf eine einzige Mehrheitslesart konvergieren. Die Studie konzentriert sich auf die thailändische Anwaltsprüfung, eine hochrangige Bewertung freier Aufsätze, bei der die Benotung sowohl deterministische Richtigkeit (Übereinstimmung mit einer Gold-Antwort) als auch interpretative Qualität (Tiefe der Argumentation) umfasst, wobei Letztere oft keine expliziten regulatorischen Leitlinien besitzt.

Methodik

Die Forschung verwendet ein zweiphasiges Protokoll mit identischen Eingaben, um die Rollen von Prüfling und Richter zu isolieren und gleichzeitig die Varianz der Eingaben zu kontrollieren.

Phase 1: LLMs als Prüflinge

Teilnehmer: 42 thailändische Jura-Studenten und 8 LLMs (einschließlich Claude 4.6 Opus, Gemini 3.1 Pro, GPT-5.4 Pro und anderer).
Aufgabe: Die Teilnehmer beantworteten unter blinden Bedingungen drei Aufsatzfragen zum Zivil- und Handelsrecht.
Benotung: Drei vom Anwaltsrat geschulte Prüfer (A, B, C) bewerteten die Antworten unter Verwendung eines veröffentlichten 8-stufigen Bewertungsrasters. Die Prüfer wussten nicht, welche Teilnehmer LLMs waren.
Ergebnis: Es wurde eine Baseline-Fähigkeitsverteilung etabliert, in der sich die LLMs innerhalb der Verteilung menschlicher Studenten befanden, wodurch sichergestellt wurde, dass die Benotungsaufgabe nicht trivial war.

Phase 2: LLMs als Richter

Korpus: Eine Teilmenge von 15 doppelt bewerteten Zellen (5 Antworten $\times$ 3 Prüfer) wurde für eine tiefgehende Analyse ausgewählt.
Eingaben: Alle Bewerter (3 Menschen und 26 LLMs) erhielten exakt dieselben Vier-Tupel-Eingaben: die Frage, die offizielle Benotungsverordnung, die Gold-Antwort und den Aufsatz des Kandidaten.
LLM-Panels:
- Anker-Subpanel: Drei geschlossene Frontier-Modelle (Claude 4.6 Opus, Gemini 3.1 Pro, GPT-5.4 Pro) durchliefen eine rigorose Instrumentierung, einschließlich Determinismus-Proben (3 Samen bei $T=0$ ), Eingabe-Ablationen (Verordnung zurückgehalten, Gold-Antwort zurückgehalten) und Bootstrap-Konfidenzintervallen.
- Erweitertes Panel: 23 weitere Modelle, die geschlossene Frontier-Modelle (groß/klein), Flaggschiff-Open-Weight-Modelle und kleine Open-Weight-Modelle umfassten, wurden hinzugefügt, um strukturelle Behauptungen auf Bevölkerungsebene zu testen.
Metriken: Die Stabilität wurde mittels Krippendorffs $\alpha$ , paarweisen Pearson-Korrelationen und Cohens gewichtetem $\kappa$ gemessen.

Hauptbeiträge

Asymmetrische Konvergenz auf Bevölkerungsebene: Die Studie identifiziert eine strukturelle Asymmetrie im Verhalten von LLM-Richtern. Bei Items, bei denen das Bewertungsraster hinsichtlich der Interpretation einer korrekten Endantwort mit weggelassenen Gesetzeszitaten schweigt (die „verordnungsstille" Grenze), spaltet sich das menschliche Panel in zwei kohärente Lesarten auf (eine Mehrheitslesart B/C und eine Minderheitslesart A). Die LLM-Population spaltet sich nicht symmetrisch; 22 von 26 LLMs konvergieren auf die Mehrheitslesart (B/C), 3 befinden sich in einer mittleren Lücke, und nur 1 (GPT-5.4 Nano) nähert sich der Minderheitslesart (A) an, ohne konsistent innerhalb derselben zu punkten. Kein LLM reproduziert die Minderheitslesart.
Entkopplung der Prüflingsfähigkeit von der Richter-Stabilität: Unter Verwendung des Dual-Rollendesigns (dieselben 8 LLMs als Prüflinge und Richter) zeigt die Arbeit, dass die Leistung eines Modells als Prüfling seine Ausrichtung als Richter nicht vorhersagt. Schwächere Prüflinge werden oft zu stärkeren, mit B/C ausgerichteten Richtern, während bestbewertete Prüflinge nicht notwendigerweise mit der Minderheitslesart übereinstimmen. Das Skalieren der Fähigkeiten drängt die LLM-Population nicht in Richtung der Minderheitslesart.
Instrumentiertes Ankerpanel: Die Einrichtung eines Anker-Subpanels aus drei LLMs mit vollständiger Instrumentierung (Determinismus, Ablationen, Bootstrap-KIs), das ein Panel- $\alpha$ von 0,77 erreicht, was signifikant höher ist als das des menschlichen Panels mit 0,36 bei den umstrittenen Items.

Hauptergebnisse

Stabilitätsmetriken

Nicht umstrittene Items: Bei 10 von 15 Zellen (Fragen 1 und 3), bei denen das Raster beide Achsen vorschreibt, sind menschliche und LLM-Panels stabilätsäquivalent ( $\alpha \approx 0,75$ ).
Umstrittene Items: Bei den 5 Zellen von Frage 2 (verordnungsstille Grenze) bricht das menschliche Panel auf $\alpha = -0,34$ zusammen aufgrund der Spaltung zwischen Prüfer A (strenger, Punktzahl 1–2) und den Prüfern B/C (nachsichtig, Punktzahl 6–8).
LLM-Verhalten bei umstrittenen Items: Das LLM-Panel behält eine hohe Stabilität bei ( $\alpha = 0,68$ $α = 0, 68$ ), konvergiert jedoch ausschließlich auf die B/C-Lesart.
- 22/26 LLMs: Punktzahl im B/C-Bereich ( $m_c \in [5, 8]$ ).
- 3/26 LLMs: Punktzahl in der mittleren Lücke ( $3 < m_c < 5$ ).
- 1/26 LLMs (GPT-5.4 Nano): Nähert sich dem A-Bereich an ( $m_c = 2,33$ ), versagt jedoch darin, konsistent innerhalb desselben zu punkten.
- Ergebnis: Kein LLM reproduziert die menschliche Minderheitslesart.

Diagnose von Fehlermodi

Die Studie identifiziert drei verschiedene Fehlermodi in LLMs, die von der Mehrheitscluster abweichen:

Skalenquantisierung (Claude Haiku 4.5): Kollabiert die Bewertungsskala zu einem binären Bestanden/Nicht-bestanden-Eimer (3,5 oder 7,5) und versagt darin, mittlere Punktzahlen auszudrücken.
Nur-Endantwort-Benotung (GPT-5.4 Mini): Ignoriert die interpretative Achse und vergibt hohe Punktzahlen ausschließlich basierend auf der Richtigkeit der endgültigen Schlussfolgerung, unabhängig von der Qualität der Argumentation.
Streng argumentationsbasierte Benotung (GPT-5.4 Nano): Bestraft weggelassene Zitate auf der interpretativen Achse streng, stimmt mit der Minderheitslesart A überein, zeigt jedoch keine Konsistenz über den gesamten Datensatz hinweg.

Robustheitsprüfungen

Determinismus: Bei $T=0$ zeigen die Anker-LLMs eine hohe Intra-Richter-Stabilität (Claude $\alpha=0,998$ ), was bestätigt, dass die Inter-Modell-Vielfalt (0,77) ein Merkmal der Population und kein Artefakt von Rauschen ist.
Eingabe-Ablationen: Das Entfernen der Verordnung oder der Gold-Antwort reduziert die Stabilität des LLM-Panels, kehrt jedoch nicht die Richtung der Lücke um (LLM- $\alpha$ bleibt höher als menschlicher $\alpha$ ).
Dual-Roll-Analyse: Die Korrelation zwischen Prüflingspunktzahl und Ausrichtung des Richter-Clusters ist explorativ und negativ ( $r = -0,34$ ), was darauf hindeutet, dass schwächere Prüflinge (die sich möglicherweise stärker auf die deterministische Achse verlassen) als Richter stärker mit der B/C-Mehrheit übereinstimmen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die „Stabilitätsobergrenze" im juristischen NLP keine flache Linie ist, sondern eine Bruchlinie, die sich an verordnungsstillen Grenzen befindet, wo das Bewertungsraster die interpretative Qualität dem Expertenurteil überlässt.

Asymmetrie der Übereinstimmung: Eine hohe Übereinstimmung des LLM-Panels ( $\alpha$ ) impliziert keine ausgewogene Reproduktion menschlicher Varianz. Stattdessen spiegelt sie eine systematische Konvergenz auf die menschliche Mehrheitslesart wider. Ein Benchmark, der einen LLM-Richter durch Maximierung der Übereinstimmung mit einem menschlichen Referenzpanel auswählt (das typischerweise durch die Mehrheit verzerrt ist), wird per Konstruktion diese Asymmetrie erben und Richter filtern, die zur Minderheitslesart fähig sind.
Die interpretative Engstelle: Die Studie definiert die „interpretative Engstelle des Rasters" als die spezifische Zone, in der die Verordnung schweigt, wie eine korrekte Antwort mit unvollständiger Argumentation zu bewerten ist. In dieser Zone spalten sich menschliche Panels natürlich in kohärente, legitime Lesarten auf, während LLM-Populationen auf eine Seite konvergieren.
Grenzen des Skalierens: Die Ergebnisse deuten darauf hin, dass eine einfache Skalierung der Modellfähigkeiten diese Asymmetrie nicht auflöst; größere Modelle übernehmen nicht spontan die Minderheitslesart. Die Konvergenz ist eine strukturelle Eigenschaft des LLM-Ensembles bei diesem spezifischen Raster, unabhängig von Modellgröße, Anbieter oder Preisklasse.

Die Arbeit schließt, dass aktuelle Evaluationsprotokolle den vollständigen Raum legitimer menschlicher Lesarten verschleiern. Sie fordert Benchmarks, die die Panel-Stabilität pro interpretativem Fall berichten und LLM-Richter gegen mehrere legitime menschliche Lesarten und nicht gegen ein einzelnes gemitteltes Ziel bewerten.