Magis-Bench: Evaluating LLMs on Magistrate-Level Legal Tasks
Dieser Beitrag stellt Magis-Bench vor, einen neuartigen Benchmark, der aus brasilianischen richterlichen Prüfungen abgeleitet wurde und 23 state-of-the-art LLMs in Bezug auf richterliche juristische Schlussfolgerungen und Schreibaufgaben bewertet, wobei sich zeigt, dass selbst leistungsstärkste Modelle Schwierigkeiten haben, hohe Punktzahlen bei der Erarbeitung begründeter richterlicher Entscheidungen zu erzielen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen Hochrisiko-Kochwettbewerb vor. Normalerweise bitten wir beim Testen von KI, ein Gericht zu kochen (einen Rechtsvortrag oder einen Vertrag zu verfassen). Doch in einem echten Rechtssystem besteht die wichtigste Aufgabe nicht nur im Kochen, sondern darin, der Richter zu sein, der das Gericht probiert, entscheidet, ob es gut ist, und erklärt, warum es besteht oder durchfällt.
Dieser Artikel, Magis-Bench, befasst sich mit dem Testen von KI in dieser „Richter"-Rolle.
Das Problem: Kann KI Richter sein?
Die meisten KI-Tests im Rechtsbereich bitten den Computer, einen Anwalt zu spielen: „Verfassen Sie eine Verteidigung für diesen Mandanten." Doch ein echter Richter muss etwas Schwereres leisten: beiden Seiten zuhören, eigene Gefühle ignorieren, strikte Regeln anwenden und eine endgültige Entscheidung treffen, die einer Überprüfung standhält.
Die Autoren wollten wissen: Können aktuelle KI-Modelle wie ein echter Richter agieren?
Der Test: Die „Amtsrichter"-Prüfung
Um dies zu testen, ersannen die Forscher keine fiktiven Fragen. Sie griffen auf 74 echte Fragen aus tatsächlichen, hoch kompetitiven brasilianischen Prüfungen zurück, die zwischen 2023 und 2025 zur Einstellung echter Richter verwendet wurden.
Stellen Sie sich diese Prüfungen als das „Staatsexamen" für Richter vor. Sie umfassen:
- Aufsatzfragen: „Hier ist eine unübersichtliche Rechtssituation; erklären Sie das Gesetz."
- Entwurfsaufgaben: „Hier sind die Fakten; verfassen Sie den vollständigen, offiziellen Gerichtsspruch (das endgültige Urteil)."
Entscheidend ist, dass jede Frage mit einem offiziellen Lösungsschlüssel (einem Bewertungsraster) versehen war. Dies ist vergleichbar mit einem Lehrer-Bewertungsbogen, der exakt angibt, wie viele Punkte Sie für die Nennung eines bestimmten Gesetzes oder das Einhalten einer bestimmten Struktur erhalten.
Die Methode: KI gegen KI
Da es unglaublich teuer und langsam wäre, 23 menschliche Richter zu beauftragen, 74 Aufsätze für 23 verschiedene KI-Modelle zu bewerten, nutzten die Forscher einen cleveren Trick: Sie ließen KI KI bewerten.
- Die Kandidaten: Sie wählten 23 der intelligentesten verfügbaren KI-Modelle aus (von Unternehmen wie Google, OpenAI, Anthropic und anderen).
- Die Richter: Sie setzten vier weitere, sehr leistungsfähige KI-Modelle als Bewertende ein.
- Die Regeln: Die „Richter-KIs" wussten nicht, wer die Antworten verfasst hatte. Sie betrachteten lediglich die Frage, den offiziellen Lösungsschlüssel und die Antwort der KI und vergaben daraufhin eine Punktzahl von 0 bis 10.
Die Ergebnisse: Die KI-„Richter" waren sich einig
Hier ist, was geschah:
- Die Richter kamen miteinander aus: Die vier KI-Richter stimmten zu fast 100 % überein (98,4 % Übereinstimmung). Das ist vergleichbar mit vier Restaurantkritikern, die sich alle exakt einig sind, welches Restaurant das beste ist. Dies gab den Forschern die Gewissheit, dass die Bewertungen fair waren und nicht zufällig.
- Die Gewinner: Die besten Leistungen erzielte Google's Gemini-3-Pro-Preview (Punktzahl: 6,97/10), gefolgt von Gemini-3-Flash und Claude-4.5-Opus.
- Der Realitätscheck: Selbst der „Gewinner" erreichte nur 6,97 von 10 Punkten. Das sind weniger als 70 %.
Was dies bedeutet
Der Artikel kommt zu dem Schluss, dass KI zwar bei Rechtsaufgaben besser wird, sich jedoch wie ein Richter zu verhalten für sie immer noch sehr schwierig ist.
- Die Kluft: Aktuelle KI-Modelle sind wie Schüler, die das Lehrbuch auswendig aufsagen können, aber Schwierigkeiten haben, die Regeln auf eine unübersichtliche, reale Situation mit der Nuancierung und Autorität eines menschlichen Richters anzuwenden.
- Der Benchmark: Die Forscher veröffentlichten alle Fragen, die Antworten und den Bewertungscodes, damit andere Wissenschaftler diese Modelle weiterhin testen und verbessern können.
Kurz gesagt: Wir haben die KI dazu aufgefordert, eine echte Richterprüfung abzulegen. Die intelligentesten bestanden mit einer „C" oder einer „B", was beweist, dass sie zwar klüger werden, aber noch nicht bereit sind, menschliche Richter im Gerichtssaal zu ersetzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.