GradeLegal: Automated Grading for German Legal Cases
Dieser Beitrag adressiert das Engpassproblem bei der Benotung deutscher juristischer Prüfungen durch eine systematische Evaluation von 27 großen Sprachmodellen, wobei sich ergibt, dass reasoning-orientierte Modelle in Kombination mit Musterlösungen und Bewertungsrastern eine Expertennote im öffentlichen Recht (wenn auch weniger im Strafrecht) effektiv approximieren können und dass Ensemble-Strategien die Zuverlässigkeit weiter steigern können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind Lehrer an einer sehr strengen Schule, in der die Benotung von Klausuren wie die Lösung eines komplexen Kriminalfalls ist. In Deutschland legen Jurastudenten schriftliche Prüfungen ab, die unglaublich lang sind (manchmal 10 bis 30 handschriftliche Seiten!) und auf einer Skala von 0 bis 18 bewertet werden. Eine hohe Punktzahl zu erreichen ist entscheidend für ihre zukünftigen Karrieren.
Das Problem? Es gibt zu viele Studierende und nicht genügend fachkundige Lehrer, um alle zu bewerten. Es dauert Wochen oder sogar Monate, bis Ergebnisse vorliegen, was einen riesigen Engpass schafft.
Diese Arbeit, GradeLegal, stellt eine einfache Frage: Kann Künstliche Intelligenz (KI) als zuverlässiger Bewerter für diese schwierigen deutschen Rechtsklausuren fungieren?
Hier ist das, was die Forscher herausfanden, erklärt durch alltägliche Analogien:
1. Die „Leere Leinwand" versus das „Kochbuch"
Die Forscher testeten 27 verschiedene KI-Modelle (einige kostenlos und offen, andere kostenpflichtig und privat), um zu sehen, wie gut sie Studentenantworten bewerten können. Sie versuchten verschiedene Methoden, die KI zur Aufgabe anzuleiten:
- Der „Rat, was ich denke"-Ansatz (Aufgabenunabhängig): Sie sagten der KI einfach nur: „Bewerte dies."
- Ergebnis: Die KI war verwirrt. Es war, als würde man einem Koch bitten, eine Mahlzeit zuzubereiten, ohne ihm ein Rezept oder Zutaten zu geben. Die Noten der KI waren fast zufällig, manchmal sogar schlechter als ein Münzwurf.
- Der „Zeig mir die Lösung"-Ansatz (Musterlösung): Sie gaben der KI ein perfektes Beispiel dafür, was ein Spitzenstudent schreiben sollte.
- Ergebnis: Besser, aber immer noch nicht perfekt. Die KI wusste, wie die „richtige" Antwort aussah, wusste aber nicht genau, wie sie für kleine Fehler Punkte abziehen sollte.
- Der „Regelbuch"-Ansatz (Bewertungsschema): Sie gaben der KI eine strenge Checkliste (ein Bewertungsschema), die besagte: „Wenn Sie X erwähnen, geben Sie 2 Punkte. Wenn Sie Y verpassen, ziehen Sie 1 Punkt ab."
- Ergebnis: Dies war ein Wendepunkt. Plötzlich verstand die KI, wie sie die unordentlichen juristischen Argumente eines Studenten in eine spezifische Zahl übersetzen konnte.
- Der „Super-Lehrer"-Ansatz (Bewertungsschema + Musterlösung): Sie gaben der KI sowohl das perfekte Beispiel als auch das strenge Regelbuch.
- Ergebnis: Dies war der Gewinner. Wenn die KI beides hatte, bewertete sie fast so gut wie ein menschlicher Experte im Öffentlichen Recht (eine bestimmte Art von Recht).
2. Das „Strafrecht"- versus „Öffentliches Recht"-Rätsel
Die Forscher testeten zwei Arten von Rechtsklausuren:
- Öffentliches Recht: Diese Klausuren waren wie ein strukturiertes Puzzle mit einem klaren Weg. Die KI leistete hier sehr gute Arbeit und entsprach menschlichen Experten, wenn sie die richtigen Werkzeuge erhielt.
- Strafrecht: Diese Klausuren waren wie ein chaotisches Labyrinth. Die Fragen waren offener, und Studenten konnten ihren Fall auf viele verschiedene, komplexe Weise argumentieren.
- Ergebnis: Die KI hatte hier mehr Schwierigkeiten. Selbst mit den besten Werkzeugen konnte sie menschliche Experten nicht so leicht erreichen wie beim Öffentlichen Recht. Es ist wie der Unterschied zwischen der Benotung eines Mathe-Tests mit einer richtigen Antwort (Öffentliches Recht) versus der Benotung eines kreativen Schreibwettbewerbs, bei dem es viele gültige Interpretationen gibt (Strafrecht).
3. Der „Teamwork"-Effekt (Ensembling)
Die Forscher fragten sich: Was wäre, wenn wir nicht nur eine KI verwenden, sondern ein Team von ihnen?
Sie versuchten, die Meinungen von drei verschiedenen KI-Modellen zu kombinieren, um einen „Super-Bewerter" zu schaffen.
- Die Analogie: Stellen Sie sich vor, Sie bitten drei verschiedene Richter, eine Turnerin zu bewerten, und nehmen dann die mittlere Punktzahl.
- Ergebnis: Dieser „Team"-Ansatz funktionierte oft besser als das einzelne beste KI-Modell. Er glättete die seltsamen Fehler, die eine KI machen könnte. Das ist aufregend, denn es bedeutet, dass eine Gruppe kostenloser, quelloffener KIs manchmal die teuersten, kostenpflichtigen KI-Modelle schlagen kann.
4. Der „Schlussfolgerung"-Faktor
Sie testeten „Schlussfolgerungs"-Modelle (KIs, die schrittweise denken) gegen „Nicht-Schlussfolgerungs"-Modelle (KIs, die einfach das nächste Wort vorhersagen).
- Ergebnis: Die „Schlussfolgerungs"-Modelle waren viel besser darin, die tiefe Logik juristischer Argumente zu verstehen. Es ist wie der Unterschied zwischen einem Roboter, der nur ein Wörterbuch auswendig gelernt hat, und einem Detektiv, der tatsächlich die Hinweise untersucht.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass KI helfen kann, deutsche Rechtsklausuren zu bewerten, aber nur, wenn man sie wie einen Junior-Assistenten behandelt, nicht wie einen Zauberstab.
- Sie müssen ihr ein klares Regelbuch (Bewertungsschema) und eine Musterlösung geben.
- Sie funktioniert am besten bei strukturierten Klausuren (Öffentliches Recht) und lernt noch, wie sie mit der unordentlichen Komplexität des Strafrechts umgehen soll.
- Derzeit ist sie am besten als Werkzeug für Übung und Selbsttest geeignet (um Studenten zu helfen zu sehen, wie sie vor der echten Klausur abschneiden könnten), anstatt um endgültige, lebensverändernde Entscheidungen über ihre Noten zu treffen.
Kurz gesagt: KI ist eine leistungsstarke neue Lehrassistentin, aber sie benötigt eine sehr klare Reihe von Anweisungen und eine menschliche Aufsicht, um ihre beste Arbeit zu leisten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.