Multi-Legal-Bench: Evaluating LLMs on Legal Reasoning Across Jurisdictions, Languages, and Legal Traditions
Dieser Beitrag stellt Multi-Legal-Bench vor, den ersten länderübergreifenden Benchmark zur Bewertung juristischer Schlussfolgerungen in sechs Ländern und vier Sprachfamilien, der zeigt, dass die Leistung bei Aufgaben je nach Rechtsordnung erheblich variiert und dass die Ausrichtung der Label-Sets – und nicht die sprachliche Nähe oder die Effizienz des Tokenizers – der primäre Prädiktor für den Erfolg des cross-lingualen Few-Shot-Transfers ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie möchten testen, wie gut eine Gruppe neuer, superschlauler Schüler (Large Language Models oder LLMs) das Recht versteht.
In der Vergangenheit haben Forscher diese Schüler nur in einem Land (meist den USA oder Großbritannien) und in einer Sprache (Englisch) getestet. Es war, als würde man Schülern in New York einen Mathtest geben und davon ausgehen, dass die Ergebnisse genau vorhersagen, wie sie bei einem Mathtest in Tokio abschneiden würden. Doch Gesetze sind überall unterschiedlich, und Sprachen sind unterschiedlich, daher war diese Annahme fehlerhaft.
Diese Arbeit stellt Multi-Legal-Bench vor, einen neuen „globalen Zeugnisbericht", der dieses Problem beheben soll. So funktioniert er, unter Verwendung einfacher Analogien:
1. Die Idee „Gleicher Test, verschiedene Klassenzimmer"
Die Forscher schufen einen Benchmark, bei dem die Fragen exakt gleich sind, die Klassenzimmer jedoch unterschiedlich.
- Die Schüler: Sie testeten 11 verschiedene KI-Modelle (einige riesig, einige klein).
- Die Klassenzimmer: Sie wählten 6 Länder aus: Ukraine, Frankreich, die Niederlande, Polen, die Tschechische Republik und Litauen.
- Die Fächer: Sie baten die KI nicht, Aufsätze zu schreiben. Stattdessen gaben sie ihr 5 spezifische, logische Aufgaben, die auf echten Gerichtsakten basieren:
- Klassifizierung des Gerichtstyps: „Ist dies ein Straf- oder ein Zivilfall?" (Wie das Sortieren von Post in „Werbung" vs. „Rechnungen").
- Klassifizierung des Urteilsformats: „Ist dies ein endgültiges Urteil oder nur eine vorläufige Anordnung?" (Wie die Unterscheidung zwischen einer „Abschlussprüfung" und einem „Kurztest").
- Vorhersage des Fallausgangs: „Basierend auf den Fakten, wer gewinnt?" (Der schwierigste Teil, wie das Vorhersagen des Gewinners eines Schachspiels, bevor es endet).
- Extrahierung von Rechtsnormen: „Finden Sie die spezifischen Gesetze, die in diesem Text zitiert werden." (Wie das Finden aller roten Wörter in einem Absatz).
- Vorhersage der Ursachenkategorie: „Worum geht es in diesem Fall? Steuern? Familie? Verträge?" (Wie das Sortieren von Büchern nach Genre).
2. Die Realität der „dünnen Karte"
Die Forscher zwangen kein Land, Daten für jede Aufgabe vorzuhalten. Sie waren ehrlich bezüglich der Unordnung der realen Welt.
- Die Analogie: Stellen Sie sich eine Stadtkarte vor, auf der einige Straßen Ampeln haben und andere nicht. Sie erfanden keine falschen Ampeln für die Straßen, die keine hatten. Sie kartierten einfach genau, wo die Daten existierten. Dies ergab ein „dünn besetztes" Gitter (einige Kästchen gefüllt, einige leer), das tatsächlich eine ehrlichere Geschichte darüber erzählt, wie Rechtsdaten in verschiedenen Ländern gespeichert sind.
3. Die großen Überraschungen (Was sie fanden)
A. „Ein Maß passt nicht für alle"
Es gibt keine „beste KI" für das Recht.
- Die Analogie: Denken Sie an die KI-Modelle als verschiedene Autotypen. Ein Auto mag auf einer Rennstrecke (französisches Recht) das schnellste sein, aber auf einem schlammigen Feld (polnisches Recht) katastrophal abschneiden. Ein anderes Auto mag im Schlamm großartig sein, aber auf der Strecke langsam.
- Das Ergebnis: Ein Modell, das in Frankreich auf Platz 1 liegt, kann in Polen den letzten Platz belegen. Sie können nicht einfach das „schlaueste" Modell auswählen; Sie müssen das richtige Modell für das spezifische Land und die spezifische Aufgabe auswählen.
B. Der Mythos der „Sprachfamilie"
Die Forscher glaubten, dass Sprachen, die „Verwandte" sind (wie Ukrainisch und Polnisch, beide slawisch), für eine KI einfacher wären, Wissen zu übertragen.
- Die Analogie: Sie erwarteten, dass, wenn man einem Schüler Ukrainisch beibringt, er einen ähnlichen Test auf Polnisch leicht verstehen würde.
- Das Ergebnis: Sie lagen falsch. Die KI schaffte es tatsächlich besser, Wissen von Ukrainisch auf Französisch (ein entfernter Verwandter) zu übertragen als auf Polnisch.
- Warum? Es ging nicht um die Sprache, sondern um die Labels. Wenn der „Lösungsschlüssel" (die Kategorien, aus denen die KI wählen muss) ähnlich aussah, schnitt die KI gut ab, selbst wenn die Sprachen völlig unterschiedlich waren. Wenn die Lösungsschlüssel unordentlich und unterschiedlich waren, hatte die KI Schwierigkeiten, selbst wenn die Sprachen ähnlich waren.
C. Der „Hinweis"-Effekt (Few-Shot Learning)
Sie testeten, ob es hilft, der KI vor dem Test ein paar Beispiele (Hinweise) zu geben.
- Das Ergebnis: Es hängt von der Aufgabe ab.
- Beim Sortieren von Dokumenten (Urteilsformat) war das Geben von Beispielen wie das Überreichen eines Spickzettels an einen Schüler – es half überall.
- Beim Vorhersagen, wer einen Fall gewinnt, war das Geben von Beispielen wie ein Münzwurf. Manchmal half es, manchmal verwirrte es die KI.
- Beim einfachen Sortieren (Gerichtstyp) war die KI bereits so gut, dass sie keine Hinweise benötigte.
D. Die „Wortanzahl"-Falle
Sie untersuchten die „Tokenizer-Fruchtbarkeit", was im Wesentlichen bedeutet, wie viele winzige Teile (Tokens) ein Modell benötigt, um ein Wort zu zerlegen.
- Die Analogie: Stellen Sie sich vor, ein Schüler schreibt ein Wort in 2 Buchstaben, ein anderer in 10 Buchstaben. Man könnte denken, der Schüler, der 10 Buchstaben schreibt, ist ineffizient.
- Das Ergebnis: Sie stellten fest, dass wie „effizient" ein Modell beim Zerlegen von Wörtern ist, nicht vorhersagt, wie schlau es bei den eigentlichen Rechtsaufgaben ist. Ein Modell, das mehr „Buchstaben" verwendet, um ein Wort zu schreiben, kann genauso genau sein wie ein Modell, das weniger verwendet. Die „Effizienz"-Metrik ist gut, um abzuschätzen, wie viel der Test kosten wird, aber sie ist eine schlechte Schätzung dafür, wie gut das Modell tatsächlich abschneiden wird.
4. Das Fazit
Diese Arbeit ist eine Warnung an jeden, der KI für das Recht einsetzen möchte: Gehen Sie nicht davon aus, dass das, was in einem Land funktioniert, auch in einem anderen funktioniert.
- Wenn Sie eine Rechts-KI für Frankreich entwickeln, gehen Sie nicht davon aus, dass sie auch in Polen funktioniert, nur weil beide in Europa liegen.
- Wenn Sie sehen, dass ein Modell bei Wörtern „effizient" ist, gehen Sie nicht davon aus, dass es am besten darin ist, Rechtsprobleme zu lösen.
- Der einzige Weg zu wissen, ob eine KI für Ihr spezifisches Rechtssystem gut ist, besteht darin, sie mit Ihren spezifischen Daten und Ihren spezifischen Regeln zu testen.
Die Forscher haben alle ihre Daten, Fragen und Ergebnisse öffentlich gemacht, damit jeder seinen eigenen „Zeugnisbericht" erstellen kann, um zu sehen, welche KI für sein spezifisches Rechtsviertel am besten funktioniert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.