LegalBench-BR: A Benchmark for Evaluating Large Language Models on Brazilian Legal Decision Classification
Die Arbeit stellt LegalBench-BR vor, den ersten öffentlichen Benchmark für die Klassifizierung brasilianischen Rechtstexts, der zeigt, dass ein auf 3.105 Gerichtsentscheidungen feinabgestimmtes BERT-Modell die Leistung kommerzieller Großsprachenmodelle in dieser Aufgabe deutlich übertrifft und dabei spezifische Verzerrungen dieser Modelle korrigiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das brasilianische Justizsystem wie einen riesigen, chaotischen Bibliothekskeller vor. Tausende von Akten liegen dort herum, und die Aufgabe besteht darin, sie schnell und korrekt in die richtigen Regale zu sortieren: Zivilrecht, Strafrecht, Steuerrecht, Verwaltungsrecht oder Verbraucherschutz.
Die Forscher Pedro Barbosa de Carvalho Neto und sein Team haben ein neues Werkzeug entwickelt, um zu testen, wie gut moderne KI-Systeme diese Sortierarbeit im brasilianischen Recht erledigen können. Sie nennen ihren Test „LegalBench-BR".
Hier ist die Geschichte dahinter, einfach erklärt:
1. Das Problem: Die „Allzweck-KI" ist im Justizkeller verloren
Stellen Sie sich vor, Sie schicken einen extrem intelligenten, aber sehr allgemeinen Bibliothekar (eine große KI wie GPT-4 oder Claude) in diesen Keller. Dieser Bibliothekar hat Millionen von Büchern aus der ganzen Welt gelesen und spricht fließend Portugiesisch. Man könnte denken: „Der wird die Akten sicher perfekt sortieren!"
Aber das passiert nicht. Wenn der Bibliothekar unsicher ist, was in einer Akte steht, tut er etwas sehr Menschliches, aber für die Justiz Katastrophales: Er wirft alles in das Regal „Zivilrecht" (Cível).
Warum? Weil in Brasilien die meisten Akten eben Zivilrecht betreffen. Die KI lernt aus den Daten, dass „Zivilrecht" die häufigste Kategorie ist, und nutzt das als Abkürzung.
- Das Ergebnis: Die KI sortiert Straftaten oder Steuerstreitigkeiten fälschlicherweise als Zivilrecht ein. Das ist, als würde man einen Mordfall in den Ordner „Nachbarschaftsstreit" stecken.
2. Die Lösung: Der spezialisierte Auszubildende
Anstatt einen teuren, allgemeinen Bibliothekar zu mieten, haben die Forscher einen spezialisierten Auszubildenden trainiert.
- Sie haben eine KI (BERTimbau) genommen, die bereits Portugiesisch versteht.
- Sie haben sie mit 3.105 echten Gerichtsakten aus Santa Catarina „geübt" (fine-tuning).
- Sie haben dabei nur winzige Teile des Gehirns der KI verändert (wie das Anbringen eines kleinen Spezialmoduls, genannt LoRA), was sehr wenig Rechenleistung und Geld kostet.
Das Ergebnis? Dieser spezialisierte Auszubildende ist viel besser als die teuren, allgemeinen KI-Riesen.
- Der Vergleich: Der Auszubildende erreicht eine Treffsicherheit von 87,6 %. Die besten kommerziellen KIs (wie Claude 3.5 Haiku) schaffen nur 65,7 %.
- Der Schockmoment: Bei der Kategorie „Verwaltungsrecht" (z. B. Streitigkeiten mit Behörden) war die allgemeine KI komplett hilflos (0 % Treffer), während der Auszubildende fast perfekt war (91 % Treffer).
3. Warum ist das wichtig? (Die Analogie des „Falschen Regals")
Warum macht es einen Unterschied, ob eine KI 65 % oder 87 % richtig liegt?
Stellen Sie sich vor, ein Gericht muss entscheiden, welche Anwälte welche Fälle übernehmen sollen.
- Wenn die KI einen Steuerstreit (Verwaltungsrecht) fälschlicherweise als Zivilrecht einstuft, landet er beim falschen Anwalt. Der Fall verzögert sich, die Kosten steigen, und die Gerechtigkeit leidet.
- Die allgemeinen KIs haben eine systematische Verzerrung: Sie sind zu faul, um genau hinzusehen, und werfen alles in den größten Korb.
- Der spezialisierte Auszubildende hingegen hat gelernt, die feinen Unterschiede zu erkennen (z. B. welche Art von Gericht oder welche spezifischen Begriffe in der Akte stehen).
4. Die Kosten und die Privatsphäre
Es gibt noch einen weiteren wichtigen Punkt:
- Die teuren KIs: Wenn eine Kanzlei 10.000 Akten sortieren lassen will, kostet das Geld (ca. 150 $ im Monat) und die sensiblen Daten müssen über das Internet an externe Server geschickt werden. Das ist in Brasilien wegen strenger Datenschutzgesetze (LGPD) oft ein Problem.
- Der spezialisierte Auszubildende: Er läuft auf einem normalen Computer (sogar auf einem kostenlosen Google-Server), kostet bei der Nutzung null Cent und die Daten verlassen niemals das Haus der Kanzlei.
Fazit
Die Studie zeigt eine klare Botschaft: Im brasilianischen Recht reicht eine „Allzweck-KI" nicht aus. Sie ist wie ein Generalist, der versucht, eine hochspezialisierte Operation durchzuführen – er kennt die Anatomie, aber er weiß nicht, wie man das Skalpell genau führt.
Um die Akten korrekt zu sortieren, braucht man Modelle, die speziell für das brasilianische Recht trainiert wurden. Und das Gute daran: Man braucht dafür keine Supercomputer. Ein kleines, effizientes Modell, das auf einem normalen Laptop läuft, ist schneller, billiger, datenschutzkonformer und vor allem viel genauer als die teuersten KI-Modelle der Welt.
Die Forscher haben ihre Daten und ihr trainiertes Modell jetzt für alle kostenlos veröffentlicht, damit andere Wissenschaftler und Anwälte diese Technologie weiterentwickeln können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.