BenGER: A Collaborative Web Platform for End-to-End Benchmarking of German Legal Tasks
Das Paper stellt BenGER vor, eine Open-Source-Webplattform, die den gesamten Prozess der Benchmarking-Erstellung für deutsche Rechtsaufgaben – von der Aufgabenkonzeption über die kollaborative Annotation bis hin zur LLM-Ausführung und -Evaluation – in einem integrierten System vereint, um Transparenz und die Einbindung nicht-technischer Rechtsexperten zu fördern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du möchtest herausfinden, wie gut ein neuer, sehr intelligenter Roboter (ein sogenanntes „Künstliches Intelligenz-Modell") deutsche Gesetze versteht. Das ist keine einfache Aufgabe. Es ist, als würdest du versuchen, einen neuen Koch zu testen, indem du ihm komplexe Gerichte aus dem Kochbuch des Bundesverfassungsgerichts gibst.
Bisher war dieser Testprozess für Forscher und Juristen ein ziemliches Chaos. Es war wie ein Bastelprojekt mit verstreuten Werkzeugen:
- Ein Jurist schrieb die Fragen auf einen Zettel.
- Ein Programmierer kopierte diese Fragen in ein Excel-Sheet.
- Ein anderer lieferte den Code, um den Roboter die Fragen beantworten zu lassen.
- Und ein vierter musste am Ende mühsam die Antworten des Roboters mit den richtigen Lösungen vergleichen.
Das war langsam, fehleranfällig und für Juristen, die keine Programmierkenntnisse haben, fast unmöglich zu steuern.
BenGER ist die Lösung dafür.
Stell dir BenGER als eine große, moderne „Rechts-Testküche" vor, die alles unter einem Dach vereint. Hier ist, was sie macht, in einfachen Bildern:
1. Der Alles-in-einem-Plan
Früher musste man von Werkzeug zu Werkzeug laufen. Mit BenGER sitzt man an einem einzigen, benutzerfreundlichen Bildschirm.
- Der Jurist (der Experte) kann direkt im Browser Aufgaben erstellen – wie ein Lehrer, der einen neuen Test entwirft.
- Die Helfer (Annotatoren) können ihre Lösungen direkt am Computer eingeben, ohne dass sie wissen müssen, wie der Code dahinter funktioniert.
- Der Roboter (die KI) wird automatisch mit den gleichen Aufgaben gefüttert, um zu sehen, was er kann.
- Der Prüfer (die Auswertung) vergleicht sofort alle Antworten und gibt eine Note.
2. Das „Schutzschild" für sensible Daten
Rechtstexte sind oft geheim oder sensibel. BenGER hat eine besondere Funktion: Es ist wie ein Gebäude mit vielen abgeschlossenen Büros.
Verschiedene Organisationen (z. B. eine Universität, eine NGO oder eine Behörde) können alle im selben Gebäude arbeiten, aber sie haben jeweils ihren eigenen, verschlossenen Raum. Niemand kann versehentlich die Akten des Nachbarn einsehen. Das macht es sicher, dass auch öffentliche Institutionen mitmachen können, ohne Angst vor Datenlecks zu haben.
3. Der „Nachhilfelehrer" für die Helfer
Ein besonderes Feature ist der formative Feedback-Modus. Stell dir vor, du löst eine Aufgabe und bekommst sofort eine Rückmeldung von einem intelligenten Assistenten: „Du hast den richtigen Punkt getroffen, aber dir fehlt noch dieser eine logische Schritt."
Das ist wie ein Repetitor (ein Nachhilfelehrer für Jurastudenten), der hilft, Fehler zu lernen, bevor die eigentliche Prüfung stattfindet. Wichtig: Der Mensch bleibt immer der Chef. Der Assistent gibt nur Tipps, entscheidet aber nicht.
4. Warum ist das so wichtig?
- Für Nicht-Techniker: Juristen müssen keine Programmiersprachen lernen, um KI zu testen. Sie können sich auf ihr Fachwissen konzentrieren.
- Für die Wissenschaft: Wenn jeder seine Tests auf demselben System macht, können Ergebnisse viel leichter verglichen und überprüft werden. Es ist, als würden alle Forscher dieselbe Waage und dasselbe Maßband benutzen, statt jeder eine eigene zu bauen.
- Für die Zukunft: Das System ist offen und erweiterbar. Wenn morgen eine neue KI oder ein neues Gesetz kommt, kann man es einfach in die „Testküche" integrieren, ohne alles neu zu erfinden.
Zusammengefasst:
BenGER ist wie ein digitaler Kommandoraum, der die Welt der Juristen und die Welt der KI-Entwickler zusammenbringt. Es macht den Prozess, KI-Gesetzeskenntnisse zu testen, so einfach, sicher und transparent, dass endlich mehr Experten daran teilnehmen können, um sicherzustellen, dass die KI das Recht wirklich versteht – und nicht nur zufällig richtige Wörter ausspuckt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.