SteuerLLM: Local specialized large language model for German tax law analysis
Dieses Paper stellt SteuerLLM vor, ein spezialisiertes deutsches Steuerrecht-Modell mit 28 Milliarden Parametern, sowie SteuerEx, den ersten offenen Benchmark, der aus authentischen Universitätsprüfungen abgeleitet wurde, und zeigt auf, dass domänenspezifische Anpassung und die Generierung synthetischer Daten allgemeine Modelle bei komplexen juristischen Aufgabenstellungen signifikant übertreffen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem sehr klugen, belesenen Studenten beizubringen, wie man eine schwierige, hochkarätige Prüfung im deutschen Steuerrecht besteht. Das Problem ist, dass „kluge“ Studenten (Standard-Large-Language-Models) großartig darin sind, Essays zu schreiben oder zu chatten, aber oft scheitern, wenn die Regeln starr, die Terminologie präzise und ein einziger falscher Wert ruinierend für die gesamte Antwort ist.
Dieses Paper stellt zwei wesentliche Dinge vor, um dieses Problem zu lösen: eine neue, sehr schwere Prüfung und einen neuen spezialisierten Studenten, der speziell entwickelt wurde, um diese zu bestehen.
1. Die neue Prüfung: „SteuerEx“
Die Forscher haben den ersten offenen Benchmark namens SteuerEx erstellt. Betrachten Sie dies als eine „Abschlussprüfung“ für KI, aber anstatt fiktiver Fragen verwendet sie 115 echte Fragen aus tatsächlichen deutschen Steuerrecht-Prüfungen der Universitäten der letzten zehn Jahre.
- Wie es funktioniert: In einer normalen Prüfung erhält man vielleicht eine einfache „Richtig oder Falsch“-Note. Aber im Steuerrecht kann ein Student zwar das richtige rechtliche Konzept anwenden, aber eine spezifische Zitierung vergessen, oder die Mathematik richtig lösen, aber die Logik falsch anwenden.
- Das Bewertungssystem: Die Forscher haben jede Antwort in winzige „Bausteine“ (Aussagen) zerlegt. Ein KI-Grader (eine zweite KI) prüft jeden Block einzels. Wenn man die halbe Logik richtig hat, erhält man auch die halbe Punktzahl. Dies ahmt die Art und Weise nach, wie echte Professoren bewerten: durch die Vergabe von Teilpunkten für gute Argumentation, selbst wenn die Endantwort nicht perfekt ist.
- Der Schwierigkeitsgrad: Die Prüfung deckt sechs Bereiche ab, wie etwa Körperschaftsteuer, Einkommensteuer und Umsatzsteuer. Sie ist darauf ausgelegt, brutal ehrlich zu sein; die meisten allgemeinen KI-Modelle schnitten sehr schlecht ab, was beweist, dass das Steuerrecht eine harte Nuss ist.
2. Der spezialisierte Student: „SteuerLLM“
Um diese Prüfung anzugehen, entwickelte das Team SteuerLLM. Stellen Sie sich vor, man nimmt ein allgemeines Genie (eine 24-Milliarden-Parameter-KI) und verpasst ihm eine spezialisierte „Gehirntransplantation“ oder „zusätzliche Trainingsräder“, die speziell auf das Steuerrecht ausgerichtet sind.
- Die Trainingsmethode: Sie haben es nicht einfach nur mit einem Lehrbuch gefüttert. Sie nutzten eine „Wasserbrunnen“-Methode (Water Fountain). Sie nahmen einen kleinen Satz echter Prüfungsfragen und nutzten ein Computerprogramm, um automatisch tausende neue, realistische Übungsfragen und Antworten basierend auf echtem deutschem Recht zu generieren. Es ist, als würde man dem Studenten eine riesige, endlose Bibliothek an Übungsaufgaben geben, die exakt wie die echten Tests aussehen.
- Die Architektur: Anstatt das gesamte Gehirn neu zu trainieren (was dazu führen kann, dass die KI verlernt, normale Sprache zu sprechen), fügten sie neue Schichten von „Neuronen“ hinzu, die speziell für das Steuerrecht gedacht sind. Dies ist vergleichbar mit dem Hinzufügen eines spezialisierten Taschenrechners und eines Steuerrechts-Lexikons in den Rucksack des Studenten, ohne dass sich die Art und Weise ändert, wie er geht oder spricht.
- Das Ergebnis: Dieser spezialisierte Student mit 28 Milliarden Parametern schlug fast alle anderen allgemeinen KI-Modelle, einschließlich einiger Modelle, die 20 Mal größer sind (wie die 671-Milliarden-Parameter-Modelle). Es bewies, dass für das Steuerrecht spezialisiertes Training wichtiger ist als die reine Größe.
3. Der Vergleich: KI vs. echte Studenten
Die Forscher verglichen ihren KI-Studenten mit echten menschlichen Studenten, die diese Prüfungen abgelegt haben.
- Die Lücke: Der durchschnittliche menschliche Student erzielte immer noch deutlich höhere Ergebnisse als die KI. Die KI ist noch nicht bereit, einen Steuerberater oder einen Spitzenstudenten zu ersetzen.
- Der Fortschritt: Dennoch schnitt die KI in mehreren Kategorien besser ab als die schlechtesten menschlichen Studenten. Sie zeigte, dass sie in der Lage ist, „teilweise korrekte“ rechtliche Argumentationen zu produzieren, die in einer echten Prüfung Punkte bringen würden, anstatt einfach nur Dinge zu erfinden.
4. Das „Open“ vs. „Closed“ Geheimnis
Das Team veröffentlichte auch eine Version ihres Modells namens Open-SteuerLLM. Diese Version ist identisch mit dem Champion, mit Ausnahme eines kleinen Teils privater Trainingsdaten, die sie nicht öffentlich teilen konnten.
- Die Erkenntnis: Die Open-Version performte fast so gut wie die Closed-Version. Dies deutet darauf hin, dass die Methode der Generierung der Trainingsdaten (die „Water Fountain“-Pipeline) das eigentliche Erfolgsgeheimnis war, und nicht nur die spezifischen privaten Dokumente, die sie verwendeten.
Das Fazit
Das Paper argumentiert, dass man für hochstrukturierte, regelbasierte Felder wie das Steuerrecht keine größere, teurere KI benötigt. Man braucht eine kleinere, intelligentere KI, die speziell auf die richtige Art von Daten trainiert und mit der richtigen Präzision bewertet wurde. Sie haben ihre Prüfung, ihre Trainingsdaten und ihr Modell der Öffentlichkeit zugänglich gemacht, damit andere daraus lernen und in Zukunft bessere Rechts-KIs entwickeln können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.