💬 NLP

Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws

Diese Studie zeigt, dass das parametereffiziente Fine-Tuning mit LoRA und 4-Bit-Quantisierung unter Verwendung des Unsloth-Frameworks die Fähigkeit des Llama-3.1-Modells, arabische Rechtsfragen auf Basis jordanischer Gesetze zu beantworten, signifikant verbessert und dabei eine höhere Genauigkeit sowie Ressourceneffizienz erreicht.

Ursprüngliche Autoren: Mohammed Fasha, Bassam Hammo, Bilal Sowan, Husam Barham, Esam Nsour

Veröffentlicht 2026-01-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mohammed Fasha, Bassam Hammo, Bilal Sowan, Husam Barham, Esam Nsour

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine brillante, belesene Bibliothekarin namens Llama. Diese Bibliothekarin hat fast alles auf der Welt gelesen und beherrscht viele Sprachen, einschließlich Arabisch. Wenn Sie sie jedoch nach einer sehr spezifischen Frage zum jordanischen Recht fragen (wie etwa „Was passiert, wenn ich wegen eines bestimmten Verbrechens verhaftet werde?“), gibt sie Ihnen vielleicht eine vage, generische Antwort. Sie kennt die Sprache, aber sie hat nicht das spezifische Regelwerk des jordanischen Rechtssystems studiert.

Dieses Paper handelt davon, diese Bibliothekarin zu einem Spezialisten auszubilden.

Das Problem: Der Generalist vs. der Spezialist

Den Autoren fiel auf, dass große KI-Modelle (wie Llama 3.1) zwar großartig in der allgemeinen Konversation sind, aber Schwierigkeiten mit komplexen, spezifischen Aufgaben haben, wie etwa der Beantwortung juristischer Fragen auf Arabisch. Es ist, als würde man einen Allgemeinmediziner bitten, eine Herzoperation durchzuführen; er kennt die Medizin, aber er benötigt eine spezifische Ausbildung für genau diesen Job. Zudem erfordert das Training eines massiven KI-Modells normalerweise einen Supercomputer von der Größe eines Gebäudes, was teuer und schwer zugänglich ist.

Die Lösung: „Stützräder“ für die KI

Die Forscher nutzten einen cleveren Trick namens Parameter Efficient Fine-Tuning (PEFT).

Die Analogie: Stellen Sie sich das Llama-Modell als einen riesigen, schweren Lastwagen vor. Um ihm eine neue Route (jordanische Gesetze) beizubringen, müssen Sie nicht den gesamten Motor oder das Fahrgestell umbauen. Stattdessen montieren Sie einfach ein kleines, leichtes GPS-Modul (genannt LoRA-Adapter) an das Armaturenbrett.
Das Ergebnis: Dieses kleine Modul bringt dem Lastwagen genau bei, wohin er fahren muss, ohne dass das gesamte Fahrzeug aufgerüstet werden muss. Dies macht den Trainingsprozess schnell, kostengünstig und auf einem Standard-Cloud-Computer (wie Google Colab Pro) möglich.

Sie verwendeten auch 4-Bit-Quantisierung, was so ähnlich ist wie das Komprimieren eines High-Definition-Films in eine kleinere Datei, damit er auf Ihr Telefon passt, ohne zu viel Qualität zu verlieren. Dies sparte noch mehr Speicherplatz.

Die Trainingsdaten: Ein maßgeschneidertes Lehrbuch erstellen

Um die KI zu lehren, haben die Autoren ihr nicht einfach nur wahllos Bücher vorgeworfen. Sie gingen wie folgt vor:

Sie sammelten 18 spezifische jordanische Gesetze (die Themen wie Zivilrecht, Arbeitsrecht, Verbrechen und Gerichte abdecken).
Sie extrahierten 3.578 spezifische Artikel aus diesen Gesetzen.
Sie erstellten ein „Karteikarten“-Deck: Sie nutzten eine andere KI, um diese trockenen juristischen Artikel in 6.000 Frage-Antwort-Paare umzuwandeln.
- Beispiel: Anstatt nur das Gesetz zu lesen, lernte die KI: „Frage: Wann kann ein Antrag auf Wiederaufnahme des Verfahrens akzeptiert werden? Antwort: Vor Beginn des Prozesses.“

Das Experiment: Das Showdown

Die Forscher testeten zwei Versionen der KI:

Das Basismodell: Das „rohe“ Llama 3.1 (der allgemeine Bibliothekar).
Das Instruct-Modell: Eine Version von Llama 3.1, die bereits darauf trainiert wurde, Anweisungen gut zu befolgen.

Anschließend nahmen sie beide und wandten ihr „GPS-Modul“ (Fine-Tuning) unter Verwendung der jordanischen juristischen Karteikarten an.

Die Ergebnisse: Wer hat gewonnen?

Die Forscher verglichen die Antworten mithilfe eines Bewertungssystems (BLEU und ROUGE), das misst, wie nah die Antwort der KI einer menschengeschriebenen „korrekten“ Antwort kommt.

Die Gewinner: Beide feingetunten Modelle schnitten signifikant besser ab als die ungetrainierten Versionen. Sie lernten den spezifischen juristischen Jargon und die Regeln viel besser.
Die Überraschung: Das „rohe“ Llama 3.1 schnitt nach dem Training tatsächlich etwas besser ab als die „Instruct“-Version.
- Warum? Die Autoren vermuten, dass das „Instruct“-Modell möglicherweise einige „Voreingenommenheiten“ aus seinem vorherigen Training hatte, die im Weg standen. Das „rohe“ Modell war wie eine leere Leinwand und konnte die jordanischen Rechtsregeln perfekt absorbieren, ohne dass alte Gewohnheiten dazwischenfunken konnten.

Was hat die KI tatsächlich besser gemacht?

Das Paper zeigt, dass die KI vor dem Training lange, vage oder leicht falsche Antworten gab. Nach dem Training:

Präzision: Wenn das Gesetz besagte, dass ein Antrag vor Beginn eines Prozesses gestellt werden muss, sagte die trainierte KI genau das. Die untrainierte KI lieferte eher eine generische Erklärung über „Gerichtsverfahren“.
Kontext: Wenn nach Sofortmaßnahmen (wie einer Festnahme) gefragt wurde, wusste die trainierte KI genau, welche spezifischen rechtlichen Schritte anwendbar waren, während die untrainierte KI verwirrt war.

Das Fazit

Dieses Paper beweist, dass man keinen Supercomputer benötigt, um eine massive KI zum Experten in einem spezifischen Bereich zu machen. Durch den Einsatz effizienter „Stützräder“ (PEFT) und eines guten Satzes an „Karteikarten“ (den 6.000 juristischen Q&A-Paaren) kann man eine allgemeine KI in einen Spezialisten für jordanisches Recht verwandelt.

Die Autoren kommen zu dem Schluss, dass diese Methode gut funktioniert und den Weg ebnet, um Werkzeuge zu entwickeln, die Menschen beim Verständnis juristischer Dokumente helfen können, wobei sie anmerken, dass sich diese spezifische Studie nur auf den Trainingsteil konzentrierte und noch nicht auf den Aufbau einer vollständigen Suchmaschine.

Technisches Resümee: Parameter-effiziente Feinabstimmung von Llama 3.1 zur Beantwortung arabischer Rechtsfragen

Problemstellung
Die Arbeit befasst sich mit der Herausforderung, Large Language Models (LLMs) auf domänenspezifische arabische Rechtsanfragen anzuwenden, insbesondere im Kontext des jordanischen Rechts. Während Modelle wie Llama-3.1 eine allgemeine Anpassungsfähigkeit zeigen, stehen sie im Rechtsbereich vor erheblichen Hürden aufgrund der Komplexität der arabischen Linguistik, der Knappheit annotierter Datensätze und der Notwendigkeit präziser Argumentation statt allgemeiner Wissensabfrage. Bestehende arabische NLP-Systeme mangelt es oft an der spezialisierten Ausbildung, die erforderlich ist, um juristische Terminologie und prozedurale Nuancen präzise zu interpretieren. Darüber hinaus sind Standardverfahren der Feinabstimmung oft rechenintensiv, was deren Zugänglichkeit für Forscher in ressourcenbeschränkten Umgebungen einschränkt.

Methodik
Die Studie verwendet eine strukturierte Pipeline, um Llama-3.1-Modelle für das Beantworten jordanischer Rechtsfragen (QA) anzupassen:

Datensatz-Kuration: Die Autoren sammelten und kuratierten Artikel aus 18 spezifischen jordanischen Gesetzen, darunter das Zivilrecht, das Strafgesetzbuch, das Arbeitsrecht und das Gesetz über elektronische Straftaten. Aus diesen Texten wurden 3.578 Rechtsartikel extrahiert.
Datensatzgenerierung: Unter Verwendung der OpenAI API (GPT-3.5 Turbo) generierte das Team einen benutzerdefinierten Datensatz von etwa 6.000 strukturierten (Frage, Antwort, Kontext) Tripeln basierend auf den extrahierten Rechtsartikeln. Dieser Datensatz wurde zu 80 % für das Training und zu 20 % für das Testen aufgeteilt.
Modellauswahl und Quantisierung: Zwei Varianten des Llama-3.1-8B-Modells wurden ausgewählt: das Basismodell und die instruktionsgestimmte Variante (instruction-tuned). Beide wurden auf eine 4-Bit-Präzision (bnb-4bit) quantisiert, um den Speicherbedarf zu reduzieren.
Parameter-effiziente Feinabstimmung (PEFT): Die Modelle wurden unter Verwendung von Low-Rank Adaptation (LoRA) Adaptern feinabgestimmt. Die Konfiguration beinhaltete einen Rang ( $r$ ) von 16, ein LoRA-Alpha von 16 und kein Dropout. Das Training wurde in einer Google Colab Pro Umgebung unter Verwendung einer NVIDIA A100-SXM4-40GB GPU durchgeführt.
Trainingsparameter: Die Modelle wurden für eine Epoche mit einer Lernrate von $2 \times 10^{-4}$ , einer Batch-Größe von 2 (unter Nutzung von Gradient Accumulation) und FP16/BF16-Präzision trainiert. Zur Beschleunigung des Trainingsprozesses wurde das Unsloth-Framework eingesetzt.

Wichtigste Ergebnisse
Die Leistung der feinabgestimmten Modelle wurde im Vergleich zu ihren jeweiligen Basismodellen anhand der Metriken BLEU und ROUGE (ROUGE-1, ROUGE-2 und ROUGE-L) evaluiert.

Quantitative Verbesserungen: Beide feinabgestimmten Modelle übertrafen ihre Basismodelle signifikant.
- Das Basismodell llama3.1 erreichte einen BLEU-Score von 0,058, während fine_tuned_llama3.1 0,290 erreichte.
- Das Basismodell llama3.1_instruct erzielte 0,128 auf BLEU, während fine_tuned_llama3.1_instruct 0,270 erreichte.
- Ähnliche Verbesserungen wurden über alle ROUGE-Metriken hinweg beobachtet, was darauf hindeutet, dass die feinabgestimmten Modelle Antworten generierten, die den menschlich geschriebenen Ground-Truth-Daten viel näher kamen.
Modellvergleich: Interessanterweise schnitt das feinabgestimmte Basismodell (fine_tuned_llama3.1) in den BLEU- und ROUGE-Scores leicht besser ab als das feinabgestimmte Instruktionsmodell (fine_tuned_llama3.1_instruct). Die Autoren vermuten, dass dies auf die neutrale Initialisierung des Basismodells zurückzuführen sein könnte, die eine spezifischere Anpassung an die Rechtsaufgabe ermöglicht, während das instruktionsgestimmte Modell möglicherweise Vorurteile (Biases) mit sich führte, die im Konflikt mit den spezifischen Datensatzmustern standen.
Qualitative Analyse: Eine menschliche Evaluierung von Zufallsstichproben ergab, dass die feinabgestimmten Modelle prägnante, prozedural korrekte Antworten lieferten, die mit den rechtlichen Ground-Truth-Daten übereinstimmten. Im Gegensatz dazu produzierten die Basismodelle oft ausschweifende, verallgemeinerte oder prozedural falsche Antworten. Beispielsweise identifizierten die feinabgestimmten Modelle bei Fragen zu prozeduralen Fristen oder Eilmaßnahmen korrekt spezifische rechtliche Bedingungen (z. B. Meldung von Verbrechen vor deren Entdeckung), während die Basismodelle diese Nuancen nicht erfassen konnten.

Wesentliche Beiträge

Datensatz-Erstellung: Die Erstellung und öffentliche Freigabe eines kuratierten Datensatzes von 6.000 jordanischen Rechts-QA-Paaren, die aus 18 spezifischen Gesetzen abgeleitet wurden.
Effiziente Anpassungsstrategie: Demonstration eines ressourceneffizienten Workflows unter Verwendung von 4-Bit-Quantisierung, LoRA und dem Unsloth-Framework zur Feinabstimmung von Llama-3.1 auf einer einzelnen Consumer-Grafikkarte (via Colab), wodurch die Domänenanpassung zugänglich gemacht wird.
Empirische Evidenz: Bereitstellung quantitativer und qualitativer Belege dafür, dass die Feinabstimmung die Leistung von LLMs im arabischen Rechtsbereich, speziell für das jordanische Recht, signifikant verbessert.

Bedeutung und Ansprüche
Die Arbeit beansprucht, dass diese Arbeit einen grundlegenden Schritt beim Aufbau von Offline-Retrieval-Augmented-Generation-Systemen (RAG) für arabische Rechtsanwendungen darstellt. Durch den Nachweis, dass feinabgestimmte LLMs spezifische Rechtsfragen effektiv verstehen und beantworten können, unterstreicht die Studie das Potenzial der Anpassung großer Sprachmodelle an spezialisierte, ressourcenarme Domänen. Die Autoren betonen, dass ihr Ansatz eine replizierbare Methodik zur Förderung des arabischen NLP in juristischen Kontexten bietet und den Weg für praktische Werkzeuge wie Rechtsrecherche-Assistenten und automatisierte Dokumentenanalysen ebnet. Die Studie schließt mit dem Hinweis, dass zukünftige Arbeiten darauf abzielen sollten, diese Modelle in vollständige RAG-Pipelines zu integrieren und die Datensätze zu erweitern, um diverse arabische Dialekte und unstrukturierte Rechtsdokumente einzubeziehen.