Ayn: A Tiny yet Competitive Indian Legal Language Model Pretrained from Scratch

Die Studie stellt Ayn, ein von Grund auf neu vortrainiertes 88-Millionen-Parameter-Modell für das indische Rechtswesen, vor, das bei domänenspezifischen Aufgaben wie der Vorhersage von Urteilen und der Zusammenfassung von Texten größere Sprachmodelle bis zu 80-mal übertrifft und dabei auch bei allgemeinen Aufgaben konkurrenzfähig bleibt.

Das Wesentliche

Das große Bild: Der Riese gegen den Spezialisten

Stellen Sie sich vor, Sie wollen ein komplexes juristisches Problem in Indien lösen. Normalerweise greift man zu einem riesigen, allwissenden „Super-Intelligenz-Roboter" (einem großen KI-Modell wie Llama oder GPT). Diese Roboter haben Milliarden von Parametern (Gedankenverbindungen) und wurden mit dem gesamten Internet trainiert. Sie sind mächtig, aber sie sind auch teuer, langsam und fressen viel Strom.

Die Autoren dieser Studie haben sich gefragt: „Müssen wir wirklich einen Elefanten benutzen, um eine Ameise zu fangen?"

Sie haben stattdessen einen winzigen, aber extrem spezialisierten Roboter gebaut, den sie AYN nennen.

• Die Größe: AYN hat nur 88 Millionen Parameter (im Vergleich zu den Milliarden der Riesen). Er ist so klein, dass er auf einem einzigen Computer-Chip (einer GPU) trainiert werden kann.
• Der Preis: Das Training kostete weniger als 500 Dollar und erzeugte so wenig CO2, wie ein kleiner Haushalt in wenigen Tagen verbraucht.
• Der Hintergrund: AYN wurde nicht mit dem ganzen Internet gefüttert, sondern ausschließlich mit indischen Gerichtsurteilen, der indischen Verfassung und dem Strafgesetzbuch.

Die drei wichtigsten Entdeckungen

1. Der Spezialist schlägt den Generalisten (im Gerichtssaal)

Stellen Sie sich vor, Sie haben einen Jurastudenten, der nur indische Gesetze kennt (AYN), und einen Professor, der alles auf der Welt weiß, aber nur oberflächlich über indische Gesetze Bescheid weiß (die großen KI-Modelle).

Wenn Sie den Studenten fragen: „Wer gewinnt diesen Fall?", antwortet er sofort und präzise, weil er die Sprache der Richter und die spezifischen Formulierungen der indischen Gerichte perfekt versteht. Der Professor hingegen zögert oder macht Fehler, weil er die Nuancen nicht kennt.

Das Ergebnis: AYN war bei der Vorhersage von Gerichtsurteilen besser als alle großen Modelle, die bis zu 80-mal größer waren. Er hat sogar ein Modell geschlagen, das speziell für indische Gesetze angepasst wurde, aber viel größer ist.

2. Der gute Zusammenfasser

Indische Gerichtsurteile sind oft extrem lang, verworren und voller altertümlicher Wörter.

• Das Problem: Ein großer KI-Roboter liest einen 28.000-Wörter-Text und versucht, ihn zusammenzufassen. Oft verliert er den Faden oder erfindet Dinge dazu (Halluzinationen).
• Die Lösung: AYN liest denselben Text und fasst ihn präzise zusammen. Er versteht die „Logik" des Textes besser, weil er nur mit solchen Texten aufgewachsen ist.
• Der Vergleich: AYN kann Urteile fast so gut zusammenfassen wie Modelle, die 30-mal größer sind.

3. Der kleine Alleskönner (für andere Aufgaben)

Man könnte denken: „Wenn AYN nur Gesetze kennt, kann er sicher keine Matheaufgaben lösen oder Witze verstehen."
Aber die Forscher haben getestet, ob AYN auch allgemeine Aufgaben (wie Multiple-Choice-Fragen oder logisches Rätseln) lösen kann.
Das Ergebnis: Obwohl er nur Gesetze gelernt hat, war er überraschend gut darin, allgemeine Aufgaben zu lösen. Er schlug sogar einige der größeren Modelle! Das zeigt, dass ein kleines, gut trainiertes Modell mehr kann, als man denkt.

Warum ist das so? (Die Geheimwaffe)

Es gibt zwei Hauptgründe, warum dieser kleine Roboter so stark ist:

1. Die perfekte Sprache (Tokenizer):
   Große KI-Modelle nutzen oft eine „Standard-Wortliste". Wenn sie ein juristisches Wort wie „herein" oder „statutory" sehen, zerlegen sie es oft in sinnlose Häppchen (wie ein Puzzle, das nicht passt).
   Die Autoren haben für AYN eine spezielle Wortliste entwickelt, die genau auf indische Rechtssprache zugeschnitten ist. Für AYN ist „herein" ein ganzes Wort, kein zerbrochenes Puzzle. Das macht ihn viel effizienter.

2. Reines Training (From Scratch):
   Viele große Modelle werden erst auf dem ganzen Internet trainiert und dann „nachjustiert" (fine-tuned). AYN wurde von Null an nur mit indischen Gerichtstexten trainiert. Er ist wie ein Kind, das in einem Gerichtssaal aufgewachsen ist und die Sprache der Richter von Geburt an perfekt spricht, statt sie später mühsam zu lernen.

Warum ist das wichtig?

• Kosten & Umwelt: Große Modelle sind wie ein Flugzeug, um zur Bäckerei zu fahren. AYN ist ein Fahrrad. Er ist schnell, billig und umweltfreundlich.
• Fairness: Große Modelle sind oft „westlich" geprägt und verstehen indische Kulturen oder Rechtssysteme nicht gut. AYN ist ein indischer Spezialist, der die lokale Realität versteht.
• Zugänglichkeit: Da AYN so klein ist, kann ihn jeder mit begrenztem Budget nutzen. Man braucht keine Millionen-Dollar-Serverfarmen.

Fazit

Die Studie beweist: Man braucht nicht immer den größten, teuersten Roboter, um eine Aufgabe zu lösen. Wenn man den richtigen Spezialisten für den richtigen Job baut (in diesem Fall: ein winziger KI-Roboter, der nur indische Gesetze kennt), kann dieser sogar die riesigen, allgemeinen Riesen schlagen.

AYN ist der Beweis, dass Größe nicht alles ist – manchmal ist es besser, ein kleiner, schlauer Spezialist zu sein.

Technische Zusammenfassung

1. Problemstellung

Große Sprachmodelle (LLMs) sind zwar leistungsstark, aber aufgrund der hohen Trainingskosten, des enormen Rechenbedarfs und der oft westlich-zentrierten Voreingenommenheit (Bias) in vielen Anwendungsbereichen, insbesondere im Rechtswesen, schwer einzusetzen.

• Kosten und Effizienz: Das Training von LLMs (1B–8B Parameter) ist teuer und ressourcenintensiv.
• Domänenspezifische Herausforderungen: Das indische Rechtssystem weist einzigartige Merkmale auf: archaische und spezialisierte Vokabeln, komplexe Satzstrukturen, mehrsprachiges Code-Switching und spezifische Zitierweisen. Allgemeine Tokenizer zerlegen diese Ausdrücke oft ineffizient.
• Datenknappheit: Im indischen Rechtsbereich sind annotierte Daten selten, teuer und zeitaufwendig zu produzieren.
• Forschungsfrage: Kann ein extrem kleines, von Grund auf neu trainiertes Modell (Tiny Language Model, TLM, <100M Parameter), das ausschließlich auf domänenspezifischen Daten trainiert wurde, mit deutlich größeren, allgemein trainierten LLMs in spezifischen Rechtsaufgaben konkurrieren?

2. Methodik und Modellarchitektur

Datenkorpus:
Die Autoren erstellten ein spezialisiertes Korpus für das indische Recht, das insgesamt ca. 142,6 Millionen Wörter umfasst:

• Erweiterung des bestehenden ILDC-Korpus um 3.046 Fälle des Obersten Gerichtshofs Indiens (SCI) von Mai 2020 bis Dezember 2023.
• Hinzufügung der indischen Verfassung und des indischen Strafgesetzbuchs (Indian Penal Code).
• Datenvorverarbeitung umfasste das Entfernen von Metadaten (Richter, Datum, Fallnummern) und das Extrahieren der relevanten Entscheidungsabschnitte.

Tokenisierung:
Ein entscheidender Beitrag ist die Entwicklung eines domänenspezifischen Byte-Pair-Encoding (BPE) Tokenizers von Grund auf.

• Im Gegensatz zu allgemeinen Tokenizern (z. B. LLaMA-2), die juristische Fachbegriffe (z. B. „herein", „statutory", „jurisdiction") in viele unzusammenhängende Subwörter zerlegen, lernt der AYN-Tokenizer diese als kohärente Einheiten.
• Dies führt zu einer kompakten Vokabulargröße von 3.500 Tokens und verbessert das semantische Verständnis juristischer Texte.

Modellarchitektur (AYN):

• Typ: Decoder-only Transformer (basierend auf der GPT-Architektur).
• Größe: 88 Millionen Parameter.
• Konfiguration: 12 Schichten, versteckte Dimension 768, Feedforward-Dimension 2048.
• Techniken: Nutzung von RMSNorm, SwiGLU-Aktivierungsfunktion, Gewichts-Tying (Weight Tying) und Entfernung von Bias-Termen in dichten Schichten zur Stabilisierung.
• Kontextlänge: Durch eine Interpolationsmethode für RoPE (Rotary Position Embeddings) wurde ein Kontextfenster von 8192 Tokens auf einer einzigen A100-GPU ermöglicht (durch „Shrinking Factor" der Position-IDs).

Training:

• Das Modell wurde von Grund auf (from scratch) auf dem oben genannten Korpus trainiert.
• Hardware: Eine einzelne NVIDIA A100 GPU (40GB).
• Dauer: 185 Stunden.
• Hyperparameter-Tuning erfolgte zunächst an einem 15M-Modell und wurde via µP-Transfer auf das 88M-Modell übertragen.
• Gesamtkosten: < 500 $; CO2-Fußabdruck: 0,0196 tCO2eq.

3. Wichtige Beiträge

1. Ressourcen: Bereitstellung eines neuen, großen Korpus für indische Supreme-Court-Fälle, eines spezialisierten juristischen Tokenizers und des 88M-Parameter-Modells AYN.
2. Empirische Studie: Umfassender Vergleich eines <100M TLMs mit LLMs im Bereich 1B bis 8B Parameter in zwei Rechtsaufgaben (Klassifikation und Generierung) sowie allgemeinen NLP-Benchmarks.
3. Effizienznachweis: Demonstration, dass ein spezialisiertes TLM bei weitaus geringerem Ressourcenverbrauch (Rechenzeit, Energie, Kosten) mit großen Modellen mithalten oder diese übertreffen kann.

4. Ergebnisse

Rechtsaufgaben (Indischer Kontext):

• Aufgabe 1: Vorhersage von Urteilen (Classification)

  • Im Zero-Shot-Setting übertraf AYN (88M) alle getesteten LLMs (bis 8B Parameter) in Genauigkeit und Macro-F1 um 1,14 bis 15,37 Prozentpunkte.
  • Auch ein speziell auf indische Fälle feinabgestimmtes LLaMA-2-7B-Modell (CPTLlama-2) wurde von AYN übertroffen.
  • Mit einem diskriminativen Klassifikator-Head (ohne Generierung) erreichte AYN eine Genauigkeit von 69,69 %, während die großen Modelle bei ca. 60 % stagnierten. Dies zeigt, dass das kleine Modell domänenspezifische Repräsentationen effizienter lernt.

• Aufgabe 2: Abstraktive Zusammenfassung (Summarization)

  • AYN konnte Zusammenfassungen von 5000 Tokens generieren und rivalisierte dabei mit Modellen bis zu 30-mal größer (z. B. LLaMA-3.2 3B).
  • Es schnitt in Metriken wie ROUGE-1, BLEU und METEOR besser ab als größere Modelle, obwohl es bei sehr langen Zusammenfassungen (über 6000 Tokens) an Kohärenz verlor.

Allgemeine NLP-Benchmarks (Zero-Shot):

• Trotz des ausschließlichen Trainings auf juristischen Daten zeigte AYN eine bemerkenswerte Generalisierungsfähigkeit.
• Es schnitt im Durchschnitt besser ab als Modelle wie LLaMA-3.2 (1B), Pythia (6.9B) und Falcon (7B) in Aufgaben wie Multiple-Choice-Fragen (MMLU), Wortbedeutungsdisambiguierung (WIC) und logischem Reasoning (LogiQA).
• Es unterlag jedoch den sehr großen Modellen (8B+), was erwartbar ist, da diese auf viel diverseren Daten trainiert wurden.

5. Bedeutung und Fazit

Das Paper beweist, dass Tiny Language Models (TLMs), die von Grund auf auf hochspezialisierten, domänenspezifischen Daten trainiert werden, eine effiziente und wettbewerbsfähige Alternative zu großen, allgemein gehaltenen LLMs darstellen.

• Kosteneffizienz: AYN wurde mit einem Bruchteil der Kosten und des CO2-Ausstoßes trainiert.
• Domänenüberlegenheit: Im spezifischen Rechtskontext Indiens übertrifft das kleine Modell deutlich größere Modelle, da es die Nuancen der Sprache und die Struktur juristischer Texte besser erfasst.
• Fairness und Inklusion: Das Projekt adressiert die westliche Voreingenommenheit in bestehenden LLMs und bietet einen Weg, hochwertige NLP-Tools für unterrepräsentierte Rechtsysteme (wie Indien) zugänglich zu machen.
• Limitationen: Das Modell ist derzeit nur auf Englisch und auf Fälle des Obersten Gerichtshofs Indiens beschränkt. Es fehlen noch menschliche Expertenbewertungen und Sicherheitsvorkehrungen (Guardrails) gegen Halluzinationen in realen Anwendungen.

Zusammenfassend schlägt AYN vor, dass für ressourcenbeschränkte Umgebungen und spezifische Domänen der Weg über das Training kleiner, maßgeschneiderter Modelle von Grund auf oft effektiver ist als das Fine-Tuning oder die kontinuierliche Vorverarbeitung riesiger, allgemeiner Modelle.