Can Small Models Reason About Legal Documents? A Comparative Study

Die Studie zeigt, dass kleine Sprachmodelle unter 10 Milliarden Parametern durch geeignete Architektur und Trainingsqualität sowie Few-Shot-Prompting rechtliche Aufgaben effektiv bewältigen können und dabei große Modelle wie GPT-4o-mini in spezifischen Bereichen übertreffen, wobei die Nutzung von Retrieval-Augmented Generation (RAG) weniger entscheidend ist als die Fähigkeit des Modells, den Kontext zu verarbeiten.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Anwalt oder eine Rechtsabteilung, die dringend Hilfe bei der Analyse von Verträgen oder Gerichtsurteilen braucht. Früher dachte man: „Um das gut zu machen, brauchen wir den größten, teuersten und mächtigsten Supercomputer der Welt."

Diese Studie sagt jedoch: „Halt! Vielleicht reicht auch ein kleiner, schlauer Helfer aus."

Hier ist die Geschichte der Forschung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das große Dilemma: Der Luxus-Sportwagen vs. der sparsame Kleinwagen

Stellen Sie sich die großen KI-Modelle (wie GPT-4) als Luxus-Sportwagen vor. Sie sind extrem schnell und können alles, aber sie verbrauchen viel Treibstoff (kosten viel Geld), brauchen eine spezielle Tankstelle (Cloud-APIs) und man darf sie nicht einfach in die Garage stellen (Datenschutzbedenken).

Die Forscher wollten wissen: Können die kleinen, günstigen Modelle (unter 10 Milliarden „Gedanken" oder Parameter) genauso gut fahren?
Die Antwort ist ein klares JA – unter bestimmten Bedingungen. Ein spezielles Modell namens Qwen3-A3B (ein sogenanntes „MoE"-Modell) hat gezeigt, dass es wie ein schlauer Hybrid-Auto funktioniert. Es hat zwar einen riesigen Motor im Hintergrund, schaltet aber nur einen kleinen, effizienten Teil davon ein, wenn es nötig ist.

• Das Ergebnis: Dieser kleine Hybrid hat fast genauso gut abgeschnitten wie der teure Luxus-Sportwagen (GPT-4o-mini) und war in einer speziellen Aufgabe (Rechtsprechungs-Identifikation) sogar schneller und besser!

2. Die Größe zählt nicht alles: Der dicke Buchstapel vs. der gut organisierte Notizblock

Ein überraschendes Ergebnis war, dass mehr nicht immer besser ist.
Ein Modell mit 9 Milliarden Parametern (ein riesiger, dicker Buchstapel) war das schlechteste von allen. Es war wie ein Student, der 10.000 Bücher gelesen hat, aber den Überblick verloren hat und nichts zusammenhängend erzählen kann.
Im Gegensatz dazu war das kleine 3-Milliarden-Modell (ein gut organisierter Notizblock) viel besser.
Die Lehre: Es kommt nicht darauf an, wie groß das Gehirn ist, sondern wie gut es trainiert wurde und wie die Architektur (der Bauplan) aussieht. Ein gut trainiertes kleines Gehirn ist besser als ein untrainiertes riesiges.

3. Die Kunst des Fragens: Wie man den Helfer anspricht

Die Forscher haben getestet, wie man die KI am besten fragt. Das ist wie das Geben von Anweisungen an einen Praktikanten:

• Direkte Frage (Zero-Shot): „Hier ist der Text, sag mir die Antwort." – Funktioniert okay, aber nicht perfekt.
• Beispiele zeigen (Few-Shot): „Hier sind drei Beispiele, wie andere Fälle gelöst wurden, jetzt löse diesen." – Das war der Gewinner! Egal welches Modell oder welche Aufgabe, diese Methode funktionierte am zuverlässigsten. Es ist, als würde man dem Praktikanten eine „Schablone" geben.
• Schritt-für-Schritt Denken (Chain-of-Thought): „Erkläre mir erst Schritt für Schritt, wie du darauf kommst, dann gib die Antwort." – Vorsicht! Das funktionierte super bei Verträgen (wo Logik wichtig ist), aber bei Multiple-Choice-Fragen (wo man schnell eine Option ankreuzen muss) hat es die KI verwirrt. Es ist wie ein Schüler, der beim Multiple-Choice-Test zu viel nachdenkt und dann die falsche Antwort ankreuzt, weil er sich in seiner eigenen Erklärung verheddert hat.

4. Die Bibliothek: Brauchen wir eine neue Bibliothek?

Man dachte vielleicht, man müsse der KI extra Informationen aus einer Datenbank holen (RAG), damit sie nicht erfindet. Die Forscher haben zwei Methoden getestet:

1. BM25: Eine klassische, wortbasierte Suche (wie ein alter Bibliothekar, der nach exakten Wörtern sucht).
2. Dense Retrieval: Eine moderne, intelligente Suche (wie ein Bibliothekar, der die Bedeutung versteht).

Das Ergebnis: Beide Methoden waren fast gleich gut. Der Unterschied war so winzig, dass es egal ist. Das eigentliche Problem war nicht die Bibliothek, sondern wie die KI die gefundenen Informationen liest. Wenn die Bibliothek gut ist, aber die KI die Bücher nicht versteht, bringt es nichts.

5. Der Preis: Ein Kaffee statt eines Gehalts

Das vielleicht Coolste an der Studie: Die Forscher haben alles über die Cloud getestet, ohne eigene riesige Computer zu besitzen.
Die gesamten 405 Experimente haben nur 62 Dollar gekostet.
Das ist wie der Preis für ein paar Kaffees oder ein Abendessen. Das bedeutet: Man braucht keine Millionen-Investition in teure Hardware, um zu prüfen, ob eine KI für juristische Aufgaben taugt. Jeder kann das machen.

Zusammenfassung für den Alltag

Wenn Sie heute eine KI für rechtliche Aufgaben suchen, müssen Sie nicht den teuersten Supercomputer mieten.

1. Nehmen Sie ein kleines, gut trainiertes Modell (wie den Qwen3-A3B).
2. Geben Sie der KI ein paar Beispiele (Few-Shot), wie die Aufgabe zu lösen ist.
3. Vermeiden Sie komplizierte „Schritt-für-Schritt"-Erklärungen bei einfachen Multiple-Choice-Fragen.
4. Und vergessen Sie nicht: Qualität des Trainings ist wichtiger als die reine Größe des Modells.

Die Studie zeigt uns, dass wir mit kleinen, effizienten Werkzeugen große Probleme lösen können – ohne dabei die Bank zu sprengen.

Technische Zusammenfassung

Titel

Können kleine Modelle juristische Dokumente verstehen? Eine vergleichende Studie
(Can Small Models Reason About Legal Documents? A Comparative Study)

1. Problemstellung

Große Sprachmodelle (LLMs) zeigen vielversprechende Ergebnisse in juristischen Anwendungen, doch der Einsatz von Frontier-Modellen (z. B. GPT-4o) wirft praktische Probleme auf: hohe API-Kosten, Latenzzeiten und Datenschutzbedenken bei sensiblen Rechtsdokumenten. Gleichzeitig gibt es eine neue Generation von Modellen mit weniger als 10 Milliarden Parametern (sub-10B), darunter effiziente Mixture-of-Experts (MoE)-Architekturen.
Die Studie adressiert vier zentrale Forschungsfragen:

1. Können sub-10B-Modelle kommerzielle API-Modelle bei juristischen Schlussfolgerungsaufgaben erreichen?
2. Wie variiert die Wirksamkeit verschiedener Prompting-Strategien je nach Aufgabentyp?
3. Ist die Modellgröße oder die Architektur (z. B. MoE vs. Dense) entscheidender für die Leistung?
4. Verbessert Retrieval-Augmented Generation (RAG) die Leistung kleiner Modelle, und spielt die Retrieval-Methode (sparse vs. dense) eine Rolle?

2. Methodik

Die Autoren führten eine umfassende Evaluierung mit 405 Experimenten durch, die folgende Komponenten umfassten:

• Modelle: Neun Modelle wurden getestet: sieben Open-Weight-Modelle (3B–9B Parameter, u. a. Llama 3.2, Qwen 2.5/3, Mistral, Gemma, Nemotron) und zwei kommerzielle API-Modelle (GPT-4o-mini, Claude 3.5 Haiku).
  • Besonderheit: Qwen3-A3B ist ein MoE-Modell, das pro Token nur 3B von insgesamt 30B Parametern aktiviert.
• Datensätze: Drei juristische Benchmarks mit unterschiedlichen Schlussfolgerungstypen:
  1. ContractNLI: Natürlichsprachliche Inferenz auf Vertragsklauseln (Entailment, Contradiction, Not Mentioned).
  2. CaseHOLD: Identifikation von Rechtsgrundsätzen (Legal Holdings) in Urteilen als Multiple-Choice-Aufgabe (5 Optionen).
  3. ECTHR: Multi-Label-Klassifikation von Menschenrechtsverletzungen durch den Europäischen Gerichtshof für Menschenrechte (11 Artikel).
• Prompting-Strategien: Fünf Ansätze wurden verglichen:
  1. Direkt (Zero-Shot)
  2. Chain-of-Thought (CoT)
  3. Few-Shot (3 Beispiele)
  4. RAG mit BM25 (sparse retrieval)
  5. RAG mit Denser Retrieval (Sentence-Transformers)
• Experimentelles Design: Jedes Modell wurde mit fünf Strategien auf drei Datensätzen mit drei verschiedenen Random Seeds getestet (insgesamt 9 × 5 × 3 × 3 = 405 Konfigurationen).
• Infrastruktur & Kosten: Alle Experimente wurden über Cloud-APIs (Together AI, OpenAI, Anthropic) ohne dedizierte GPU-Infrastruktur durchgeführt. Die Gesamtkosten beliefen sich auf 62 USD.

3. Wichtige Beiträge und Ergebnisse

A. Architektur vs. Parameteranzahl

• MoE-Effizienz: Das Qwen3-A3B-Modell (nur 3B aktive Parameter) erreichte eine mittlere Genauigkeit von 46,5 % und liegt damit fast gleichauf mit dem kommerziellen GPT-4o-mini (47,2 %). Auf der CaseHOLD-Aufgabe übertraf Qwen3-A3B GPT-4o-mini sogar deutlich (71,2 % vs. 67,9 %).
• Größe ist nicht alles: Das größte getestete Modell, Nemotron-9B (9B Parameter), erzielte die schlechteste Gesamtleistung (17,5 %). Dies widerlegt die Annahme, dass mehr Parameter automatisch zu besserer Leistung führen; Trainingsqualität und Architektur sind entscheidender.

B. Aufgabenabhängigkeit von Prompting-Strategien

Die Wirksamkeit von Prompts ist stark vom Aufgabentyp abhängig:

• Chain-of-Thought (CoT): Zeigte einen drastischen, gegenteiligen Effekt.
  • Verbesserung: Bei ContractNLI (logische Inferenz) steigerte CoT die Genauigkeit um 8,5 Prozentpunkte.
  • Verschlechterung: Bei CaseHOLD (Multiple Choice) sank die Genauigkeit um 16,0 Prozentpunkte. Die ausführliche Argumentation störte hier die korrekte Auswahl der Antwortoption.
• Few-Shot Prompting: Erwies sich als die konsistenteste und effektivste Strategie über alle Aufgaben und Modelle hinweg.
• RAG (Retrieval-Augmented Generation):
  • RAG half bei ContractNLI, verschlechterte aber die Ergebnisse bei CaseHOLD.
  • BM25 vs. Dense Retrieval: Es gab keinen signifikanten Unterschied zwischen der spärlichen (BM25) und der dichten Suche. Der Engpass liegt nicht in der Qualität des Retrievals, sondern darin, wie das Sprachmodell den retrieved Kontext verarbeitet.

C. Parse-Fehler

Die Fähigkeit, Anweisungen zu befolgen, variierte stark. Das schlecht abschneidende Nemotron-9B hatte eine hohe Rate an nicht parsbaren Ausgaben (bis zu 29,8 % bei ContractNLI), was einen Großteil seiner schlechten Leistung erklärt.

4. Signifikanz und praktische Implikationen

• Kosteneffizienz: Die Studie demonstriert, dass sub-10B-Modelle, insbesondere MoE-Architekturen, kommerzielle APIs in juristischen Aufgaben ersetzen können, bei einem Bruchteil der Kosten und ohne Datenabfluss an große Tech-Konzerne.
• Strategische Empfehlungen für Praktiker:
  1. Modellwahl: Qwen3-A3B als beste Kosten-Leistungs-Option.
  2. Prompting: Few-Shot als Standardstrategie; CoT nur für Entailment-Aufgaben verwenden.
  3. RAG: BM25 reicht aus; teure Embedding-Modelle für dichte Suche sind für diese Aufgaben nicht notwendig.
  4. Priorisierung: Gut trainierte 3–8B-Modelle sind besser als größere, aber schlecht kalibrierte Modelle.
• Forschungsbeitrag: Die Arbeit füllt eine Lücke, indem sie systematisch untersucht, wie Prompting-Strategien mit Modellgröße und -architektur in spezialisierten juristischen Domänen interagieren.

Fazit

Die Studie belegt, dass kleine, open-weight Modelle durch sorgfältige Auswahl der Architektur und Prompting-Strategie kommerzielle Großmodelle in juristischen Reasoning-Aufgaben erreichen können. Der Schlüssel liegt weniger in der rohen Parameterzahl, sondern in der architektonischen Effizienz (MoE) und der an die Aufgabe angepassten Prompting-Strategie.