Tokenizer Fertility and Zero-Shot Performance of Foundation Models on Ukrainian Legal Text: A Comparative Study
Diese Studie bewertet sieben Foundation-Modelle an ukrainischen Rechtstexten und zeigt, dass die Effizienz der Tokenizer die API-Kosten erheblich beeinflusst, dass das 120-Milliarden-Parameter-Modell NVIDIA Nemotron Super 3 das größere Mistral Large 3 bei einem Bruchteil der Kosten übertrifft und dass Zero-Shot-Prompting für diese morphologisch reiche Sprache Few-Shot-Prompting überlegen ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreiben eine massive Bibliothek ukrainischer Gerichtsentscheidungen. Sie möchten ein Team aus superscharfen KI-Bibliothekaren (Foundation Models) einstellen, die diese Dokumente lesen, in Kategorien sortieren, entscheiden, wer den Fall gewonnen hat, und die genannten spezifischen Gesetze extrahieren.
Dieser Artikel ist wie ein Zeugnis, das sieben verschiedene KI-Bibliothekare vergleicht, um herauszufinden, welcher am besten funktioniert, am wenigsten kostet und die wenigsten Fehler macht, wenn es um die ukrainische Sprache geht.
Hier ist die Aufschlüsselung ihrer Erkenntnisse, unter Verwendung einfacher Analogien:
1. Die „Wort-zu-Token"-Steuer (Tokenisierungsfruchtbarkeit)
Stellen Sie sich ein KI-Modell wie einen Übersetzer vor, der keine ganzen Wörter liest. Stattdessen zerlegt es jedes Wort in winzige Puzzleteile, sogenannte „Tokens".
- Das Problem: Manche KIs sind darin schrecklich. Sie schneiden ukrainische Wörter in viel zu viele winzige Stücke. Der Artikel nennt dies „Fruchtbarkeit" (wie viele Stücke ein Wort produziert).
- Die Erkenntnis: Eine Familie von KIs (Llama) ist sehr effizient. Sie zerlegt ein Wort in etwa 2,4 Stücke. Eine andere Familie (Qwen) ist verschwenderisch und zerlegt dasselbe Wort in 3,9 Stücke.
- Die Analogie: Stellen Sie sich vor, Sie bezahlen eine Taxifahrt basierend darauf, wie viele Schritte Sie machen. Der „verschwenderische" KI macht 60 % mehr Schritte, um dasselbe Ziel zu erreichen. Das bedeutet, Sie zahlen 60 % mehr Geld, nur um dasselbe Dokument zu lesen.
- Fazit: Bevor Sie eine KI auswählen, prüfen Sie, wie viele „Schritte" (Tokens) sie benötigt, um Ukrainisch zu lesen. Das wirkt sich direkt auf Ihren Geldbeutel aus.
2. Größer ist nicht immer besser
In der Welt der KI gehen die Leute oft davon aus, dass das Modell mit dem meisten „Gehirnvermögen" (Parametern) das klügste ist.
- Die Erkenntnis: Der Artikel testete ein riesiges Modell (Mistral Large 3) mit 675 Milliarden Parametern gegen ein kleineres (NVIDIA Nemotron Super 3) mit nur 120 Milliarden Parametern.
- Das Ergebnis: Das kleinere Modell (Nemotron) gewann tatsächlich. Es erzielte bei allen drei Aufgaben höhere Punktzahlen und kostete ein Drittel weniger zu betreiben.
- Die Analogie: Es ist, als würde man eine 675-köpfige Baufirma einstellen, um einen kleinen Schuppen zu bauen, während ein hochqualifiziertes 12-köpfiges Team mit besseren Werkzeugen die Arbeit schneller, billiger und mit höherer Qualität erledigen kann. Die Größe des Teams spielte keine Rolle; das Training und die Werkzeuge taten es.
3. Die „Beispiel"-Falle (Few-Shot vs. Zero-Shot)
Normalerweise geben Sie einem Menschen, wenn Sie ihm eine neue Aufgabe beibringen, zuerst ein paar Beispiele. In der KI nennt man dies „Few-Shot-Prompting".
- Die Erkenntnis: Für ukrainische Rechtstexte machte das Geben von Beispielen an die KI diese oft dümmer. In einigen Fällen sank die Leistung um 26 Prozentpunkte!
- Die Analogie: Stellen Sie sich vor, Sie bringen einem Koch bei, ein bestimmtes ukrainisches Gericht zu kochen. Wenn Sie ihm ein Bild einer leicht abweichenden Version des Gerichts zeigen, könnte er verwirrt werden und das ursprüngliche Rezept vergessen. Die KI ließ sich durch die Beispiele „festnageln" und hörte auf, ihr eigenes Wissen über die Sprache zu nutzen.
- Die Wendung: Der Artikel testete, ob dies daran lag, dass die Beispiele unausgewogen waren (zu viele von einem Typ) oder ob der Prompt schlecht formuliert war. Es war keines von beiden. Selbst als sie die Beispiele und die Prompts korrigierten, wurde die KI immer noch schlechter.
- Schlussfolgerung: Für Ukrainisch ist es oft besser, einfach zu sagen: „Hier ist das Dokument, sagen Sie mir das Ergebnis", ohne vorher Beispiele zu zeigen.
4. Die beste Strategie: Das „Spezialistenteam"
Da keine einzelne KI in allem perfekt war, schlugen die Autoren ein „Routing"-System vor, ähnlich wie eine Triage-Krankenschwester in einem Krankenhaus.
- Aufgabe 1 (Sortieren von Fällen): Verwenden Sie die günstigste, schnellste KI (Llama 4 Maverick). Sie ist großartig beim einfachen Sortieren und kostet fast nichts.
- Aufgabe 2 (Entscheiden von Gewinnern): Verwenden Sie die klügste KI (NVIDIA Nemotron). Dies ist der schwierige Teil, also zahlen Sie etwas mehr für das beste Gehirn.
- Aufgabe 3 (Finden von Gesetzen): Verwenden Sie eine andere KI (Llama 3.3), die wirklich gut darin ist, spezifische Muster im Text zu erkennen.
- Das Ergebnis: Durch das Mischen und Kombinieren erhielten sie die qualitativ hochwertigsten Ergebnisse für 37 % weniger Geld als die Verwendung nur der „besten" einzelnen KI für alles.
5. Das Fazit für Praktiker
Wenn Sie ein Legal-Tech-Tool für die Ukraine entwickeln:
- Prüfen Sie zuerst die „Schrittzahl": Schauen Sie nicht nur auf die Größe des Modells; prüfen Sie, wie effizient es ukrainische Wörter liest.
- Vertrauen Sie nicht dem Mythos „Größer ist besser": Ein kleineres, gut trainiertes Modell kann ein riesiges schlagen.
- Lassen Sie die Beispiele weg: Für ukrainische Rechtstexte ist es bei der KI meist zuverlässiger, sie ohne Beispiele arbeiten zu lassen (Zero-Shot), als ihr Beispiele zu geben.
- Mischen Sie Ihr Team: Verwenden Sie verschiedene KIs für verschiedene Aufgaben, um Geld zu sparen und bessere Ergebnisse zu erzielen.
Die Kosten: Die gesamte Studie, bei der sieben Modelle an Hunderten von Dokumenten getestet wurden, kostete die Forscher insgesamt nur etwa 60 US-Dollar an API-Gebühren. Dies beweist, dass Sie kein riesiges Budget benötigen, um ernsthafte, hochwertige Tests an Sprachmodellen durchzuführen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.