Stellen Sie sich eine Welt vor, in der Geschichten die Währung der Kultur sind, aber einige Sprachen wie Inseln sind, die nur sehr wenige Brücken zum Rest der Welt besitzen. Dies ist die Herausforderung der maschinellen Übersetzung, eines Zweigs der künstlichen Intelligenz, der versucht, Computern das Sprechen verschiedener Sprachen beizubringen. Normalerweise lernen diese Computer, indem sie Millionen von Büchern und Zeitungsartikeln lesen, die von Menschen geschrieben wurden. Aber für viele Sprachen, insbesondere für solche, die von weniger Menschen gesprochen werden, gibt es einfach nicht genug Bücher, um den Computer zu unterrichten. Es ist, als würde man versuchen, italienisches Essen zu kochen, wenn man noch nie ein Rezept gesehen oder eine Tomate probiert hat.

Um dies zu lösen, haben Wissenschaftler begonnen, Large Language Models (LLMs) einzusetzen. Betrachten Sie diese als superintelligente, digitale Köche, die fast jedes Gericht der Welt probiert haben und erraten können, wie ein neues Rezept schmecken sollte. Es ist jedoch viel schwieriger, diese Köche das Kochen von Literatur – Geschichten mit Gefühlen, Witzen und kulturellen Geheimnissen – beizubringen, als einen Nachrichtenbericht zu übersetzen. Und dies für eine Sprache wie Rumänisch zu tun, die über weniger digitale Ressourcen verfügt als Englisch, ist wie der Versuch, einen perfekten Kuchen in einer Küche mit sehr begrenzten Zutaten und einem knappen Budget zu backen. Die große Frage, die sich die Forscher stellen, lautet: Können wir eine hochwertige Bibliothek übersetzter Geschichten aufbauen, ohne ein Vermögen auszugeben oder einen Supercomputer zu benötigen?

Die Geschichte des winzigen Fabeldichters

In dieser Arbeit stellt ein Team von Forschern aus Rumänien ein neues Projekt namens TF2 (TinyFabulist Translation Framework) vor. Ihr Ziel war es, eine massive Bibliothek übersetzter Fabeln – kurzer, moralischer Geschichten wie Äsops Fabeln – vom Englischen ins Rumänische zu erstellen. Sie wollten sehen, ob sie dies mit „offenen“ Modellen (kostenlosen, öffentlichen KI-Werkzeugen) anstelle von teuren, privaten Modellen tun können und ob dies mit einem minimalen Budget möglich ist.

Das Rezept: Eine Bibliothek von Grund auf aufbauen

Die Forscher wussten, dass sie nicht einfach Menschen bitten konnten, Millionen von Geschichten zu übersetzen; das würde zu lange dauern und zu viel kosten. Stattdessen bauten sie ein vierstufiges Fließband, um die Daten selbst zu erstellen:

1. Der Geschmackstest (Stufe 1): Zuerst testeten sie 13 verschiedene KI-Modelle (einige kostenlos, einige kostenpflichtig), um zu sehen, welches am besten darin war, einige Beispiel-Fabeln zu übersetzen. Sie schauten nicht nur darauf, ob die Wörter übereinstimmten; sie baten die KI, die Übersetzungen nach fünf Kriterien zu bewerten: Genauigkeit, Fluss, Logik der Geschichte, Stil und kulturelle Passgenauigkeit. Der Gewinner war ein leistungsstarkes Modell namens GPT-o3, das zu ihrem „Goldstandard“ für die Erstellung des restlichen Bestands wurde.
2. Der Silberstandard (Stufe 2): Mit diesem Gewinner-Modell übersetzten sie 15.000 englische Fabeln ins Rumänische. Obwohl diese von einem Roboter erstellt wurden, waren sie so gut, dass die Forscher sie als „Silberstandard“ (fast so gut wie Gold) behandelten, um ihre eigenen, maßgeschneiderten Modelle zu trainieren.
3. Das spezialisierte Training (Stufe 3): Das ist der magische Teil. Sie nahmen Open-Source-KI-Modelle (speziell Versionen von Gemma, die von kleinen 1-Milliarde-Parameter-Modellen bis hin zu einem 12-Milliarde-Parameter-Modell reichten) und gaben ihnen eine spezielle „Abschlussklasse“. Sie nutzten eine Technik namens LoRA (Low-Rank Adaptation), was so ist, als würde man einem Allround-Koch ein spezifisches Rezeptbuch für Fabeln geben, ohne die ganze Küche neu bauen zu müssen. Sie trainierten diese Modelle mit den 15.000 übersetzten Geschichten.
4. Die Massenproduktion (Stufe 4): Schließlich nutzten sie ihre neu trainierten, spezialisierten Modelle, um die verbleibenden 3 Millionen Fabeln aus der ursprünglichen englischen Sammlung zu übersetzen. Das Ergebnis ist ein massiver neuer Datensatz namens DS-TF2-EN-RO-3M, der drei Millionen Paare von englischen und rumänischen Fabeln enthält.

Die Ergebnisse: Kleine Modelle, große Überraschungen

Die Forscher stellten ihre neuen, trainierten Modelle dann im Vergleich zu den großen, teuren, privaten Modellen (wie GPT-4 und DeepL) und den ursprünglichen, ungetrainierten Open-Source-Modellen auf die Probe.

• Die Lücke schloss sich: Ihr bestes Open-Source-Modell, TF2-12B (die 12-Milliarde-Parameter-Version), schnitt unglaublich gut ab. Es erreichte eine durchschnittliche Punktzahl von 4,83 von 5 auf ihrer Qualitätsrubrik, während das führende private Modell (GPT-o3) 4,92 erreichte. Die Lücke zwischen dem kostenlosen, speziell trainierten Modell und dem teuren, proprietären Riesen war winzig – weniger als 0,1 Punkte.
• Der Preisunterschied: Hier wird die Geschichte wirklich spannend. Die Übersetzung aller 3 Millionen Fabeln mit den teuren privaten APIs hätte zwischen 1.800 $ und 32.400 $ gekostet (je nachdem, welches Modell man gewählt hätte). Im Gegensatz dazu erledigte ihr Open-Source-TF2-Modell dieselbe Aufgabe für etwa 350 $. Das ist eine Ersparnis von 97 % bis 99 %.
• Die kleinen Modelle: Selbst ihr kleinstes Modell (1 Milliarde Parameter) sprang nach dem Training von einem Wert von 2,02 auf 3,75. Es war nicht perfekt, aber es verbesserte sich von „kaum verständlich“ zu „ziemlich gut“, was beweist, dass selbst kleine, günstige Computer Geschichten erzählen lernen können, wenn man sie richtig lehrt.

Was sie fanden (und was sie nicht fanden)

Die Arbeit legt nahe, dass man kein Milliardär sein muss, um hochwertige Werkzeuge für die literarische Übersetzung zu entwickeln. Durch den Einsatz eines klugen, schrittweisen Prozesses und die Konzentration auf eine bestimmte Art von Geschichte (Fabeln) zeigten sie, dass Open-Source-Modelle mit den Giganten konkurrieren können.

Die Autoren geben jedoch vorsichtig einige Punkte zu bedenken:

• Es ist noch nicht perfekt: Während die Open-Source-Modelle nah dran sind, schnitten die privaten Modelle (wie GPT-o3) etwas besser ab, insbesondere bei Stil und kulturellen Nuancen. Die Open-Source-Modelle sind eine großartige Alternative, aber sie haben das Problem, das menschliche Übersetzungsniveau in jedem einzelnen Fall vollständig zu „lösen“, noch nicht ganz bewältigt.
• Der „Goldstandard“ ist Silber: Die Referenzübersetzungen, die sie zum Trainieren der Modelle verwendeten, wurden von einer anderen KI und nicht von einem Menschen erstellt. Das bedeutet, dass die Modelle lernen, wie andere KIs zu klingen, und nicht unbedingt wie menschliche Übersetzer. Die Forscher prüften dies, indem ein menschlicher Experte eine kleine Stichprobe der Geschichten untersuchte, und der Mensch stimmte zu, dass die KI-Bewertungen im Allgemeinen korrekt waren, räumte aber ein, dass eine größere menschliche Studie nötig ist, um zu 100 % sicher zu sein.
• Fabeln sind besonders: Fabeln sind kurz und haben eine klare Struktur. Die Forscher deuten an, dass diese Methode zwar hervorragend für Fabeln funktioniert, die Anwendung auf komplexe Romane mit tiefen Metaphern oder historischen Dialogen jedoch schwieriger sein könnte.

Das Fazit

Das TF2-Projekt ist wie der Beweis dafür, dass man eine prächtige Bibliothek aus recycelten Materialien und ein wenig Einfallsreichtum aufbauen kann, anstatt einen Tresor voller Gold zu benötigen. Sie haben gezeigt, dass man mit den richtigen Trainingsdaten und einem cleveren, kosteneffizienten Ansatz Open-Source-KI nutzen kann, um literarische Inhalte für Sprachen wie Rumänisch zu einem Bruchteil der üblichen Kosten zu übersetzen. Sie haben all ihren Code, ihren 3-Millionen-Geschichten-Datensatz und ihre trainierten Modelle der Öffentlichkeit zur Verfügung gestellt und laden alle dazu ein, auf ihrer Arbeit aufzubauen. Es ist ein Schritt in Richtung einer Zukunft, in der KI helfen kann, Geschichten aus jeder Kultur zu bewahren und zu teilen, unabhängig davon, wie viel Geld diese Kultur für Technologie ausgeben kann.