💬 NLP

Evaluating Large Language Models for Diacritic Restoration in Romanian Texts: A Comparative Study

Diese Studie evaluiert die Leistungsfähigkeit verschiedener großer Sprachmodelle bei der Wiederherstellung rumänischer Diakritika und stellt fest, dass fortschrittliche Modelle wie GPT-4o eine hohe Genauigkeit erreichen, während andere eine größere Variabilität aufweisen, wodurch der Einfluss von Architektur, Trainingsdaten und Prompt-Design auf diese NLP-Aufgabe hervorgehoben wird.

Ursprüngliche Autoren: Mihai Nadas, Laura Diosan

Veröffentlicht 2026-07-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mihai Nadas, Laura Diosan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Stapel rumänischer Textnachrichten, aber jemand hat versehentlich alle speziellen „Akzent“-Zeichen von den Buchstaben entfernt. Im Rumänischen ist der Unterschied zwischen den Wörtern „essen“ und „schlafen“ oder „ein Dorf“ und „eine Stadt“ die Bedeutung dieser Zeichen (wie ă, î, ș, ț und â). Ohne sie ist der Text wie eine Landkarte, auf der alle Straßennamen gelöscht wurden – verwirrend und schwer lesbar.

Diese Studie stellte eine große Frage: Können die superintelligenten Chatbots, die wir überall sehen (genannt Large Language Models oder LLMs), diese unordentlichen Texte reparieren und die Akzente wieder an die richtigen Stellen setzen?

Das große Rennen der Akzent-Wiederherstellung

Die Forscher bauten eine riesige Rennstrecke auf. Sie sammelten 2.000 rumänische Sätze und entfernten alle ihre Akzente, wodurch sie in ein „leeres Blatt“ verwandelt wurden. Dann luden sie eine Reihe berühmter KI-Modelle an die Startlinie ein, um zu sehen, wer die Akzente am besten wiederherstellen konnte.

Die Auswahl enthielt:

Die Schwergewichte: OpenAI's GPT-3.5, GPT-4 und das neueste GPT-4o.
Den Google-Kontrahenten: Gemini 1.0 Pro.
Die Open-Source-Crew: Meta's Llama 2 und 3 (in verschiedenen Größen), MistralAI's Mixtral sowie einige andere.
Den „Dummy“-Baseline: Einen einfachen Trick namens „Echo“-Modell. Dieses Modell versuchte nichts zu reparieren; es kopierte den unordentlichen Text einfach exakt so zurück, wie er war. Es war der „Null-Aufwand“-Score, den jeder schlagen musste.

Die Gewinner und die Verlierer

Die Champions:
Die Ergebnisse waren eindeutig: OpenAI's GPT-4o war der unangefochtene Star der Show. Wenn man ihm eine spezifische Anweisung (einen „Prompt“) gab, die drei Beispiele enthielt, wie der Text zu korrigieren sei, erreichte es eine Gesamtdurchschnittsbewertung (Total Average Score, TAS) von 0,9639.

Um das in Perspektive zu setzen: Die „Echo“-Baseline (der faule Kopierer) erreichte nur 0,8100. Das bedeutet, dass GPT-4o nicht nur ein bisschen besser war; es übertraf die Baseline um 19 %. Tatsächlich war das am besten abschneidende Modell (GPT-4o) 1,190-mal besser als die Baseline. Es war, als wäre es ein Meisterkoch, der ein Gericht perfekt würzt, während die Baseline es einfach nur ungewürzt serviert.

Die überraschenden Schwachstellen:
Hier wird es interessant. Man könnte denken, dass größere oder berühmtere Open-Source-Modelle gut abschneiden würden, aber das Paper deutet auf das Gegenteil hin.

Meta's Llama 2 7B war ein totaler Reinfall. Es erreichte einen Wert von 0,002, was extrem niedrig ist. Es war so schlecht, dass es nur 0,002-mal so leistungsfähig wie die Baseline war. Obwohl es nicht buchstäblich Null war, war es effektiv nutzlos für diese Aufgabe und konnte die Baseline bei weitem nicht schlagen.
Meta's Llama 2 70B (die größere Version) schnitt etwas besser ab, scheiterte aber dennoch daran, die Baseline zu übertreffen, mit einem Wert von 0,146.
Mixtral 8x7B und RoLlama 2 7B schnitten ebenfalls unter der Baseline ab, was bedeutete, dass sie beim Reparieren des Textes tatsächlich schlechter waren als das bloße Kopieren der Fehler.

Das Paper legt nahe, dass Größe nicht immer gleich Erfolg bedeutet. Nur weil ein Modell riesig oder Open-Source ist, bedeutet das nicht, dass es die schwierigen Regeln der rumänischen Akzente beherrscht.

Die Geheimwaffe: Der „Prompt“

Die Studie fand heraus, dass es genauso sehr darauf ankommt, wie man die KI fragt, wie auf die KI selbst.

Der „3-Shot“-Trick: Die besten Ergebnisse wurden erzielt, wenn die Forscher der KI drei Beispiele von „unordentlichem Text“ und dem „korrigierten Text“ direkt vor der eigentlichen Aufgabe gaben. Dies nennt man einen „3-Shot“-Prompt.
Das Ergebnis: Mit dieser Methode stieg der Score von GPT-4o an. Das Paper legt nahe, dass das Geben einiger Beispiele (so wie man einem Schüler ein paar gelöste Matheaufgaben zeigt, bevor er eine Prüfung schreibt) der KI hilft, die Regeln viel besser zu verstehen, als wenn man ihr nur einen einfachen Befehl gibt.

Wo sind sie falsch abgebogen? (Die Fehleranalyse)

Selbst die Gewinner machten Fehler, und die Forscher untersuchten genau, wo die Probleme auftraten:

Die â vs. î Verwechslung: Der häufigste Fehler war das Verwechseln der Buchstaben â und î. Im Rumänischen wird â in der Mitte von Wörtern verwendet und î am Anfang oder Ende. Die KI setzte manchmal î in die Mitte (wie das Schreiben von romîn statt român). Etwa 21,3 % aller Fehler resultierten aus dieser spezifischen Verwechslung.
Großbuchstaben: Die KI hatte mehr Schwierigkeiten mit Wörtern am Satzanfang, die großgeschrieben waren. Zum Beispiel setzte sie den Akzent bei einem kleingeschriebenen ș zu 98,7 % der Zeit richtig, aber nur zu 94,6 %, wenn es ein großes Ș war.
Übereifer: Einige Modelle, wie Mixtral, wurden zu enthusiastisch. Sie fügten Akzente hinzu, wo sie nicht hingehörten. Das Paper stellt fest, dass Mixtral im Durchschnitt 16,35 zusätzliche Akzente pro 10-Wort-Satz hinzufügte, was „Halluzinationen“ (falsche Akzente) erzeugte, die den Text verschlechterten.

Was das Paper ausschließt

Das Paper ist sehr deutlich darüber, was nicht funktioniert:

Es schließt die Idee aus, dass „jede“ LLM gut darin ist. Die Studie zeigt explizit, dass mehrere populäre Modelle (wie Llama 2 7B) tatsächlich schlechter sind als gar nichts zu tun.
Es schließt die Idee aus, dass „größer immer besser ist“. Das 70-Milliarden-Parameter-Modell Llama 2 schnitt schrecklich ab, während das kleinere, aber besser abgestimmte GPT-4o brillant arbeitete.
Es schließt die Idee aus, dass einfaches Kopieren eine gültige Lösung ist. Die „Echo“-Baseline wurde spezifisch eingesetzt, um zu zeigen, dass das bloße Kopieren des Textes ohne Korrektur eine niedrige Hürde darstellt, die viele Modelle nicht einmal übersprangen, was beweist, dass Kopieren keine effektive Strategie zur Wiederherstellung ist.

Wie sicher sind wir uns?

Die Autoren sind besonnen und spezifisch in ihren Erkenntnissen. Sie haben nicht nur geraten; sie haben die Modelle gegen einen Datensatz von 1.000 Aussagen aus zwei verschiedenen Quellen getestet (eine aus einem Wörterbuchprojekt und eine von Web-Crawlern).

Sie vermuten, dass die Lücke zwischen den besten Modellen (GPT-4o) und den schlechtesten (Llama 2 7B) real und signifikant ist.
Sie vermuten, dass die „3-Shot“-Prompt-Strategie ein Schlüsselfaktor für den Erfolg ist.
Sie merken an, dass ihre Ergebnisse auf einer spezifischen Teilmenge von Daten (rumänische Regeln nach 1993) basieren und sie keine historischen Texte oder andere Sprachen getestet haben.

Das Fazit

Wenn Sie rumänischen Text mit Akzenten reparieren wollen, greifen Sie nicht einfach zu irgendeiner KI. Das Paper legt nahe, dass OpenAI's GPT-4o, wenn man ihm einige Beispiele zur Orientierung gibt, derzeit das beste Werkzeug für diese Aufgabe ist. Viele andere populäre Modelle lernen jedoch noch und könnten den Text tatsächlich unordentlicher machen, als er ursprünglich war.

Die Studie kommt zu dem Schluss, dass KI zwar mächtig ist, aber noch ein wenig Hilfe (wie gute Anweisungen und Beispiele) benötigt, um die subtilen, schönen Details der rumänischen Sprache zu meistern.