💬 NLP

How Far Can Prompting Go for Minimal-Edit Ukrainian Grammatical Error Correction?

Diese Arbeit zeigt, dass das strategische Prompting von kommerziellen und Open-Source-LLMs mit ukrainenspezifischen Minimal-Edit-Instruktionen und Few-Shot-Beispielen eine nahezu auf dem Stand der Technik liegende Leistung bei der ukrainischen grammatikalischen Fehlerkorrektur erzielen kann, wobei über 90 % der Lücke zu feinabgestimmten Modellen geschlossen wird, während gleichzeitig spezifische Muster der Überkorrektur aufgedeckt werden.

Ursprüngliche Autoren: Kateryna Karpo, Artem Chernodub

Veröffentlicht 2026-06-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kateryna Karpo, Artem Chernodub

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Freund, der lernt, perfektes Ukrainisch zu schreiben. Sie möchten ihm helfen, seine Fehler zu korrigieren, aber Sie haben eine sehr spezifische Regel: Sie dürfen nur die tatsächlichen Fehler korrigieren. Sie dürfen den Sätzen nicht einen „schöneren“ Klang geben, die Wortwahl nicht ändern oder den Stil verbessern. Sie wollen lediglich die Tippfehler, die fehlenden Kommas und die falsche Grammatik korrigieren und dabei seine einzigartige Stimme exakt so lassen, wie sie ist.

Dieses Papier handelt davon, leistungsstarken KI-„Gehirnen“ (Large Language Models) beizubringen, dieser strengen Regel zu folgen, ohne dass sie dafür von Grund auf neu trainiert werden müssen.

Hier ist die Geschichte ihres Experiments, einfach erklärt:

Das Problem: Der übereifrige Editor

Die Forscher versuchten, berühmte KI-Modelle (wie jene von Google, OpenAI und Anthropic) einzusetzen, um ukrainische Texte zu korrigieren.

Das Problem: Wenn sie die KI einfach nur fragten: „Korrigiere diesen Satz“, verhielt sich die KI wie ein übereifriger Editor. Sie korrigierte nicht nur die Tippfehler, sondern schrieb den ganzen Satz um, ersetzte Wörter durch Synonyme und änderte den Stil.
Das Ergebnis: Da die KI Dinge änderte, die eigentlich gar nicht kaputt waren, erhielt sie eine niedrige Punktzahl. Sie „korrigierte“ Dinge, die gar keine Korrektur benötigten.

Die Lösung: Das „Minimal-Edit“-Regelwerk

Den Forschern wurde klar, dass sie der KI ein sehr spezifisches, detailliertes Handbuch in ukrainischer Sprache geben mussten, damit sie sich anständig verhält. Sie nannten dies die „Minimal-Edits“-Strategie.

Stellen Sie sich das wie einem Roboter ein striktes Rezept zu geben:

Die Regel: „Korrigiere nur offensichtliche Fehler wie Rechtschreibung und Zeichensetzung.“
Das Verbot: „Ändere NICHT die Wörter des Autors. Verwende KEINE Synonyme. Schreibe den Satz NICHT um.“
Die Details: Sie fügten winzige, sprachspezifische Regeln hinzu, wie zum Beispiel: „Verwende einen langen Gedankenstrich (—) für Dialoge, keinen kurzen Bindestrich (-)” oder „Ändere den Namen ‚Nastya‘ zu ‚Naste‘, wenn du sie direkt ansprichst.“

Das Experiment: Die Regeln testen

Sie testeten 11 verschiedene kommerzielle KI-Modelle und ein Open-Source-Modell für Ukrainisch. Sie probierten vier verschiedene Wege aus, die KI zur Arbeit anzuleiten:

Zero-shot: Nur ein einfacher Befehl („Korrigiere dies“).
Few-shot: Ein einfacher Befehl plus einige Beispiele für korrekte Korrekturen.
Minimal-Edits (Zero-shot): Das strikte Regelwerk, aber ohne Beispiele.
Minimal-Edits (Few-shot): Das strikte Regelwerk plus Beispiele.

Die große Entdeckung:
Die „Minimal-Edits“-Anweisungen waren der magische Schlüssel. Selbst ohne Beispiele verhinderte das genaue Erklären (auf Ukrainisch), was die KI nicht tun darf, dass sie den Text umschreibt. Als sie die strengen Regeln mit ein paar Beispielen kombinierten, wurde die KI unglaublich präzise.

Der „Coach“ (KI-gestützte Optimierung)

Die Forscher hörten dort nicht auf. Sie nutzten eine KI, um als „Coach“ für die Prompts zu fungieren.

Der Coach schaute sich an, wo die KI Fehler gemacht hatte.
Er passte dann das Instruktionshandbuch an, nach dem Motto: „Hey, hör auf, genau dieses spezifische Ding zu tun.“
Dies geschah immer und immer wieder, bis die Anweisungen perfekt waren.

Die Ergebnisse: Die Lücke schließen

Vor dieser Studie erreichte die beste KI in diesem speziellen Test (unter Verwendung eines älteren Modells) nur etwa 27 Punkte von 100. Die beste vom Menschen optimierte KI (die teure Computerhardware erfordert) erreichte 73 Punkte.

Durch den Einsatz dieser cleveren Prompts und der „Coach“-Methode brachten die Forscher eine kommerzielle KI (Gemini 3.1-Pro) dazu, 69 Punkte zu erreichen.

Was das bedeutet: Sie schlossen 90 % der Lücke zwischen einer günstigen, leicht zu bedienenden KI und der teuren, auf Supercomputern trainierten KI, indem sie einfach nur die Art und Weise änderten, wie sie die Frage stellten.

Der Haken: Die „zu vorsichtige“ KI

Es gab einen Nachteil. Die strengen Regeln funktionierten so gut, dass die KI zu vorsichtig wurde.

Sie hörte auf, Fehler bei Zeichensetzung und Grammatik zu machen (großartig!).
Aber sie hörte auch auf, einige seltene, knifflige Grammatikfehler zu korrigieren, weil sie Angst hatte, sie anzufassen (schlecht!).
Es ist wie ein Wachmann, der aufhört, böse Menschen hereinzulassen (gut!), aber versehentlich auch einige gute Menschen draußen hält, weil sie verdächtig aussehen (schlecht!).

Zusammenfassung

Das Paper zeigt, dass man nicht immer eine maßgeschneiderte, teure KI bauen muss, um die ukrainische Grammatik perfekt zu korrigieren. Wenn man einer Standard-KI mit hoher Leistungsfähigkeit ein sehr detailliertes, sprachspezifisches Regelwerk (geschrieben auf Ukrainisch) und ein paar Beispiele gibt, kann sie fast so gut funktionieren wie spezialisierte Systeme. Das Geheimnis ist nicht ein größeres Gehirn, sondern ein besseres Handbuch.

Technisches Resümee: Prompting für minimale Editierung bei der ukrainischen grammatikalischen Fehlerkorrektur

Problemstellung
Die grammatikalische Fehlerkorrektur (Grammatical Error Correction, GEC) für Ukrainisch stützte sich traditionell auf feinabgestimmte Large Language Models (LLMs), die eine dedizierte GPU-Infrastruktur erfordern. Während feinabgestimmte Modelle derzeit Benchmarks dominieren, sind über APIs aufgerufene kommerzielle LLMs für die „Minimal-Edit“-GEC – ein Paradigma, bei dem das System nur klare grammatikalische, Rechtschreib- und Interpunktionsfehler korrigieren soll, während der ursprüngliche Wortlaut und die Stimme des Autors erhalten bleiben – weitgehend ungetestet. Frühere Versuche mit über API aufgerufenen Modellen (z. B. GPT-3.5 im Zero-Shot-Setting) lieferten schlechte Ergebnisse ( $F_{0.5} = 27,4$ ), weit unter dem feinabgestimmten State-of-the-Art (SOTA) von $F_{0.5} = 73,14$ . Die zentrale Frage ist, ob fortschrittliche Prompting-Strategien diese Lücke schließen können, ohne die Rechenkosten einer Feinabstimmung zu verursachen.

Methodik
Die Autoren evaluierten 11 kommerzielle LLMs von vier Anbietern (OpenAI, Anthropic, Google, Moonshot) sowie ein Open-Source-ukrainisches Modell (Lapa v0.1.2) auf dem UNLP 2023 GEC-only Benchmark. Die Studie verglich systematisch vier Prompting-Strategien:

Zero-shot: Allgemeine Anweisungen zur Korrektur von Fehlern.
Few-shot: Zero-shot-Anweisungen, ergänzt durch Quell-Ziel-Korrekturpaare aus dem Trainingsdatensatz.
Minimal-edits + Zero-shot: Detaillierte System-Prompts, die den Umfang der Korrekturen explizit definieren (z. B. spezifische morphologische Regeln der ukrainischen Sprache, Interpunktionskonventionen) und stilistische Änderungen oder Synonymsubstitutionen untersagen.
Minimal-edits + Few-shot: Kombination aus detaillierten Einschränkungen und Few-shot-Beispielen.

Zusätzlich setzten die Autoren eine LLM-gestützte Prompt-Optimierungspipeline (unter Verwendung von Claude Code Skills) ein, um die besten manuellen Prompts basierend auf der Fehleranalyse des Entwicklungsdatensatzes iterativ zu verfeinern. Die Evaluierung erfolgte über die offizielle UNLP 2023 Pipeline, wobei Precision, Recall und $F_{0.5}$ auf Span-Ebene unter Verwendung einer ukrainischen Anpassung von ERRANT berechnet wurden.

Wichtigste Erkenntnisse und Ergebnisse

Leistungslücke: Die beste Zero-shot-Konfiguration (Claude Opus 4.6 mit ukrainischen Anweisungen) erreichte $F_{0.5} = 49,70$ , was das vorherige GPT-3.5-Baseline-Ergebnis fast verdoppelte, aber immer noch signifikant hinter dem feinabgestimmten SOTA zurückblieb.
Sensitivität der Prompt-Sprache: Bei Zero-shot- und Few-shot-Prompts lieferten englische Anweisungen für die meisten Modelle generell bessere oder gleichwertige Ergebnisse als ukrainische Anweisungen. Claude-Modelle waren die Ausnahme und zeigten Leistungssteigerungen, wenn sie auf Ukrainisch gepromptet wurden. Für die „Minimal-edits“-Strategien waren jedoch ukrainische Anweisungen essenziell, da die spezifischen linguistischen Regeln (z. B. Paradigmen des Vokativs, euphonische Präpositionsalternationen) auf Englisch nicht präzise ausgedrückt werden konnten.
Auswirkung von Einschränkungen: Die „Minimal-edits“-Einschränkung war der signifikanteste Faktor und übertraf in allen Modellen sowohl die Zero-shot- als auch die Few-shot-Baselines. Sie reduzierte die Überkorrektur (False Positives) drastisch, indem sie verhinderte, dass die Modelle Sätze umschreiben oder Synonyme einsetzen.
LLM-gestützte Optimierung: Die Anwendung der LLM-gestützten Optimierung auf den besten manuellen Prompt (Minimal-edits + Few-shot) führte zu weiteren Verbesserungen. Die beste Gesamtkonfiguration, Gemini 3.1-Pro mit optimierten Prompts, erreichte $F_{0.5} = 69,22$ . Dieses Ergebnis schließt über 90 % der Leistungslücke zwischen der vorherigen über API aufgerufenen Baseline und dem feinabgestimmten SOTA ($73,14$).
Fehleranalyse: Detaillierte Minimal-edits-Anweisungen verbesserten die Leistung bei regelbasierten Kategorien wie Interpunktion und Kasusfehlern erheblich. Sie führten jedoch dazu, dass das Modell bei niederfrequenten grammatikalischen Kategorien (z. B. Präpositionen, Verb-Voice) zu konservativ wurde, was zu einem Rückgang des Recalls für diese spezifischen Typen führte. Die Studie identifizierte fünf wiederkehrende Überkorrektur-Muster, die spezifisch für das Ukrainische sind, wie etwa die wahllose Normalisierung von Halbgeviertstrichen zu Gedankenstrichen und das Zusammenbrechen akzeptabler morphologischer Varianten.

Bedeutung und Behauptungen
Die Arbeit beansprucht, die erste systematische Evaluierung von Prompting-Strategien für die ukrainische Minimal-edit-GEC unter Verwendung von über APIs aufgerufenen LLMs zu sein. Ihre primäre Bedeutung liegt in dem Nachweis, dass Prompting allein konkurrenzfähig zu feinabgestimmten Systemen sein kann, indem es die Lücke von ~45 Punkten auf ~4 Punkte in der $F_{0.5}$ -Metrik reduziert.

Die Autoren betonen vier zentrale Erkenntnisse:

Instruktionssprache: Während Englisch für allgemeine Prompts ausreicht, ist Ukrainisch für präzise Minimal-edits-Einschränkungen erforderlich.
Strategie-Hierarchie: Minimal-edits-Einschränkungen liefern die größten Gewinne, gefolgt von Few-shot-Beispielen.
Übertragbarkeit der Optimierung: Die LLM-gestützte Prompt-Optimierung verbessert die Leistung bei der Modellfamilie, für die sie abgestimmt wurde (z. B. Gemini), überträgt sich jedoch nicht zuverlässig auf andere Familien (z. B. verschlechterten sich Claude-Modelle mit optimierten Prompts).
Trade-offs: Detailliertes Prompting verbessert die Precision bei hochfrequenten, regelbasierten Fehlern, birgt aber das Risiko, Korrekturen bei niederfrequenten, ambivalenten grammatikalischen Kategorien zu unterdrücken.

Die Arbeit kommt zu dem Schluss, dass feinabgestimmte Modelle zwar weiterhin den SOTA darstellen, sorgfältig entwickelte Prompting-Strategien jedoch eine leichtgewichtige, zugängliche Alternative bieten, die eine nahezu SOTA-Leistung für die ukrainische GEC erreicht.