💬 NLP

How Far Can Prompting Go for Minimal-Edit Ukrainian Grammatical Error Correction?

Dit artikel toont aan dat het strategisch prompten van commerciële en open-source LLM's met Oekraïense-specifieke instructies met minimale aanpassingen en few-shot voorbeelden bijna de staat van de techniek kan bereiken bij het corrigeren van Oekraïense grammaticale fouten, waarbij meer dan 90% van het gat naar gefinetunede modellen wordt gedicht terwijl specifieke linguïstische overcorrectiepatronen worden onthuld.

Oorspronkelijke auteurs: Kateryna Karpo, Artem Chernodub

Gepubliceerd 2026-06-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kateryna Karpo, Artem Chernodub

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een vriend hebt die leert om perfect Oekraïens te schrijven. Je wilt hem helpen zijn fouten te verbeteren, maar je hebt een heel specifieke regel: je mag alleen de werkelijke fouten verbeteren. Je kunt zijn zinnen niet herschrijven om ze "mooier" te laten klinken, je kunt zijn woordkeuze niet veranderen of zijn stijl niet verbeteren. Je wilt alleen de typefouten, de ontbrekende komma's en de verkeerde grammatica oplossen, terwijl je zijn unieke stem precies laat zoals die is.

Dit artikel gaat over het onderwijzen van krachtige AI-"hersenen" (Large Language Models) om die strikte regel te volgen zonder dat ze vanaf nul opnieuw getraind hoeven te worden.

Hier is het verhaal van hun experiment, eenvoudig uitgelegd:

Het Probleem: De Overenthousiaste Redacteur

De onderzoekers probeerden beroemde AI-modellen (zoals die van Google, OpenAI en Anthropic) te gebruiken om Oekraïense teksten te corrigeren.

Het Probleem: Wanneer ze de AI simpelweg vroegen: "Verbeter deze zin," gedroeg de AI zich als een overenthousiaste redacteur. Het corrigeerde niet alleen de typefouten; het herschreef de hele zin, verving woorden door synoniemen en veranderde de stijl.
Het Resultaat: Omdat de AI dingen veranderde die eigenlijk niet kapot waren, kreeg het een lage score. Het "corrigeerde" zaken die niet verbeterd hoefden te worden.

De Oplossing: Het "Minimal-Edit" Regelboek

De onderzoekers realiseerden zich dat ze de AI in toom moesten houden door een zeer specifieke, gedetailleerde instructiehandleiding te geven, geschreven in het Oekraïens. Ze noemden dit de "Minimal-Edits" strategie.

Denk aan het geven van een strikt recept aan een robot:

De Regel: "Verbeter alleen overduidelijke fouten zoals spelling en interpunctie."
Het Verbod: "Verander NIET de woorden van de auteur. Gebruik GEEN synoniemen. Herschrijf de zin NIET."
De Details: Ze voegden kleine, taalspecifieke regels toe, zoals: "Gebruik een lange streep (—) voor dialoog, niet een kort verbindingsstreepje (-)" of "Verander de naam 'Nastya' naar 'Naste' wanneer je haar rechtstreeks aanspreekt."

Het Experiment: Het Testen van de Regels

Ze testten 11 verschillende commerciële AI-modellen en één open-source Oekraïens model. Ze probeerden vier verschillende manieren om de AI te laten werken:

Zero-shot: Alleen een simpel commando ("Verbeter dit").
Few-shot: Een simpel commando plus een paar voorbeelden van correcte verbeteringen.
Minimal-Edits (Zero-shot): Het strikte regelboek, maar zonder voorbeelden.
Minimal-Edits (Few-shot): Het strikte regelboek plus voorbeelden.

De Grote Ontdekking:
De "Minimal-Edits" instructies waren de magische sleutel. Zelfs zonder voorbeelden zorgde het vertellen van de AI precies wat het niet moest doen (in het Oekraïens) ervoor dat het de tekst niet meer herschreef. Wanneer ze de strikte regels combineerden met een paar voorbeelden, werd de AI ongelooflijk nauwkeurig.

De "Coach" (AI-Assisted Optimization)

De onderzoekers stopten daar niet. Ze gebruikten één AI om als een "coach" voor de prompts te fungeren.

De coach keek naar waar de AI fouten maakte.
Vervolgens paste de coach de instructiehandleiding aan met de tekst: "Hé, stop met dit specifieke ding."
Dit deden ze herhaaldelijk totdat de instructies perfect waren.

De Resultaten: De Kloof Dichten

Vóór deze studie behaalde de beste AI slechts ongeveer 27 punten van de 100 op deze specifieke test (met gebruik van een ouder model). De beste door mensen getunede AI (die dure computerhardware vereist) haalde 73 punten.

Door deze slimme prompts en de "coach"-methode te gebruiken, kregen de onderzoekers een commerciële AI (Gemini 3.1-Pro) om 69 punten te scoren.

Wat dit betekent: Ze hebben 90% van de kloof gedicht tussen een goedkope, gemakkelijk te gebruiken AI en de dure, door supercomputers getrainde AI, simpelweg door te veranderen hoe de vraag gesteld werd.

Het Nadeel: De "Te Voorzichtige" AI

Er was één nadeel. De strikte regels werkten zo goed dat de AI té voorzichtig werd.

Het stopte met het maken van fouten in interpunctie en grammatica (geweldig!).
Maar het stopte ook met het corrigeren van sommige zeldzame, lastige grammaticafouten omdat het bang was om ze aan te raken (slecht!).
Het is als een bewaker die stopt met het binnenlaten van slechte mensen, maar per ongeluk ook sommige goede mensen tegenhoudt omdat ze er verdacht uitzien.

Samenvatting

Het artikel laat zien dat je niet altijd een aangepaste, dure AI hoeft te bouwen om de Oekraïense grammatica perfect te corrigeren. Als je een standaard, krachtige AI een zeer gedetailleerde, taalspecifieke set regels geeft (geschreven in het Oekraïens) en een paar voorbeelden, kan deze bijna net zo goed presteren als de beste gespecialiseerde systemen. Het geheim is niet een groter brein; het is een betere instructiehandleiding.

Technische Samenvatting: Prompting voor Minimal-Edit Oekraïense Grammaticale Foutcorrectie

Probleemstelling
Grammaticale foutcorrectie (GEC) voor het Oekraïens leunde traditioneel op fijn afgestelde Large Language Models (LLMs), die dedicated GPU-infrastructuur vereisen. Hoewel fijn afgestelde modellen momenteel de benchmarks domineren, blijven via API toegankelijke LLMs grotendeels ongetest voor minimal-edit GEC—een paradigma waarbij het systeem alleen duidelijke grammaticale, spelling- en interpunctiefouten moet corrigeren terwijl de oorspronkelijke bewoording en stem van de auteur behouden blijven. Eerdere pogingen met via API toegankelijke modellen (bijv. GPT-3.5 in een zero-shot setting) leverden slechte resultaten op ( $F_{0.5} = 27,4$ ), ver onder de fijn afgestelde State-of-the-Art (SOTA) van $F_{0.5} = 73,14$ . De centrale vraag is of geavanceerde prompting-strategieën deze kloof kunnen dichten zonder de computationele kosten van fine-tuning.

Methodologie
De auteurs evalueerden 11 commerciële LLMs van vier providers (OpenAI, Anthropic, Google, Moonshot) en één open-source Oekraïens model (Lapa v0.1.2) op de UNLP 2023 GEC-only benchmark. De studie vergeleek systematisch vier prompting-strategieën:

Zero-shot: Algemene instructies om fouten te corrigeren.
Few-shot: Zero-shot instructies aangevuld met bron-doel correctieparen uit de trainingsset.
Minimal-edits + Zero-shot: Gedetailleerde systeem-prompts die de reikwijdte van correcties expliciet definiëren (bijv. specifieke Oekraïense morfologische regels, interpunctieconventies) en stilistische wijzigingen of synoniemvervanging verbieden.
Minimal-edits + Few-shot: Het combineren van gedetailleerde beperkingen met few-shot voorbeelden.

Daarnaast gebruikten de auteurs een LLM-ondersteunde prompt-optimalisatie pipeline (met behulp van Claude Code-vaardigheden) om de beste handmatige prompts iteratief te verfijnen op basis van foutanalyse van de ontwikkelingsset. De evaluatie gebruikte de officiële UNLP 2023 pipeline, waarbij span-niveau Precision, Recall en $F_{0.5}$ werden berekend met een Oekraïense adaptatie van ERRANT.

Belangrijkste Bevindingen en Resultaten

Prestatiekloof: De beste zero-shot configuratie (Claude Opus 4.6 met Oekraïense instructies) bereikte $F_{0.5} = 49,70$ , wat bijna het twee-voudige is van de eerdere GPT-3.5 baseline, maar nog steeds aanzienlijk achterblijft bij de fijn afgestelde SOTA.
Taalsensitiviteit van Prompts: Voor zero-shot en few-shot prompts presteerden Engelse instructies over het algemeen beter of gelijk aan Oekraïense instructies voor de meeste modellen. Claude-modellen waren de uitzondering, waarbij prestatiewinst werd getoond wanneer ze in het Oekraïens werden geprompt. Echter, voor de minimal-edits strategieën waren Oekraïense instructies essentieel omdat de specifieke linguïstische regels (bijv. vocatief paradigma's, eufonische voorzetselalternaties) niet precies in het Engels uitgedrukt konden worden.
Impact van Beperkingen: De minimal-edits beperking was de meest significante factor, die zowel zero-shot als few-shot baselines overtrof bij alle modellen. Het verminderde overcorrectie (false positives) drastisch door modellen te voorkomen zinnen te herschrijven of synoniemen te vervangen.
LLM-ondersteunde Optimalisatie: Het toepassen van LLM-ondersteunde optimalisatie op de beste handmatige prompt (Minimal-edits + Few-shot) leverde verdere verbeteringen op. De beste algehele configuratie, Gemini 3.1-Pro met geoptimaliseerde prompts, bereikte $F_{0.5} = 69,22$ . Dit resultaat dicht meer dan 90% van de prestatiekloof tussen de vorige via API toegankelijke baseline en de fijn afgestelde SOTA ($73,14$).
Foutanalyse: Gedetailleerde minimal-edits instructies verbeterden de prestaties aanzienlijk op regelgebaseerde categorieën zoals interpunctie en naamvalfouten. Ze zorgden er echter voor dat het model te conservatief werd bij laagfrequente grammaticale categorieën (bijv. voorzetsels, werkwoordstem), wat leidde tot een daling in de recall voor die specifieke typen. De studie identificeerde vijf terugkerende overcorrectiepatronen specif kind aan het Oekraïens, zoals de ononderscheiden normalisatie van en-dashes naar em-dashes en het instorten van acceptabele morfologische varianten.

Betekenis en Claims
Het artikel beweert de eerste systematische evaluatie te zijn van prompting-strategieën voor minimal-edit Oekraïense GEC met behulp van via API toegankelijke LLMs. De primaire betekenis ligt in het aantonen dat prompting alleen al competitief kan zijn met fijn afgestelde systemen, waardoor de kloof van ~45 punten naar ~4 punten op de $F_{0.5}$ metriek wordt verkleind.

De auteurs benadrukken vier kernpunten:

Instructietaal: Hoewel Engels volstaat voor algemene prompts, is Oekraïens vereist voor precieze minimal-edits beperkingen.
Strategiehiërarchie: Minimal-edits beperkingen zorgen voor de grootste winst, gevolgd door few-shot voorbeelden.
Optimalisatie Overdraagbaarheid: LLM-ondersteunde prompt-optimalisatie verbetert de prestaties op de modelfamilie waarvoor het is afgestemd (bijv. Gemini), maar draagt niet betrouwbaar over naar andere families (bijv. Claude-modellen verslechterden met geoptimaliseerde prompts).
Trade-offs: Gedetailleerde prompting verbetert de precisie op hoogfrequente, regelgebaseerde fouten, maar riskeert het onderdrukken van correcties op laagfrequente, ambigue grammaticale categorieën.

Het werk concludeert dat hoewel fijn afgestelde modellen de SOTA blijven, zorgvuldig ontworpen prompting-strategieën een lichtgewicht, toegankelijk alternatief bieden dat een prestatie nabij de SOTA bereikt voor Oekraïense GEC.