💬 NLP

How Far Can Prompting Go for Minimal-Edit Ukrainian Grammatical Error Correction?

Cet article démontre que le fait de solliciter stratégiquement les LLM commerciaux et open-source avec des instructions de modification minimale spécifiques à l'ukrainien et des exemples de type few-shot permet d'atteindre une performance proche de l'état de l'art en matière de correction grammaticale de l'ukrainien, comblant plus de 90 % de l'écart avec les modèles affinés tout en révélant des modèles de surcorrection linguistique spécifiques.

Auteurs originaux : Kateryna Karpo, Artem Chernodub

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kateryna Karpo, Artem Chernodub

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami qui apprend à écrire un ukrainien parfait. Vous voulez l'aider à corriger ses erreurs, mais vous avez une règle très précise : vous ne pouvez corriger que les erreurs réelles. Vous ne pouvez pas réécrire ses phrases pour qu'elles paraissent plus « élégantes », changer ses choix de mots ou améliorer son style. Vous voulez simplement corriger les fautes de frappe, les virgules manquantes et la grammaire incorrecte, en laissant sa voix unique exactement telle quelle.

Ce document traite de l'enseignement de cette règle stricte à de puissants « cerveaux » d'IA (les grands modèles de langage) afin qu'ils puissent la suivre sans avoir besoin d'être réentraînés de zéro.

Voici l'histoire de leur expérience, expliquée simplement :

Le Problème : L'éditeur trop enthousiaste

Les chercheurs ont essayé d'utiliser des modèles d'IA célèbres (comme ceux de Google, OpenAI et Anthropic) pour corriger des textes ukrainiens.

Le problème : Quand ils demandaient simplement à l'IA : « Corrige cette phrase », l'IA agissait comme un éditeur trop enthousiaste. Elle ne se contentait pas de corriger les fautes de frappe ; elle réécrivait toute la phrase, remplaçait les mots par des synonymes et changeait le style.
Le résultat : Parce que l'IA modifiait des choses qui n'étaient pas réellement cassées, elle obtenait un score faible. Elle « corrigeait » des choses qui n'avaient pas besoin d'être corrigées.

La Solution : Le manuel de règles « Édition Minimale »

Les chercheurs ont réalisé que pour que l'IA se comporte correctement, ils devaient lui donner un manuel d'instructions très spécifique et détaillé, écrit en ukrainien. Ils ont appelé cela la stratégie des « Éditions Minimales » (Minimal-Edits).

Voyez cela comme si l'on donnait une recette stricte à un robot :

La Règle : « Ne corrigez que les erreurs évidentes comme l'orthographe et la ponctuation. »
L'Interdiction : « Ne changez PAS les mots de l'auteur. N'utilisez PAS de synonymes. Ne réécrivez PAS la phrase. »
Les Précisions : Ils ont inclus de minuscules règles spécifiques à la langue, comme « Utilisez un tiret long (—) pour le dialogue, et non un tiret court (-) » ou « Changez le nom "Nastya" en "Naste" lorsque vous vous adressez directement à elle. »

L'Expérience : Tester les règles

Ils ont testé 11 modèles d'IA commerciaux différents et un modèle ukrainien en open-source. Ils ont essayé quatre manières différentes de demander à l'IA de travailler :

Zero-shot : Une simple commande (« Corrige ceci »).
Few-shot : Une simple commande accompagnée de quelques exemples de corrections correctes.
Minimal-Edits (Zero-shot) : Le manuel de règles strict, mais sans exemples.
Minimal-Edits (Few-shot) : Le manuel de règles strict plus des exemples.

La Grande Découverte :
Les instructions « Minimal-Edits » étaient la clé magique. Même sans exemples, le fait de dire à l'IA exactement ce qu'elle ne devait pas faire (en ukrainien) l'empêchait de réécrire le texte. Lorsqu'ils ont combiné les règles strictes avec quelques exemples, l'IA est devenue incroyablement précise.

Le « Coach » (Optimisation assistée par l'IA)

Les chercheurs ne se sont pas arrêtés là. Ils ont utilisé une IA pour agir comme un « coach » pour les prompts (instructions).

Le coach examinait les endroits où l'IA faisait des erreurs.
Il ajustait ensuite le manuel d'instructions en disant : « Hé, arrête de faire cette chose spécifique. »
Il a répété ce processus encore et encore jusqu'à ce que les instructions soient parfaites.

Les Résultats : Combler l'écart

Avant cette étude, la meilleure IA ne pouvait obtenir qu'environ 27 points sur 100 à ce test spécifique (en utilisant un ancien modèle). La meilleure IA ajustée par l'humain (qui nécessite du matériel informatique coûteux) obtenait 73 points.

En utilisant ces prompts ingénieux et la méthode du « coach », les chercheurs ont permis à une IA commerciale (Gemini 1.5-Pro) d'obtenir 69 points.

Ce que cela signifie : Ils ont comblé 90 % de l'écart entre une IA bon marché et facile à utiliser et l'IA spécialisée nécessitant des supercalculateurs, simplement en changeant la façon de poser la question.

Le Bémol : L'IA « Trop Prudente »

Il y avait un inconvénient. Les règles strictes fonctionnaient si bien que l'IA est devenue trop prudente.

Elle a cessé de faire des erreurs de ponctuation et de grammaire (super !).
Mais elle a aussi cessé de corriger certaines erreurs grammaticales rares et complexes parce qu'elle avait peur d'y toucher (dommage !).
C'est comme un garde qui empêche l'entrée des mauvaises personnes, mais qui finit par empêcher aussi l'entrée de certaines bonnes personnes parce qu'elles ont l'air suspectes.

Résumé

Cette étude montre qu'il n'est pas toujours nécessaire de construire une IA personnalisée et coûteuse pour corriger parfaitement la grammaire ukrainienne. Si vous donnez à une IA standard et puissante un ensemble de règles très détaillé et spécifique à la langue (écrit en ukrainien) ainsi que quelques exemples, elle peut presque aussi bien performer que les meilleurs systèmes spécialisés. Le secret n'est pas un cerveau plus gros ; c'est un meilleur manuel d'instructions.

Résumé technique : Le prompting pour la correction grammaticale de l'ukrainien à édition minimale

Énoncé du problème
La correction grammaticale (GEC) pour l'ukraine a traditionnellement reposé sur des modèles de langage (LLM) affinés (fine-tuned), qui nécessitent une infrastructure GPU dédiée. Bien que les modèles affinés dominent actuellement les benchmarks, les LLM accessibles via API commerciale restent largement inexplorés pour la GEC à édition minimale — un paradigme où le système doit corriger uniquement les erreurs grammaticales, orthographiques et de ponctuation évidentes tout en préservant la formulation et la voix originales de l'auteur. Les tentatives précédentes utilisant des modèles via API (par exemple, GPT-3.5 en mode zero-shot) ont donné des résultats médiocres ( $F_{0.5} = 27,4$ ), bien en dessous de l'état de l'art (SOTA) des modèles affinés ( $F_{0.5} = 73,14$ ). La question centrale est de savoir si des stratégies de prompting avancées peuvent combler cet écart sans le coût computationnel de l'affinage.

Méthodologie
Les auteurs ont évalué 11 LLM commerciaux provenant de quatre fournisseurs (OpenAI, Anthropic, Google, Moonshot) ainsi qu'un modèle open-source ukrainien (Lapa v0.1.2) sur le benchmark UNLP 2023 dédié à la GEC. L'étude a comparé systématiquement quatre stratégies de prompting :

Zero-shot : Instructions générales pour corriger les erreurs.
Few-shot : Instructions zero-shot augmentées de paires de correction source-cible issues de l'ensemble d'entraînement.
Minimal-edits + Zero-shot : Prompts de système détaillés définissant explicitement le champ des corrections (par exemple, règles morphologiques ukrainiennes spécifiques, conventions de ponctuation) et interdisant les changements stylistiques ou la substitution de synonymes.
Minimal-edits + Few-shot : Combinaison de contraintes détaillées et d'exemples few-shot.

De plus, les auteurs ont employé un pipeline d'optimisation de prompt assistée par LLM (utilisant les capacités de Claude Code) pour affiner de manière itérative les meilleurs prompts manuels basés sur l'analyse des erreurs de l'ensemble de développement. L'évaluation a utilisé le pipeline officiel UNLP 2023, calculant la précision, le rappel et le $F_{0.5}$ au niveau des segments (span-level) en utilisant une adaptation ukrainienne d'ERRANT.

Principaux résultats et conclusions

Écart de performance : La meilleure configuration zero-shot (Claude Opus 4.6 avec instructions en ukrainien) a atteint $F_{0.5} = 49,70$ , doublant presque la ligne de base précédente de GPT-3.5, mais restant encore nettement en retrait par rapport au SOTA affiné.
Sensibilité à la langue du prompt : Pour les prompts zero-shot et few-shot, les instructions en anglais ont généralement obtenu des résultats meilleurs ou égaux aux instructions en ukrainien pour la plupart des modèles. Les modèles Claude étaient l'exception, montrant des gains de performance lorsqu'ils étaient sollicités en ukrainien. Cependant, pour les stratégies de minimal-edits, les instructions en ukrainien étaient essentielles car les règles linguistiques spécifiques (par exemple, les paradigmes du cas vocatif, les alternances euphoniques des prépositions) ne pouvaient pas être exprimées avec précision en anglais.
Impact des contraintes : La contrainte de minimal-edits a été le facteur le plus significatif, surpassant les bases zero-shot et few-shot sur tous les modèles. Elle a considérablement réduit la surcorrection (faux positifs) en empêchant les modèles de réécrire les phrases ou de substituer des synonymes.
Optimisation assistée par LLM : L'application de l'optimisation assistée par LLM au meilleur prompt manuel (Minimal-edits + Few-shot) a permis d'obtenir de nouvelles améliorations. La meilleure configuration globale, Gemini 3.1-Pro avec des prompts optimisés, a atteint $F_{0.5} = 69,22$ . Ce résultat comble plus de 90 % de l'écart de performance entre la précédente ligne de base des modèles via API et le SOTA affiné ($73,14$).
Analyse des erreurs : Les instructions détaillées de minimal-edits ont considérablement amélioré les performances sur les catégories basées sur des règles comme la ponctuation et les erreurs de cas. Cependant, elles ont poussé le modèle à devenir excessivement conservateur sur les catégories grammaticales à faible fréquence (par exemple, les prépositions, la voix verbale), entraînant une baisse du rappel pour ces types spécifiques. L'étude a identifié cinq schémas de surcorrection récurrents propres à l'ukrainien, tels que la normalisation indiscriminée des tirets moyens en tirets cadratins et l'effondrement de variantes morphologiques acceptables.

Signification et revendications
L'article prétend être la première évaluation systématique des stratégies de prompting pour la GEC de l'ukrainien à édition minimale utilisant des LLM accessibles via API. Sa principale importance réside dans la démonstration que le prompting seul peut être compétitif avec les systèmes affinés, réduisant l'écart de ~45 points à ~4 points sur la métrique $F_{0.5}$ .

Les auteurs soulignent quatre points clés :

Langue d'instruction : Bien que l'anglais suffise pour les prompts généraux, l'ukrainien est requis pour les contraintes précises de minimal-edits.
Hiérarchie des stratégies : Les contraintes de minimal-edits procurent les gains les plus importants, suivies des exemples few-shot.
Transférabilité de l'optimisation : L'optimisation de prompt assistée par LLM améliore la performance sur la famille de modèles pour laquelle elle a été ajustée (par exemple, Gemini), mais ne se transfère pas de manière fiable aux autres familles (par exemple, les modèles Claude ont dégradé avec les prompts optimisés).
Compromis : Un prompting détaillé améliore la précision sur les erreurs fréquentes basées sur des règles, mais risque de supprimer les corrections sur les catégories grammaticales ambiguës à faible fréquence.

L'étude conclut que bien que les modèles affinés restent le SOTA, les stratégies de prompting soigneusement élaborées offrent une alternative légère et accessible qui atteint une performance proche du SOTA pour la GEC de l'ukrainien.