How Far Can Prompting Go for Minimal-Edit Ukrainian Grammatical Error Correction?

Sintesi Tecnica: Prompting per la Correzione degli Errori Grammaticali dell'Ucraino a Edizione Minima

Definizione del Problema
La Correzione degli Errori Grammaticali (GEC) per l'ucraino si è tradizionalmente basata su modelli linguistici di grandi dimensioni (LLM) sottoposti a fine-tuning, che richiedono un'infrastruttura GPU dedicata. Sebbene i modelli sottoposti a fine-tuning dominino attualmente i benchmark, gli LLM accessibili tramite API commerciali rimangono ampiamente non testati per la GEC a editing minimo — un paradigma in cui il sistema deve correggere solo errori grammaticali, ortografici e di punteggiatura evidenti, preservando al contempo il lessico e la voce originali dell'autore. I tentativi precedenti utilizzando modelli accessibili tramite API (ad es. GPT-3.5 in un contesto zero-shot) hanno prodotto risultati scarsi ($F_{0.5} = 27,4$), ben al di sotto dello stato dell'arte (SOTA) del fine-tuning ($F_{0.5} = 73,14$). La questione centrale è se strategie di prompting avanzate possano colmare questo divario senza il costo computazionale del fine-tuning.

Metodologia
Gli autori hanno valutato 11 LLM commerciali di quattro fornitori (OpenAI, Anthropic, Google, Moonshot) e un modello open-source ucraino (Lapa v0.1.2) sul benchmark UNLP 2023 GEC-only. Lo studio ha confrontato sistematicamente quattro strategie di prompting:

1. Zero-shot: Istruzioni generali per correggere gli errori.
2. Few-shot: Istruzioni zero-shot aumentate da coppie correzione sorgente-target tratte dal set di addestramento.
3. Minimal-edits + Zero-shot: Prompt di sistema dettagliati che definiscono esplicitamente l'ambito delle correzioni (ad es. specifiche regole morfologiche ucraine, convenzioni di punteggiatura) e proibiscono modifiche stilistiche o la sostituzione di sinonimi.
4. Minimal-edits + Few-shot: Combinazione di vincoli dettagliati con esempi few-shot.

Inoltre, gli autori hanno impiegato una pipeline di ottimizzazione dei prompt assistita da LLM (utilizzando le capacità di Claude Code) per raffinare iterativamente i migliori prompt manuali basandosi sull'analisi degli errori del set di sviluppo. La valutazione ha utilizzato la pipeline ufficiale UNLP 2023, calcolando Precision, Recall e $F_{0.5}$ a livello di span utilizzando un adattamento ucraino di ERRANT.

Risultati Chiave e Conclusioni

• Divario di Performance: La migliore configurazione zero-shot (Claude Opus 4.6 con istruzioni in ucraino) ha raggiunto $F_{0.5} = 49,70$, quasi raddoppiando il precedente baseline di GPT-3.5, ma rimanendo comunque significativamente distante dal SOTA del fine-tuning.
• Sensibilità alla Lingua del Prompt: Per i prompt zero-shot e few-shot, le istruzioni in inglese hanno generalmente performato meglio o ugualmente alle istruzioni in ucraino per la maggior parte dei modelli. I modelli Claude sono stati l'eccezione, mostrando miglioramenti delle prestazioni quando istruiti in ucraino. Tuttavia, per le strategie di minimal-edits, le istruzioni in ucraino erano essenziali perché le specifiche regole linguistiche (ad es. paradigmi del caso vocativo, alternanze eufoniche delle preposizioni) non potevano essere espresse con precisione in inglese.
• Impatto dei Vincoli: Il vincolo di minimal-edits è stato il fattore più significativo, superando sia i baseline zero-shot che quelli few-shot in tutti i modelli. Ha ridotto drasticamente la sovracorrezione (falsi positivi) impedendo ai modelli di riscrivere le frasi o sostituire i sinonimi.
• Ottimizzazione Assistita da LLM: L'applicazione dell'ottimizzazione assistita da LLM al miglior prompt manuale (Minimal-edits + Few-shot) ha prodotto ulteriori miglioramenti. La migliore configurazione complessiva, Gemini 3.1-Pro con prompt ottimizzati, ha raggiunto $F_{0.5} = 69,22$. Questo risultato colma oltre il 90% del divario di performance tra il precedente baseline accessibile tramite API e il SOTA del fine-tuning ($73,14$).
• Analisi degli Errori: Le istruzioni dettagliate di minimal-edits hanno migliorato significativamente le prestazioni su categorie basate su regole come la punteggiatura e gli errori di caso. Tuttavia, hanno causato una tendenza del modello a diventare eccessivamente conservativo su categorie grammaticali a bassa frequenza (ad es. preposizioni, voce del verbo), portando a un calo della recall per tali tipi specifici. Lo studio ha identificato cinque schemi ricorrenti di sovracorrezione specifici per l'ucraino, come la normalizzazione indiscriminata da en-dash a em-dash e il collasso di varianti morfologiche accettabili.

Significatività e Rivendicazioni
Il documento sostiene di essere la prima valutazione sistematica delle strategie di prompting per la GEC ucraina a editing minimo utilizzando LLM accessibili tramite API. La sua principale significatività risiede nel dimostrare che il solo prompting può essere competitivo con i sistemi sottoposti a fine-tuning, riducendo il divario da circa 45 punti a circa 4 punti sulla metrica $F_{0.5}$.

Gli autori sottolineano quattro punti chiave:

1. Lingua delle Istruzioni: Mentre l'inglese è sufficiente per i prompt generici, l'ucraino è necessario per i vincoli precisi di minimal-edits.
2. Gerarchia delle Strategie: I vincoli di minimal-edits forniscono i maggiori guadagni, seguiti dagli esempi few-shot.
3. Trasferibilità dell'Ottimizzazione: L'ottimizzazione del prompt assistita da LLM migliora le prestazioni sulla famiglia di modelli per cui è stata calibrata (ad es. Gemini), ma non si trasferisce in modo affidabile ad altre famiglie (ad es. i modelli Claude sono peggiorati con i prompt ottimizzati).
4. Compromessi: Il prompting dettagliato migliora la precisione sugli errori ad alta frequenza basati su regole, ma rischia di sopprimere le correzioni su categorie grammaticali ambigue a bassa frequenza.

Il lavoro conclude che, sebbene i modelli sottoposti a fine-tuning rimangano il SOTA, le strategie di prompting accuratamente progettate offrono un'alternativa leggera e accessibile che raggiunge prestazioni vicine al SOTA per la GEC dell'ucraino.