How Far Can Prompting Go for Minimal-Edit Ukrainian Grammatical Error Correction?

Resumo Técnico: Prompting para Correção Gramatical de Ucraniano com Edição Mínima

Definição do Problema
A Correção de Erros Gramaticais (GEC) para o ucraniano tem dependido tradicionalmente de Modelos de Linguagem de Grande Escala (LLMs) ajustados (fine-tuned), que exigem infraestrutura dedicada de GPU. Embora os modelos ajustados dominem atualmente os benchmarks, os LLMs acessados via API comercial permanecem amplamente não testados para GEC de edição mínima — um paradigma onde o sistema deve corrigir apenas erros gramaticais, ortográficos e de pontuação claros, preservando a redação e a voz originais do autor. Tentativas anteriores utilizando modelos acessados via API (ex: GPT-3.5 em um cenário zero-shot) produziram resultados insatisfatórios ($F_{0.5} = 27,4$), muito abaixo do Estado da Arte (SOTA) ajustado de $F_{0.5} = 73,14$. A questão central é se estratégias avançadas de prompting podem fechar essa lacuna sem o custo computacional do ajuste fino (fine-tuning).

Metodologia
Os autores avaliaram 11 LLMs comerciais de quatro provedores (OpenAI, Anthropic, Google, Moonshot) e um modelo de código aberto em ucraniano (Lapa v0.1.2) no benchmark UNLP 2023 GEC-only. O estudo comparou sistematicamente quatro estratégias de prompting:

1. Zero-shot: Instruções gerais para corrigir erros.
2. Few-shot: Instruções zero-shot aumentadas com pares de correção origem-alvo do conjunto de treinamento.
3. Edição mínima + Zero-shot: Prompts de sistema detalhados definindo explicitamente o escopo das correções (ex: regras morfológicas específicas do ucraniano, convenções de pontuação) e proibindo mudanças estilísticas ou substituição de sinônimos.
4. Edição mínima + Few-shot: Combinando restrições detalhadas com exemplos de few-shot.

Adicionalmente, os autores empregaram um pipeline de otimização de prompt assistida por LLM (usando habilidades de Claude Code) para refinar iterativamente os melhores prompts manuais baseados na análise de erros do conjunto de desenvolvimento. A avaliação utilizou o pipeline oficial do UNLP 2023, computando Precisão, Recall e $F_{0.5}$ em nível de span usando uma adaptação ucraniana do ERRANT.

Principais Descobertas e Resultados

• Lacuna de Desempenho: A melhor configuração zero-shot (Claude Opus 4.6 com instruções em ucraniano) atingiu $F_{0.5} = 49,70$, quase dobrando a linha de base anterior do GPT-3.5, mas ainda ficando significativamente atrás do SOTA ajustado.
• Sensibilidade da Linguagem do Prompt: Para prompts zero-shot e few-shot, instruções em inglês geralmente performaram melhor ou igual a instruções em ucraniano para a maioria dos modelos. Os modelos Claude foram a exceção, mostrando ganhos de desempenho quando instruídos em ucraniano. No entanto, para as estratégias de edição mínima, as instruções em ucraniano foram essenciais porque as regras linguísticas específicas (ex: paradigmas do caso vocativo, alternâncias eufônicas de preposições) não podiam ser expressas com precisão em inglês.
• Impacto das Restrições: A restrição de edição mínima foi o fator mais significativo, superando tanto as linhas de base zero-shot quanto as de few-shot em todos os modelos. Ela reduziu drasticamente a sobrecorreção (falsos positivos) ao impedir que os modelos reescrevessem frases ou substituíssem sinônimos.
• Otimização Assistida por LLM: Aplicar a otimização assistida por LLM ao melhor prompt manual (Edição mínima + Few-shot) gerou novos incrementos. A melhor configuração geral, Gemini 3.1-Pro com prompts otimizados, alcançou $F_{0.5} = 69,22$. Este resultado fecha mais de 90% da lacuna de desempenho entre a linha de base anterior de acesso via API e o SOTA ajustado ($73,14$).
• Análise de Erros: Instruções detalhadas de edição mínima melhoraram significativamente o desempenho em categorias baseadas em regras, como pontuação e erros de caso. Contudo, fizeram com que o modelo se tornasse excessivamente conservador em categorias gramaticais de baixa frequência (ex: preposições, voz verbal), levando a uma queda no recall para esses tipos específicos. O estudo identificou cinco padrões recorrentes de sobrecorreção específicos do ucraniano, como a normalização indiscriminada de en-dashes para em-dashes e o colapso de variantes morfológicas aceitáveis.

Significância e Alegações
O artigo afirma ser a primeira avaliação sistemática de estratégias de prompting para GEC de edição mínima em ucraniano utilizando LLMs acessados via API. Sua principal significância reside em demonstrar que o prompting sozinho pode ser competitivo com sistemas ajustados, reduzindo a lacuna de ~45 pontos para ~4 pontos na métrica $F_{0.5}$.

Os autores enfatizam quatro conclusões principais:

1. Linguagem de Instrução: Embora o inglês seja suficiente para prompts gerais, o ucraniano é necessário para restrições precisas de edição mínima.
2. Hierarquia de Estratégia: As restrições de edição mínima proporcionam os maiores ganhos, seguidas pelos exemplos de few-shot.
3. Transferibilidade de Otimização: A otimização de prompt assistida por LLM melhora o desempenho na família de modelos para a qual foi ajustada (ex: Gemini), mas não se transfere de forma confiável para outras famílias (ex: modelos Claude degradaram com prompts otimizados).
4. Compromissos (Trade-offs): O prompting detalhado melhora a precisão em erros de alta frequência baseados em regras, mas corre o risco de suprimir correções em categorias gramaticais ambíguas de baixa frequência.

O trabalho conclui que, embora os modelos ajustados continuem sendo o SOTA, as estratégias de prompting cuidadosamente elaboradas oferecem uma alternativa leve e acessível que alcança um desempenho próximo ao SOTA para o GEC de ucraniano.