How Far Can Prompting Go for Minimal-Edit Ukrainian Grammatical Error Correction?

Resumen Técnico: Prompting para la Corrección de Errores Gramaticales en Ucraniano de Edición Mínima

Planteamiento del Problema
La Corrección de Errores Gramaticales (GEC, por sus siglas en inglés) para el ucraniano ha dependido tradicionalmente de modelos de lenguaje de gran escala (LLM) ajustados (fine-tuned), los cuales requieren una infraestructura de GPU dedicada. Aunque los modelos ajustados dominan actualmente los benchmarks, los LLM accedidos mediante API comercial permanecen mayoritariamente sin probar para la GEC de edición mínima—un paradigma donde el sistema debe corregir únicamente errores gramaticales, ortográficos y de puntuación claros, preservando la redacción y la voz original del autor. Los intentos previos utilizando modelos accedidos por API (por ejemplo, GPT-3.5 en un entorno zero-shot) arrojaron resultados deficientes ($F_{0.5} = 27.4$), muy por debajo del SOTA (Estado del Arte) de modelos ajustados de $F_{0.5} = 73.14$. La cuestión central es si las estrategias avanzadas de prompting pueden cerrar esta brecha sin el coste computacional del ajuste fino.

Metodología
Los autores evaluaron 11 LLM comerciales de cuatro proveedores (OpenAI, Anthropic, Google, Moonshot) y un modelo de código abierto en ucraniano (Lapa v0.1.2) en el benchmark UNLP 2023 de solo GEC. El estudio comparó sistemáticamente cuatro estrategias de prompting:

1. Zero-shot: Instrucciones generales para corregir errores.
2. Few-shot: Instrucciones zero-shot aumentadas con pares de corrección origen-objetivo del conjunto de entrenamiento.
3. Ediciones mínimas + Zero-shot: Prompts de sistema detallados que definen explícitamente el alcance de las correcciones (por ejemplo, reglas morfológicas específicas del ucraniano, convenciones de puntuación) y prohíben cambios estilísticos o la sustitución de sinónimos.
4. Ediciones mínimas + Few-shot: Combinación de restricciones detalladas con ejemplos de few-shot.

Además, los autores emplearon un pipeline de optimización de prompts asistida por LLM (utilizando habilidades de Claude Code) para refinar iterativamente los mejores prompts manuales basados en el análisis de errores del conjunto de desarrollo. La evaluación utilizó el pipeline oficial de UNLP 2023, computando Precisión, Recall y $F_{0.5}$ a nivel de segmento (span-level) utilizando una adaptación ucraniana de ERRANT.

Hallazgos Clave y Resultados

• Brecha de Rendimiento: La mejor configuración zero-shot (Claude Opus 4.6 con instrucciones en ucraniano) alcanzó $F_{0.5} = 49.70$, casi duplicando la línea base previa de GPT-3.5, pero aún rezagada significativamente respecto al SOTA de modelos ajustados.
• Sensibilidad del Lenguaje del Prompt: Para los prompts zero-shot y few-shot, las instrucciones en inglés generalmente funcionaron mejor o igual que las instrucciones en ucraniano para la mayoría de los modelos. Los modelos Claude fueron la excepción, mostrando mejoras de rendimiento cuando se les instruía en ucraniano. Sin embargo, para las estrategias de edición mínima, las instrucciones en ucraniano eran esenciales porque las reglas lingüísticas específicas (por ejemplo, paradigmas del caso vocativo, alternancias eufónicas de preposiciones) no podían expresarse con precisión en inglés.
• Impacto de las Restricciones: La restricción de edición mínima fue el factor más significativo, superando tanto a las líneas base zero-shot como a las few-shot en todos los modelos. Redujo drásticamente la sobrecorrección (falsos positivos) al evitar que los modelos reescribieran oraciones o sustituyeran sinónimos.
• Optimización Asistida por LLM: La aplicación de la optimización asistida por LLM al mejor prompt manual (Ediciones mínimas + Few-shot) produjo mejoras adicionales. La mejor configuración global, Gemini 3.1-Pro con prompts optimizados, alcanzó un $F_{0.5} = 69.22$. Este resultado cierra más del 90% de la brecha de rendimiento entre la línea base previa de acceso por API y el SOTA de modelos ajustados ($73.14$).
• Análisis de Errores: Las instrucciones detalladas de edición mínima mejoraron significamente el rendimiento en categorías basadas en reglas como puntuación y errores de caso. No obstante, causaron que el modelo se volviera excesivamente conservador en categorías gramaticales de baja frecuencia (por ejemplo, preposiciones, voz verbal), lo que provocó una caída en el recall para esos tipos específicos. El estudio identificó cinco patrones de sobrecorrección recurrentes específicos del ucraniano, tales como la normalización indiscriminada de guiones medios a guiones largos y el colapso de variantes morfológicas aceptables.

Significancia y Reivindicaciones
El artículo afirma ser la primera evaluación sistemática de estrategias de prompting para la GEC de edición mínima en ucraniano utilizando LLM accedidos por API. Su principal significancia radica en demostrar que el prompting por sí solo puede ser competitivo con los sistemas ajustados, reduciendo la brecha de aproximadamente 45 puntos a unos 4 puntos en la métrica $F_{0.5}$.

Los autores enfatizan cuatro conclusiones clave:

1. Lenguaje de Instrucción: Aunque el inglés es suficiente para prompts generales, el ucraniano es necesario para las restricciones precisas de edición mínima.
2. Jerarquía de Estrategias: Las restricciones de edición mínima proporcionan las mayores ganancias, seguidas de los ejemplos de few-shot.
3. Transferibilidad de la Optimización: La optimización de prompts asistida por LLM mejora el rendimiento en la familia de modelos para la que fue ajustada (por ejemplo, Gemini), pero no se transfiere de manera fiable a otras familias (por ejemplo, los modelos Claude degradaron con los prompts optimizados).
4. Compromisos (Trade-offs): El prompting detallado mejora la precisión en errores de alta frecuencia basados en reglas, pero corre el riesgo de suprimir correcciones en categorías gramaticales ambiguas de baja frecuencia.

El trabajo concluye que, si bien los modelos ajustados siguen siendo el SOTA, las estrategias de prompting cuidadosamente diseñadas ofrecen una alternativa ligera y accesible que logra un rendimiento cercano al SOTA para la GEC en ucraniano.