Improving Estonian Text Simplification through Pretrained Language Models and Custom Datasets

Resumen Técnico: Mejora de la Simplificación de Textos en Estonio mediante Modelos de Lenguaje Preentrenados y Conjuntos de Datos Personalizados

Planteamiento del Problema
La Simplificación Automática de Textos (ATS, por sus siglas en inglés) tiene como objetivo convertir textos complejos en formas más sencillas preservando el significado, ayudando así a estudiantes de idiomas, personas con discapacidades cognitivas y lectores con baja alfabetización. Aunque la investigación en ATS es madura para el inglés, utilizando sistemas basados en reglas, modelos neuronales y conjuntos de datos a gran escala, las lenguas con pocos recursos como el estonio permanecen desatendidas. Los esfuerzos existentes de ATS en estonio se han limitado a tesis de grado a pequeña escala centradas en la sustitución léxica o reglas sintácticas basadas en plantillas, careciendo de conjuntos de datos a gran escala disponibles públicamente. Además, la dependencia de Grandes Modelos de Lenguaje (LLM) propietarios como GPT-4.0 plantea preocupaciones sobre la transparencia, el costo y la reproducibilidad, particularmente para idiomas donde las API comerciales pueden no estar optimizadas.

Metodología
Los autores proponen un enfoque de dos vertientes para la ATS en estonio: comparar una línea base de Traducción Automática Neuronal (NMT) frente a un Gran Modelo de Lenguaje (LLM) ajustado (fine-tuned).

1. Construcción del Conjunto de Datos (Conjunto de Datos de Simplificación en Estonio):
   Para abordar la escasez de datos de entrenamiento, los autores construyeron un nuevo conjunto de datos de 50,416 pares de oraciones combinando tres fuentes:

• Corpus Traducidos: Porciones traducidas manualmente de TurkCorpus (2,359 oraciones en inglés con 8 simplificaciones cada una) y del Wikipedia Data Set 2.0 (167k pares en inglés). Solo se retuvieron los pares donde la relación de simplificación se mantenía clara tras la traducción.
• Generación mediante GPT-4.0: Aprovechando GPT-4.0 para generar un gran volumen de simplificaciones a partir de artículos de Wikipedia en estonio. Los autores emplearon un "prompting de estilo agente", donde se instruyó al modelo para actuar como un "asistente de simplificación léxica" específico o un "asistente de reestructuración sintáctica". Esta estrategia de prompting secuencial (primero léxica, luego sintáctica) resultó más efectiva que el prompting genérico.
• Validación Humana: Anotadores nativos de estonio corrigieron un subconjunto de las salidas de GPT-4.0 para asegurar la consistencia lingüística y la coherencia semántica.
  El conjunto de datos final incluye directrices específicas adaptadas a la morfosintaxis del estonio, centrándose en la complejidad gramatical (flexión, tiempo), la complejidad sintáctica (división de cláusulas) y la simplificación léxica (reemplazo de sinónimos).

2. Arquitecturas de Modelos:

• Línea Base (OpenNMT): Un modelo de traducción automática neuronal basado en el framework OpenNMT-py. Trata la simplificación como una tarea de traducción monolingüe (estonio complejo a estonio simple) utilizando una arquitectura de codificador-decodificador con mecanismos de atención. Fue entrenado con el conjunto de datos construido.
• Modelo Propuesto (LLaMA Ajustado): Los autores ajustaron LLaMA 3.1 (8 mil millones de parámetros) sobre el mismo conjunto de datos. Utilizaron la librería Unsloth para optimizar el proceso mediante Low-Rank Adaptation (LoRA) y QLoRA, reduciendo el consumo de memoria y los costos computacionales. El modelo fue entrenado para generar oraciones simplificadas preservando el significado.

3. Protocolo de Evaluación:
   El estudio empleó una estrategia de evaluación dual sobre un conjunto de prueba reservado de 100 oraciones complejas (simplificadas manualmente por lingüistas nativos para formar un estándar de oro):

• Métricas Automáticas: BLEU (solapamiento de n-gramas), SARI (métrica específica de simplificación que premia adiciones, eliminaciones y retenciones) y FKGL (Nivel de Grado Flesch-Kincaid para legibilidad).
• Evaluación Humana: Dos lingüistas nativos de estonio calificaron 50 pares de oraciones de cada modelo en una escala de 0 a 4 a través de cuatro dimensiones: Gramaticalidad, Legibilidad, Preservación del Significado y Esfuerzo de Reducción.

Contribuciones Clave

• Lanzamiento del Conjunto de Datos: La creación y el lanzamiento público del primer conjunto de datos de simplificación en estonio a gran escala, combinando pares traducidos, generados por GPT-4.0 y validados manualmente.
• Comparación Arquitectónica: Un benchmark directo entre OpenNMT (enfoque NMT) frente a LLaMA ajustado para la ATS en estonio.
• Marco Metodológico: Un pipeline reproducible para la simplificación de lenguas con pocos recursos utilizando LLMs de acceso abierto, ajuste ligero (Unsloth/LoRA) y estrategias de prompting basadas en la personalidad (persona-based prompting).
• Evidencia Empírica: Demostración de que los LLM ajustados superan a las líneas base tradicionales de NMT en entornos de pocos recursos cuando son evaluados por calificadores humanos.

Resultos

• Métricas Automáticas: Los resultados fueron mixtos. OpenNMT logró un puntaje BLEU más alto (30.05 vs. 27.04), indicando un mayor solapamiento de n-gramas con los textos de referencia. Sin embargo, LLaMA 3.1 logró un puntaje SARI más alto (49.72 vs. 47.43), lo que sugiere ediciones de simplificación más efectivas (eliminaciones y adiciones apropiadas). LLaMA también mostró una ligera ventaja en legibilidad (puntaje FKGL más bajo: 8.71 vs. 9.02).
• Evaluación Humana: LLaMA 3.1 superó significativamente a OpenNMT en todas las dimensiones calificadas por humanos. La brecha más notable fue en la Preservación del Significado (3.24 para LLaMA vs. 1.76 para OpenNMT). LLaMA también obtuvo puntuaciones más altas en Gramaticalidad (3.46 vs. 2.26) y Legibilidad (3.26 vs. 2.04). OpenNMT tuvo dificultades con la integridad semántica y la fluidez, fallando a menudo en la aplicación de estrategias de reducción efectivas.

Significancia y Reivindicaciones
El artículo sostiene que, si bien las métricas automáticas estándar (BLEU/SARI) proporcionan puntos de referencia útiles, son insuficientes para capturar aspectos cualitativos críticos de la simplificación, como la preservación semántica y el matiz. El estudio subraya que los LLM de acceso abierto ajustados (LLaMA) son altamente efectivos para la simplificación de textos en lenguas con pocos recursos, siempre que se disponga de un conjunto de datos personalizado.

Los autores enfatizan que su enfoque no se limita al estonio. Al utilizar modelos de acceso abierto, marcos de ajuste ligero y estrategias de recolección de datos adaptables (incluyendo el prompting basado en la personalidad), la metodología puede transferirse a otras lenguas con pocos recursos que presenten complejidades morfológicas o sintácticas similares. El trabajo busca apoyar aplicaciones prácticas, tales como herramientas educativas y la accesibilidad para hablantes de estonio con discapacidades cognitivas, y proporciona una base reproducible para la futura investigación en la simplificación de documentos a nivel de documento.