Improving Estonian Text Simplification through Pretrained Language Models and Custom Datasets

Resumo Técnico: Melhorando a Simplificação de Textos em Estoniano através de Modelos de Linguagem Pré-treinados e Conjuntos de Dados Customizados

Definição do Problema
A Simplificação Automática de Texto (ATS - Automatic Text Simplification) visa converter textos complexos em formas mais simples, preservando o significado, auxiliando estudantes de idiomas, indivíduos com deficiências cognitivas e leitores com baixo nível de alfabetização. Embora a pesquisa em ATS seja madura para o inglês, utilizando sistemas baseados em regras, modelos neurais e conjuntos de dados de larga escala, línguas de baixos recursos como o estoniano permanecem subatendidas. Os esforços existentes de ATS em estoniano limitaram-se a teses de graduação de pequena escala focadas em substituição lexical ou regras sintáticas baseadas em templates, carecendo de conjuntos de dados de larga escala e publicamente disponíveis. Além disso, a dependência de Grandes Modelos de Linguagem (LLMs) proprietários, como o GPT-4.0, levanta preocupações sobre transparência, custo e reprodutibilidade, particularmente para línguas onde as APIs comerciais podem não estar otimizadas.

Metodologia
Os autores propõem uma abordagem de duas frentes para a ATS em estoniano: comparando um baseline de Tradução Automática Neural (NMT) contra um Modelo de Linguagem Grande (LLM) ajustado (fine-tuned).

1. Construção do Conjunto de Dados (Conjunto de Dados de Simplificação em Estoniano):
   Para enfrentar a escassez de dados de treinamento, os autores construíram um novo conjunto de dados de 50.416 pares de sentenças combinando três fontes:

   • Corpora Traduzidos: Partes traduzidas manualmente do TurkCorpus (2.359 sentenças em inglês com 8 simplificações cada) e do Wikipedia Data Set 2.0 (167k pares em inglês). Foram retidos apenas os pares onde a relação de simplificação permaneceu clara após a tradução.
   • Geração via GPT-4.0: Utilizando o GPT-4.0 para gerar um grande volume de simplificações a partir de artigos da Wikipédia em estoniano. Os autores empregaram o prompting do tipo "agente", onde o modelo foi instruído a agir como um "assistente de simplificação lexical" específico ou um "assistente de reestruturação sintática". Esta estratégia de prompting sequencial (primeiro lexical, depois sintático) provou ser mais eficaz do que o prompting genérico.
   • Validação Humana: Anotadores nativos de estoniano corrigiram um subconjunto das saídas do GPT-4.0 para garantir consistência linguística e coerência semântica.
     O conjunto de dados final inclui diretrizes específicas adaptadas à morfossintaxe do estoniano, focando em complexidade gramatical (flexão, tempo), complexidade sintática (divisão de cláusulas) e simplificação lexical (substituição por sinônimos).

2. Arquiteturas de Modelos:

   • Baseline (OpenNMT): Um modelo de tradução automática neural baseado no framework OpenNMT-py. Ele trata a simplificação como uma tarefa de tradução monolíngue (estoniano complexo para estoniano simples) usando uma arquitetura encoder-decoder com mecanismos de atenção. Foi treinado no conjunto de dados construído.
   • Modelo Proposto (LLaMA com Fine-tuning): Os autores realizaram o fine-tuning do LLaMA 3.1 (8 bilhões de parâmetros) no mesmo conjunto de dados. Eles utilizaram a biblioteca Unsloth para otimizar o processo via Low-Rank Adaptation (LoRA) e QLoRA, reduzindo o consumo de memória e os custos computacionais. O modelo foi treinado para gerar sentenças simplificadas enquanto preserva o significado.

3. Protocolo de Avaliação:
   O estudo empregou uma estratégia de avaliação dupla em um conjunto de teste retido (100 sentenças complexas, simplificadas manualmente por linguistas nativos para formar um padrão ouro):

   • Métricas Automáticas: BLEU (sobreposição de n-gramas), SARI (métrica específica de simplificação que recompensa adições, deleções e retenções) e FKGL (Flesch-Kincaid Grade Level para legibilidade).
   • Avaliação Humana: Dois linguistas nativos de estoniano avaliaram 50 pares de sentenças de cada modelo em uma escala de 0 a 4 em quatro dimensões: Gramaticalidade, Legibilidade, Preservação de Significado e Esforço de Redução.

Principais Contribuições

• Lançamento do Conjunto de Dados: A criação e o lançamento público do primeiro conjunto de dados de simplificação em estoniano de larga escala, combinando pares traduzidos, gerados por GPT-4.0 e validados manualmente.
• Comparação Arquitetural: Um benchmark direto entre OpenNMT (abordagem NMT) versus LLaMA com fine-tuning para ATS em estoniano.
• Framework Metodológico: Um pipeline reprodutível para simplificação de línguas de baixos recursos usando LLMs de acesso aberto, fine-tuning leve (Unsloth/LoRA) e estratégias de prompting baseadas em personas.
• Evidência Empírica: Demonstração de que LLMs com fine-tuning superam os baselines tradicionais de NMT em cenários de baixos recursos quando avaliados por avaliadores humanos.

Resultados

• Métricas Automáticas: Os resultados foram mistos. O OpenNMT alcançou uma pontuação BLEU superior (30.05 vs. 27.04), indicando maior sobreposição de n-gramas com os textos de referência. No entanto, o LLaMA 3.1 obteceu uma pontuação SARI mais alta (49.72 vs. 47.43), sugerindo edições de simplificação mais eficazes (deleções e adições apropriadas). O LLaMA também mostrou uma ligeira vantagem na legibilidade (menor pontuação FKGL: 8.71 vs. 9.02).
• Avaliação Humana: O LLaMA 3.1 superou significativamente o OpenNMT em todas as dimensões avaliadas por humanos. A lacuna mais notável foi na Preservação de Significado (3.24 para LLaMA vs. 1.76 para OpenNMT). O LLaMA também pontuou mais alto em Gramaticalidade (3.46 vs. 2.26) e Legibilidade (3.26 vs. 2.04). O OpenNMT teve dificuldades com integridade semântica e fluência, falhando frequentemente em aplicar estratégias de redução eficazes.

Significância e Alegações
O artigo afirma que, embora as métricas automáticas padrão (BLEU/SARI) forneçam benchmarks úteis, elas são insuficientes para capturar aspectos qualitativos críticos da simplificação, como preservação semântica e nuances. O estudo ressalta que LLMs de acesso aberto com fine-tuning (LLaMA) são altamente eficazes para a simplificação de texto em línguas de baixos recursos, desde que um conjunto de dados customizado esteja disponível.

Os autores enfatizam que sua abordagem não se limita ao estoniano. Ao utilizar modelos de acesso aberto, frameworks de fine-tuning leves e estratégias de coleta de dados adaptáveis (incluindo prompting baseado em persona), a metodologia pode ser transferida para outras línguas de baixos recursos com complexidades morfológicas ou sintáticas semelhantes. O trabalho visa apoiar aplicações práticas, como ferramentas educacionais e acessibilidade para falantes de estoniano com deficiências cognitivas, e fornece uma base reprodutível para futuras pesquisas de simplificação em nível de documento.