Improving Estonian Text Simplification through Pretrained Language Models and Custom Datasets

Sintesi Tecnica: Miglioramento della Semplificazione del Testo Estone attraverso Modelli di Linguaggio Pre-addestrati e Dataset Personalizzati

Definizione del Problema
La Semplificazione Automatica del Testo (ATS) mira a convertire testi complessi in forme più semplici preservando il significato, per assistere l'apprendimento linguistico, individui con compromissioni cognitive e lettori con bassa alfabetizzazione. Sebbene la ricerca sull'ATS sia matura per l'inglese, utilizzando sistemi basati su regole, modelli neurali e dataset su larga scala, le lingue con scarse risorse come l'estone rimangono trascurate. Gli sforzi esistenti per l'ATS in estone sono stati limitati a tesi di laurea su piccola scala focalizzate sulla sostituzione lessicale o su regole sintattiche guidate da template, mancando di dataset su larga scala e pubblicamente disponibili. Inoltre, la dipendenza da Large Language Models (LLM) proprietari come GPT-4.0 solleva preoccupazioni riguardanti la trasparenza, i costi e la riproducibilità, in particolare per lingue in cui le API commerciali potrebbero non essere ottimizzate.

Metodologia
Gli autori propongono un approccio a due fronti per l'ATS in estone: il confronto tra una baseline di Traduzione Automatica Neurale (NMT) e un Large Language Model (LLM) sottoposto a fine-tuning.

1. Costruzione del Dataset (Dataset di Semplificazione Estone):
   Per affrontare la scarsità di dati di addestramento, gli autori hanno costruito un nuovo dataset di 50.416 coppie di frasi combinando tre fonti:

• Corpora Tradotti: Porzioni tradotte manualmente del TurkCorpus (2.359 frasi inglesi con 8 semplificazioni ciascuna) e del Wikipedia Data Set 2.0 (167k coppie inglesi). Sono state mantenute solo le coppie in cui la relazione di semplificazione rimaneva chiara dopo la traduzione.
• Generazione tramite GPT-4.0: Sfruttando GPT-4.0 per generare un grande volume di semplificazioni da articoli di Wikipedia in estone. Gli autori hanno impiegato un prompting "in stile agente", dove il modello riceveva l'istruzione di agire come un specifico "assistente alla semplificazione lessicale" o un "assistente alla ristrutturazione sintattica". Questa strategia di prompting sequenziale (prima lessicale, poi sintattica) si è rivelata più efficace rispetto al prompting generico.
• Validazione Umana: Annotatori madrelingua estoni hanno corretto un sottoinsieme degli output di GPT-4.0 per garantire la coerenza linguistica e la coerenza semantica.
  Il dataset finale include linee guida specifiche adattate alla morfosintassi estone, concentrandosi sulla complessità grammaticale (inflessione, tempo), complessità sintattica (scissione delle clausole) e semplificazione lessicale (sostituzione di sinonimi).

2. Architetture dei Modelli:

• Baseline (OpenNMT): Un modello di traduzione automatica neurale basato sul framework OpenNMT-py. Tratta la semplificazione come un compito di traduzione monolingue (estone complesso in estone semplice) utilizzando un'architettura encoder-decoder con meccanismi di attenzione. È stato addestrato sul dataset costruito.
• Modello Proposto (LLaMA con Fine-tuning): Gli autori hanno effettuato il fine-tuning di LLaMA 3.1 (8 miliardi di parametri) sullo stesso dataset. Hanno utilizzato la libreria Unsloth per ottimizzare il processo tramite Low-Rank Adaptation (LoRA) e QLoRA, riducendo il consumo di memoria e i costi computazionali. Il modello è stato addestrato per generare frasi semplificate preservando il significato.

3. Protocollo di Valutazione:
   Lo studio ha impiegato una strategia di valutazione duale su un set di test tenuto separato (100 frasi complesse, semplificate manualmente da linguisti madrelingua per formare un gold standard):

• Metriche Automatiche: BLEU (sovrapposizione n-gram), SARI (metrica specifica per la semplificazione che premia aggiunte, eliminazioni e ritenzioni) e FKGL (Flesch-Kincaid Grade Level per la leggibilità).
• Valutazione Umana: Due linguisti madrelingua estoni hanno valutato 50 coppie di frasi da ciascun modello su una scala da 0 a 4 secondo quattro dimensioni: Grammaticalità, Leggibilità, Preservazione del Significato e Sforzo di Riduzione.

Contributi Chiave

• Rilascio del Dataset: La creazione e il rilascio pubblico del primo dataset di semplificazione estone su larga scala, che combina coppie tradotte, generate da GPT-4.0 e validate manualmente.
• Confronto Architetturale: Un benchmark diretto tra OpenNMT (approccio NMT) e LLaMA con fine-tuning per l'ATS in estone.
• Framework Metodologico: Una pipeline riproducibile per la semplificazione di lingue con scarse risorse utilizzando LLM ad accesso aperto, fine-tuning leggero (Unsloth/LoRA) e strategie di prompting basate su persona.
• Evidenza Empirica: La dimostrazione che gli LLM con fine-tuning superano le tradizionali baseline NMT in contesti di scarse risorse quando valutati da valutatori umani.

Risultati

• Metriche Automatiche: I risultati sono stati misti. OpenNMT ha ottenuto un punteggio BLEU più alto (30.05 vs 27.04), indicando una maggiore sovrapposizione di n-gram con i testi di riferimento. Tuttavia, LLaMA 3.1 ha ottenuto un punteggio SARI più alto (49.72 vs 47.43), suggerendo modifiche di semplificazione più efficaci (eliminazioni e aggiunte appropriate). LLaMA ha mostrato anche un leggero vantaggio nella leggibilità (punteggio FKGL inferiore: 8.71 vs 9.02).
• Valutazione Umana: LLaMA 3.1 ha superato significativamente OpenNMT in tutte le dimensioni valutate dagli umani. Il divario più evidente è stato nella Preservazione del Significato (3.24 per LLaMA vs 1.76 per OpenNMT). LLaMA ha ottenuto punteggi più alti anche in Grammaticalità (3.46 vs 2.26) e Leggibilità (3.26 vs 2.04). OpenNMT ha avuto difficoltà con l'integrità semantica e la fluidità, fallendo spesso nell'applicare strategie di riduzione efficaci.

Significatività e Rivendicazioni
L'articolo sostiene che, sebbene le metriche automatiche standard (BLEU/SARI) forniscano benchmark utili, esse sono insufficienti per catturare aspetti qualitativi critici della semplificazione, come la preservazione semantica e le sfumature. Lo studio sottolinea che gli LLM ad accesso aperto con fine-tuning (LLaMA) sono altamente efficaci per la semplificazione del testo in lingue con scarse risorse, a condizione che sia disponibile un dataset personalizzato.

Gli autori enfatizzano che il loro approccio non è limitato all'estone. Utilizzando modelli ad accesso aperto, framework di fine-tuning leggeri e strategie di raccolta dati adattabili (inclusa la tecnica del prompting basata su persona), la metodologia può essere trasferita ad altre lingue con scarse risorse che presentano complessità morfologiche o sintattiche simili. Il lavoro mira a supportare applicazioni pratiche, come strumenti educativi e l'accessibilità per i parlanti estoni con disabilità cognitive, e fornisce una base riproducibile per la futura ricerca sulla semplificazione a livello di documento.