Towards interpretable models for language proficiency assessment: Predicting the CEFR level of Estonian learner texts

Questo studio presenta un modello di machine learning interpretabile che, utilizzando caratteristiche linguistiche selezionate, classifica con alta accuratezza i testi scritti da apprendenti dell'estone secondo il livello CEFR, offrendo allo stesso tempo approfondimenti sull'evoluzione della complessità linguistica e integrando tali risultati in un ambiente open-source per l'apprendimento delle lingue.

L'essenziale

Immagina di essere un insegnante di lingua estone che deve correggere centinaia di temi scritti da studenti stranieri. Ogni tema è come un puzzle: alcuni pezzi sono parole semplici, altri sono frasi complesse, e alcuni pezzi sono "errori" (come un pezzo di puzzle che non combacia). Tradizionalmente, un insegnante umano guarda tutto questo insieme e dice: "Questo studente è al livello A2 (principiante), questo al B2 (intermedio)". Ma farlo manualmente per migliaia di testi è impossibile.

Questo articolo racconta la storia di come Kais Allkivi e il suo team abbiano costruito un "detective digitale" (un'intelligenza artificiale) capace di leggere questi temi e indovinare il livello di competenza dello studente, proprio come farebbe un insegnante esperto, ma in una frazione di secondo.

Ecco come funziona, spiegato con metafore semplici:

1. Il Detective e i suoi Strumenti (Le Caratteristiche)

Il detective digitale non legge il testo per capirne il significato profondo (come un romanzo), ma cerca indizi specifici che rivelano il livello di maturità linguistica. Immagina che ogni livello di competenza (da A2 a C1) abbia una "firma" diversa. Il detective controlla quattro tipi di indizi:

• Le Parole (Lessico): È come guardare il vocabolario di uno studente. Un principiante usa parole semplici e ripetute (come "cane", "casa", "mangiare"). Un esperto usa parole più varie e astratte (come "libertà", "sfumatura", "costruire"). Il detective conta quante parole uniche ci sono e quanto sono "rare" o sofisticate.
• La Grammatica (Morfologia): Immagina la grammatica come i mattoncini LEGO. Un principiante usa solo i mattoncini base (frasi corte, pochi casi grammaticali). Un esperto usa mattoncini complessi e forme diverse (frasi lunghe, molti casi grammaticali, verbi al passato o futuro). Il detective conta quanti "mattoncini diversi" lo studente sa usare.
• La Struttura (Superficie): È come misurare la lunghezza di un ponte. I principianti costruiscono ponti corti (frasi brevi). Gli esperti costruiscono ponti lunghi e complessi. Il detective misura la lunghezza delle frasi e il numero di sillabe.
• Gli Errori (Correzioni): Ogni errore è come un buco nel muro. Più il muro è pieno di buchi, più il livello è basso. Il detective conta quanti buchi ci sono e quanto spesso lo studente deve "riparare" il muro per renderlo solido.

2. L'Esperimento: Addestrare il Detective

Il team ha dato al detective 720 temi reali (addestramento) per imparare a riconoscere questi indizi.

• Il trucco: Non hanno usato tutti gli indizi possibili. Alcuni indizi erano "ingannevoli" (ad esempio, un tema potrebbe essere lungo solo perché l'argomento era difficile, non perché lo studente era bravo). Hanno quindi selezionato solo gli indizi più affidabili, quelli che cambiavano in modo costante man mano che lo studente migliorava.
• Il risultato: Hanno creato un modello che, guardando un nuovo testo, dice: "Questo sembra un livello B2" con una precisione del 90-98% (quasi perfetto!).

3. La Sfida del Tempo (Il Test)

Per vedere se il detective era davvero bravo, lo hanno messo alla prova con testi vecchi (del 2010) che non aveva mai visto prima.

• Cosa hanno scoperto? I testi del 2010 erano un po' più semplici di quelli moderni. È come se gli studenti di oggi scrivessero frasi più lunghe e complesse rispetto a 10 anni fa.
• La prova del nove: Nonostante i testi fossero diversi, il detective ha comunque indovinato il livello corretto nell'80% dei casi. Questo dimostra che il suo "senso comune" linguistico è solido e non si è solo "imparato a memoria" i testi vecchi.

4. Perché è Importante? (L'Impatto Reale)

Questo non è solo un esperimento accademico. È come se avessimo costruito un assistente personale per l'apprendimento delle lingue.

• Feedback immediato: Immagina di scrivere un tema su un sito web e, in un secondo, ricevere un giudizio: "Ottimo! Hai usato parole complesse, ma fai attenzione alla lunghezza delle frasi".
• Giustizia per tutti: Aiuta a valutare le competenze in modo oggettivo, senza pregiudizi, utile per chi cerca lavoro o deve superare esami ufficiali in Estonia.
• Trasparenza: A differenza di alcune intelligenze artificiali "magiche" che non spiegano il perché delle loro decisioni, questo sistema dice esattamente cosa ha guardato (es. "Ti ho dato un livello alto perché hai usato 15 casi grammaticali diversi").

In Sintesi

Questo studio è come aver dato a un insegnante robotico una lente d'ingrandimento magica. Invece di guardare il testo con gli occhi stanchi, il robot analizza i "battiti cardiaci" del linguaggio (parole, errori, struttura) per capire quanto è forte lo studente. Il risultato è un sistema che non solo classifica i testi, ma ci aiuta a capire come le persone imparano una nuova lingua, rendendo l'istruzione più veloce, equa e comprensibile per tutti.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Towards interpretable models for language proficiency assessment: Predicting the CEFR level of Estonian learner texts" di Kais Allkivi, presentato in italiano.

1. Problema e Obiettivo della Ricerca

Il lavoro affronta la sfida di sviluppare sistemi di valutazione automatica delle competenze linguistiche (L2) che siano non solo accurati, ma anche interpretabili e generalizzabili. Sebbene l'uso del NLP per l'analisi del linguaggio degli apprendenti sia in crescita, esiste una carenza di ricerche che combinino esplicitamente l'analisi del corpus, la selezione attenta delle caratteristiche linguistiche e la classificazione automatica dei livelli di competenza (secondo il Quadro Comune Europeo di Riferimento per le Lingue, CEFR).

L'obiettivo specifico dello studio è classificare i testi scritti da apprendenti della lingua estone ai livelli A2–C1, identificando quali proprietà linguistiche (lessicali, morfologiche, superficiali ed errori) siano predittori affidabili e monotoni dell'aumento della complessità e della correttezza, indipendentemente dal tipo di compito di scrittura.

2. Metodologia

Dati e Corpus

• Dataset Principale: 720 testi scritti durante esami di proficienza estone (2017–2020).
  • Distribuzione: 180 testi per livello (A2, B1, B2, C1).
  • Tipologie testuali: Lettere personali, testi narrativi, lettere semi-formali e testi argomentativi.
  • Suddivisione: 600 testi per l'addestramento (training set) e 120 per il test interno (test set 1).
• Dataset di Validazione Esterna (Test Set 2): 398 testi del 2010, utilizzati per valutare la generalizzabilità temporale e la robustezza del modello su dati più vecchi e con una distribuzione di tipi testuali diversa.

Estrazione delle Caratteristiche (Features)

Sono state estratte quattro categorie di caratteristiche linguistiche utilizzando strumenti NLP (Stanza, correttori ortografici e grammaticali):

1. Caratteristiche Lessicali (n=20): Diversità lessicale (es. TTR, RTTR, MTLD, CVV), sofisticazione (vocabolario raro, astrazione dei sostantivi) e densità.
2. Caratteristiche Morfologiche (n=111): Distribuzione delle parti del discorso (PoS), frequenza di forme verbali (tense, persona, negazione) e nominali (casi, numero, genere).
3. Caratteristiche Superficiali (n=9): Lunghezza del testo, numero di parole/frasi, lunghezza media delle parole/frasi, indici di complessità (SMOG, LIX, Flesch-Kincaid).
4. Caratteristiche di Errore (n=9): Frequenza di correzioni ortografiche e grammaticali proposte da strumenti automatici.

Selezione delle Caratteristiche e Modelli

Un criterio fondamentale è stato la selezione delle caratteristiche rilevanti: sono stati scelti solo i predittori che mostravano differenze significative tra livelli adiacenti, variazioni monotone (crescenti o decrescenti) e bassa variazione interna al tipo di testo.

• Confronto: I modelli sono stati addestrati in due condizioni: (1) utilizzando solo le caratteristiche pre-selezionate come rilevanti (es. LexRel, MorphRel) e (2) utilizzando tutte le caratteristiche disponibili (es. LexAll, MorphAll).
• Algoritmi di Classificazione: Sono stati testati diversi classificatori supervisionati tramite Scikit-learn: Regressione Logistica (LR), SVM, Random Forest (RF), MLP, LDA e QDA.
• Validazione: Utilizzo di validazione incrociata a 10 fold sul set di training e test su due set di dati distinti. È stata calcolata l'accuratezza bilanciata (macro-average recall) per compensare lo sbilanciamento dei dati.

3. Risultati Chiave

Prestazioni dei Modelli

• Caratteristiche Miste (Best Model): La combinazione di tutte le categorie di caratteristiche rilevanti ha prodotto i risultati migliori. Il modello Mix-SVM-kbest-23 ha raggiunto un'accuratezza di 0.983 sul test set 1 e un'accuratezza bilanciata di 0.796 sul test set 2 (dati esterni).
• Confronto per Categoria:
  • Superficiali: Alta accuratezza (~0.93), ma limitata generalizzabilità temporale a causa di cambiamenti nelle lunghezze dei testi tra i due dataset.
  • Morfologiche: Buona accuratezza (~0.90), con i modelli basati su caratteristiche rilevanti (MorphRel) che mostrano una migliore generalizzabilità rispetto a quelli che usano tutte le feature, nonostante un numero inferiore di variabili.
  • Lessicali: Accuratezza intorno a 0.90. La diversità lessicale (lemma count, RTTR) e l'astrazione dei sostantivi sono risultati i predittori più forti.
  • Errori: Accuratezza più bassa (~0.70), ma utile per la valutazione della correttezza.

Analisi della Generalizzabilità e Importanza delle Feature

• Evoluzione Temporale: Il confronto tra i dati del 2010 e quelli 2017-2020 ha rivelato che i testi degli esami sono diventati più complessi nel tempo (specialmente a livello C1), con una maggiore diversità morfologica.
• Feature Importanti: L'analisi di importanza tramite permutazione ha identificato come predittori chiave: conteggio di frasi/parole/sillabe, astrazione dei sostantivi, conteggio dei lemmi, forme verbali finite e forme plurali nominali.
• Interpretabilità: I modelli basati su caratteristiche selezionate (Rel) hanno mostrato una variazione minore nella classificazione di diversi tipi testuali rispetto ai modelli "tutto incluso", confermando che la rimozione di feature dipendenti dal compito (task-dependent) migliora la robustezza.

4. Contributi Principali

1. Approccio Ibrido Corpus-ML: Dimostrazione che l'analisi linguistica basata su corpus (identificando predittori monotoni e significativi) migliora l'interpretabilità e la generalizzabilità dei modelli di Machine Learning rispetto all'uso di "black box" o feature selection puramente statistica.
2. Validazione Temporale: Fornisce evidenze empiriche sull'evoluzione della complessità linguistica negli esami estoni in un arco di 7-10 anni, un aspetto spesso trascurato nella letteratura.
3. Implementazione Reale: I parametri ottimali trovati sono stati integrati nel modulo di valutazione della scrittura di ELLE, un ambiente open-source per l'apprendimento dell'estone, fornendo feedback immediato su complessità e correttezza.
4. Confronto Cross-Linguistico: Identificazione di marcatori di competenza (es. diminuzione dei pronomi personali, aumento delle forme plurali e dei connettivi) che mostrano parallelismi con altre lingue (tedesco, portoghese, inglese), suggerendo percorsi di sviluppo simili nell'acquisizione L2.

5. Significato e Limitazioni

Significato:
Lo studio dimostra che è possibile costruire sistemi di valutazione automatica dell'estone con alta accuratezza (fino al 98% su dati interni) che sono trasparenti e basati su evidenze linguistiche solide. Questo supporta non solo il placement testing, ma anche il feedback formativo per studenti e insegnanti, senza sostituire i valutatori umani ma assistendoli.

Limitazioni:

• Tipologie di Testo: Il modello è stato addestrato principalmente su testi d'esame; la sua applicazione a generi non standardizzati o contesti di scrittura quotidiana richiede ulteriori test.
• Bias Demografico: Il dataset presenta uno sbilanciamento di genere (71,7% femminile) e una forte rappresentanza di madrelingua russi, che potrebbe influenzare le caratteristiche apprese.
• Competenze Non Linguistiche: Il sistema valuta solo la competenza linguistica (lessico, grammatica, complessità superficiale), ignorando aspetti pragmatici, sociolinguistici e lo sviluppo tematico del testo.
• Livello Pre-A2: Il modello non è stato testato su testi di livello inferiore ad A2.

In conclusione, il paper offre un framework metodologico solido per lo sviluppo di strumenti di valutazione linguistica interpretabili, combinando analisi linguistica tradizionale e machine learning, con risultati promettenti per l'adattamento a diverse lingue.