Lexical variables that affect integrated speaking test scores among EFL learners

Sintesi Tecnica: Variabili Lessicali nei Compiti di Produzione Orale Integrata

Problematica
Sebbene la conoscenza del vocabolario sia un indicatore ben consolidato della competenza nella seconda lingua (L2), il suo contributo alla competenza orale è complesso e mediato dal tipo di compito e dalla modalità del testo sorgente. La ricerca precedente si è concentrata ampiamente su compiti di produzione orale indipendenti o compiti di scrittura integrata, lasciando un vuoto nella comprensione di come la ricchezza lessicale (sofisticazione, diversità e fluidità) funzioni specificamente nei compiti di produzione orale integrata. Inoltre, rimane poco chiaro se le caratteristiche linguistiche che segnalano la competenza differiscano quando gli studenti riassumono un input uditivo (ascolto-parlato) rispetto a un input scritto (lettura-parlato). Questo studio indaga tali lacune esaminando come la modalità del testo sorgente medi la relazione tra le variabili lessicali e la competenza orale tra studenti coreani di inglese (EFL).

Metodologia
Lo studio ha utilizzato il Korean English Learners' Spoken Corpus (KELSC), composto da 474 risposte orali trascritte di un minuto da parte di studenti universitari. I partecipanti hanno completato due tipi di compiti integrati:

1. Listen-to-speak (Ascolto-parlato): Riassunto di un annuncio scolastico (fonte aurale).
2. Read-to-speak (Lettura-parlato): Riassunto di un brano sui social media o sul welfare (fonte scritta).

Le risposte sono state valutate secondo la scala del Quadro Comune Europeo di Riferimento per la Conoscenza delle Lingue (CEFR) (A1–C2). L'analisi ha previsto l'elaborazione automatizzata del testo utilizzando TAALES 2.0, TAASSC e TAACO per estrarre indici multidimensionali di sofisticazione lessicale, diversità, fluidità, complessità sintattica e coesione.

Approccio Statistico
Per identificare i predittori dei livelli CEFR, lo studio ha impiegato una rigorosa pipeline statistica:

1. Riduzione delle Variabili: Uno screening iniziale ha ridotto 22 variabili candidate tramite l'analisi della correlazione e la regressione LASSO (Least Absolute Shrinkage and Selection Operator) per minimizzare la multicollinearità.
2. Modellazione:
   • Listen-to-speak: È stata applicata una regressione logistica ordinale, poiché i dati soddisfacevano l'assunzione di proporzionalità degli odds.
   • Read-to-speak: È stato utilizzato un Modello di Proporzionalità Parziale degli Odds (PPOM) poiché i dati violavano l'assunzione di proporzionalità degli odds per variabili specifiche (Conteggio Parole, MATTR e Clausole per Frase). Ciò ha permesso di catturare coefficienti specifici per soglia per descrivere modelli di sviluppo non lineari.

Risultati Chiave

• Compito Listen-to-Speak:
  Quattro variabili lessicali hanno predetto collettivamente e linearmente livelli CEFR più elevati:

  • Fluidità Lessicale (Conteggio Parole): Il predittore più forte; conteggi di parole più elevati erano associati a probabilità quasi tre volte superiori di ottenere un punteggio di competenza più alto.
  • Diversità Lessicale (MATTR): Una maggiore diversità aumentava significativamente le probabilità di punteggi più alti.
  • Sofisticazione Lessicale: Misurata tramite la Frequenza Parlata COCA (associazione negativa) e il COSA Spoken Bigram MI2 (associazione positiva). Gli studenti avanzati utilizzavano parole parlate a bassa frequenza e associazioni di bigrammi più forti, tipiche dei registri parlati.
  • Nota: La complessità sintattica e i dispositivi di coesione non sono emersi come predittori significativi in questa modalità.

• Compito Read-to-speak:
  Il panorama predittivo differiva significativamente, mostrando modelli distinti attraverso i livelli di competenza:

  • Sofisticazione Lessicale (Età di Acquisizione - AoA): Questa è stata l'unica variabile con un effetto positivo uniforme attraverso tutte le soglie CEFR. Gli studenti che utilizzavano parole acquisite più tardi nello sviluppo nativo ottenevano costantemente punteggi più alti.
  • Fluidità Lessicale (Conteggio Parole) e Complessità Sintattica (C/S): Queste variabili hanno differenziato solo gli studenti di livello principiante (A1/A2). Il loro potere predittivo diminuiva e diventava trascurabile per gli studenti intermedi e avanzati, suggerendo che i testi sorgente scritti agiscano come uno scaffold che livella la quantità di output e la complessità strutturale ai livelli superiori.
  • Diversità Lessicale (MATTR): Ha esibito un modello a U invertita. La diversità aumentava dai livelli principiante a quelli intermedi, ma diminuiva tra gli studenti avanzati (C2). Lo studio suggerisce che i parlanti avanzati diano priorità a un vocabolario preciso e conciso rispetto a una ripetizione varia quando riassumono testi scritti.

Contributi Chiave

1. Traiettorie Specifiche per Modalità: Lo studio dimostra che la traiettoria di sviluppo della competenza lessicale non è uniforme; essa cambia a seconda che il testo sorgente sia aurale o scritto.
2. L'Effetto Scaffolding: I testi sorgente scritti sembrano funzionare come uno scaffold linguistico, riducendo il potere discriminante della fluidità e della complessità sintattica per gli studenti intermedi e avanzati, mentre i compiti aurali si affidano fortemente a fluidità e diversità per distinguere la competenza.
3. Diversità a U Invertita: Il documento fornisce prove empiriche che la diversità lessicale può non essere un predittore lineare della competenza nella produzione orale integrata; gli studenti avanzati possono ridurre intenzionalmente la diversità per raggiungere precisione e concisione quando rielaborano il materiale scritto sorgente.

Significatività e Rivendicazioni
L'autore sostiene che questi risultati offrano parametri empirici critici per la linguistica applicata, sfidando specificamente l'assunto che un singolo set di metriche lessicali si applichi a tutti i contesti di produzione orale integrata. Lo studio suggerisce che:

• Design della Valutazione: Le rubriche di valutazione per la produzione orale integrata dovrebbero essere specifiche per il compito. I compiti di listen-to-speak dovrebbero pesare maggiormente la fluidità e la diversità, mentre i compiti di read-to-speak dovrebbero dare priorità alla sofisticazione lessicale (specificamente l'AoA).
• Pedagogia: L'istruzione dovrebbe essere adattata alle fasce di competenza. Per gli studenti intermedi in contesti di read-to-speak, l'attenzione dovrebbe spostarsi verso la sofisticazione lessicale (uso di parole cognitivamente impegnative) piuttosto che semplicemente verso l'aumento del conteggio delle parole o della diversità.
• Limitazioni: L'autore nota con modestia che la distribuzione non uniforme dei partecipanti attraverso i livelli CEFR (raggruppati in B1/B2) può limitare il potere predittivo agli estremi dello spettro. Inoltre, lo studio esclude le caratteristiche acustiche/fonologiche e l'allineamento specifico tra il testo sorgente e l'output dello studente, aspetti che meritano indagini future.

Il documento conclude che comprendere queste sfumature e variazioni dipendenti dal compito è essenziale per perfezionare i sistemi di valutazione automatizzata del parlato e ottimizzare i design dei test integrati.