An Effective Strategy for Modeling Score Ordinality and Non-uniform Intervals in Automated Speaking Assessment

Sintesi Tecnica: Una Strategia Efficace per la Modellazione dell'Ordinalità dei Punteggi e degli Intervalli Non Uniformi nella Valutazione Automatica del Parlato

Problematica
I sistemi di Valutazione Automatica del Parlato (ASA) affrontano due limitazioni primarie nella ricerca attuale. In primo luogo, gli approcci di Apprendimento Auto-Supervisionato (SSL) esistenti soffrono di vincoli specifici per modalità: i modelli SSL basati sul parlato (ad es., wav2vec 2.0) catturano i tratti acustici ma spesso perdono il contenuto semantico, mentre i modelli SSL basati sul testo (ad es., BERT) si affidano ai risultati del Riconoscimento Automatico del Parlato (ASR), rendendoli suscettibili agli errori di trascrizione e incapaci di codificare le sfumature prosodiche. In secondo luogo, la maggior parte dei metodi precedenti tratta i livelli di competenza (ad es., CEFR A1, A2, B1) come classi nominali. Questo approccio ignora la struttura ordinale intrinseca della competenza linguistica e il fatto che gli intervalli tra i livelli siano non uniformi (ovvero, la progressione da B1 a B2 non è equivalente da A1 ad A2). Trattare questi livelli come equidistanti o non ordinati porta a obiettivi di addestramento subottimali e a una ridotta performance di calibrazione.

Metodologia
Gli autori propongono un nuovo framework ASA che affronta queste problematiche attraverso una strategia di modellazione multi-aspetto e una funzione di perdita specializzata.

1. Architettura Multi-Aspetto:
   Il modello integra caratteristiche artigianali (handcrafted) con embedding derivati da SSL utilizzando encoder Transformer separati per tre distinti aspetti di valutazione:

• Modulo di Contenuto: Combina gli embedding del prompt (da un modello BERT pre-addestrato) con le caratteristiche del parlato a livello di frame (da wav2vec 2.0) per catturare l'allineamento semantico tra la risposta dell'utente e il prompt.
• Encoder di Delivery: Elabora segmenti allineati alle parole provenienti dagli output ASR utilizzando caratteristiche prosodiche artigianali (pitch, energia, durata, confidenza) per modellare le caratteristiche temporali della consegna (delivery).
• Modulo di Uso della Lingua: Codifica annotazioni linguistiche a livello di parola (Part-of-Speech, relazioni di dipendenza, caratteristiche morfologiche) derivate dalle trascrizioni ASR per catturare le strutture lessicali e sintattiche.
  Queste rappresentazioni specifiche per ogni aspetto vengono concatenate, proiettate e inviate a un modulo di predizione.

2. Loss Multi-Margin Ordinal (MMO):
   Per modellare esplicitamente la struttura ordinale e gli intervalli non uniformi dei livelli di competenza, gli autori introducono una loss Multi-Margin Ordinal (MMO) basata sui logit. A differenza dei precedenti metodi ordinali che impongono vincoli a livello di rappresentazione nascosta, questo approccio applica vincoli a coppie direttamente a livello di logit.

• La funzione di perdita impone una maggiore separazione nello spazio dei logit per le coppie di etichette che sono più distanti sulla scala CEFR.
• Utilizza un margine cumulativo ($d_{y,y_k}$) che rappresenta la distanza ordinale tra l'etichetta di verità fondamentale (ground-truth) e le etichette negative.
• L'obiettivo finale combina la loss MMO con la standard cross-entropy loss, bilanciate da un iperparametro $\lambda$.

Contributi Chiave
L'articolo rivendica due contributi primari:

1. Un Framework Multi-Aspetto: Un sistema che integra caratteristiche artigianali con embedding SSL per catturare le caratteristiche specifiche per modalità, affrontando al contempo le proprietà ordinali e non uniformi della scala CEFR.
2. La Funzione di Loss MMO: Una nuova funzione di perdita completamente guidata dai dati, la prima a modellare congiuntamente la struttura ordinale e gli intervalli di livello non uniformi del CEFR nel contesto dell'ASA.

Risultati Sperimentali
Gli esperimenti sono stati condotti sul corpus TEEMI, un dataset di risposte parlate spontanee in lingua inglese annotate con punteggi olistici e analitici (Contenuto, Delivery, Uso della Lingua) allineati ai livelli CEFR (da Pre-A1 a B2).

• Performance sul Test Set: Il framework Multi-Aspect (MA) proposto ha superato le forti baseline, inclusi i modelli puramente basati sul parlato (W2V), basati sul testo (BERT) e fusi (W2V-BERT). L'aggiunta della loss MMO (MA+MMO) ha prodotto ulteriori miglioramenti, raggiungendo il punteggio F1 olistico più elevato (35,55%) e guadagni significativi nella macro-media F1 per il Contenuto (+3,17) e l'Uso della Lingua (+8,39) rispetto al modello base MA.
• Generalizzazione su Prompt Non Visti: Il modello MA+MMO ha dimostrato una robusta generalizzazione su task non visti (A02, B02, C01). In particolare, sul task C01 (domanda-risposta tematica), il modello ha mostrato miglioramenti sostanziali nella F1 di Delivery (+21,19%) e nella F1 complessiva (+9,87%) rispetto alla baseline MA, indicando una maggiore adattabilità alle variazioni dei task.
• Analisi Ordinale: L'analisi della matrice di confusione ha rivelato che la loss MMO ha ridotto gli errori tra livelli distanti e ha chiarificato la concentrazione diagonale. Inoltre, l'analisi della distanza ha confermato che i gap semantici tra i livelli CEFR sono non uniformi (ad es., il gap tra Pre-A1 e A1 è significativamente più grande di quello tra B1 e B1+), validando la necessità dell'approccio di modellazione non uniforme proposto.

Significatività
L'articolo afferma che il framework proposto offre un approccio più interpretabile ed efficace per l'ASA, andando oltre la semplificazione dei livelli di competenza come categorie nominali. Modellando esplicitamente la natura ordinale e gli intervalli non uniformi della competenza linguistica, il metodo migliora sia l'accuratezza della predizione che la calibrazione dei punteggi. Gli autori suggeriscono che questa strategia è particolarmente preziosa per scenari reali di ASA dove la generalizzazione a prompt e parlanti non visti è critica. Il lavoro futuro mira a esplorare strategie di addestramento congiunto tra i prompt e l'integrazione di modelli linguistici multimodali di grandi dimensioni (MLLM) per migliorare ulteriormente la completezza.