The NTNU System at the S&I Challenge 2025 SLA Open Track

Sintesi Tecnica: Il Sistema NTNU alla Sfida S&I 2025

Definizione del Problema
La Valutazione del Linguaggio Parlato (SLA) per gli studenti di seconda lingua (L2) affronta un compromesso fondamentale tra la modellazione della consegna acustica e del contenuto linguistico. Gli approcci tradizionali basati sul testo, come quelli che utilizzano BERT su trascrizioni di Riconoscimento Automatico del Parlato (ASR), catturano efficacemente il contenuto semantico ma non riescono a modellare indizi prosodici e fonetici critici a causa della loro dipendenza da trascrizioni soggette a errori. Al contrario, i modelli acustici auto-supervisionati come wav2vec 2.0 (W2V) eccellono nell'elaborare audio grezzo per catturare pronuncia e fluidità, ma spesso mancano dell'interpretabilità semantica necessaria per una valutazione linguistica di livello superiore. Sebbene i Modelli Linguistici Multimodali Grandi (MLLM) offrano una potenziale unificazione di queste modalità, la loro applicazione per una valutazione SLA olistica rimane poco esplorata. La sfida consiste nello sviluppare un sistema che integri robustamente le caratteristiche acustiche e semantiche sotto i vincoli di dati limitati e risorse computazionali, come presentato nella sfida Speak & Improve (S&I) 2025.

Metodologia
Gli autori propongono un sistema a doppio valutatore, NTNU SMIL V, che integra due distinti componenti di valutazione attraverso una strategia di fusione del punteggio:

1. Valutatore Acustico (W2V): Questo componente utilizza un encoder pre-addestrato wav2vec 2.0 per estrarre rappresentazioni acustiche a livello di frame da forme d'onda vocali grezze. Utilizza l'attention pooling per generare vettori a livello di utterance, che vengono poi elaborati attraverso un modulo di embedding prototipico. Questo modulo calcola la similarità del coseno rispetto a prototipi apprendibili che rappresentano i livelli CEFR (da A2 a C1+), alimentando il risultato in un Multi-Layer Perceptron (MLP) per predire un punteggio di competenza continuo.
2. Valutatore Multimodale (MLLM): Il secondo componente è costruito sulla base dell'architettura Phi-4-multimodal, un decoder-only Transformer con 3,8 miliardi di parametri. Questo modello è sottoposto a fine-tuning tramite Low-Rank Adaptation (LoRA) con un adattatore audio dedicato per elaborare segnali audio grezzi insieme a trascrizioni ASR, descrizioni dei task e prompt delle domande.
   • Gli autori hanno investigato due configurazioni: un Valutatore Multimodale Generalizzato per Task (Phi4-CTG) addestrato su dati combinati di tutte le parti del task, e Valutatori Specifici per Task (Phi4-STG) dove modelli separati sono sottoposti a fine-tuning per ogni specifica parte di valutazione (Intervista, Opinione, Presentazione, Attività di Comunicazione).
   • L'approccio Phi4-STG privilegia l'elaborazione diretta delle forme d'onda audio grezze per mitigare la propagazione degli errori ASR, sfruttando la capacità del modello di ragionare congiuntamente sulle sfumature del parlato (pronuncia, fluidità, prosodia) e sul contenuto linguistico.
3. Fusione del Punteggio: Il sistema finale combina le predizioni del valutatore W2V e del valutatore Phi4-STG. Il punteggio continuo dell'MLLM viene prima discretizzato in otto intervalli allineati al CEFR. Per ogni intervallo, un peso di interpolazione ottimale ($w_k$) viene determinato tramite grid search sul set di sviluppo per minimizzare l'Errore Quadratico Medio (RMSE) rispetto ai punteggi di riferimento. Il punteggio fuso è calcolato come $\hat{y} = (1 - w_k)\hat{y}_{w2v} + w_k\hat{y}_{mllm}$.

Contributi Chiave

• Integrazione delle Modalità: Il documento dimostra una fusione di successo tra un encoder vocale auto-supervisionato (W2V) e un modello linguistico multimodale grande (Phi-4), combinando efficacemente la modellazione acustica fine con il ragionamento contestuale profondo.
• Adattamento dell'MLLM Specifico per Task: Lo studio evidenzia che il fine-tuning specifico per task (Phi4-STG) supera i modelli generalizzati cross-task (Phi4-CTG) nei contesti SLA, suggerando che le diverse parti di valutazione beneficiano di una modellazione specializzata.
• Robustezza agli Errori ASR: Incorporando l'elaborazione diretta dell'audio grezzo nel pipeline dell'MLLM, il sistema riduce la dipendenza da trascrizioni ASR potenzialmente difettose, affrontando una limitazione chiave dei baseline basati solo sul testo.
• Strategia di Fusione a Livello di Punteggio: L'implementazione di un meccanismo di fusione condizionato dal punteggio, in cui i pesi sono dinamici in base all'intervallo di punteggio predetto, consente un'integrazione ottimizzata dei due valutatori complementari.

Risultati
Il sistema proposto, NTNU SMIL V, ha ottenuto un Errore Quadratico Medio (RMSE) di 0,375 sul test set ufficiale della sfida Speak & Improve 2025.

• Classifica: Questa prestazione ha garantito il secondo posto nella competizione.
• Confronto: Il sistema ha superato il baseline ufficiale (RMSE 0,444) e l'ingresso classificato al terzo posto (RMSE 0,384). È arrivato molto vicino al sistema al primo posto (RMSE 0,364).
• Analisi dei Componenti:
  • Il modello standalone W2V ha ottenuto un RMSE di 0,394.
  • Il modello standalone Phi4-STG ha ottenuto un RMSE di 0,389.
  • Il sistema fuso (W2V + Phi4-STG) ha ottenuto il risultato migliore (0,375), dimostrando che la combinazione della modellazione acustica e semantica produce prestazioni superiori rispetto a ciascun componente preso singolarmente.
  • La fusione di W2V con il modello generalizzato Phi4-CTG ha prodotto un RMSE di 0,377, leggermente inferiore rispetto alla variante specifica per task, confermando il valore dell'adattamento specifico per task.

Significatività e Rivendicazioni
Gli autori affermano che il loro lavoro valida l'efficacia della combinazione di encoder vocali auto-supervisionati con MLLM per la valutazione del linguaggio parlato. I risultati suggeriscono che, sebbene le caratteristiche acustiche siano fondamentali per catturare le caratteristiche della consegna, le capacità di ragionamento semantico degli MLLM specifici per task migliorano significativamente l'accuratezza complessiva della valutazione. Il documento conclude modestamente che, sebbene gli MLLM offrano una direzione promettente per unificare i paradigmi precedenti, la loro applicazione nella SLA richiede scelte architettoniche attente, come il fine-tuning specifico per task e l'elaborazione diretta dell'audio, per realizzare appieno il loro potenziale. Il lavoro sottolinea che i miglioramenti futuri dovrebbero concentrarsi sul raffinamento delle strategie di fusione e sulla gestione dell'efficienza del modello e dell'equità tra i diversi gruppi di studenti.