The Eloquence team submission for task 1 of MLC-SLM challenge

Immagina di cercare di insegnare a un robot super intelligente come ascoltare una festa caotica e rumorosa, dove le persone parlano lingue diverse, si urlano l'un l'altra e raccontano barzellette che hanno senso solo se ricordi ciò che è stato detto cinque minuti prima. Questo è il mondo del riconoscimento del parlato conversazionale multilingue. Per molto tempo, i computer hanno gestito questo compito agendo come una staffetta: un essere umano (o una macchina) prima scriveva esattamente ciò che veniva detto (trascrizione), e poi una seconda macchina leggeva quel testo per capirne il significato. Ma questa staffetta ha un difetto: se il primo corridore inciampa e scrive la parola sbagliata, il secondo corridore si confonde e l'intero messaggio viene distorto. Inoltre, il secondo corridore perde il sentimento della voce — il tono, la velocità e l'emozione — perché riceve solo il testo.

Per risolvere questo problema, gli scienziati stanno costruendo i Modelli di Linguaggio del Parlato (SLM). Immaginali come un unico cervello onnisciente che può ascoltare direttamente le onde sonore e comprenderne il significato contemporaneamente, senza bisogno di un intermediario che scriva le cose prima. È come passare da un robot che ha bisogno di un essere umano che traduca una lingua straniera prima di poter capire una barzelletta, a un robot che può ascoltare la barza nella lingua originale e ridere al momento giusto. La grande domanda che i ricercatori si pongono è: come possiamo rendere questi robot davvero bravi a comprendere conversazioni disordinate e reali in molte lingue diverse contemporaneamente?

In questo articolo, un team di ricercatori del progetto "Eloquence" (un gruppo finanziato dall'Unione Europea) ha deciso di organizzare una festa per questi cervelli artificiali per vedere quale sapesse ascoltare meglio. Sono entrati in una competizione chiamata MLC-SLM Challenge, che è stata progettata specificamente per testare quanto bene l'IA possa gestire conversazioni multilingue. Il loro obiettivo non era solo costruire un robot che potesse sentire; volevano costruire uno che comprendesse il contesto di una conversazione, come sapere che "fa freddo" potrebbe significare "accendi il riscaldamento" in una situazione, ma "indosso un cappotto" in un'altra.

Il team ha provato tre diverse strategie per vedere quale approccio avrebbe reso la loro IA l'ascoltatrice migliore.

Per prima cosa, hanno controllato le regole del gioco.
Prima di provare a inventare qualcosa di nuovo, hanno esaminato il "baseline ufficiale" — la configurazione standard fornita dagli organizzatori della competizione. Immaginala come il "kit di partenza" che tutti ricevono. Hanno testato questo kit con diversi tipi di "cervelli" (Large Language Models) e diversi modi per collegare le orecchie (encoder audio) al cervello. Hanno scoperto che semplicemente perfezionare la connessione non faceva una grande differenza. Era come cercare di riparare un'auto lenta cambiando il colore delle ruote; il motore era lo stesso, quindi la velocità non cambiava molto. Hanno anche provato un metodo di connessione più sofisticato chiamato "Q-Former", ma non ha risolto magicamente il problema.

In secondo luogo, hanno costruito il proprio motore personalizzato.
Questo è stato il loro tentativo più riuscito. Hanno utilizzato un framework chiamato SLAM-ASR, che è come un laboratorio hi-tech per la costruzione di robot del parlato. Hanno combinato un potente ascoltatore audio (Whisper Large V3 Turbo) con un tipo specifico di cervello chiamato EuroLLM 1.7B. Per far sì che questo cervello comprendesse l'audio, hanno costruito un "traduttore" personalizzato (un proiettore lineare) che converte il suono in un linguaggio comprensibile per il cervello.

È qui che sono stati creativi: hanno cercato di insegnare al robot fornendogli dati di pratica "rumorosi". Hanno simulato condizioni audio scarse — come aggiungere staticità, velocizzare le voci o spostare l'altezza del tono — per far esercitare il robot in un ambiente difficile. Speravano che questo rendesse il robot più resistente, come un pugile che si allena con pesi pesanti. Tuttavia, i risultati sono stati un po' misti. Sebbene l'addestramento al rumore abbia aiutato in alcuni casi specifici, non ha reso il loro miglior robot migliore di quanto già fosse. Infatti, il loro sistema migliore, che utilizzava il cervello EuroLLM 1.7B con una tecnica di addestramento speciale chiamata LoRA (che è come aggiungere un giubbotto da addestramento leggero e regolabile al cervello invece di ricostruire tutto), si è classificato al 13° posto su 24 squadre. Non era il vincitore, ma ha dimostrato che un cervello più piccolo e "congelato", dotato di un traduttore intelligente, può comunque fare un ottimo lavoro.

Terza cosa, hanno cercato di dare al robot la "memoria".
Le conversazioni reali non sono solo una frase alla volta; sono un flusso di idee. Se qualcuno dice "Sta piovendo" e poi più tardi dice "Ho dimenticato l'ombrello", la seconda frase ha senso solo grazie alla prima. Il team ha cercato di dare all'IA questo tipo di memoria fornendole la frase precedente della conversazione come contesto. Hanno anche provato una tecnica chiamata apprendimento contrastivo, che è come un gioco di "trova le differenze". Hanno mostrato all'IA coppie di frasi che dovrebbero stare insieme e coppie che non dovrebbero, costringendo l'IA a imparare la differenza tra una conversazione logica e un insieme casuale di parole.

I risultati qui sono stati interessanti. Quando hanno aggiunto la "memoria" (contesto) e il gioco "trova le differenze" (apprendimento contrastivo), l'IA è diventata più brava a comprendere la conversazione, facendo scendere il tasso di errore al 17,18% sul loro set di test. Tuttavia, hanno notato qualcosa di strano: quando hanno provato a usare il "giubbotto da addestramento" (LoRA) insieme alla memoria e all'apprendimento contrastivo, le prestazioni sono in realtà peggiorate. Sospettano che ciò sia dovuto al fatto che non hanno dato al robot abbastanza tempo per imparare (solo due sessioni di addestramento), quindi la complessità aggiuntiva lo ha confuso.

Cosa hanno imparato?
Il team ha scoperto che non serve sempre il cervello più grande e costoso per comprendere il parlato. Un cervello più piccolo e congelato (EuroLLM 1.7B) combinato con un traduttore intelligente e ben addestrato può essere molto efficace. Hanno anche imparato che dare all'IA un po' di "storia della conversazione" aiuta a comprendere meglio la storia, ma bisogna fare attenzione a non complicare troppo l'addestramento.

In definitiva, il team di Eloquence suggerisce che il futuro del riconoscimento del parlato risiede nel combinare queste architetture intelligenti ed efficienti con una comprensione più profonda di come parlano realmente gli esseri umani — tenendo conto del flusso della conversazione, piuttosto che limitarsi ad ascoltare parole isolate. Prevedono di continuare a esplorare come mescolare le lingue e gestire compiti ancora più complessi in futuro, sperando di costruire robot che non si limitino ad ascoltarci, ma che ci comprendano davvero.