Unadapted Multilingual ASR on a Garrusi Kurdish Evaluation Set: A Common-Reference Staged Normalization Analysis

La tecnologia del riconoscimento vocale ha compiuto passi da gigante, permettendo alle macchine di comprendere le voci umane in molte lingue. Eppure, per i parlanti di dialetti meno documentati, questa tecnologia spesso si scontra con un muro. La sfida non è solo che una macchina possa non sentire correttamente un suono specifico; a volte il problema è che la macchina e l'essere umano stanno parlando "lingue" di scrittura interamente diverse. Nel mondo del curdo, una lingua parlata tra Iran, Iraq, Turchia e Siria, questo divario è netto. Alcune varietà sono scritte utilizzando un sistema basato su lettere arabe, mentre altre, o persino la stessa varietà in regioni diverse, sono scritte con un alfabeto latino dotato di segni speciali per catturare suoni unici. Quando un computer addestrato su una scrittura tenta di leggere una frase scritta in un'altra, spesso fallisce non perché non riesca a sentire le parole, ma perché non riesce a riconoscere i simboli. Ciò crea un problema di misurazione: se una macchina coglie il suono correttamente ma lo scrive con la scrittura errata, i test standard la considerano un fallimento totale, nascondendo il fatto che la macchina abbia effettivamente compreso il parlato.

Questo è l'enigma specifico che Hiwa Asadpour ha affrontato studiando il Garrusi, una varietà di curdo parlata in Iran. Asadpour voleva vedere quanto bene un potente sistema di riconoscimento vocale preesistente potesse comprendere i parlanti di Garrusi, nonostante il sistema non fosse mai stato addestrato su quel particolare dialetto. Il sistema utilizzato, noto come MMS-1B-all, è stato adattato per il curdo centrale e produce testo in scrittura araba. I ricercatori, tuttavia, avevano raccolto registrazioni da cinque parlanti di Garrusi e avevano trascritto le parole corrette utilizzando un alfabeto latino con segni fonetici. Per confrontare i due, dovevano colmare il divario tra la scrittura araba prodotta dalla macchina e la scrittura latina che loro avevano trascritto. Lo hanno fatto creando un processo passo dopo passo: prima, hanno convertito l'output arabo della macchina in lettere latine, e poi hanno semplificato quelle lettere per farle corrispondere allo stile specifico del testo di riferimento. Questo metodo ha permesso loro di vedere esattamente quanto dell'errore derivasse dalla differenza nel sistema di scrittura e quanto dal fatto che la macchina non riuscisse realmente a sentire le parole.

I risultati hanno rivelato una realtà cruda. Quando i ricercatori hanno confrontato l'output arabo grezzo della macchina direttamente con il loro riferimento latino senza alcuna conversione, il sistema sembrava aver fallito completamente. Ha registrato un tasso di errore delle parole superiore al 111 percento, con zero parole corrispondenti. Ciò è accaduto perché i due sistemi di scrittura non condividono lettere comuni; la macchina stava parlando una lingua visiva diversa da quella dei ricercatori. Tuttavia, una volta che i ricercatori hanno convertito l'output della macchina in lettere latine, il quadro è cambiato drasticamente. Il tasso di errore è diminuito significativamente, mostrando che la macchina aveva in realtà riconosciuto molti dei suoni correttamente, ma il disallineamento dello script aveva mascherato questo successo. Quando hanno applicato un ultimo passaggio per semplificare le differenze di ortografia, l'errore è sceso ulteriormente, sebbene sia rimasto alto. Anche dopo aver risolto i problemi del sistema di scrittura, il sistema riusciva ancora a ottenere correttamente solo circa il 14 percento delle parole. Ciò significa che, sebbene il sistema di scrittura sia stato un ostacolo enorme, la macchina ha comunque faticato a comprendere i suoni specifici e le strutture delle parole del dialetto Garrusi.

Lo studio ha testato anche un sistema diverso che era stato specificamente perfezionato per il curdo meridionale, una categoria che alcuni linguisti ritengono includa il Garrusi. Sorprendentemente, questo sistema specializzato è stato meno efficace del sistema generale per il curdo centrale. Ha prodotto molte più parole in eccesso rispetto al testo di riferimento e non è riuscito a corrispondere alle parole reali degli interlocutori così come il sistema più semplice. Ciò suggerisce che il semplice addestramento di un modello su un dialetto correlato non garantisce che funzioni bene su una varietà specifica e distinta come il Garrusi, specialmente quando i dati utilizzati per l'addestramento provengono da frasi lette ed editate piuttosto che da parlato naturale registrato sul campo. Il sistema specializzato sembrava sovra-generare testo, aggiungendo parole che non c'erano, mentre il sistema generale tendeva a omettere parole.

Una scoperta chiave di questo lavoro è che il modo in cui misuriamo il successo conta tanto quanto la tecnologia stessa. I ricercatori hanno dimostrato che i test standard possono essere fuorvianti se non tengono conto delle differenze nei sistemi di scrittura. Mantenendo costante il testo di riferimento e cambiando solo il modo in cui l'output della macchina veniva presentato, sono riusciti a isolare l'impatto della conversione dello script. Hanno scoperto che la conversione dello script e la semplificazione dell'ortografia riducevano l'errore misurato di un ampio margine, provando che una parte significativa del "fallimento" era in realtà solo un problema di formattazione. Tuttavia, una grande quantità di errore rimaneva anche dopo queste correzioni, indicando che la macchina ha ancora molta strada da fare per comprendere veramente questo specifico dialetto. Lo studio conclude che, per le lingue con molteplici scritture o dialetti, i ricercatori devono essere cauti su come valutano i risultati. Devono rilasciare il testo esatto che hanno utilizzato per la valutazione in modo che altri possano verificare i numeri, e devono riconoscere che un alto tasso di errore potrebbe essere dovuto in parte al modo in cui il testo è scritto, non solo alla capacità della macchina di sentire.

Questa ricerca evidenzia un problema più ampio nella tecnologia del parlato: il divario tra i modelli high-tech e le diverse lingue del mondo reale che dovrebbero servire. Per i parlanti di Garrusi, e per molte altre comunità con lingue a basse risorse, la strada verso un riconoscimento vocale accurato è bloccata non solo dalla mancanza di dati, ma anche dalla complessità di come queste lingue vengono scritte e classificate. Lo studio non offre una soluzione perfetta, ma fornisce una mappa più chiara degli ostacoli. Dimostra che prima di poter affermare che una macchina comprende una lingua, dobbiamo prima assicurarci che la macchina e l'essere umano stiano parlando la stessa lingua visiva, e che i nostri test siano abbastanza equi da distinguere tra una macchina che non sa sentire e una che semplicemente scrive in modo diverso.