Unadapted Multilingual ASR on a Garrusi Kurdish Evaluation Set: A Common-Reference Staged Normalization Analysis

Spraakherkenningstechnologie heeft enorme vooruitgang geboekt, waardoor machines menselijke stemmen in veel talen kunnen begrijpen. Toch loopt deze technologie vaak tegen een muur op bij sprekers van minder gedocumenteerde dialecten. De uitdaging is niet alleen dat een machine een specifieke klank mogelijk niet correct hoort; soms is het probleem dat de machine en de mens totaal verschillende "talen" van het schrijven spreken. In de wereld van het Koerdisch, een taal die wordt gesproken in Iran, Irak, Turkije en Syrië, is deze kloof scherp. Sommige varianten worden geschreven met een schrift gebaseerd op Arabische letters, terwijl anderen, of zelfs dezelfde variant in verschillende regio's, worden geschreven met een Latijns alfabet met speciale tekens om unieke klanken te vangen. Wanneer een computer die getraind is op één schrift probeert een zin te lezen die in een ander schrift is geschreven, faalt hij vaak niet omdat hij de woorden niet kan horen, maar omdat hij de symbolen niet kan herkennen. Dit creëert een meetprobleem: als een machine het geluid goed krijgt maar het in het verkeerde schrift schrijft, tellen standaardtests dit als een totale mislukking, waardoor het feit verborgen blijft dat de machine de spraak eigenlijk wel begreep.

Dit is het specifieke puzzelstuk waar Hiwa Asadpour zich mee bezighield tijdens zijn studie naar Garrusi, een Koerdische variant die in Iran wordt gesproken. Asadpour wilde zien hoe goed een krachtig, bestaand spraakherkenningssysteem de sprekers van Garrusi kon begrijpen, ook al was het systeem nooit getraind op dat specifieke dialect. Het gebruikte systeem, bekend als MMS-1B-all, werd aangepast voor Centraal-Koerdisch en geeft tekst weer in het Arabische schrift. De onderzoekers hadden echter opnames verzameld van vijf Garrusi-sprekers en de juiste woorden opgeschreven met een Latijns alfabet met fonetische tekens. Om de twee te vergelijken, moesten zij de kloof overbruggen tussen het Arabische schrift dat de machine produceerde en het Latijnse schrift dat zij hadden opgeschreven. Ze deden dit door een stapsgewijs proces te creëren: eerst zetten ze de Arabische output van de machine om in Latijnse letters, en daarna vereenvoudigden ze die letters om aan te sluiten bij de specifieke stijl van de referentietekst. Deze methode stelde hen in staat om precies te zien hoeveel van de fout voortkwam uit het verschil in schrijfsysteem en hoeveel uit het feit dat de machine daadwerkelijk de woorden niet kon horen.

De resultaten onthulden een harde realiteit. Toen de onderzoekers de ruwe Arabische output van de machine direct vergeleken met hun Latijnse referentie zonder enige conversie, leek het systeem volledig te hebben gefaald. Het scoorde een woordfoutpercentage van meer dan 111 procent, met nul overeenkomende woorden. Dit gebeurde omdat de twee schriften geen gemeenschappelijke letters delen; de machine sprak een andere visuele taal dan de onderzoekers. Echter, zodiment dat de onderzoekers de output van de machine naar Latijnse letters hadden omgezet, veranderde het beeld drastlijk. Het foutenpercentage daalde aanzienlijk, wat aantoonde dat de machine veel van de klanken daadwerkelijk correct had herkend, maar dat het mismatchende schrift dit succes had gemaskeerd. Toen ze een laatste stap toepasten om de verschillen in spelling te vereenvoudigen, daalde het foutenpercentage verder, hoewel het hoog bleef. Zelfs na het oplossen van de schrijfsysteemproblemen kreeg het systeem nog steeds slechts ongeveer 14 procent van de woorden exact goed. Dit betekent dat hoewel het schrijfsysteem een enorme hindernis was, de machine nog steeds moeite had met het begrijpen van de specifieke klanken en woordstructuren van het Garrusi-dialect.

De studie testte ook een ander systeem dat specifelijk was bijgesteld (fine-tuned) voor Zuid-Koerdisch, een categorie die volgens sommige taalkundigen Garrusi omvat. Verrassend genoeg presteerde dit gespecialiseerde systeem slechter dan het algemene Centraal-Koerdische systeem. Het produceerde veel meer extra woorden dan de referentietekst en slaagde er minder goed in om de werkelijke woorden van de sprekers te matchen dan het simpelere systeem. Dit suggereert dat het simpelweg trainen van een model op een verwant dialect niet garandeert dat het goed zal werken op een specifiek, afwijkend variant zoals Garrusi, vooral wanneer de gebruikte data afkomstig is van bewerkte, voorgelezen zinnen in plaats van natuurlijke, in het veld opgenomen spraak. Het gespecialiseerde systeem leek te veel tekst te genereren, waarbij woorden toevoegde die er niet waren, terwijl het algemene systeem de neiging had om woorden te missen.

Een belangrijke bevinding van dit werk is dat de manier waarop we succes meten net zo belangrijk is als de technologie zelf. De onderzoekers toonden aan dat standaardtests misleidend kunnen zijn als ze geen rekening houden met verschillen in schrijfsystemen. Door de referentietekst constant te houden en alleen de presentatie van de output van de machine te veranderen, konden ze de impact van de scriptconversie isoleren. Ze ontdekten dat het converteren van het schrift en het vereenvoudigen van de spelling de gemeten fouten met een grote marge verminderde, wat bewees dat een aanzienlijk deel van de "fout" eigenlijk een formatteringsprobleem was. Er bleef echter een grote hoeveelheid fout aanwezig, zelfs na deze correcties, wat aangeeft dat de machine nog een lange weg te gaan heeft om dit specifieke dialect werkelijk te begrijpen. De studie concludeert dat voor talen met meerdere schriften of dialecten, onderzoekers voorzichtig moeten zijn met hoe ze resultaten scoren. Ze moeten de exacte tekst vrijgeven die ze voor de scoring gebruikten zodat anderen de cijfers kunnen verifiëren, en ze moeten erkennen dat een hoog foutenpercentage deels te wijten kan zijn aan de manier waarop de tekst is geschreven, en niet alleen aan het vermogen van de machine om te horen.

Dit onderzoek benadrukt een breder probleem in de spraaktechnologie: de kloof tussen hoogtechnologische modellen en de diverse, echte talen die ze bedoeld zijn te dienen. Voor Garrusi-sprekers, en voor veel andere gemeenschappen met talen met minder middelen, wordt de weg naar nauwkeurige spraakherkenning niet alleen geblokkeerd door een gebrek aan data, maar ook door de complexiteit van hoe die talen worden geschreven en geclassificeerd. De studie biedt geen perfecte oplossing, maar biedt een duidelijkere kaart van de obstakels. Het laat zien dat voordat we kunnen beweren dat een machine een taal begrijpt, we eerst moeten waarborgen dat de machine en de mens dezelfde visuele taal spreken, en dat onze tests eerlijk genoeg zijn om onderscheid te maken tussen een machine die niet kan horen en een machine die simpelweg anders schrijft.