Automatic speech recognition system for court proceedings in Ethiopia

Stel je een wereld voor waarin computers menselijke stemmen kunnen beluisteren en deze direct kunnen omzetten in geschreven woorden. Dit is geen magie; het is een wetenschappelijk veld genaamd Automatic Speech Recognition (ASR). Denk aan het als een super-snelle, super-aandachtige kopiist die nooit moe wordt, nooit een pen laat vallen en kan typen zo snel als jij spreekt. Jarenlang is deze technologie de ster van de show geweest in hoogtechnologische domeinen zoals de gezondheidszorg, waar het artsen helpt bij het dicteren van aantekeningen, en in de media, waar het live nieuws ondertitelt. Maar hier is de crux: deze "super-kopiist" is voornamelijk getraind op talen die bergen aan data hebben om van te leren, zoals Engels of Mandarijn. Voor veel andere talen, vooral talen die gesproken worden in gebieden met minder digitale middelen, is de kopiist vaak verward, stil, of verzint hij gewoon woorden.

Om te begrijpen hoe deze kopiist leert, moeten we kijken naar twee belangrijke instrumenten die hij gebruikt. Ten eerste is er het "akoestisch model", wat is als een muzikant die leert het specifieke geluid van een viool te onderscheiden van een fluit. Het breekt de ruwe geluidsgolven van spraak af in piepkleine, beheersbare stukjes die fonemen worden genoemd (de kleinste eenheden van geluid in een taal). Ten tweede is er het "taalmodel", dat fungeert als een grammatica-politieagent of een voorspellende tekst-app. Het luistert niet alleen naar klanken; het raadt welk woord als volgende komt op basis van wat eraan voorafging, wat het systeem helpt te bepalen of je "court" of "court" zei (als ze vergelijkbaar klonken). Wanneer je deze twee combineert, krijg je een systeem dat een gesprek kan beluisteren en het kan opschrijven. Maar wat gebeurt er wanneer het gesprek plaatsvindt in een drukke rechtszaal, in een taal als Tigrigna, waar de kopiist nog nooit voor getraind is? Dat is de grote vraag die dit onderzoek aanpakt.

---

De zaak van de ontbrekende rechtszaal-kopiist

In de bruisende rechtszalen van Ethiopië vindt veel belangrijke zaken plaats. Rechters, advocaten, getuigen en verdachten spreken allemaal, en iemand moet elk enkel woord opschrijven om een officieel verslag te maken. Op dit moment wordt dit gedaan door menselijke transcripteurs. Het is een zwaar beroep. Ze moeten aandachtig luisteren, snel typen en omgaan met de stress van een live juridische strijd. Als ze moe worden of als de kamer luidruchtig is, worden er fouten gemaakt en wordt het juridische verslag slordig.

Maak kennis met Tedros Kebede Bidada en Dawit Teklu Weldeslasie van de Aksum Universiteit. Zij stelden een simpele maar krachtige vraag: Kunnen we een computer-kopiist bouwen die Tigrigna spreekt en de specifieke, lastige taal van Ethiopische rechtszalen begrijpt?

Tigrigna is een belangrijke taal die door miljoenen mensen wordt gesproken, maar in de wereld van computers wordt het beschouwd als "onderbedeeld". Dit betekent dat er niet genoeg digitale opnames zijn van mensen die het spreken om een computer te leren hoe het te begrijpen, vooral niet in de risicovolle, lawaaierige omgeving van een rechtszaak. De onderzoekers wilden deze kloof overbruggen en een "sprekersonafhankelijk" systeem bouwen. Dit is een chique manier om te zeggen dat ze een kopiist wilden die werkt voor iedereen die Tigrjna spreekt, en niet alleen voor één specifiek persoon wiens stem het systeem heeft uit het hoofd geleerd.

Het bouwen van het digitale oor

Om dit systeem te bouwen, volgde het team niet zomaar een gok; ze volgden een strikt recept met behulp van een toolkit genaamd CMU Sphinx. Zie deze toolkit als een enorme, vooraf gebouwde Lego-set voor spraakherkenning.

Eerst hadden ze data nodig. Ze konden mensen niet simpelweg vragen om een boek voor te lezen; rechtszalen zijn chaotisch. Dus namen ze drie uur aan echte, spontane audio uit de rechtszaal op. Ze legden de echte situatie vast: het nerveuze gestotter van een getuige, de razendsnelle argumenten van een advocaat en de brullende stem van een rechter. Ze verzamelden opnames van 24 moedertaalsprekers (10 mannen en 10 vrouwen voor de training, en 4 anderen voor de test).

Vervolgens moesten ze de computer leren hoe hij moet "horen". Ze gebruikten een techniek genaamd MFCC (Mel-Frequency Cepstral Coefficients). Stel je dit voor als een speciale bril die het achtergrondgeluid wegfiltert en de unieke "vingerafdruk" van de menselijke stem accentueert. Het zet de kronkelige lijnen van geluidsgolven om in een lijst met getallen die de computer kan begrijpen.

Toen kwam het woordenboek. Het team bouwde een aangepaste lijst van 5.205 unieke woorden die voorkomen in juridische procedures en koppelde deze aan hun klanken. Ze leerden de computer ook over de 51 verschillende klanken (fonen) die Tigrigna vormen, inclus�elijk enkele lastige klanken zoals geglottaliseerde medeklinkers die uniek zijn voor de taal.

Ten slotte trainden ze twee soorten "muzikanten" (akoestische modellen) om naar deze klanken te luisteren:

1. De Soloist (Context-onafhankelijk): Dit model luistert naar één klank tegelijk, zoals een muzikant die een enkele noot speelt zonder te geven om de noot die eraan voorafging of erop volgde.
2. De Band (Context-afhankelijk): Dit model luistert naar een klank en de omliggende klanken. Het weet dat de klank van een "t" er iets anders uitziet afhankelijk van of er een "a" of een "i" op volgt. Dit is cruciaal omdat onze monden in de echte spraak een continue stroom vormen, waarbij klanken in elkaar overvloeien (een fenomeen genaamd coarticulatie).

De Grote Test: Wie wint er?

De onderzoekers zetten hun systeem op de proef met de 10% van de data die ze nog nooit aan het systeem hadden getoond. Ze wilden zien hoeveel woorden de computer goed kreeg vergeleken met het door mensen geschreven transcript.

De resultaten waren duidelijk en vertelden een heel specifiek verhaal. Het "Soloist"-model (dat de klanken in isolatie beluisterde) had moeite en kreeg slechts ongeveer 53,12% van de woorden goed. Het was also als proberen een zin te begrijpen door slechts elk derde woord te horen.

Echter, het "Band"-model (het context-afhankelijke model) was een game-changer. Door naar de context van de klanken te luisteren, besefte het dat de "t" in "court" anders klinkt dan de "t" in "test". Naarmate ze het systeem aanpasten om meer complexe wiskunde te gebruiken (specifiek het verhogen van het aantal "Gaussian mixture components", wat je kunt zien als het toevoegen van meer lagen detail aan de klankvingerafdruk), steeg de nauwkeurigheid.

Het ideale punt werd gevonden bij 11 componenten. Bij deze instelling bereikte het systeem een woordnauwkeurigheid van 73,84%. Dit betekent dat van elke 100 woorden die in een gesimuleerde rechtszaal werden gesproken, de computer er ongeveer 74 correct heeft getranscribeerd.

Maar het verhaal eindigde niet met een perfecte score. De onderzoekers ontdekten dat het systeem veel "substitutie"-fouten maakte—het verwisselen van het ene woord voor een ander dat er vergelijkbaar uitzag. Dit gebeurde omdat Tigrigna veel woorden heeft met zeer vergelijkbare klanken, en de computer soms in de war raakte. Ook merkten ze op dat als ze te veel lagen toevoegden (zoals bij 12 componenten), het systeem juist slechter werd. Het was alsoं een student die de oefentoets zo perfect uit het hoofd leerde dat hij de echte toets niet haalde, omdat hij de kleine verschillen niet kon aan. Het systeem was aan het "overfitten", of het memoriseerde de ruis in plaats van de regels te leren.

Wat dit betekent voor de toekomst

Dit artikel beweert niet dat het probleem van de rechtszaal-transcriptie in Ethiopië volledig heeft opgelost. In plaats daarvan legt het een solide fundament. Het bewijst dat het mogelijk is om een Tigrigna spraakherkenner te bouwen die werkt voor verschillende sprekers en omgaat met de chaotische realiteit van een rechtszaal.

De studie laat expliciet zien dat context ertoe doet. Je kunt een computer niet alleen individuele klanken leren; je moet hem ook leren hoe die klanken samen dansen in een zin. De 73,84% nauwkeurigheid is een baseline—een startpunt. Het is niet perfect, maar het is een enorme stap voorwaarts vanuit het feit dat er helemaal geen systeem was.

De auteurs suggereren dat toekomstig werk meer data moet verzamelen van een breder scala aan mensen en wellicht nieuwere, krachtigere AI-technieken moet proberen om de achtergrondruis en de door angst veroorzaakte spraakpatronen tijdens echte rechtszaken aan te pakken. Voor nu hebben ze het rechtssysteem van Ethiopië een nieuw hulpmiddel gegeven: een digitale kopiist die leert hun taal te spreken, één rechtszaal tegelijk.