Taal is de brug die mensen verbindt en hen in staat stelt om over grenzen heen te handelen, te leren en ideeën te delen. Toch is deze brug voor meer dan een miljard mensen op het Afrikaanse continent in de digitale wereld vaak gebroken of zelfs volledig afwezig. Hoewel kunstmatige intelligentie de afgelopen jaren ongelooflijke vooruitgang heeft geboekt door computers te helpen veel talen te begrijpen en te spreken, heeft het de diverse talen van Sub-Saharaans Afrika grotendeels overgeslagen. Deze kloof creëert een digitale kloof, waardoor veel gemeenschappen niet in staat zijn om toegang te krijgen tot de productiviteits- en samenwerkingstools die AI biedt. Het kernprobleem is niet alleen een gebrek aan interesse, maar een tekort aan hoogwaardige data. Om een computer te leren vertalen, hebben onderzoekers enorme hoeveelheden tekst nodig waarbij zinnen in de ene taal perfect zijn gekoppeld aan hun vertalingen in een andere taal. Voor veel Afrikaanse talen bestaat dergelijke schone, grootschalige data simpelweg niet in de openbare wereld, waardoor onderzoekers gedwongen zijn te vertrouwen op rommelige, ongestructureerde internetfragmenten of dure, kleine datasets die te beperkt zijn om een computer goed te onderwijzen.

Een team van onderzoekers bij Tether AI Research heeft zich ermee ingesteld de balans te herstellen door een nieuw fundament te leggen voor machinevertaling. Ze introduceerden een project genaamd TranslatePsy-AfriSLM, dat een complete toolkit biedt voor het vertalen tussen het Engels en negentien verschillende Sub-Saharaanse Afrikaanse talen. In plaats van te proberen een massief, duur computerebrein te bouwen dat moeite heeft met deze talen, richtten zij zich op het creëren van een kleiner, zeer efficiënt model. Hun aanpak ging niet alleen over het verzamelen van meer data, maar over extreem selectief zijn. Ze ontwikkelden een rigoureuze methode om miljoenen zinnenparen door te zuiven, waarbij ze de overgrote meerderheid die ruis of van slechte kwaliteit was wegwierpen en alleen de beste voorbeelden behielden. Door deze zorgvuldig gecureerde data te combineren met een specifiek type door de computer gegenereerde tekst, trainden ze een model met slechts 0,8 miljard parameters. Ondanks dat dit model piepklein is vergeleken met de gigantische modellen die door grote technologiebedrijven worden gebruikt, presteerde hun kleine model beter dan systemen die tientallen malen groter zijn, wat bewijst dat de kwaliteit van de data veel belangrijker is dan de loutere omvang van het computerebrein.

De reis naar dit resultaat begon met het besef dat bestaande databronnen gebrekkig waren. De onderzoekers keken naar de enorme tekstbibliotheken die beschikbaar zijn op het internet, die miljarden zinnenparen bevatten. Ze merkten echter dat deze collecties leken op een bibliotheek waar boeken zonder orde op een hoop zijn gegooid; ze bevatten duplicaten, fouten en zinnen die niet goed bij elkaar pasten. Ze onderzochten ook kleinere, door mensen gemaakte datasets, die weliswaar schoon waren, maar veel te klein om een model effectief te onderwijzen. Om dit op te lossen, bouwde het team een meerstaps-pipeline om de data te reinigen en te organiseren. Ze begonnen met het verzamelen van ruwe tekst uit open bronnen en gebruikten vervolgens een geavanceerd scoringssysteem om de kwaliteit van elk afzonderlijk zinnenpaar te evalueren. Dit systeem vertrouwde niet op slechts één manier om kwaliteit te beoordelen, maar combineerde de inzichten van drie verschillende evaluatietools om een enkele, betrouwbare score te creëren. Hierdoor konden ze tot 96 procent van de trainingsdata filteren zonder enige leerwaarde te verliezen. In essentie realiseerden ze zich dat de computer niet miljoenen slechte voorbeelden hoefde te lezen om te leren; hij had slechts aan een paar duizend perfecte voorbeelden genoeg.

Een cruciaal onderdeel van hun ontdekking was het begrijpen van hoe men nieuwe data genereert. Omdat hoogwaardige menselijke vertalingen schaars waren, gebruikte het team een krachtig computermodel om synthetische data te creëren door grote hoeveelheden tekst vanuit het Engels naar Afrikaanse talen te vertalen. Ze ontdekten dat deze door de computer gegenereerde data, wanneer deze door hun strikte kwaliteitscontroles werd gefilterd, feitelijk superieur was aan de ruwe data die op het internet te vinden is. Het was schoner, consistenter en bood een sterker signaal voor het model om van te leren. Ze ontdekten ook dat de richting waarin ze de data scoorden er enorm toe deed. Als ze een zinnenpaar in de verkeerde volgorde beoordeelden ten opzichte van hoe het model de data uiteindelijk zou gebruiken, daalde de prestatie aanzienlijk. Door hun kwaliteitscontroles af te stemmen op de uiteindelijke vertaalrichting, zorgden ze ervoor dat elk stukje data dat ze in het model voedden, relevant en van hoge kwaliteit was.

De resultaten van deze zorgvuldige curatie waren opmerkelijk. Het team trainde een reeks kleine taalmodellen, waarvan het kleinste slechts 0,8 miljard parameters had. Bij tests op standaard benchmarks versloeg dit piepkleine model veel grotere systemen, waaronder een model van 27 miljard parameters en een massief model van 122 miljard parameters die als state-of-the-art worden beschouwd. Het presteerde zelfs beter dan gespecialiseerde vertalingsmodellen die specifiek voor deze taak waren ontworpen. De onderzoekers ontdekten dat hun model niet alleen beter vertaalde, maar ook het vermogen behield om gesprekken te voeren, een functie die vaak verloren gaat wanneer modellen uitsluitend op vertaaldata worden getraind. Ze testten het model ook op talen die het nog nooit eerder had gezien, en het toonde een opmerkelijk vermogen tot generalisatie, waarbij de prestaties op nieuwe, onbekende talen verbeterden. Dit suggereert dat de lessen die geleerd werden van de negentien doeltalen het model hielpen de onderliggende structuur van taal te begrijpen op een manier die overdraagbaar was naar andere talen.

Misschien wel de meest verrassende bevinding was dat het toevoegen van een kleine hoeveelheid data van andere talen, zoals die uit Azië en Europa, het model hielp te onthouden hoe het die talen spreekt zonder ze te vergeten. Dit voorkwam een veelvoorkomend probleem in kunstmatige intelligentie dat bekend staat als 'catastrofale vergetelheid', waarbij het leren van een nieuwe vaardigheid ertoe leidt dat een computer een oude vaardigheid verliest. Door deze diverse mix op te nemen, werd het model robuuster en veelzijdiger. De onderzoekers merkten ook op dat hoewel hun data uitstekend was, deze nog steeds beperkingen kende. Ze erkenden dat het zonder menselijke evaluatie moeilijk is om te weten of de vertalingen in elke culturele nuance werkelijk perfect zijn, en dat de data de voorkeur kan geven aan standaard geschreven vormen boven regionale dialecten. Desalniettemin toont hun werk aan dat het met de juiste aanpak van datakwaliteit mogelijk is om krachtige, efficiënte instrumenten te bouwen voor talen die achtergesteld zijn gebleven.

Dit werk vormt een belangrijke stap naar het dichten van de digitale kloof voor Afrikaanse talen. Het laat zien dat de weg vooruit niet noodzakelijkerwijs het bouwen van steeds grotere computers is, maar het slimmer zijn over de data die we ze voeden. Door de focus te leggen op kwaliteit boven kwantiteit en door rigoureus filteren te gebruiken om een schone leeromgeving te creëren, kunnen onderzoekers modellen bouwen die zowel efficiënt als effectief zijn. Het team heeft hun data en modellen publiekelijk beschikbaar gesteld, waarbij zij anderen uitnodigen om voort te bouwen op dit fundament. Hun succes suggereert dat met voortdurende inspanning en zorgvuldige curatie de drempel voor hoogwaardige machinevertaling in talen met weinig middelen kan worden verlaagd, wat nieuwe mogelijkheden opent voor communicatie en samenwerking over het continent. De toekomst van kunstmatige intelligentie in Afrika hangt mogelijk niet af van het hebben van de krachtigste hardware, maar van het hebben van de meest doordachte data.