💬 NLP

From a Multilingual Streaming ASR Backbone to Kenyan-Language Systems: Data-Centric Adaptation of Nemotron 3.5 for Kikuyu, Dholuo, and Kalenjin

Dit artikel presenteert een uitgebreide engineeringstudie over het aanpassen van NVIDIA's Nemotron 3.5 streaming ASR-model aan de talen Kikuyu, Dholuo en Kalenjin via datacentrische strategieën zoals corpusauditing en normalisatie, waarbij specifieke WER- en CER-metrieken worden behaald terwijl uitdagingen, negatieve bevindingen en het ontbreken van claims op het gebied van de state-of-the-art transparant worden gerapporteerd vanwege niet-standaard evaluatieprotocollen.

Oorspronkelijke auteurs: Mark Gatere

Gepubliceerd 2026-07-22

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mark Gatere

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren om naar de wereld te luisteren. Deze robot, laten we hem "Nemotron" noemen, is al een genie in het begrijpen van vele talen, maar hij is vooral gewend aan de grote, populaire talen. Stel je nu voor dat je hem drie specifieke talen wilt leren die in Kenia worden gesproken: Kikuyu, Dholuo en Kalenjin. Dit is de wereld van Automatic Speech Recognition (ASR). Zie ASR als het "oor" en het "brein" van de robot die samenwerken om geluidsgolven om te zetten in geschreven woorden.

Maar hier komt het lastige deel: een robot een nieuwe taal leren is niet alleen het afspelen van een paar liedjes. Het is alsof je een chef-kok een nieuw recept probeert te leren wanneer de ingrediënten rommelig zijn, de instructies in een code zijn geschreven die je niet volledig begrijpt, en sommige keukeninstrumenten ontbreken. In de wereld van AI wordt dit het "low-resource" probleem genoemd. Het betekent niet alleen dat er niet genoeg audio is; het betekent dat de audio vreemde spelfouten, ontbrekende delen of verwarrende achtergrondgeluiden kan hebben die het voor de robot moeilijk maken om het verschil te zien tussen een echt woord en een glitch.

Dit paper is een verhaal over hoe een team van ingenieurs die superintelligente robot een speciale "brugles" gaf met behulp van een verwante taal, en hem daarna probeerde deze drie Keniaanse talen te leren. Ze wilden niet alleen dat hij de woorden begreep; ze wilden dat hij in real-time luisterde, zoals een mens tijdens een telefoongesprek, in plaats van te wachten tot het hele gesprek voorbij is om het op te schrijven. Het is een verhaal van data-detectivewerk, het repareren van kapotte instructies en kijken hoe ver een robot kan komen als je hem de juiste instrumenten en het juiste beetje geduld geeft.

Het Verhaal van het Keniaanse Taalproject

Het paper, geschreven door Mark Gatere van C-elo Labs, is in essentie een engineering-dagboek. Het documenteert de reis van het aanpassen van een massaal, vooraf getraind AI-model (Nemotron 3.5) om Kikuyu, Dholuo en Kalenjin te begrijpen. Het team begon niet vanaf nul; ze begonnen met een "brug". Ze namen een versie van de robot die al Keniaans-Swahili had geleerd en gebruikten dat als startpunt. Denk aan het leren van Italiaans als je al Spaans kent: de grammatica en woordenschat zijn dichtbij genoeg dat je een enorme voorsprong hebt, zelfs als de twee talen geen identieke tweelingen zijn.

Het Detectivewerk: De Data Opschonen
Voordat de robot kon leren, moest het team optreden als data-detectives. De ruwe audiobestanden die ze vonden, waren rommelig. Sommige hadden ontbrekende audio, sommige hadden transcripties met vreemde symbolen (zoals "lange pauze" uitgeschreven als woorden in plaats van stilte), en sommige hadden een spelling die niet overeenkwam met de werkelijke klanken.

Het "Verwijderen vs. Fixen" Dilemma: Het team stond voor een moeilijke keuze. Als een transcript een vreemd symbool had, moesten ze dan proberen te raden wat het betekende en het fixen, of gewoon de hele opname weggooien? Ze besloten dat raden te gevaarlijk was. Als ze niet 100% zeker wisten wat de spreker zei, verwijderden ze de rij. Het is als een chef die een taart weggooit als hij niet zeker weet of het ingrediënt suiker of zout was, in plaats van het risico te lopen op een slechte smaak. Dit betekende dat ze wat data verloren, maar de data die ze behielden, was betrouwbaar.
Het "Marker" Probleem: In de Kalenjin-data ontdekten ze dat de opnames kleine aantekeningen in de tekst hadden staan zoals [pauze] of [cs] (code-switching). De robot probeerde te leren om "pauze" hardop uit te spreken! Het team moest deze aantekeningen volledig verwijderen zodat de robot stilte en taalwisselingen zou herkennen, en niet de woorden die de gebeurtenissen beschrijven.

De Training: Een Marathon, Geen Sprint
Zodra de data schoon was, begonnen ze met de training. Ze trainden de robot niet slechts één keer; ze deden het in fasen, zoals het stijgen in level in een videogame.

Full-Parameter Tuning: In plaats van alleen een paar instellingen aan te passen, lieten ze de robot bijna alles opnieuw leren over hoe hij geluid voor deze specische talen verwerkt.
Streaming Modus: Cruciaal was dat ze de robot in "streaming" modus hielden. Dit betekent dat de robot de woorden moet raden terwijl het geluid binnenkomt, stukje bij beetje, zonder te wachten tot het einde van de zin. Het is also kind als je een live radio-uitzending probeert te transcriberen versus het lezen van een voltooid boek. Dit is veel moeilijker maar veel nuttiger voor real-life applicaties.

De Resultaten: Hoe Goed Hebben Ze Het Gedaan?
Het paper is zeer eerlijk over wat wel en wat niet werkte. Het beweert niet dat ze deze talen hebben "opgelost", maar het toont enorme vooruitgang.

Kikuyu: De robot werd erg goed. Na alle opschoning en training behaalde hij een Word Error Rate (WER) van 42,97%. In gewone mensentaal betekent dit dat als de robot 100 woorden hoorde, hij er ongeveer 57 goed had. Dat is een enorme verbetering ten opzichte van waar ze begonnen. Ze maten ook een "No-Space Character Error Rate" van 7,79%, wat een chique manier is om te zeggen dat zelfs als hij de woordgrenzen fout had (zoals "in ya" in plaats van "inya"), de werkelijke letters grotendeels correct waren.
Dholuo: Deze presteerde nog beter, met een WER van 33,98%. De robot maakte hier minder fouten en kreeg ongeveer twee derde van de woorden goed.
Kalenjin: Dit is nog steeds een "werk in uitvoering". De robot behaalde een WER van 68,74% op een gefilterde testset. Dit is een hoge foutmarge, wat betekent dat de robot nog steeds worstelt. De auteurs leggen uit dat dit een "diagnostisch" resultaat is, en geen definitief resultaat, omdat ze zeer strikt waren over welke data ze testten (alles met cijfers of korte zinnen verwijderd). Ze zijn nog steeds bezig met het vinden van de beste manier om deze taal te leren.

Wat het Paper Niet Beweert
De auteurs zijn zeer voorzichtig om hun resultaten niet te overhypen.

Geen "State-of-the-Art" Claim: Ze zeggen expliciet dat ze nog niet de beste ter wereld zijn. Ze hebben hun robot niet vergeleken met elke andere robot op de planeet met exact dezelfde test. Hun cijfers zijn intern, wat betekent dat ze geweldig zijn om hun eigen vooruitgang te volgen, maar het zijn geen definitieve scorekaart voor de hele wereld.
Het "Brug" Mysterie: Ze gebruikten een Keniaans-Swahili model als startpunt, maar geven toe dat ze niet hebben bewezen dat dit beter was dan starten vanaf de ruwe, ongetrainde robot. Het was een slimme gok die werkte, maar ze hebben geen zij-aan-zij test uitgevoerd om te bewijzen dat dit de enige manier was.
De "Herhaalde" Test: Ze gebruikten dezelfde testdata herhaaldelijk om hun beslissingen te sturen. Hoewel ze de robot niet de antwoorden lieten zien tijdens de training, keken ze wel naar de resultaten om te beslissen wanneer ze moesten stoppen. Dit betekent dat de scores iets optimistisch kunnen zijn omdat het team de testvragen te goed kende.

De Real-World Test
Het team stopte niet bij alleen cijfers. Ze bouwden een prototype systeem waarbij een gebruiker tegen de robot kon praten via een webbrowser, en de robot in real-time terug zou typen. Ze zorgden ervoor dat de robot geïsoleerd was, zodat als de Dholuo-versie crasht, het de Kikuyu-versie niet zou laten crashen. Ze richtten ook beveiliging in zodat alleen ingelogde gebruikers toegang hadden tot de dienst, om de "hersenen" van de robot te beschermen tegen diefstal.

De Belangrijkste Les
Dit paper is een meesterwerk in "data-centrische" AI. Het laat zien dat een krachtig robotmodel niet genoeg is; je moet een minutieuze editor zijn van de data die je de robot voert. Door de transcripties op te schonen, de verwarrende "notities" te verwijderen en de robot te trainen om in real-time te luisteren, hebben ze een algemene AI veranderd in een gespecialiseerde tool voor Keniaanse talen.

Voor Kikuyu en Dholuo hebben ze een werkend, live systeem dat nuttig genoeg is. Voor Kalenjin hebben ze een roadmap van wat er nog kapot is en hoe dat te repareren. De belangrijkste les gaat niet alleen over deze drie talen; het is dat voor talen met weinig middelen (low-resource), het geheime ingrediënt niet alleen grotere computers zijn — het is betere data-hygiëne en een zorgvuldig, stapsgewijs engineeringproces. De robot leert, maar hij leert omdat mensen eerst het harde werk hebben gedaan om de rommel op te ruimen.

Technische Samenvatting: Datacentrische Adaptatie van Nemotron 3.5 voor Keniaanse Talen

Probleemstelling

Automatische Spraakherkenning (ASR) voor Afrikaanse talen staat voor beperkingen die verder gaan dan enkel datarelativiteit. Het artikel identificeert een breder scala aan operationele uitdagingen: orthografische inconsistentie, annotatie-artefacten (bijv. niet-spraakmarkeringen die als tekst worden behandeld), ontbrekende audio-objecten, spreker- en domeinimbalans, en evaluatieprocedures die afwijken van de realiteit van implementatie. Specifiek pakt de auteur de noodzaak aan om een meertalig streaming ASR-backbone aan te passen aan Kikuyu, Dholuo en Kalenjin, terwijl de echte streaming-capaciteiten (lage latentie, stateful inferentie) behouden blijven in plaats van te vertrouwen op offline encoder-decoder modellen. De studie stelt de vraag of een groot meertalig model succesvol kan worden aangepast, geëvalueerd en geserveerd als een streamingsysteem onder realistische curatie- en infrastructuurbeperkingen.

Methodologie

Systeemarchitectuur en Basismodel

De studie maakt gebruik van NVIDIA Nemotron 3.5 ASR Streaming 0.6B als fundament. De architectuur is een FastConformer RNN-T (Recurrent Neural Network Transducer) bestaande uit:

Een 24-laagse cache-bewuste encoder (dimensie 1024).
Een 128-dimensionale one-hot taalidentificatie prompt.
Een SentencePiece vocabulaire van 13.087 eenheden.
Streaming Mechanisme: Het model gebruikt cache-bewuste aandacht met een contextconfiguratie van [56, 13] (56 linkercontext-eenheden, 13 rechtercontext-eenheden), wat stateful inferentie mogelijk maakt over audiofragmenten zonder volledige prefix-herberekening.

Adaptatiestrategie

In plaats van direct te adapteren vanaf de ruwe NVIDIA-basis, initialiseert de auteur vanuit een Kenyaanse Swahili-geadapteerde brug-checkpoint (publiekelijk vrijgegeven door Tony Kipkemboi). Deze "brug" wordt behandeld als een initialisatiepunt om gedeelde akoestische omgevingen, namen en code-switching patronen die gebruikelijk zijn in de Keniaanse spraak te benutten, in plaats van als een lexicale leraar.

Fine-Tuning: Volledige parameter-fine-tuning wordt uitgevoerd op doeltaal audio-transcript paren.
Prompting: De taalprompt blijft sw-KE (Swahili-Kenya) gedurende de hele training; de doeltaal wordt geleerd via de gesuperviseerde data en parameter-updates, niet door de prompt te wijzigen.
Trainingsprotocol: Het proces omvat gefaseerde continuatie, waarbij een geselecteerde checkpoint uit één fase de volgende initialiseert. Hyperparameters omvatten AdamW optimalisatie met een lage leersnelheid ( $5 \times 10^{-7}$ ) en duur-gebaseerde batching.

Datacuratie en Governance

Een aanzienlijk deel van het werk richt zich op data-forensisch onderzoek en taalspecifieke curatie met behulp van African Next Voices (ANV) datasets.

Pipeline: Een deterministische pipeline handelt audio-decodering, duurfiltering en tekstnormalisatie af. Rijen met ontbrekende audio, lege transcripten of onopgeloste Unicode vervangingskarakters worden verwijderd.
Taalspecifieke Beslissingen:
- Kikuyu: Strikte orthografische normalisatie voor contrastieve klinkers (bijv. ˜ı, ˜u), waarbij rijen met onzekere karaktermappings worden afgewezen.
- Dholuo: Een "bevroren historische" labelpolicy werd behouden waarbij het token cs (code-switch marker) niet uit de referenties werd verwijderd, wat een gecontroleerde vergelijking binnen die specifieke lijn mogelijk maakt.
- Kalenjin: Iteratieve opschoning van clean-v1 naar clean-v3. Dit omvatte het verwijderen van annotatie-wrappers ([cs], (pause)) en, in clean-v3, het uitsluiten van rijen die letterlijke zinnen zoals "long pause", cijfers of minder dan drie tokens bevatten om over-generatie van korte uitingen te voorkomen.
Splitsingsintegriteit: De auteurs benadrukken de strikte scheiding tussen train-, validatie- en testsets. Een correctie werd toegepast op de Kalenjin-splitsingen om te garanderen dat de validatieset geen rijen uit de testset bevatte, een fout die aanwezig was in eerdere experimentele runs.

Evaluatieprotocol

De studie maakt onderscheid tussen trainer validatie (offline evaluatie van volledige uitingen gebruikt voor checkpoint selectie) en echte streaming evaluatie.

Echte Streaming: De interne evaluator bootst implementatie na door audio in begrensde fragmenten te verwerken, waarbij encoder-caches en decoder-status worden meegenomen en partiële hypothesen worden uitgegeven.
Metrieken: Word Error Rate (WER), Character Error Rate (CER), en No-Space CER (NS-CER), die spaties verwijdert om rekening te houden met morfologische grens-inconsistenties in agglutinerende talen.
Held-out Status: De testsets werden nooit gebruikt voor gradiënt-updates, maar werden adaptief geraadpleegd tijdens modelselectie. De auteurs stellen expliciet dat dit interne diagnostiek is, geen zuivere one-shot benchmarks.

Belangrijkste Resultaten

Kikuyu

Status: Voltooide engineering casestudy met een live streaming deployment.
Prestaties: Het kampioensmodel (v13) behaalde 42.97% WER en 7.79% No-Space CER op de interne echte-streaming testset.
Traject: Significante verbeteringen werden waargenomen door gefaseerde continuatie en orthografische curatie, wat de WER met meer dan 10 procentpunten verminderde ten opzichte van de initiële gefilterde baseline.

Dholuo

Status: Voltooide engineering casestudy met een live streaming deployment.
Prestaties: Het kampioensmodel (v7) behaalde 33.98% WER, 9.59% CER, en 8.13% No-Space CER.
Opmerking: Deze resultaten vallen onder een "bevroren historische" policy waarbij het cs token in de referenties bleef. De auteurs waarschuwen dat deze scores niet direct vergelijkbaar zijn met systemen die een andere normalisatiepolicy gebruiken.

Kalenjin

Status: Voortdurend onderzoek casestudy; nog geen productiesysteem.
Prestaties: De v1-v checkpoint behaalde 68.74% WER op een gefilterde clean-v3 diagnostische subset.
Kanttekeningen: Dit resultaat is een "adaptieve diagnostiek" omdat de checkpoint selectie een mixed-source validatie manifest gebruikte dat rijen uit de testset bevatte. De hoge foutmarge weerspiegelt residuele problemen met corpuskwaliteit, grenssensitiviteit en over-generatie van korte uitingen.

Betekenis en Claims

Het artikel maakt geen aanspraak op state-of-the-art (SOTA) prestaties tegenover publieke leaderboards (bijv. PazaBench). De auteurs stellen expliciet dat interne resultaten verschillen van publieke benchmarks qua audio, normalisatie en evaluatieprotocollen.

De betekenis van het papier ligt in plaats daarvan in het bieden van een auditbaar, end-to-end engineering verslag van de adaptatie van een meertalig streaming model naar talen met weinig middelen. De belangrijkste bijdragen zijn:

Datacentrische Adaptatie: Aantonen dat rigoureuze datacuratie (verwijderen van artefacten, herstellen van orthografie, waarborgen van splitsingsintegriteit) even cruciaal is als modelarchitectuur voor succes bij talen met weinig middelen.
Streaming Getrouwheid: Bewijzen dat een cache-bewuste RNN-T kan worden geadapteerd van een brug-checkpoint naar doeltalen, terwijl de echte streaming-eigenschappen behouden blijven van training tot deployment.
Negatief Bewijs: Het rapporteren van mislukkingen en beperkingen (zoals de mixed-source selectiefout bij Kalenjin, over-generatie van korte uitingen en de ontoereikendheid van geaggregeerde WER) om toekomstig werk te voorkomen deze fouten te herhalen.
Reproduceerbaar Kader: Het definiëren van een workflow voor artefact-preservatie, checkpoint promotie en geïsoleerde taal-service deployment, inclusief specifieke protocollen voor het afhandelen van "negatieve" resultaten en datagovernance.

Het werk concludeert dat ASR voor talen met weinig middelen een probleem is van geldige supervisie, evaluatiediscipline en deployment getrouwheid evenzeer als een probleem van model schaal. Het biedt een reproduceerbaar pad om van onderzoeksexperimenten naar interactieve spraaktechnologie te bewegen zonder de wetenschappelijke voorzichtigheid op te geven.