VoxKnesset: A Large-Scale Longitudinal Hebrew Speech Dataset for Aging Speaker Modeling

Dit artikel introduceert VoxKnesset, een open-access dataset van ongeveer 2.300 uur Hebreeuwse parlementaire spraak over een periode van 16 jaar, die wordt gebruikt om de uitdagingen van veroudering in stemherkenning en -verificatie te onderzoeken en de noodzaak van longitudinale modellen te onderstrepen.

De kern

VoxKnesset: Een Luisterend Oog op de Veroudering van de Stem

Stel je voor dat je stem een oude, kostbare wijn is. Elke dag dat je ouder wordt, verandert de smaak van die wijn een beetje. Soms wordt hij voller, soms wat scherper, en na twintig jaar is hij totaal anders dan op de dag dat je hem voor het eerst proefde.

Nu, stel je voor dat je een robot hebt die je moet herkennen aan je stem (zoals bij een slimme telefoon of een beveiligingssysteem). Het probleem is: de meeste robots zijn getraind om je te herkennen op basis van hoe je klinkt vandaag. Ze weten niet hoe je stem er over tien jaar uit zal zien. Als je ze vandaag leert, en je belt ze over een jaar op, raken ze in de war. Ze denken: "Hé, dit klinkt niet meer als de persoon die ik ken!"

Dit is precies het probleem dat de onderzoekers van het Weizmann Instituut in Israël hebben opgelost met hun nieuwe project: VoxKnesset.

Wat is VoxKnesset eigenlijk?

Stel je een gigantische bibliotheek voor, maar in plaats van boeken, zitten er hier 2.300 uur aan opnames van de Israëlische parlementsvergaderingen (de Knesset). Deze opnames lopen van 2009 tot 2025.

Het unieke aan deze bibliotheek is dat ze niet gewoon willekeurige mensen hebben opgenomen. Ze hebben 393 specifieke politici gevolgd. Ze hebben naar hun stem geluisterd terwijl ze jonger waren, en ze hebben naar diezelfde stem geluisterd terwijl ze ouder werden. Soms met een gat van 15 jaar tussen de opnames!

Het is alsof je een film hebt van iemand die elke dag een foto maakt van zichzelf, maar dan met geluid. En het allerbelangrijkste: ze hebben ook de "identiteitskaart" van elke spreker (leeftijd, geslacht, afkomst) gecontroleerd en kloppend gemaakt.

Waarom is dit zo'n grote doorbraak?

Vroeger hadden we twee soorten datasets, en beide hadden een groot gebrek:

1. De "Snapshot"-bibliotheek: Hierin heb je duizenden mensen, maar je hebt ze alleen maar één keer opgenomen. Het is alsof je een fotoalbum hebt met duizenden mensen, maar je weet niet hoe ze eruitzagen toen ze ouder werden. Je kunt dus niet leren hoe veroudering werkt.
2. De "Verouderings"-bibliotheek: Hierin heb je mensen die je wel vaker hebt opgenomen, maar dan vaak maar met een paar mensen, of zonder betrouwbare gegevens over hun leeftijd. Het is alsof je een film hebt van iemand die veroudert, maar je weet niet hoe oud ze precies zijn op elke foto.

VoxKnesset is de perfecte mix. Het heeft de schaal van de eerste (veel mensen, veel uren) en de diepgang van de tweede (dezelfde mensen over een lange tijd). Het is de eerste keer dat we een enorme, betrouwbare dataset hebben in het Hebreeuws om te zien hoe stemmen echt verouderen.

Wat hebben ze ontdekt?

De onderzoekers hebben deze dataset gebruikt om moderne AI-systemen te testen. Ze stelden drie belangrijke vragen:

1. Herkent de AI de veroudering?
   Ja, maar het is lastig. Als je een AI traint om de leeftijd van een stem te raden op basis van één opname, werkt dat goed. Maar als diezelfde AI probeert te raden hoeveel tijd er is verstreken tussen twee opnames van dezelfde persoon, faalt hij vaak. Het is alsof je iemand vraagt: "Hoeveel jaar is deze persoon ouder geworden?" en de AI zegt: "Ik denk dat hij 2 jaar ouder is," terwijl het er eigenlijk 10 zijn. De AI ziet het verschil tussen mensen, maar mist het verschil binnen één persoon.

2. Wat gebeurt er met de beveiliging?
   Dit is het meest zorgwekkende. Als je een stemslot gebruikt dat je vandaag instelt, en je probeert het over 15 jaar te openen, werkt het veel minder goed. De foutkans (de kans dat de robot denkt dat je een ander bent) verdubbelt bijna. De stem van de "oude" persoon klinkt voor de computer te anders dan de "jonge" versie.

3. Kan AI dit leren?
   Ja! Als je de AI specifiek traint om de verandering te zien (door naar paar opnames van dezelfde persoon te kijken in plaats van losse opnames), dan kan hij die veroudering wel begrijpen. Het is alsof je de AI leert niet alleen naar de wijn te kijken, maar ook naar hoe de fles veroudert.

Waarom is dit belangrijk voor ons allemaal?

We leven in een wereld waar stemmen steeds vaker worden gebruikt als sleutel: om je telefoon te ontgrendelen, om bankzaken te regelen, of om medische diagnoses te stellen.

Als die systemen niet leren omgaan met het feit dat we ouder worden, zullen ze in de toekomst steeds vaker falen. Je wordt geweigerd omdat je stem "veranderd" is, terwijl je gewoon ouder bent geworden.

VoxKnesset is de sleutel om dit op te lossen. Het is een trainingsveld voor de robots, zodat ze leren dat veroudering normaal is. Zo kunnen we in de toekomst stemsystemen bouwen die niet alleen je stem herkennen, maar ook begrijpen dat jij, net als een goede wijn, met de tijd alleen maar rijper wordt.

Kortom: Ze hebben een tijdmachine gebouwd (in de vorm van data) om AI te leren hoe de menselijke stem echt verandert, zodat de technologie van morgen niet verouderd raakt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "VoxKnesset: A Large-Scale Longitudinal Hebrew Speech Dataset for Aging Speaker Modeling", vertaald en samengevat in het Nederlands.

Probleemstelling

Spraakverwerkingssystemen staan voor een fundamentele uitdaging: de menselijke stem verandert door het ouderdomsproces (fysiologische veranderingen in de stembanden en het spraakkanaal), maar er zijn zeer weinig datasets die een rigoureuze longitudinale evaluatie (over tijd) ondersteunen.

• Huidige tekortkomingen: Bestaande benchmarks zoals TIMIT zijn kruisdoorsnede (cross-sectional) en nemen elke spreker slechts één keer op. Bestaande longitudinale corpora (zoals CSLU of Greybeard) zijn te klein voor moderne deep-learning methoden. Grote "in-the-wild" collecties zoals VoxCeleb2 missen vaak verifieerbare demografische labels of zijn niet ontworpen om longitudinale veranderingen vast te leggen.
• Het Dilemma: Er is geen bestaande bron die tegelijkertijd (1) dichte, herhaalde opnames van dezelfde sprekers over vele jaren biedt, (2) voldoende schaal en diversiteit voor moderne modellen, en (3) betrouwbare ground-truth labels.
• Specifiek voor Hebreeuws: De Hebreeuwse taal, hoewel morfologisch rijk, blijft ondervertegenwoordigd in open-access spraakdata, vooral met betrekking tot ouderdomsmodelleren.

Methodologie: VoxKnesset Dataset

De auteurs introduceren VoxKnesset, een open-access dataset afgeleid van 16 jaar aan plenaire opnames van de Israëlische Knesset (parlement), lopend van 2009 tot 2025.

Dataverzameling en Verwerking:

1. Bron: Officiële audiovisuele opnames en getranscribeerde protocollen van ongeveer 1.550 parlementsvergaderingen (totaal ~8.825 uur ruwe data).
2. Alignatie-pipeline: Een multi-staps proces werd ontwikkeld om audio en tekst te synchroniseren:
   • Extractie van audio (16 kHz mono).
   • Correctie van tijdstempels (drift en sprongen).
   • Gedwongen woord-uitlijning (forced alignment) met behulp van Whisper en een Hebreeuws aangepaste variant (Stable-Whisper).
   • Kwaliteitsfiltering op basis van alignatie-vertrouwen.
3. Spreker-identificatie: Data werd gekoppeld aan de Knesset Corpus, een verzameling met gestructureerde demografische metadata. Alleen segmenten met hoge audio-kwaliteit, hoge tekstuele overeenkomst en een duur van minimaal 30 seconden werden behouden.
4. Dataset Statistieken:
   • Totaal: ~2.300 uur spraak.
   • Sprekers: 393 leden van de Knesset (MK's).
   • Tijdsbestek: Tot 15 jaar per spreker (mediaan 3,4 jaar).
   • Labels: Verifieerde demografische metadata (leeftijd, geslacht, herkomst, religie) uit officiële registers.

Experimenteel Opzet:

• Modellen: Drie moderne spraak-embeddings werden getest: WavLM-Large, ECAPA-TDNN, en Wav2Vec2-XLSR-1B.
• Taken:
  1. Leeftijdsvoorspelling: Ridge-regressie op embeddings.
  2. Sprekerverificatie: Evaluatie van Equal Error Rate (EER) over tijd.
  3. Longitudinale Analyse: Vergelijking tussen kruisdoorsnede-training (cross-sectional) en longitudinale training (paar opnames van dezelfde spreker over tijd).

Belangrijkste Resultaten

1. Kruisdoorsnede Leeftijdsvoorspelling (Cross-Dataset):

• WavLM-Large presteerde consistent het beste op alle corpora (TIMIT, AgeVoxCeleb, HPP-Voice, VoxKnesset).
• De Mean Absolute Error (MAE) voor VoxKnesset was 6,3 jaar, wat vergelijkbaar is met andere corpora, ondanks het verschil in taal en opnameomgeving.
• Transfer Learning: VoxKnesset bleek de meest transfererbare dataset; het model dat getraind was op andere datasets presteerde het minst slecht op VoxKnesset (kleinste domein-kloof).

2. Longitudinale Verouderingseffecten:

• Embedding Drift: De embeddings van sprekers vertonen een duidelijke gradiënt in de UMAP-ruimte die correleert met de leeftijd.
• Voorspellend Vermogen:
  • Kruisdoorsnede modellen: Falen om veroudering binnen een spreker te vangen. Ze voorspellen een plateau van 1-2 jaar verschil, ongeacht de werkelijke verstreken tijd. Ze vangen alleen variatie tussen sprekers, niet binnen sprekers.
  • Longitudinale modellen: Modellen getraind op gepaarde embeddings van dezelfde spreker over verschillende jaren kunnen de verstreken tijd direct voorspellen. Wav2Vec2-XLSR-1B en WavLM tonen een bijna monotoon stijgende voorspelling die overeenkomt met de werkelijke veroudering (hoewel er bij zeer lange intervallen sprake is van onderschatting).
• Impact op Sprekerverificatie: De prestaties van sprekerverificatie degraderen aanzienlijk door veroudering. Voor het sterkste model (WavLM) steeg de Equal Error Rate (EER) van 2,15% naar 4,58% over een periode van 15 jaar. Dit betekent dat de betrouwbaarheid van biometrische systemen meer dan halveert zonder compensatie voor veroudering.

Bijdragen

1. Dataset Release: De publicatie van VoxKnesset, de eerste grote, longitudinale Hebreeuwse spraakdataset met verifieerbare demografische labels en hoogwaardige uitgelijnde transcripties.
2. Longitudinale Benchmarking: Een uitgebreide evaluatie van moderne embeddings onder longitudinale condities, wat inzicht geeft in hoe prestaties degradëren naarmate het tijdsverschil tussen registratie en test toeneemt.
3. Cross-Dataset Validatie: Het aantonen dat de leeftijdsinformatie in spraakembeddings over verschillende talen en opnameomstandigheden consistent is, maar dat specifieke longitudinale training noodzakelijk is om intra-spreker veranderingen te modelleren.

Betekenis en Toekomstperspectief

VoxKnesset lost een kritisch gat op in de spraakverwerkingsliteratuur door een dataset te bieden die zowel schaal als longitudinale diepte combineert met betrouwbare labels.

• Biometrie: De resultaten tonen aan dat bestaande sprekerherkenningsystemen kwetsbaar zijn voor veroudering, wat noodzakeleijk maakt tot strategieën voor "verouderingsbewuste" herregistratie (re-enrollment).
• Taalonderzoek: Het biedt een waardevol corpus voor de Hebreeuwse gemeenschap, een taal die vaak als "onderbelicht" wordt beschouwd in spraaktechnologie.
• Toekomst: De dataset kan worden gebruikt voor het ontwikkelen van modellen die individuele stemveranderingen over tijd kunnen tracken en voor het auditeren van demografische vooroordelen in spraaksystemen.

De auteurs benadrukken wel dat de dataset beperkt is tot het parlementaire register (formeel spreken) en een demografische scheefheid heeft naar oudere volwassenen, wat een uitdaging blijft voor het ontrafelen van kanaal-drift versus biologische veroudering.