How Far Do SSL Speech Models Listen for Tone? Temporal Focus of Tone Representation under Low-resource Transfer

Technische Samenvatting: Temporele Focus van Toonrepresentatie onder Low-Resource Transfer

Probleemstelling
Lexicale toon is een cruciaal linguïstisch kenmerk dat de betekenis van woorden onderscheidt in ongeveer 40% van de talen ter wereld, maar het blijft onderbelicht in self-supervised learning (SSL) spraakmodellen, met name buiten het Mandarijn. Hoewel SSL-modellen sterke capaciteiten hebben getoond in het coderen van segmentale informatie (fonemen) en succes hebben behaald in meertalige automatische spraakherkenning (ASR), is hun behandeling van suprasegmentale kenmerken zoals toon minder goed begrepen. Bestaande analyses missen vaak een systematische studie van Zuidoost-Aziatische talen, die complexe en diverse toonsystemen bezitten met dynamische toonbewegingen. Een belangrijke uitdaging is bepalen hoe ver deze modellen "luisteren" naar toon—specifiek, de temporele span van toon-aanwijzingen—en hoe transfer learning opereert in low-resource condities waar datarelativiteit een grote rol speelt.

Methodologie
De studie richt zich op vier Zuidoost-Aziatische talen met verschillende toonsystemen: Birmaans, Thais, Lao en Vietnamees. Het onderzoek hanteert een drieledige aanpak:

1. Acoustic Baseline Estimatie: Voordat de SSL-modellen worden geanalyseerd, stellen de auteurs de optimale temporele span vast voor toonherkenning met behulp van log-Mel spectrogrammen en logistische regressieclassificaties. Ze testen vaste vensters variërend van 20 ms tot 300 ms om de minimale duur te bepalen die vereist is voor betrouwbare toononderscheiding in elke taal.
2. Modelarchitectuur en Fine-tuning: De studie analyseert verschillende representatieve SSL-encoders, primair wav2vec 2.0 large en de meertalige uitbreiding XLS-R 300M, evenals MMS 300M en mHuBERT-147. Om te onderzoeken hoe downstream adaptatie de toonrepresentaties vormgeeft, fine-tunen de auteurs deze modellen op diverse taken:
   • ASR: Gefinetuned op de doeltalen (Birmaans, Thais, Lao, Vietnamees) evenals Engels en Mandarijn.
   • Prosodie/Stemtaken: Gefinetuned op emotieherkenning, geslachtclassificatie en spraakverificatie.
   • Baseline: Vanilla (pre-trained) modellen worden gebruikt voor vergelijking.
3. Probing en Gradiëntanalyse:
   • Layer-wise Probing: Eenvoudige lineaire probes worden getraind op bevroren SSL-lagen om toonlabels te voorspellen uit verborgen toestanden, waarbij de prestaties worden geëvalueerd via macro-F1 scores.
   • Gradiënt-gebaseerde Gevoeligheid: De auteurs berekenen input-gradiënten met betrekking tot de gold-class logit op elke laag. Door deze gradiënten te kwadrateren en uit te lijnen naar tijd-offsets ten opzichte van het tooncentrum, leiden ze een "center-of-mass radius" ($r_{com}$) af. Deze metriek kwantificeert de temporele focus van de gevoeligheid van het model, wat aangeeft hoe geconcentreerd de gradiëntenergie rond het tooncentrum is.

Belangrijkste Resultaten

• Taalspecifieke Temporele Spannen: De analyse van de akoestische baseline onthult dat de optimale temporele span voor toonherkenning per taal verschilt. Birmaans en Thais vereisen kortere spans van ongeveer 100 ms, terwijl Lao en Vietnamees langere spans vereisen van ongeveer 180 ms.
• Impact van Downstream Taken op Temporele Focus:
  • ASR Fine-tuning: Modellen die zijn gefinetuned voor ASR in de doeltaal vertonen gradiëntgevoeligheids-spannen die nauw aansluiten bij de taalspecifieke akoestische baselines. Birmaanse/Thaise modellen vertonen een scherpe concentratie rond tooncentra, terwijl Lao/Vietnamese modellen bredere spreidingen vertonen, wat de akoestische vereisten weerspieelt.
  • Cross-linguale Transfer: Fine-tuning op Mandarin ASR (die lexicale toon bevat) levert de op één na beste resultaten op, terwijl English ASR fine-tuning de prestaties nog steeds verbetert ten opzichte van vanilla modellen, zij het minder effectief.
  • Niet-tonale Taken: Fine-tuning voor prosodie- of stemgerelateerde taken (emotie, geslacht, spraakverificatie) slaagt er niet in om tooninformatie effectief te scheiden. Deze modellen vertonen overly lange temporele spans en een probe-prestatie die bijna ononderscheidbaar is van vanilla pre-trained modellen.
• Layer-wise Lokalisatie: Tooninformatie wordt primair gevangen in de midden- tot hoge lagen van de SSL-encoders. Lagere lagen (0–11) missen voldoende temporele concentratie, terwijl hogere lagen (12–24) in target-taal ASR-modellen een stabiele lokalisatie bereiken die overeenkomt met de akoestische baselines.
• Modelconsistentie: Deze patronen houden stand over verschillende architecturen, inclusief MMS en mHuBERT-147, wat bevestigt dat target-taal ASR fine-tuning de meest effectieve strategie is voor het afstemmen van toonrepresentaties op taalspecifieke cues.

Betekenis en Claims
Het artikel claimt dat toonrepresentaties in SSL overdraagbaar zijn, maar dat deze transfer sterk afhankelijk is van de afstemming tussen de downstream fine-tuning taak en de specifieke temporele kenmerken van het toonsysteem van de doeltaal. De auteurs demonstreren dat:

1. Taakafhankelijkheid: De temporele focus van toonmodellering is niet statisch; het wordt gevormd door de downstream taak. ASR fine-tuning stemt het receptieve veld van het model af op de noodzakelijke toon-aanwijzingen, terwijl prosodie-gerelateerde taken het model richting overly lange spans sturen.
2. Low-Resource Guidance: Voor low-resource tonale talen is het selecteren van een seed-model en een fine-tuning strategie die aansluit bij de taalspecifieke toonspan (bijv. het gebruik van target-taal ASR) cruciaal voor effectieve representatie-lering.
3. Methodologische Bijdrage: De studie biedt een systematische analyse van de temporele spans die nodig zijn voor toonherkenning en introduceert een gradiënt-gebaseerde layer-wise probe om te onderzoeken hoe SSL-modellen deze spans vangen, wat een nieuw instrument biedt voor het analyseren van suprasegmentale kenmerken in spraakmodellen.

De bevindingen benadrukken dat succesvolle toonmodellering in SSL niet alleen de aanwezigheid van toon in de trainingsdata vereist, maar ook een specifieke afstemming van het leerdoel met de temporele dynamiek van het linguïstische kenmerk.