Speech-FT: Merging Pre-trained And Fine-Tuned Speech Representation Models For Cross-Task Generalization

1. Probleemstelling

Het fine-tunen van vooraf getrainde spraakrepresentatiemodellen (bijv. HuBERT, wav2vec 2.0) op specifieke downstreamtaken leidt vaak tot een verslechtering van de generalisatie over taken. Hoewel fine-tuning de prestaties op de doeltaak verbetert, veroorzaakt het vaak representatiedrift, waarbij het model te gespecialiseerd wordt en de generaliseerbare kenmerken die tijdens zelftoezicht vooraf zijn geleerd, verliest.

Bestaande oplossingen proberen dit te mitigeren door:

• Regularisatie in de gewichtenruimte: Het straffen van grote afwijkingen van de vooraf getrainde gewichten.
• Parameter-efficiënt fine-tuning (PEFT): Het gebruik van adapters (bijv. LoRA) om parameterupdates te beperken.
• Vroegtijdig stoppen: Het beëindigen van training voordat de gewichten te ver uitwijken.

Beperkingen: De auteurs betogen dat deze methoden falen omdat het beperken van de gewichten-ruimte niet noodzakelijk de gelijkenis in kenmerk-ruimte behoudt. Modellen kunnen aanzienlijke veranderingen in gewichten ondergaan terwijl ze kenmerk-gelijkenis behouden, of omgekeerd: kleine veranderingen in gewichten kunnen kenmerken drastisch veranderen. Bijgevolg verliezen bestaande basismodellen vaak het vermogen om te generaliseren naar niet-gerelateerde taken.

2. Methodologie: Speech-FT

De auteurs stellen Speech-FT voor, een nieuw tweefasig raamwerk dat is ontworpen om taakspecifieke prestaties te verbeteren en tegelijkertijd cross-task generalisatie te herstellen.

Fase 1: Stabiel Fine-tunen (Stable-FT)

Deze fase heeft tot doel representatiedrift te minimaliseren tijdens de initiële aanpassing aan een nieuwe taak.

• Invriezen van de Downsampling-module: De initiële convolutie-encoder (die laag-niveau frequentiekenmerken extraheren) wordt bevroren om cruciale laag-niveau akoestische patronen te behouden.
• Warm-up-strategie: Voor de eerste $\beta\%$ ( ingesteld op 10%) van de trainingsstappen wordt alleen de taakvoorspelling-kop ($D$) bijgewerkt. Hierdoor kan het model zijn outputlaag aanpassen zonder direct de vooraf getrainde kenmerkextractor te verstoren.
• Volledige update: Na de warm-up wordt het volledige model (behalve de bevroren downsampling-module) gefine-tuned op de doeltaak.

Fase 2: Interpolatie in de Gewichtenruimte (Model Merging)

Nadat de gefine-tuned modelgewichten ($\theta'$) zijn verkregen, voegt Speech-FT deze samen met de originele vooraf getrainde gewichten ($\theta_0$) door middel van lineaire interpolatie:
$$\hat{\theta} = (1 - \alpha) \cdot \theta_0 + \alpha \cdot \theta'$$

• $\alpha$ (Schaalfactor): Een hyperparameter (ingesteld op 0,25 in experimenten) die de vooraf getrainde algemene kennis en de taakspecifieke kennis in evenwicht brengt.
• Mechanisme: Deze stap fungeert als een vorm van model merging. Het injecteert effectief de taakspecifieke "taakvector" ($\tau = \theta' - \theta_0$) terug in de vooraf getrainde basis, maar geschaald. Theoretisch maakt dit gebruik van Layerwise Linear Feature Connectivity (LLFC), waarbij wordt gegarandeerd dat de kenmerken van het geïnterpoleerde model lineair verbonden blijven met de vooraf getrainde kenmerken, waardoor de kenmerk-gelijkenis wordt hersteld.

Uitbreiding naar Meerdere Taken

Het raamwerk ondersteunt meerdere fine-tuning-scenario's:

• Multitask Fine-tuning: Gezamenlijke training op meerdere taken.
• Lineaire/TIES Merging: Het samenvoegen van meerdere onafhankelijk gefine-tunde modellen voordat wordt geïnterpoleerd met het vooraf getrainde model.
• Sequentieel Fine-tuning: Het iteratief toepassen van Speech-FT op een reeks taken.

3. Belangrijkste Bijdragen

1. Nieuw Raamwerk: Introductie van Speech-FT, een tweestapsproces dat "Stabiel Fine-tunen" en "Interpolatie in de Gewichtenruimte" combineert om de afweging tussen generalisatie en specialisatie op te lossen.
2. Inzicht in Kenmerk-gelijkenis: Aantonen dat kenmerk-gelijkenis een kritieker maatstaf is voor generalisatie dan de nabijheid in de gewichtenruimte. Speech-FT bereikt een hogere kenmerk-gelijkenis met het vooraf getrainde model dan regularisatie-gebaseerde methoden, zelfs al staat het grotere updates in gewichten toe.
3. Uitgebreide Evaluatie: Uitgebreide experimenten met diverse modellen (HuBERT, wav2vec 2.0, DeCoAR 2.0, WavLM Base+) en taken (ASR, Fonemherkenning, Spreker-ID, Emotieherkenning).
4. Superioriteit ten opzichte van Basismodellen: Aantonen dat Speech-FT beter presteert dan regularisatie in de gewichtenruimte, LoRA, DoRA en vroegtijdig stoppen bij het behouden van cross-task generalisatie.

4. Experimentele Resultaten

De auteurs hebben Speech-FT geëvalueerd op de SUPERB-benchmark en diverse specifieke datasets.

• Supervised Fine-tuning:

  • Speech-FT behaalde consistent hogere SUPERB-scores dan zowel de vooraf getrainde baseline als Stable-FT (wat $\alpha=1.0$ vertegenwoordigt).
  • Voorbeeld (HuBERT op ASR): Vermindering van de Phone Error Rate (PER) van 5,17% naar 3,94% en de Word Error Rate (WER) van 6,38% naar 5,75%, terwijl tegelijkertijd de nauwkeurigheid van Sprekeridentificatie toenam van 81,86% naar 84,11%.
  • Daarentegen degradeerde standaard fine-tuning (Stable-FT) vaak de prestaties op niet-gerelateerde taken (bijv. fine-tuning op Spreker-ID veroorzaakte een enorme daling in Fonemherkenning).

• Unsupervised Fine-tuning (Cross-linguaal):

  • Bij voortzetting van pre-training op Chinees (AISHELL-3) of Spaanse data veroorzaakte Stable-FT een ernstige daling in de Engelse prestaties (representatief vergeten).
  • Speech-FT slaagde erin zich aan te passen aan de nieuwe taal terwijl het Engelse capaciteiten behield, waardoor een gebalanceerde afweging werd bereikt.

• Vergelijking met Basismodellen:

  • Regularisatie in de Gewichtenruimte: Verbeterde doeltaken maar degradeerde niet-gerelateerde taken aanzienlijk (lagere SUPERB-scores dan vooraf getrainde modellen).
  • LoRA/DoRA: Ondanks dat ze parameter-efficiënt zijn, slaagden ze er niet in kenmerk-gelijkenis te behouden en leden ze onder slechte cross-task generalisatie.
  • Vroege Checkpoints: Het vroegtijdig stoppen van training (bijv. bij 20% van de stappen) was onvoldoende om verlies van generalisatie te voorkomen.

• Ablatie & Analyse:

  • Hyperparameter $\alpha$: De prestaties piekten bij $\alpha=0,25$, wat suggereert dat een kleine injectie van taakspecifieke kennis optimaal is.
  • LLFC-verificatie: De geïnterpoleerde modellen voldeden aan Layerwise Linear Feature Connectivity, wat bevestigt dat het interpolatiepad de geometrie van de vooraf getrainde representaties behoudt.

5. Betekenis

• Praktische Efficiëntie: Speech-FT vereist geen extra rekenkosten in vergelijking met standaard fine-tuning (de interpolatiestap is een eenvoudige lineaire operatie) en vereist geen complexe architecturale wijzigingen zoals adapters.
• Paradigmaverschuiving: Het daagt de conventionele wijsheid uit dat het beperken van gewichtsupdates de enige manier is om generalisatie te behouden. In plaats daarvan toont het aan dat post-hoc interpolatie een effectievere mechanisme is voor het herstellen van de vooraf getrainde kenmerkruimte.
• Brede Toepasbaarheid: De methode is model-agnostisch en effectief voor verschillende vooraf trainingsdoelen (contrastief, generatief) en talen, en biedt een robuuste oplossing voor het verfijnen van spraakrepresentaties in real-world scenario's waarbij modellen zich moeten aanpassen aan nieuwe domeinen zonder eerdere kennis te vergeten.

Kortom, biedt Speech-FT een eenvoudige maar krachtige oplossing voor het probleem van "catastrofaal vergeten" in het leren van spraakrepresentaties, waardoor modellen specialisten kunnen worden in specifieke taken zonder hun generalistische capaciteiten op te offeren.