Learning task-specific subspaces via interventional post-training of speech foundation models

Technische Samenvatting: Het leren van taakspecifieke subruimten via interventionele post-training van spraakfundamentmodellen

Probleemstelling
Spraakfundamentmodellen, die zijn voorgetraind op enorme corpora van ongelabelde gegevens, genereren algemene representaties die een sterke taakgeneraliseerbaarheid vertonen. Deze representaties coderen echter informatie over diverse spraakvariabelen (bijv. sprekeridentiteit, inhoud, kanaalcondities) op een gedistribueerde, verstrengelde manier. Downstream-taken, zoals automatische spraakherkenning (ASR) of sprekeridentificatie (SID), vertrouwen doorgaans slechts op een fractie van deze variabiliteit. Een ASR-systeem moet bijvoorbeeld invariant zijn voor de spreker, terwijl een systeem voor sprekersverificatie invariant moet zijn voor de gesproken inhoud. Bestaande benaderingen voor het leren van ontwarde (disentangled) representaties vertrouwen vaak op aannames van statistische onafhankelijkheid of Gaussianiteit, die onvoldoende zijn gebleken om ware ontwarring te garanderen. Bovendien optimaliseert standaard contrastief leren meestal voor een enkele embedding-ruimte die invariant is voor overlastvariabelen (nuisance variables), in plaats van expliciet meerdere bronnen van variabiliteit te scheiden in afzonderlijke subruimten.

Methodologie
De auteurs stellen een raamwerk voor post-training verfijning voor, genaamd Interventional Contrastive Learning. Deze benadering heeft tot doel de verstrengelde representatieruimte van een bevroren spraakfundamentmodel te transformeren naar afzonderlijke, taakspecifieke subruimten (specifiek inhoud en spreker) met behulp van een multi-part contrastieve verliesfunctie.

• Interventionele Dataset: Om de noodzakelijke supervisie voor ontwarring te bieden, synthetiseren de auteurs een dataset met behulp van een state-of-the-art zero-shot Text-to-Speech (TTS) systeem (F5-TTS). Deze synthetische dataset maakt "dichte interventies" mogelijk waarbij elke spreker wordt gekoppeld aan elke utterance-tekst. Deze synthetische opzet maakt nauwkeurige controle over causale variabelen mogelijk: de inhoud (tekst) en de spreker (referentieaudio).
• Architectuur: Het model bestaat uit een bevroren, voorgetraind backbone-model (bijv. wav2vec 2.0, HuBERT of WavLM) dat kenmerken extraheert uit de invoerspraak. Deze kenmerken worden geaggregeerd via mean pooling tot een enkele utterance-embedding. Een trainbaar Subspace Network (een 3-laags MLP zonder bottleneck) projecteert deze embedding vervolgens naar een hoger-dimensionale ruimte die is opgedeeld in twee even grote subruimten: een inhoudssubruimte ($z_c$) en een sprekersubruimte ($z_s$).
• Verliesfunctie: De trainingsdoelstelling combineert twee componenten:
  1. Multi-Positive Contrastive Loss: Uitgebreid om meerdere subruimten te kunnen afhandelen, moedigt deze verliesfunctie embeddings binnen dezelfde subruimte aan om dicht bij elkaar te liggen als ze dezelfde causale variabele delen (bijv. dezelfde spreker voor de sprekersubruimte) en ver van elkaar af te liggen als ze verschillen. Het maakt gebruik van interventionele labels om positieve en negatieve paren te definiëren op basis van of de causale variabele is geïntervenieerd.
  2. Orthogonaliteitsverlies: Een regularisatieterm gebaseerd op de Frobenius-norm van de cross-covariantie tussen subruimten, die gelijkenis tussen de inhouds- en sprekersrepresentaties bestraft om ontwarring af te dwingen.

Belangrijkste Bijdragen

1. Nieuwe Contrastieve Verliesfunctie: Het artikel introduceert een verliesfunctie die in staat is om gelijktijdig meerdere embedding-ruimten te leren die geassocieerd zijn met verschillende causale variabelen, waarmee verder wordt gegaan dan enkelvoudige invariantie van één ruimte.
2. Synthetische Interventionele Dataset: De auteurs construeren een dataset met uitputtende combinaties van sprekers en teksten, wat dichte interventies op causale variabelen faciliteert die moeilijk te verkrijgen zijn uit natuurlijke spraakgegevens.
3. Empirische Validatie: De benadering wordt geëvalueerd op Speaker Verification (SV) en Keyword Spotting (KS) taken, waarbij de scheiding van informatie over de geleerde subruimten wordt aangetoond.

Resultaten
De experimenten werden uitgevoerd op drie backbone-modellen (wav2vec 2.0, HuBERT, WavLM) met behulp van de synthetische dataset.

• Speaker Verification (Out-of-Domain): Het volledige model, dat beide subruimten gezamenlijk leert, bereikte een significant lagere Equal Error Rate (EER) op de VoxCeleb1 testset vergeleken met de baseline (mean-pooled backbone) en single-subspace varianten. Opvallend genoeg bereikten de beste modellen een EER van ongeveer 24,7% (WavLM) en 27,2% (HuBERT), waarmee zij niet-deskundige menselijke baselines (26,51%) overtroffen, ondanks dat zij getraind waren op slechts 32 sprekers en schone, voorgelezen spraak, terwijl zij getest werden op spontane spraak uit de praktijk.
• Keyword Spotting: De geleerde inhoudssubruimte vertoonde prestaties die vergelijkbaar zijn met, maar iets lager dan, de baseline gepoolde representaties. De auteurs schrijven dit toe aan een mismatch tussen de op zinsniveau gebaseerde gelijkenis die door de contrastieve pretext-taak wordt afgedwongen en de op woordniveau vereiste van keyword spotting.
• Bewijs voor Ontwarring: De kloof in prestaties tussen de "gematchte" subruimte (bijv. de sprekersubruimte op SV) en de "gemismatchte" subruimte (bijv. de sprekersubruimte op KS) levert bewijs dat de interventie succesvol de spreker- en inhoudsinformatie heeft gescheiden. De kloof was echter minder uitgesproken voor de KS-taak, wat suggereert dat er sprake is van informatielekken of dat KS minder inhoudsinformatie vereist dan verwacht.
• Gezamenlijk versus Afzonderlijk Leren: De resultaten gaven aan dat er geen significant prestatievoordeel was bij het gezamenlijk leren van de subruimten vergeleken met het apart leren ervan, hoewel het gezamenlijke model de parameters efficiënter gebruikte.

Betekenis en Claims
Het artikel claimt dat interventional contrastive learning een levensvatbare strategie is voor de post-training van spraakfundamentmodellen om taakrelevante informatie te scheiden van overlastvariabelen. De primaire betekenis ligt in de mogelijkheid om een data-agnostische transformatie te leren die de Out-of-Domain Speaker Verification prestaties verbetert met behulp van een kleine, synthetische dataset, zonder dat uitgebreide gelabelde data voor de downstream-taak nodig zijn. De auteurs merken bescheiden op dat hoewel de benadering erin slaagt om sprekerinformatie te scheiden, de scheiding van inhoudsinformatie voor keyword spotting imperfect blijft, waarschijnlijk door de granulariteitsmismatch tussen de pretext-taak en de downstream-taak. Zij concluderen dat verdere arbeid nodig is om de benadering naar grotere, real-world datasets te schalen en om de verliesfuncties te verfijnen om informatielekken beter te bestraffen.