💬 NLP

Weight Averaging: A Simple Yet Effective Method to Overcome Catastrophic Forgetting in Automatic Speech Recognition

Dit artikel stelt een eenvoudige maar effectieve gewichtsgemiddelde methode voor, optioneel verbeterd met kennisdistillatie, om catastrofaal vergeten in end-to-end automatische spraakherkenning te overwinnen door een hoge prestatie op zowel oude als nieuwe taken te behalen.

Oorspronkelijke auteurs: Steven Vander Eeckt, Hugo Van hamme

Gepubliceerd 2026-01-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Steven Vander Eeckt, Hugo Van hamme

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: Het "Eén-Taak" Brein

Stel je voor dat je een briljante spraakherkenningsassistent (een AI) hebt ingehuurd die een expert is in het begrijpen van Amerikaans Engels. Je bent tevreden over de assistent. Dan besluit je dat de assistent ook Schotse accenten moet begrijpen. Dus train je de assistent op Schotse data.

De Addertjes onder het Gras: Zodra je de assistent Schots leert, begint hij te vergeten hoe hij Amerikaans Engels spreekt. Dit wordt Catastrophic Forgetting (catastrofaal vergeten) genoemd. Het is als een student die zo intensief voor een geschiedenisexamen studeert, dat hij alles wat hij de week ervoor in de wiskundeles heeft geleerd, volledig is vergeten.

In de wereld van AI is dit een enorm probleem. Als je wilt dat een AI in de loop van de tijd veel talen of dialecten leert, moet je meestal alle oude data bewaren (zoals het opnemen van duizenden uren aan oude gesprekken) om hem opnieuw te onderwijzen. Dit is duur, traag en soms onmogelijk vanwege privacyregels.

De Oplossing: De "Mengen"-Truc

De auteurs van dit paper stellen een verrassend eenvoudige oplossing voor genaamd Weight Averaging (gewichts-gemiddelde bepaling).

Beschouw het "brein" van de AI (de interne instellingen of "gewichten") als een recept.

Het Oude Recept: Je hebt een perfect recept voor Amerikaans Engels (laten we het Recept A noemen).
De Nieuwe Training: Je past Recept A aan om Schots te leren, waardoor een nieuwe versie ontstaat, Recept B.
De Fout: Als je alleen Recept B gebruikt, verlies je de Amerikaanse smaak. Als je alleen Recept A gebruikt, kun je geen Schots begrijpen.
De Oplossing: In plaats van te kiezen tussen de één of de ander, neem je een lepel van Recept A en een lepel van Recept B en meng je deze samen om Recept C te maken.

Door het "oude" brein en het "nieuw getrainde" brein wiskundig te middelen, behoudt de AI de kennis van de oude taak terwijl hij ook goed wordt in de nieuwe taak.

Hoe ze het hebben getest

De onderzoekers hebben dit idee getest in twee scenario's:

De Dialecttest (Monolinguaal): Ze leerden de AI zes verschillende Engelse dialecten (VS, Engeland, Australië, India, Schotland, Ierland) één voor één.
- Resultaat: De "Mengen"-methode werkte ongelooflijk goed. De AI herinnerde zich het eerste dialect bijna perfect terwijl hij het zesde dialect leerde, en versloeg daarmee alle andere methoden die probeerden oude data in een geheugenbank op te slaan.
De Taaltoets (Multilinguaal): Ze leerden de AI eerst Engels, en daarna Nederlands, Zweeds, Pools en Russisch. Deze talen verschillen veel meer van elkaar dan dialecten dat doen.
- Resultaat: Vergeten is hier meestal erger. Echter, de "Mengen"-methode versloeg nog steeds de concurrentie. De AI leerde de nieuwe talen zonder de oude weg te vagen, zelfs zonder dat er ook maar één extra zin aan data werd opgeslagen.

Twee manieren om de soep te mengen

Het paper suggereert twee manieren om dit middelen te doen:

De 50/50 Mix: Neem simpelweg gelijke delen van het oude en het nieuwe model. Dit werkt goed, maar soms vergeet de AI een heel klein beetje van de allereerste taak.
De "Gelijke Geschiedenis" Mix: Dit is de winnaar. Stel dat je 5 taken hebt geleerd. In plaats van alleen de huidige taak te mengen met de allereerste versie, meng je het huidige model met alle versies van het model die je tot nu toe hebt gemaakt. Dit zorgt ervoor dat de eerste taak net zoveel aandacht krijgt als de laatste.

De "Docent"-Bonus (Knowledge Distillation)

Soms is het simpelweg mengen van de recepten niet genoeg, vooral wanneer de nieuwe taak heel anders is (zoals de overstap van Engels naar Russisch).

De auteurs voegden een "Docent"-stap toe. Voordat de recepten worden gemengd, lieten ze de "Oude AI" (de Docent) kijken naar hoe de "Nieuwe AI" leert.
De Docent zegt: "Hey, als je dit geluid hoort, onthoud dan dat het vroeger X betekende, en niet Y."
Dit helpt het nieuwe model om de oude kennis beter vast te houden tijdens het leerproces. Het paper noemt dit LWFA (Learning Without Forgetting + Averaging). Dit bleek vooral nuttig bij het leren van zeer verschillende talen.

De Belangrijkste Conclusie

Normaal gesproken heb je een enorme "geheugenbank" van oude data nodig om te oefenen als je wilt voorkomen dat een AI vergeet. Dit paper laat zien dat je die "geheugenbank" helemaal niet nodig hebt.

Door simpelweg het gemiddelde te nemen van het brein van de AI vóór en na het leren van een nieuwe taak, kun je de oude vaardigheden levend houden terwijl je de nieuwe beheerst. Het is eenvoudig, vereist geen extra opslagruimte en werkt beter dan complexe methoden die proberen data op te slaan.

Kortom: Gooi het oude recept niet weg als je een nieuw recept leert. Meng ze gewoon samen, en je krijgt het beste van beide werelden.

Technisch Overzicht: Gewichtengemiddelde voor Catastrofaal Vergeten in ASR

Probleemstelling
Het aanpassen van getrainde Automatic Speech Recognition (ASR) modellen aan nieuwe taken—zoals nieuwe sprekers, dialecten of talen—leidt vaak tot Catastrofaal Vergeten (CF), waarbij het model prestaties verliest op eerder geleerde taken. Dit beperkt de mogelijkheid om continu lerende ASR-systemen te bouwen of om nieuw beschikbare data te benutten zonder de volledige historische data opnieuw te trainen, wat computationeel en qua middelen zeer intensief is. Bestaande Continual Learning (CL) methoden vertrouwen vaak op rehearsal (het opslaan van monsters uit eerdere taken), wat privacyzorgen oproept, of vereisen taakspecifieke parameters die de inferentie compliceren. Bestaande regularisatiegebaseerde methoden hebben een beperkte effectiviteit getoond in End-to-End (E2E) ASR.

Methodologie
De auteurs stellen Gewichtengemiddelde (Weight Averaging) voor, een eenvoudige maar effectieve CL-methode die in twee afzonderlijke stappen werkt zodra een nieuwe taak $t$ beschikbaar komt:

Adaptatie: Het model met parameters $\theta_{t-1}$ (getraind op vorige taken) wordt aangepast aan de nieuwe taak $t$ . Deze adaptatie kan worden uitgevoerd via:
- Naïeve Fine-Tuning: Standaard training op de nieuwe taakdata.
- Learning Without Forgetting (LWF): Een regularisatiegebaseerde aanpak die een kennisdistillatieverlies ( $L_{lwf}$ ) toevoegt aan de standaard cross-entropy en CTC-verliezen. Dit verlies dwingt het nieuwe model om de output-waarschijnlijkheden van het oude model ( $\theta_{t-1}$ ) op de data van de nieuwe taak na te bootsen, waardoor oude kennis wordt behouden zonder oude monsters op te slaan.
- De resulterende aangepaste parameters worden aangeduid als $\hat{\theta}_t$ .
Gewichtengemiddelde: De definitieve parameters $\theta_t$ worden berekend als een gewogen gemiddelde van het oude model ( $\theta_{t-1}$ ) en het aangepaste model ( $\hat{\theta}_t$ ):
$\theta_t = (1 - \eta)\theta_{t-1} + \eta\hat{\theta}_t$
waarbij $0 \le \eta \le 1$ . Het paper onderzoekt twee strategieën voor $\eta$ :
- Vaste $\eta = 0.5$ : Een exponentieel voortschrijdend gemiddelde waarbij de bijdrage van oudere modellen exponentieel afneemt.
- Dynamische $\eta = 1/t$ : Een rekenkundig gemiddelde waarbij alle aangepaste modellen tot taak $t$ evenveel bijdragen ( $\theta_t = \frac{1}{t} \sum_{i=1}^t \hat{\theta}_i$ ).

Als de modelarchitectuur gedeelde parameters ( $\theta_S$ ) en taakspecifieke parameters ( $\theta_U$ ) bevat, wordt het gemiddelde alleen toegepast op de gedeelde componenten.

Belangrijkste Bijdragen

Geheugenloze CL: De methode bereikt een hoge continual learning-prestatie zonder dat een geheugenbuffer van eerdere monsters nodig is, wat de privacy- en opslagbeperkingen van rehearsal-gebaseerde methoden aanpakt.
Eenvoud en Effectiviteit: De aanpak is computationeel eenvoudig en vereist slechts één forward pass van het oude model tijdens de adaptatiefase (voor LWF) en een stap voor het middelen van parameters.
Ondersteuning voor Dual-Task Architecturen: De methode wordt gevalideerd op zowel monolinguale (gedeeld model) als meertalige (gedeelde encoder, taakspecifieke decoder) ASR-architecturen.

Experimentele Resultaten
De auteurs evalueerden de methode op de Common Voice (CV) dataset met behulp van een E2E-model bestaande uit een Conformer-encoder en een Transformer-decoder.

Monolinguale Experimenten (6 Engelse dialecten):
- De voorgestelde methoden (FTA: Fine-Tuning met Averaging; LWFA: LWF met Averaging) presteerden significant beter dan alle baselines, inclussief Experience Replay (ER) met 2.000 opgeslagen uitingen.
- De beste configuratie ( $\eta = 1/t$ ) behaalde een gemiddelde Word Error Rate (AVG WER) van 13,72%, waarmee de sterkste baseline (ER met 2k samples, 14,20%) met 3,4% werd verslagen.
- Backward Transfer (BWT), een maatstaf voor vergeten, werd teruggebracht tot bijna nul (-0,1%), vergeleken met -2,5% voor naïeve fine-tuning.
Meertalige Experimenten (5 Talen):
- Vergeten was ernstiger in deze setting vanwege de taakdissimilariteit. Naïeve fine-tuning resulteerde in catastrofaal vergeten (BWT van -22,2%).
- LWFA met $\eta = 1/t$ behaalde de beste prestatie met een AVG WER van 19,54%, waarmee de sterke baseline (ER met 2k samples, 23,65%) met 17,4% werd verslagen.
- LWFA verminderde het vergeten dat bij ER werd waargenomen met ongeveer 88,9%, terwijl er geen geheugenopslag nodig was.
- In meertalige settings zorgde de toevoeging van de LWF-loss tijdens de adaptatie voor een significante boost ten opzichte van eenvoudige fine-tuning, terwijl het verschil tussen FTA en LWFA in monolinguale settings minimaal was.

Betekenis en Claims
Het paper beweert dat gewichtengemiddelde een "eenvoudige maar effectieve" oplossing is voor catastrofaal vergeten in E2E ASR. De auteurs stellen dat hun methode:

De noodzaak voor geheugen elimineert: In tegen tegenstelling tot eerdere state-of-the-art CL-methoden voor ASR die vertrouwden op het opslaan van monsters, bereikt deze methode superieure prestaties zonder enige geheugenbuffer.
Bijna perfecte retentie bereikt: Met $\eta = 1/t$ resulteert de methode in "bijna nul vergeten", terwijl nieuwe taken nog steeds effectief worden geleerd.
Generaliseert over architecturen: De methode is robuust in zowel monolingale (volledig gedeeld) als meertalige (gedeeltelijk gedeeld) scenario's.

De auteurs schrijven het succes van gewichtengemiddelde toe aan de theoretische bevinding dat het middelen van gewichten leidt tot "bredere optima" in het loss-landschap, wat resulteert in betere generalisatie, vergelijkbaar met observaties in checkpoint averaging en model soups. Ze concluderen dat deze aanpak hoogwaardige continual learning in ASR mogelijk maakt zonder de voorheen geachte middelenoverhead.