OnDA: On-device Channel Pruning for Efficient Personalized Keyword Spotting

Dit paper introduceert OnDA, een innovatieve aanpak voor efficiënte, gepersonaliseerde sleutelwoordherkenning op apparaten die gewichtsadaptie combineert met online gestructureerde kanaalpruning om modelgrootte, latentie en energieverbruik aanzienlijk te verminderen zonder in te leveren op prestaties.

De kern

Stel je voor dat je een slimme assistent hebt die altijd luistert naar een specifiek woord, zoals "Hey, Snips" of "Hey, Snapdragon". Dit is wat we Keyword Spotting noemen. Het probleem is dat deze assistent vaak niet perfect werkt voor iedereen. Iemand met een zware stem, een andere taalaccent, of in een luidkeuze keuken, heeft een assistent nodig die zich aan zijn eigen situatie aanpast.

Deze paper introduceert een nieuwe methode genaamd OnDA (On-device Adaptation). Laten we dit uitleggen met een paar simpele analogieën.

1. Het Probleem: De "Grote, Stijve" Assistent

Stel je een standaard assistent voor als een grote, zware rugzak vol met spullen. Deze rugzak is gemaakt om voor iedereen te werken, maar hij is zwaar (kost veel batterij) en traag.

• Huidige oplossing: Als de rugzak niet goed werkt, proberen mensen hem lichter te maken door alleen de inhoud aan te passen (bijvoorbeeld: "Ik draag nu minder boeken"). Dit is wat de oude methode deed: ze pasten alleen de "gewichten" (de kennis) van het model aan, maar de rugzak zelf bleef even groot en zwaar.
• Het nieuwe idee: Waarom niet de rugzak zelf kleiner maken? Als je weet dat je alleen maar in de stad loopt, heb je geen tent en een grote koelkast nodig. Je kunt de rugzak zelf herschikken om hem lichter en sneller te maken.

2. De Oplossing: OnDA (De Slimme Verpakker)

OnDA doet twee dingen tegelijk:

1. Leren: Hij leert van de gebruiker (net als de oude methode).
2. Snoeien (Pruning): Hij snijdt direct de overbodige delen van de rugzak weg terwijl hij leert.

In de technische taal noemen ze dit "kanalen snoeien". Denk aan een auto met 8 cilinders. Als je alleen in de stad rijdt, heb je misschien maar 4 cilinders nodig om snel te zijn en minder benzine te verbruiken. OnDA kijkt naar de rijomstandigheden (de stem van de gebruiker en de achtergrondgeluiden) en schakelt direct de overbodige cilinders uit, zodat de auto lichter wordt.

3. Twee Manieren om te Snoeien: De "Voor" en "Na" Strategie

De onderzoekers hebben twee manieren getest om deze rugzak te verkleinen:

• Strategie A (OnDA-1): "Eerst de rugzak verkleinen, dan vullen."
  Je kijkt eerst naar wat de gebruiker nodig heeft (bijvoorbeeld: "Ik heb alleen woorden nodig, geen zware boeken"). Je snijdt direct de overbodige delen van de rugzak weg voordat je begint met het vullen van nieuwe kennis.

  • Voordeel: Omdat de rugzak al kleiner is, is het vullen (leren) veel sneller en kost het minder energie.

• Strategie B (OnDA-2): "Eerst vullen, dan verkleinen."
  Je vult eerst de grote rugzak met nieuwe kennis. Daarna probeer je te kijken wat je kunt weggooien.

  • Nadeel: Je hebt eerst veel energie verbruikt om de zware rugzak te vullen, en het weggooien kost ook tijd.

4. Wat bleek eruit?

De onderzoekers hebben dit getest op echte apparaten (zoals een NVIDIA Jetson Orin Nano, een soort krachtige mini-computer voor robots en auto's).

• Resultaat: De Strategie A (OnDA-1) won het ruimschoots.
• De Analogie: Het is alsof je een huis verbouwt. Als je eerst de muren neerhaalt (snoeien) en dan de kamer inricht (leren), gaat het renoveren veel sneller en goedkoper dan als je eerst alles inricht en daarna pas begint met slopen.
• De cijfers:
  • Ze kregen modellen die tot 9,6 keer kleiner waren dan de originele versie, zonder dat de prestaties slechter werden.
  • Het leren (aanpassen) ging 1,5 tot 1,9 keer sneller.
  • Het verbruik van batterij (energie) daalde met tot wel 2 keer.

5. Waarom is dit belangrijk?

Voor de gemiddelde gebruiker betekent dit:

• Langere batterijduur: Je telefoon of smart speaker gaat langer mee.
• Snellere reactie: De assistent reageert sneller op je stem.
• Persoonlijker: De assistent past zich perfect aan jouw stem en omgeving aan, zonder dat je een enorme computer nodig hebt.

Kortom: OnDA is als een slimme timmerman die niet alleen de meubels (de kennis) aanpast, maar ook direct de muren (de structuur van het model) verkleint om het huis lichter, sneller en energiezuiniger te maken. En het beste deel? Hij doet dit terwijl je erbij staat, zonder dat je naar een grote fabriek hoeft te gaan.

Technische samenvatting

Probleemstelling

Keyword Spotting (KWS) is een fundamenteel onderdeel van "always-on" spraakinterfaces, maar de implementatie op apparaten (on-device) staat voor aanzienlijke uitdagingen:

1. Distributiewisselingen: Modellen moeten zich aanpassen aan specifieke gebruikers (stemvariatie) en omgevingscondities (achtergrondruis) die afwijken van de trainingsdata.
2. Strikte beperkingen: Er zijn strenge eisen op het gebied van latentie, energieconsumptie en geheugen, vooral op embedded systemen.
3. Efficiëntie van personalisatie: Bestaande methoden voor on-device zelfleren (self-learning) passen vaak alleen de gewichten van een Deep Neural Network (DNN) aan via fine-tuning. Dit negeert echter dat de architectuur zelf ook mogelijk niet optimaal is voor de nieuwe, specifieke distributie. Traditionele architectuur-optimalisaties (zoals pruning) vinden meestal offline plaats vóór de implementatie, wat minder flexibel is.

Het paper stelt dat de efficiëntie van gepersonaliseerde KWS aanzienlijk kan worden verbeterd door niet alleen de gewichten, maar ook de architectuur (via structurele kanaalpruning) online aan te passen tijdens de adaptatie.

Methodologie: OnDA-pipeline

De auteurs introduceren OnDA (On-device Adaptation), een pipeline die gewichtadaptatie (on-device training) combineert met online gestructureerde kanaalpruning.

De Basis-pipeline (Self-Learning):
De methode bouwt voort op een bestaande self-learning pipeline [3] bestaande uit drie fasen:

1. Pre-training (B1): Een ProtoNet wordt offline getraind met triplet loss op een grote dataset (MSWC).
2. Calibratie & Pseudo-labeling (B2): De gebruiker levert een klein aantal gelabelde voorbeelden van een nieuw woord. Het model genereert een prototype en labelt nieuwe audiofragmenten als positief of negatief (pseudo-labels) op basis van Euclidische afstand.
3. On-device Training (B3): Het model wordt gefine-tuned op deze pseudo-gelabelde data.

De OnDA-uitbreidingen:
De auteurs introduceren pruning op twee mogelijke momenten in deze cyclus, naast een klassieke offline pruning:

• P (Offline Pruning): Pruning vóór de deploy, gebaseerd op pre-training data.
• O1 (Online Pruning vóór Fine-tuning): Pruning na de pseudo-labeling maar voordat de fine-tuning (B3) start. Dit gebruikt data-aware criteria (HAP) op de in-field data.
• O2 (Online Pruning na Fine-tuning): Pruning na de initiële fine-tuning. Dit is noodzakelijk voor data-agnostic criteria (zoals L1-norm), omdat de gewichtstatistieken eerst moeten zijn bijgewerkt door de adaptatie.

Pruning Strategieën:

1. Data-agnostic (Global L1): Verwijdert kanalen op basis van de grootte (L1-norm) van de bijbehorende gewichten. Dit is rekenkundig goedkoop maar negeert de impact op de taakverlies.
2. Data-aware (HAP - Hessian-Aware Pruning): Gebruikt de Hessian-matrix (via Hutchinson's schatting) om de lokale kromming van het verlieslandschap te schatten. Kanalen die bij verwijdering de grootste stijging in verlies veroorzaken, worden behouden. Dit is ideaal voor lage-data scenario's.

De twee volledige pipelines worden OnDA-1 (met O1) en OnDA-2 (met O2) genoemd.

Belangrijkste Bijdragen

1. Koppeling van Architectuur- en Gewichtadaptatie: Voor het eerst wordt online gestructureerde kanaalpruning gecombineerd met on-device zelflerende personalisatie voor KWS.
2. Pareto-frontieren: De auteurs genereren Pareto-optimaliteiten voor nauwkeurigheid (bij 0.5 valse alarmen per uur) versus modelgrootte op de HeySnips en HeySnapdragon datasets.
3. Empirisch Bewijs voor Data-Aware Pruning: Ze tonen aan dat het gebruik van in-distributie data (pseudo-labels) voor pruning superieur is aan offline pruning, zelfs ondanks de beperkte hoeveelheid data en de afhankelijkheid van pseudo-labels.
4. Hardware-metingen: Uitgebreide metingen op een NVIDIA Jetson Orin Nano voor latentie en energieverbruik tijdens zowel training als inferentie.

Resultaten

Modelcompressie en Nauwkeurigheid:

• Op de HeySnips dataset bereikt OnDA een compressie van 3,33x ten opzichte van de beste baseline (ResNet15) bij gelijke taaknauwkeurigheid.
• Op de HeySnapdragon dataset wordt een compressie van 9,63x bereikt ten opzichte van de DS-CNN-L baseline.
• Over het algemeen presteren OnDA-pipelines beter dan alleen offline gepre-pruned netwerken, vooral in het gebied van kleine modelgroottes.

Deployment Performance (Jetson Orin Nano):
De metingen tonen aan dat OnDA-1 (data-aware pruning vóór fine-tuning) de meest efficiënte aanpak is:

• Latentie en Energie: OnDA-1 levert verbeteringen op van 1,52x/1.57x (GPU) en 1,86x/1.93x (CPU) voor adaptatie- en inferentielatentie/energie ten opzichte van de baseline.
• Vergelijking OnDA-1 vs. OnDA-2: Hoewel beide pipelines vergelijkbare eindmodellen produceren, is OnDA-1 aanzienlijk sneller en energiezuiniger. Omdat OnDA-1 het model kleiner maakt voordat de zware fine-tuning begint, duurt de training korter en verbruikt deze minder stroom.
• Break-even punt: Bij OnDA-2 (pruning na training) ontstaat een aanzienlijke energie-overhead door de tweede aanpassingsstap, waardoor het punt waarop de besparingen opwegen tegen de kosten pas na meer dan $10^5$ inferenties wordt bereikt. OnDA-1 bereikt dit punt veel sneller.

Betekenis en Conclusie

Het paper demonstreert dat het dynamisch aanpassen van de modelarchitectuur tijdens de on-device adaptatie een krachtige strategie is voor gepersonaliseerde KWS. De belangrijkste inzichten zijn:

• Data-aware pruning (HAP) op in-field data is superieur aan data-agnostic methoden, omdat het rekening houdt met de specifieke verdelingsverschuivingen van de gebruiker.
• Het toepassen van deze pruning vóór de fine-tuning (OnDA-1) is cruciaal voor de totale efficiëntie, omdat het de kosten van de daaropvolgende training en inferentie direct verlaagt.
• OnDA biedt een praktische route naar zeer compacte, hoogpresterende spraakmodellen die op energiebeperkte embedded apparaten kunnen draaien, met aanzienlijke besparingen in zowel trainingskosten als operationele energie.