Impact Analysis of Speech Representation Learning Models for Acoustic Side-Channel Attack

Technische Samenvatting: Impactanalyse van Spraakrepresentatie-leermodellen voor Akoestische Zijkanaalaanvallen

Probleemstelling
Akoestische zijkanaalaanvallen (ASCA) op toetsenborden maken misbruik van de kenmerkende akoestische signaturen van toetsaanslagen om getypte tekens af te leiden, wat een aanzienlijke bedreiging vormt voor de privacy van gebruikers in publieke omgevingen en tijdens online vergaderingen. Hoewel ASCA eerder is onderzocht, wordt bestaand onderzoek beperkt door verschillende tekortkomingen: de afhankelijkheid van verouderde hardware of kleinschalige datasets, evaluaties die beperkt zijn tot basisgeneralisatie van toetsenborden, en een afhankelijkheid van handmatig ontworome kenmerken of klassieke machine learning-modellen. Cruciaal is dat er een gebrek is aan publieke datasets die systematische evaluatie onder Voice-over-IP (VoIP) codec-distorties mogelijk maken, en dat de effectiviteit van moderne gepre-trainde spraakmodellen (PTM's) in het bieden van robuuste representaties voor ASCA nog niet is verkend. Bovendien kunnen conventionele downstream adaptatielagen (bijv. Fully Connected Networks of Convolutional Neural Networks) de complexe niet-lineaire feature-interacties die nodig zijn wanneer akoestische representaties worden gewijzigd door codec-compressie, mogelijk onvoldoende modelleren.

Methodologie
Om deze hiaten aan te pakken, introduceren de auteurs KEYAC, een nieuw dataset ontworpen om de akoestische representaties van toetsaanslagen te analyseren onder realistische opname- en transmissieomstandigheden. KEYAC bestaat uit 37.440 impulsieve akoestische gebeurtenissen (toetsaanslagen) vastgelegd via 37 toetsenborden via drie verschillende kanalen: lokale laptopsmicrofoons, smartphones (nabijveld) en real-time VoIP-streamingpipelines (bijv. Zoom, Teams). Dit ontwerp vergemakkelijkt het onderzoek naar cross-device variabiliteit en door VoIP geïnduceerde representatie-drift.

De studie evalueert zes spraakrepresentatie-leermodellen:

1. Zelfgesuperviseerde modellen: Wav2Vec2, HuBERT, WavLM en XLS-R.
2. Gesuperviseerde modellen: X-Vectors en OpenAI Whisper (encoder alleen).

De auteurs beoordelen deze modellen onder twee primaire instellingen: zero-shot inferentie en gedeeltelijke fine-tuning (waarbij de backbone bevroren blijft). Ze vergelijken drie downstream adaptatiestrategieën:

• Fully Connected Network (FCN): Een dichte laag met 90 verborgen neuronen.
• Convolutional Neural Network (CNN): Twee convolutionele blokken met kernelgrootte 3 en max-pooling.
• Kolmogorov–Arnold Network (KAN): Een voorgestelde strategie die vaste lineaire gewichten vervangt door leerbare univariate spline-functies om niet-lineaire feature-interacties expliciet te modelleren.

Experimenten worden uitgevoerd onder drie generalisatiescenario's:

1. Toetsenbord Generalisatie (Standaard): Cross-keyboard evaluatie op standaard opnames.
2. Toetsenbord Generalisatie (VoIP): Cross-keyboard evaluatie op VoIP-gestreamde audio.
3. Codec Generalisatie: Trainen op standaard opnames en testen op VoIP-gestreamde audio om de effecten van codec-distortie te isoleren.

Belangrijkste Bijdragen

1. KEYAC Dataset: De introductie van een dataset die specifiek is ontworpen om ASCA te bestuderen onder cross-device variabiliteit en VoIP codec-distorties, waarmee een kritiek gat in publieke bronnen wordt opgevuld.
2. Systematische Evaluatie: De eerste uitgebreide evaluatie van meerdere spraak PTM's voor ASCA, waarbij hun generalisatievermogen over verschillende toetsenborden en transmissiecondities wordt geanalyseerd.
3. KAN-gebaseerde Adaptatie: De voorstel van een KAN-gebaseerde fine-tuning strategie. De auteurs hypothetiseren dat conventionele architecturen moeite hebben met de niet-lineaire interacties die worden geïntroduceerd door codec-artefacten, en demonstreren dat KAN-adapters dit probleem effectief aanpakken.

Resultaten
Empirische resultaten op KEYAC onthullen verschillende belangrijke bevindingen:

• Baseline Prestaties: Hoewel gedeeltelijke fine-tuning de prestaties verbetert, hebben modellen moeite met het generaliseren over VoIP-codecs. Onder de baselines vertoont WavLM consequent de meest robuuste representaties, waarbij het andere PTM's (bijv. HuBERT, XLS-R) overtroeft in alle scenario's. Bijvoorbeeld, in de standaard in-domain setting met een CNN downstream, bereikt WavLM een nauwkeurigheid van 58,34%, terwijl HuBERT en XLS-R aanzienlijk lager scoren (respectievelijk 36,27% en 33,45%).
• Impact van VoIP: De prestaties verslechteren aanzienlijk onder VoIP-omstandigheden. In de keyboard holdout (OOD) setting onder VoIP, daalt de nauwkeurigheid van WavLM naar 44,12%, terwijl andere modellen nog scherpere dalingen ervaren.
• Effectiviteit van KAN: De voorgestelde KAN-gebaseerde downstream adaptatie presteert consistent beter dan zowel FCN als CNN baselines over alle PTM's en evaluatiescenario's.
  • In de standaard in-domain setting bereikt WavLM met KAN 68,47% nauwkeurigheid en 67,12% macro-F1, een substantiële verbetering ten opzichte van de CNN baseline (58,34% nauwkeurigheid).
  • Onder VoIP-omstandigheden behoudt de KAN-aanpak sterke prestaties, waarbij WavLM 57,82% nauwkeurigheid bereikt voor keyboard generalisatie, wat de CNN baseline (44,12%) aanzienlijk overtreft.
  • Voor codec generalisatie levert KAN-gebaseerde fine-tuning de beste resultaten op (58,36% nauwkeurigheid voor WavLM), wat het vermogen aantoont om de degradatie veroorzaakt door spectrale en temporele distorties te mitigeren.

Betekenis en Claims
Het artikel claimt dat de degradatie in ASCA-prestaties onder VoIP-omstandigheden voortkomt uit het beperkte vermogen van conventionele adaptatielagen om complexe niet-lineaire interacties binnen gedistribueerde akoestische representaties te vangen. Door Kolmogorov–Arnold Networks (KAN) te gebruiken, vestigen de auteurs een nieuwe state-of-the-art op de KEYAC dataset. De bevindingen suggereren dat het combineren van robuuste spraakrepresentaties (specifiek WavLM) met expressieve niet-lineaire adaptielagen (KAN) cruciaal is voor het verbeteren van de ASCA-generalisatie onder realistische opname- en transmissieomstandigheden. Het werk benadrukt de noodzaak om verder te gaan dan lineaire of ondiepe niet-lineaire adaptatiekoppen bij het werken met codec-gedistorteerde akoestische zijkanaalgegevens.