Dimensionality-Aware Anomaly Detection in Learned Representations of Self-Supervised Speech Models

Technische Samenvatting: Dimensie-bewuste Anomaliedetectie in Geraakte Representaties van Zelftoezichtende Spraakmodellen

1. Probleemstelling

Zelftoezichtende spraakmodellen (S3M's), zoals WavLM en wav2vec 2.0, hebben state-of-the-art prestaties behaald in downstreamtaken zoals Automatische Spraakherkenning (ASR). Hun interne representaties blijven echter slecht begrepen wanneer ze worden blootgesteld aan natuurlijke (goedaardige) en adversariële perturbaties. Vorig onderzoek heeft grotendeels vertrouwd op representatiegelijkheidsmaten (bijv. CCA, CKA) of globale dimensiematen (bijv. effectieve rang) om deze modellen te analyseren. Deze benaderingen bieden beperkt inzicht in lokale geometrische veranderingen binnen de geleerde representatieruimte.

De auteurs stellen een kritieke vraag: hoe vervormen perturbaties de lokale geometrie van S3M-representaties, en correleren deze geometrische verschuivingen met degradatie van downstream-ASR? Specifiek onderzoeken zij of de Lokale Intrinsic Dimensionality (LID) kan dienen als diagnostisch hulpmiddel om anomalieën te detecteren en robuustheid te monitoren zonder grondwaarheids-transcripten.

2. Methodologie: Het GRIDS-kader

De auteurs stellen GRIDS (Geometric Robustness via Intrinsic Dimensionality in Speech) voor, een kader dat LID gebruikt om laag-voor-laag representaties in transformer-gebaseerde S3M's te analyseren.

• Lokale Intrinsic Dimensionality (LID): LID kwantificeert de geometrische eigenschappen van geleerde representaties door de snelheid te meten waarmee het aantal naburige samples groeit naarmate de straal rond een referentiesample toeneemt. Het schat de effectieve lokale dimensionaliteit (vrijheidsgraden) die nodig is om de omgeving van een sample te beschrijven.
• Experimentele Opzet:
  • Modellen: WavLM en wav2vec 2.0 (BASE-varianten, 12 lagen).
  • Data: 918 gepaarde uitingen uit LibriSpeech test-clean, waarbij ervoor wordt gezorgd dat identieke uitingen worden gebruikt over alle perturbatietypes heen voor een eerlijke vergelijking.
  • Perturbaties:
    • Goedaardig: Gaussisch ruis, Noizeus babbelruis en concurrerende spraak (LibriSpeech), allemaal herschaald om doel-Signal-to-Noise Ratios (SNR) van 0, 10, 20, 30 en 40 dB te bereiken.
    • Adversariel: Projected Gradient Descent (PGD)-aanvallen onder een $\ell_2$-gebonden budget dat is gekalibreerd op dezelfde doel-SNR. Twee doelen werden gebruikt: Mean Squared Error (MSE) om representaties van de laatste laag te vervormen, en Connectionist Temporal Classification (CTC)-verlies om transcripties te verstoren.
• LID-berekening:
  • Frame-level embeddings worden geëxtraheerd uit elk van de 12 transformatorlagen.
  • Lokale LID wordt per frame geschat met een $k$-nearest neighbor (kNN)-benadering (Levina–Bickel MLE-schatter).
  • Aggregatie: Voor geometrische analyse en ASR-monitoring worden frame-level LID's geaggregeerd via een harmonisch gemiddelde om samenvattingen op laag- en conditieniveau te produceren. Voor anomaliedetectie worden uiting-level 12-dimensionale feature-vectoren geconstrueerd (één LID-waarde per laag).
  • Hyperparameter-selectie: De omvang van de buurt $k$ is niet globaal vastgesteld, maar wordt per conditie geselecteerd om de stabiliteit en discriminatiekracht van de door perturbaties veroorzaakte LID-verschuiving ($\Delta$LID) te maximaliseren.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. LID–S3M Geometrische Analyse: Een meting van lokale geometrische veranderingen in geleerde representaties op laagniveau over schone, goedaardige en adversariële condities heen.
2. LID–ASR Monitoring: Empirisch bewijs dat aantoont dat toenames in LID positief correleren met degradatie van de Woordfoutenratio (WER), waardoor geometrische verschuivingen worden gekoppeld aan prestaties van downstreamtaken.
3. LID–AD voor Anomaliedetectie: De ontwikkeling van een 12-dimensionale, op LID gebaseerde feature-set die classificatie van adversariële versus goedaardige invoer mogelijk maakt, met hoge AUROC-scores.

4. Resultaten en Analyse

Geometrisch Gedrag (LID-S3M):

• Effecten van Perturbaties: Alle perturbaties verhogen LID bij lage SNR. Er treedt echter een divergentie op bij hoge SNR (30–40 dB): goedaardige ruis convergeert naar het schone profiel (LID neemt af), terwijl adversariële invoer een verhoogde LID behoudt, met name in de vroege transformatorlagen.
• Trajecten op Laagniveau: Adversariële perturbaties veroorzaken de meest aanhoudende verhoging van LID in vroege lagen. Hoewel goedaardige interferentie LID ook verhoogt bij lage SNR, neemt dit snel af naarmate de SNR verbetert. Dit suggereert dat geometrische vervorming in vroege lagen een relatieve marker is voor adversariële verschuivingen onder gematchte SNR-condities.
• Modelverschillen: Het patroon geldt voor zowel WavLM als wav2vec 2.0, hoewel WavLM (getraind met denoising-doelen) iets verschillende robuustheidsprofielen vertoont. PGD-MSE-aanvallen produceren over het algemeen grotere en meer aanhoudende verhogingen van LID dan PGD-CTC-aanvallen.

Correlatie met ASR (LID-ASR):

• Er is een consistente gelijktijdigheid tussen geometrische verschuivingen ($\Delta$LID) en ASR-degradatie ($\Delta$WER). Beide maten nemen af naarmate de SNR toeneemt.
• Bij lage SNR (0–10 dB) veroorzaken adversariële aanvallen en ernstige goedaardige interferentie (spraakoverlap) de grootste afwijkingen in zowel LID als WER.
• Opvallend is dat bij hoge SNR goedaardige corrupties leiden tot bijna nul toename van WER, terwijl adversariële aanvallen een niet-triviaal $\Delta$LID-voetafdruk behouden, zelfs wanneer de toename van WER klein is. Dit geeft aan dat LID geometrische verplaatsing kan detecteren, zelfs wanneer decoderingsfouten minimaal zijn.

Anomaliedetectie (LID-AD):

• Een lichtgewicht logistische regressie-classificator, getraind op de 12-dimensionale LID-vectoren, onderscheidt adversariële invoer effectief van goedaardige invoer.
• Prestaties: Het kader bereikt AUROC-scores variërend van 0,78 tot 1,00 over verschillende modellen en SNR-niveaus.
  • WavLM met MSE-aanvallen toonde de hoogste scheidbaarheid (AUROC 0,99 bij 0–20 dB).
  • De prestaties verslechteren bij hoge SNR (40 dB) omdat zowel goedaardige als adversariële invoer convergeren naar het schone manifold, waardoor de scheidbaarheid afneemt.
• Robuustheid t.o.v. Succesratio: De classificator behoudt discriminatiekracht zelfs wanneer de Attack Success Rate (SR) laag is (bijv. WavLM-CTC bij 30 dB had een AUROC van 0,92 ondanks een SR van slechts 0,04), wat suggereert dat LID geometrische anomalieën vastlegt die niet altijd direct leiden tot transcriptiefouten.

5. Betekenis en Claims

De auteurs claimen dat GRIDS een transcript-vrije monitoringcapaciteit biedt voor S3M's. Door LID te benutten, biedt het kader een interpreteerbare geometrische diagnose die:

• Adversariële invoer detecteert zonder grondwaarheidslabels of transcripten nodig te hebben.
• Aantoont dat geometrische vervorming zich voortplant via vroege representaties voordat deze gedeeltelijk wordt geabsorbeerd door diepere lagen.
• Bestaande op gelijkheid gebaseerde analyses aanvult door lokale vervormingen vast te leggen die globale maten missen.

Het artikel concludeert bescheiden, met de opmerking over huidige beperkingen: het onderzoek is beperkt tot 12-laagse S3M-varianten en niet-gerichte aanvallen. Er wordt voorgesteld om toekomstig werk uit te breiden naar grotere architecturen, uit te breiden naar beveiligingskritische taken (bijv. sprekerherkenning), en LID te combineren met globale spectrale maten voor multi-schaal geometrische karakterisering.