Dimensionality-Aware Anomaly Detection in Learned Representations of Self-Supervised Speech Models

Resumen Técnico: Detección de Anomalías Consciente de la Dimensionalidad en Representaciones Aprendidas de Modelos de Voz Auto-supervisados

1. Planteamiento del Problema

Los modelos de voz auto-supervisados (S3M), como WavLM y wav2vec 2.0, han logrado un rendimiento de vanguardia en tareas posteriores como el Reconocimiento Automático del Habla (ASR). Sin embargo, sus representaciones internas permanecen poco comprendidas cuando se someten a perturbaciones naturales (benignas) y adversarias. La investigación previa ha dependido en gran medida de métricas de similitud de representaciones (por ejemplo, CCA, CKA) o medidas de dimensionalidad global (por ejemplo, rango efectivo) para analizar estos modelos. Estos enfoques ofrecen una visibilidad limitada sobre los cambios geométricos locales dentro del espacio de representación aprendido.

Los autores plantean una pregunta crítica: ¿Cómo deforman las perturbaciones la geometría local de las representaciones de los S3M, y ¿correlacionan estos desplazamientos geométricos con la degradación del ASR posterior? Específicamente, investigan si la Dimensionalidad Intrínseca Local (LID) puede servir como una herramienta de diagnóstico para detectar anomalías y monitorear la robustez sin requerir transcripciones de verdad fundamental.

2. Metodología: El Marco GRIDS

Los autores proponen GRIDS (Robustez Geométrica mediante Dimensionalidad Intrínseca en Voz), un marco que utiliza LID para analizar representaciones por capas en S3M basados en transformadores.

• Dimensionalidad Intrínseca Local (LID): LID cuantifica las propiedades geométricas de las representaciones aprendidas midiendo la tasa a la que crece el número de muestras vecinas a medida que aumenta el radio alrededor de una muestra de referencia. Estima la dimensionalidad local efectiva (grados de libertad) necesaria para describir el vecindario de una muestra.
• Configuración Experimental:
  • Modelos: WavLM y wav2vec 2.0 (variantes BASE, 12 capas).
  • Datos: 918 pares de enunciados de LibriSpeech test-clean, asegurando que se utilicen enunciados idénticos en todos los tipos de perturbación para una comparación justa.
  • Perturbaciones:
    • Benignas: Ruido gaussiano, ruido de murmullo Noizeus y habla competidora (LibriSpeech), todos reescalados para coincidir con las Relaciones Señal-Ruido (SNR) objetivo de 0, 10, 20, 30 y 40 dB.
    • Adversarias: Ataques de Descenso de Gradiente Proyectado (PGD) bajo un presupuesto acotado por $\ell_2$ calibrado a la misma SNR objetivo. Se utilizaron dos objetivos: Error Cuadrático Medio (MSE) para distorsionar las representaciones de la capa final, y la pérdida de Clasificación Temporal Conectiva (CTC) para interrumpir las transcripciones.
• Cálculo de LID:
  • Se extraen incrustaciones a nivel de cuadro de cada una de las 12 capas del transformador.
  • El LID local se estima por cuadro utilizando un enfoque de $k$-vecinos más cercanos (kNN) (estimador de máxima verosimilitud de Levina–Bickel).
  • Agregación: Para el análisis geométrico y el monitoreo del ASR, los LID a nivel de cuadro se agregan mediante una media armónica para producir resúmenes a nivel de capa y a nivel de condición. Para la detección de anomalías, se construyen vectores de características de 12 dimensiones a nivel de enunciado (un valor de LID por capa).
  • Selección de Hiperparámetros: El tamaño del vecindario $k$ no se fija globalmente, sino que se selecciona por condición para maximizar la estabilidad y la discriminabilidad del desplazamiento de LID inducido por la perturbación ($\Delta$LID).

3. Contribuciones Clave

El artículo realiza tres contribuciones principales:

1. Análisis Geométrico LID–S3M: Una medición por capa de los cambios geométricos locales en las representaciones aprendidas a través de condiciones limpias, benignas y adversarias.
2. Monitoreo LID–ASR: Evidencia empírica que demuestra que los aumentos en LID se asocian positivamente con la degradación de la Tasa de Error de Palabras (WER), vinculando los desplazamientos geométricos con el rendimiento de la tarea posterior.
3. LID–AD para Detección de Anomalías: El desarrollo de un conjunto de características derivadas de LID de 12 dimensiones que permite la clasificación de entradas adversarias frente a benignas, logrando puntuaciones AUROC altas.

4. Resultados y Análisis

Comportamiento Geométrico (LID-S3M):

• Efectos de Perturbación: Todas las perturbaciones aumentan el LID a baja SNR. Sin embargo, ocurre una divergencia a alta SNR (30–40 dB): el ruido benigno converge hacia el perfil limpio (el LID disminuye), mientras que las entradas adversarias mantienen un LID elevado, particularmente en las primeras capas del transformador.
• Trayectorias por Capa: Las perturbaciones adversarias causan la elevación de LID más persistente en las primeras capas. Si bien la interferencia benigna también eleva el LID a baja SNR, disminuye rápidamente a medida que mejora la SNR. Esto sugiere que la distorsión geométrica de la capa temprana es un marcador relativo de desplazamientos adversarios bajo condiciones de SNR coincidentes.
• Diferencias entre Modelos: La tendencia se mantiene tanto para WavLM como para wav2vec 2.0, aunque WavLM (entrenado con objetivos de eliminación de ruido) muestra perfiles de robustez ligeramente diferentes. Los ataques PGD-MSE generalmente producen elevaciones de LID más grandes y persistentes que los ataques PGD-CTC.

Correlación con ASR (LID-ASR):

• Existe una co-ocurrencia consistente entre los desplazamientos geométricos ($\Delta$LID) y la degradación del ASR ($\Delta$WER). Ambas métricas disminuyen a medida que aumenta la SNR.
• A baja SNR (0–10 dB), los ataques adversarios y la interferencia benigna severa (superposición de habla) causan las mayores desviaciones tanto en LID como en WER.
• Cabe destacar que, a alta SNR, las corrupciones benignas resultan en aumentos de WER cercanos a cero, mientras que los ataques adversarios retienen una huella $\Delta$LID no trivial incluso cuando los aumentos de WER son pequeños. Esto indica que LID puede detectar desplazamientos geométricos incluso cuando los errores de decodificación son mínimos.

Detección de Anomalías (LID-AD):

• Un clasificador de regresión logística ligero entrenado en los vectores de LID de 12 dimensiones distingue eficazmente las entradas adversarias de las benignas.
• Rendimiento: El marco logra puntuaciones AUROC que oscilan entre 0.78 y 1.00 a través de diferentes modelos y niveles de SNR.
  • WavLM con ataques MSE mostró la mayor separabilidad (AUROC 0.99 a 0–20 dB).
  • El rendimiento se degrada a alta SNR (40 dB) a medida que las entradas benignas y adversarias convergen hacia la variedad limpia, reduciendo la separabilidad.
• Robustez ante la Tasa de Éxito: El clasificador mantiene su poder discriminatorio incluso cuando la Tasa de Éxito del Ataque (SR) es baja (por ejemplo, WavLM-CTC a 30 dB tuvo un AUROC de 0.92 a pesar de una SR de solo 0.04), lo que sugiere que LID captura anomalías geométricas que no siempre se manifiestan como fallos inmediatos en la transcripción.

5. Significado y Afirmaciones

Los autores afirman que GRIDS proporciona una capacidad de monitoreo sin transcripciones para los S3M. Al aprovechar LID, el marco ofrece un diagnóstico geométrico interpretable que:

• Detecta entradas adversarias sin necesidad de etiquetas de verdad fundamental o transcripciones.
• Revela que la distorsión geométrica se propaga a través de las representaciones tempranas antes de ser parcialmente absorbida por capas más profundas.
• Complementa los análisis existentes basados en similitud al capturar distorsiones locales que las medidas globales pasan por alto.

El artículo concluye con modestia, señalando las limitaciones actuales: el estudio se restringe a variantes de S3M de 12 capas y ataques no dirigidos. Se propone trabajo futuro para escalar a arquitecturas más grandes, extenderse a tareas críticas para la seguridad (por ejemplo, verificación de hablante) y combinar LID con medidas espectrales globales para una caracterización geométrica multi-escala.