Layer-wise Probing of wav2vec 2.0 and Whisper for Consonant Cluster Reduction in African American English

Resumen Técnico: Sondeo por Capas de wav2vec 2.0 y Whisper para la Reducción de Conglomerados Consonánticos en el Inglés Afroamericano

Planteamiento del Problema
Los sistemas de Reconocimiento Automático del Habla (ASR) exhiben disparidades significativas de rendimiento entre grupos demográficos, con tasas de error notablemente más altas para hablantes de inglés afroamericano (AAE). Una fuente primaria de este sesgo es la Reducción de Conglomerados Consonánticos (CCR), un proceso fonológico sistemático en el AAE donde los conglomerados finales de palabra se simplifican (p. ej., test /tEst/ $\rightarrow$ [tEs]). Si bien estudios conductuales previos han documentado estas tasas de error, los mecanismos internos dentro de los codificadores de habla modernos que conducen a esta disparidad permanecen poco explorados. Específicamente, no está claro si los modelos tratan la CCR como una simple eliminación segmentaria o como una variación fonológica estructurada y gradual donde se preservan las pistas de la forma subyacente.

Metodología
Los autores realizaron un estudio de sondeo por capas independiente del hablante utilizando dos modelos de habla prominentes: wav2vec 2.0-base (autosupervisado) y Whisper-small (supervisado). Ambos modelos utilizan 12 capas Transformer con embeddings de 768 dimensiones, lo que permite una comparación arquitectónica directa.

• Datos: El estudio utilizó el Corpus of Regional African American Language (CORAAL), seleccionando 6,760 tokens de 156 hablantes. El conjunto de datos se centró en siete conglomerados de dos consonantes frecuentes (/ft/, /nd/, /nt/, /st/, /sk/, /pt/, /mp/) en palabras monomorfémicas, equilibradas entre formas canónicas y reducidas.
• Extracción de Características: Se realizó un alineamiento forzado utilizando el Montreal Forced Aligner (MFA) para identificar los límites temporales de los conglomerados consonánticos. Se extrajeron los estados ocultos de las 12 capas del transformer, promediándolos mediante mean-pooling para crear embeddings de longitud fija.
• Tareas de Sondeo: Se realizaron dos tareas informadas por el dominio utilizando codificadores congelados y clasificadores MLP entrenados:
  1. Detección de Reducción Segmental: Clasificar los tokens como reducidos frente a canónicos.
  2. Restauración Segmental: Probando específicamente los conglomerados /nt/ y /nd/. El modelo fue entrenado con entradas nasales únicamente reducidas (/n/) y se probó su capacidad para distinguir la identidad del conglomerado canónico subyacente (/nt/ frente a /nd/).
  3. Codificación Coarticulatoria (Suplementaria): Un paradigma de "compuerta" (gating) probó cuánta información sobre el contraste de reducción podía recuperarse de la primera consonante (C1) por sí sola, en incrementos del 25% hasta el 100%.

Resultados Clave

• Detección de Reducción: Ambos modelos distinguieron con éxito las formas reducidas de las canónicas con precisiones significativamente por encima del azar (típicamente 70–80%).
  • wav2vec 2.0 exhibió un patrón complejo por capas con múltiples picos (notablemente alrededor de las capas 5 y 9) y un declive moderado en las capas posteriores.
  • Whisper-small generalmente siguió una trayectoria ascendente y de meseta, alcanzando su pico en las capas medias a tardías.
  • Sensibilidad al Conglomerado: El rendimiento varió según el tipo de conglomerado, alineándose con las restricciones lingüísticas. Por ejemplo, los conglomerados /st/ (donde la /s/ precede a la oclusiva) arrojaron la mayor precisión de detección, consistente con la alta probabilidad de reducción en este contexto. Whisper demostró mayor robustez en conglomerados de baja frecuencia en comparación con wav2vec 2.0.
• Restauración Segmental: En la tarea de restauración, ambos modelos lograron una precisión muy alta (93–96%) al distinguir la identidad subyacente de los segmentos reducidos. Esto indica que las formas reducidas no se codifican como "eliminadas" o vacías, sino que retienen pistas sustanciales de la oclusiva faltante.
• Coarticulación: El análisis de compuerta reveló que los fotogramas de C1 por sí solos contenían información significativa sobre el contraste de reducción, con la precisión aumentando a medida que se incluía más del segmento C1. Esto sugiere que los modelos codifican fuertes pistas coarticulatorias entre la consonante restante y la oclusiva eliminada.

Contribuciones Clave

1. Análisis de Representación Interna: El estudio proporciona el primer análisis computacional de cómo los codificadores de habla modernos representan internamente la CCR específica del AAE, yendo más allá de las métricas de error superficiales para examinar la información lingüística codificada.
2. Gradual vs. Eliminación: Los resultados desafían la noción de que los modelos tratan la CCR como una simple eliminación segmentaria. En cambio, la alta precisión en las tareas de restauración demuestra que las realizaciones reducidas se codifican como variaciones fonológicas graduales y estructuradas que permanecen cerca de sus contrapartes canónicas en el espacio de embeddings.
3. Comparación de Modelos: El artículo destaca comportamientos distintos por capas entre los modelos autosupervisados (wav2vec 2.0) y supervisados (Whisper), señalando que el entrenamiento supervisado de Whisper en datos masivos etiquetados puede conferir una mayor robustez en la detección de variaciones dialectales, particularmente en tipos de conglomerados de bajos recursos.

Significancia y Reivindicaciones
Los autores afirman que sus hallazgos demuestran que los modelos de habla modernos codifican los patrones de CCR del AAE como una variación fonológica estructurada en lugar de simple ruido o eliminación. El hecho de que los modelos puedan "restaurar" la identidad de la oclusiva subyacente a partir de entradas reducidas sugiere que estos sistemas poseen una representación interna de las reglas fonológicas que gobiernan el AAE, incluso si fallan al transcribirlos perfectamente en tareas de ASR de extremo a extremo.

El estudio concluye que las disparidades observadas en el ASR no se deben necesariamente a una falta total de sensibilidad fonética a las características del AAE, sino que los modelos tratan estas características como un continuo de variación gradual. Esta codificación matizada explica por qué la clasificación binaria de la forma reducida frente a la canónica es difícil (debido a la falta de un límite fonético nítido) mientras que la identidad fonológica subyacente sigue siendo recuperable. Los autores mantienen un alcance modesto, señalando que sus hallazgos son específicos para los dos modelos y tipos de conglomerados examinados, y que se necesita más investigación para generalizar estos patrones a otras arquitecturas y contextos morfológicos más complejos.