Self-Supervised Speech Models Encode Phonetic Context via Position-dependent Orthogonal Subspaces

1. Problema y Motivación

Los modelos de habla auto-supervisados (S3Ms, por sus siglas en inglés) basados en arquitecturas Transformer, como wav2vec 2.0, HuBERT y WavLM, han demostrado un rendimiento excepcional en tareas de procesamiento del habla. Aunque se sabe que estas representaciones son "contextualizadas", la mecánica interna de cómo un modelo organiza la información fonética y el contexto de los fonemas vecinos dentro de una representación de un solo cuadro (frame-level) sigue siendo un misterio.

La investigación previa ha establecido que:

• Las redes convolucionales capturan información acústica local.
• Las representaciones de los S3Ms son composicionales (un fonema se representa como una combinación lineal de vectores fonológicos, como sonoridad o nasalidad).
• Sin embargo, no está claro cómo el contexto de los fonemas adyacentes (pasado y futuro) se integra en la representación de un fonema actual, ni cómo el modelo distingue la fuente temporal de esa información.

Hipótesis Central: Los autores proponen que una representación de un solo cuadro en un S3M no solo codifica el fonema actual, sino que también codifica de manera composicional la información fonológica de los fonemas vecinos (anterior, actual y siguiente). Además, postulan que esta información se organiza en subespacios ortogonales dependientes de la posición, permitiendo al modelo distinguir de dónde proviene cada característica fonológica.

2. Metodología

Los autores analizaron tres modelos S3M monolingües en inglés entrenados con checkpoints grandes: wav2vec 2.0, HuBERT y WavLM. Utilizaron los conjuntos de datos TIMIT y VoxAngeles.

La metodología se basó en cuatro predicciones principales probadas mediante experimentos de analogías fonológicas:

1. Composicionalidad a nivel de cuadro: Verificar si las representaciones de cuadros individuales (no promediadas) soportan operaciones vectoriales que reflejen analogías fonológicas (ej. $[b] - [d] + [t] \approx [p]$). Se comparó el pooling medio (promedio temporal) con el pooling central (solo el cuadro temporal central del fonema).
2. Vectores fonológicos contextuales: Determinar si la representación del cuadro central de un fonema ($p_0$) contiene información sobre sus vecinos ($p_{-1}, p_{+1}$). Se probaron analogías fonológicas para los fonemas adyacentes utilizando la representación central de $p_0$.
3. Ortogonalidad posicional: Probar si los vectores fonológicos asociados a diferentes posiciones relativas (pasado, presente, futuro) ocupan subespacios ortogonales. Se calcularon vectores de diferencia de medias para características fonológicas (ej. sonoridad) en diferentes posiciones y se midió su similitud coseno.
4. Segmentación fonética implícita: Analizar si los cambios en la similitud coseno entre las representaciones de los cuadros y los vectores fonológicos dependientes de la posición ocurren en los límites fonéticos reales, sugiriendo que el modelo segmenta el habla basándose en estos límites en lugar de en ventanas temporales fijas.

3. Contribuciones Clave

El trabajo aporta las siguientes contribuciones teóricas y empíricas:

• Extensión del marco composicional: Demuestra que la composicionalidad fonológica no requiere promediar sobre un segmento de fonema; una sola representación de cuadro es suficiente para codificar tanto el fonema actual como el contexto.
• Descubrimiento de subespacios ortogonales: Identifica que la información fonológica de diferentes posiciones relativas (ej. "¿es el fonema anterior sonoro?") se codifica en subespacios vectoriales que son aproximadamente ortogonales entre sí. Esto resuelve la ambigüedad de "colisión" de información cuando los fonemas vecinos comparten características.
• Mecanismo de segmentación no supervisada: Proporciona evidencia de que los S3Ms infieren implícitamente los límites fonéticos, organizando sus representaciones internas alrededor de estos límites en lugar de usar ventanas temporales simétricas fijas.
• Unificación de observaciones previas: Ofrece una explicación unificada sobre por qué las unidades discretas derivadas de S3Ms se alinean con categorías fonéticas y por qué las similitudes a nivel de palabra reflejan similitudes fonéticas.

4. Resultados Principales

• Composicionalidad en cuadros individuales: Las representaciones obtenidas mediante pooling central (un solo cuadro) lograron tasas de éxito en analogías fonológicas comparables e incluso superiores a las obtenidas con pooling medio, superando significativamente a las bases espectrales (MFCC, MelSpec) en capas profundas.
• Codificación de contexto vecino: Las representaciones de un cuadro central codifican información fonológica de los fonemas inmediatos ($p_{-1}$ y $p_{+1}$). La tasa de éxito para las analogías de los vecinos es no nula, especialmente en las capas finales de los modelos.
• Ortogonalidad Posicional:
  • Los vectores fonológicos de diferentes posiciones relativas (ej. $v_{sonoridad}^{actual}$ vs. $v_{sonoridad}^{anterior}$) muestran una similitud coseno cercana a cero (ortogonalidad).
  • La estructura de similitud relativa entre características fonológicas (ej. alta vs. baja) se preserva dentro de cada posición, pero los subespacios de diferentes posiciones son distintos.
  • La magnitud de los vectores fonológicos disminuye a medida que la distancia al fonema central aumenta ($0 > \pm 1 > \pm 2$).
• Límites Fonéticos: Al analizar las transiciones alrededor de los límites fonéticos, se observó que la similitud coseno entre la representación del cuadro y los vectores de "pasado" o "futuro" cruza en el momento exacto del límite fonético anotado. Esto confirma que el modelo ajusta dinámicamente qué subespacio posicional es relevante basándose en el límite fonético.
• Comportamiento de relleno de máscaras (Mask-filling): Se observó que la capacidad de recuperar representaciones enmascaradas a partir del contexto aumenta a través de las capas en HuBERT y WavLM, lo que sugiere que el objetivo de entrenamiento fomenta la codificación de información contextual simétrica (pasado y futuro).

5. Significado e Implicaciones

Este estudio transforma la comprensión de cómo los S3Ms procesan el habla:

• Interpretabilidad: Revela una estructura interna ordenada donde la información fonológica, del hablante y acústica podría estar organizada en subespacios disociados (ortogonales), facilitando la interpretación de estos modelos de caja negra.
• Segmentación No Supervisada: Sugiere que los límites fonéticos y silábicos emergen naturalmente en las representaciones de los S3Ms, ofreciendo una señal concreta para mejorar la segmentación de habla sin etiquetas.
• Diseño de Modelos: La existencia de subespacios ortogonales dependientes de la posición sugiere que futuras arquitecturas podrían beneficiarse de modelar explícitamente esta estructura para mejorar la eficiencia y la capacidad de generalización.
• Unidades Discretas: Explica por qué las unidades discretas derivadas de S3Ms tienen una coherencia estructural superior a los tokens acústicos puros: codifican el contexto fonético de manera estructurada y descompuesta.

En conclusión, los autores demuestran que los S3Ms no solo "escuchan" el sonido local, sino que construyen una representación rica y estructurada donde el contexto fonológico pasado, presente y futuro coexisten de manera matemáticamente distinguible (ortogonal) dentro de una sola ventana temporal, alineándose dinámicamente con los límites fonéticos del habla.