Learning task-specific subspaces via interventional post-training of speech foundation models

Resumen Técnico: Aprendizaje de Subespacios Específicos de Tarea mediante el Post-entrenamiento Intervencionista de Modelos Fundacionales de Voz

Planteamiento del Problema
Los modelos fundacionales de voz, preentrenados en vastos corpus de datos no etiquetados, generan representaciones de propósito general que exhiben una fuerte capacidad de generalización de tareas. Sin embargo, estas representaciones codifican información sobre diversas variables de voz (por ejemplo, identidad del hablante, contenido, condiciones del canal) de manera distribuida y entrelazada. Las tareas de seguimiento, como el Reconocimiento Automático del Habla (ASR) o la Identificación de Locutor (SID), suelen depender solo de una fracción de esta variabilidad. Por ejemplo, un sistema ASR debe ser invariante al hablante, mientras que un sistema de verificación de locutor debe ser invariante al contenido hablado. Los enfoques existentes para aprender representaciones desentrelazadas suelen depender de supuestos de independencia estadística o gaussianidad, los cuales han demostrado ser insuficientes para garantizar un desentrelazamiento real. Además, el aprendizaje contrastivo estándar típicamente optimiza para un único espacio de incrustación (embedding) invariante a las variables de molestia, en lugar de separar explícitamente múltiples fuentes de variabilidad en distintos subespacios.

Metodología
Los autores proponen un marco de refinamiento de post-entrenamiento denominado Aprendizaje Contrastivo Intervencionista. Este enfoque tiene como objetivo transformar el espacio de representación entrelazado de un modelo fundacional de voz congelado en subespacios separados y específicos de la tarea (específicamente contenido y hablante) mediante una pérdida contrastiva de múltiples partes.

• Conjunto de Datos Intervencionista: Para proporcionar la supervisión necesaria para el desentrelazamiento, los autores sintetizan un conjunto de datos utilizando un sistema de Texto a Voz (TTS) zero-shot de última generación (F5-TTS). Este conjunto de datos permite realizar "intervenciones densas" donde cada hablante se empareja con cada texto de la locución. Esta configuración sintética permite un control preciso sobre las variables causales: el contenido (texto) y el hablante (audio de referencia).
• Arquitectura: El modelo consiste en un backbone preentrenado congelado (por ejemplo, wav2vec 2.0, HuBERT o WavLM) que extrae características del audio de entrada. Estas características se agregan mediante un pooling de media para obtener una incrustación de locución única. Una Red de Subespacio entrenable (un MLP de 3 capas sin cuello de botella) proyecta esta incrustación hacia un espacio de mayor dimensión particionado en dos subespacios de igual tamaño: un subespacio de contenido ($z_c$) y un subespacio de hablante ($z_s$).
• Función de Pérdida: El objetivo de entrenamiento combina dos componentes:
  1. Pérdida Contrastiva de Múltiples Positivos: Extendida para manejar múltiples subespacios, esta pérdida fomenta que las incrustaciones dentro del mismo subespacio estén cerca si comparten la misma variable causal (por ejemplo, mismo hablante para el subespacio de hablante) y lejos si difieren. Utiliza etiquetas intervencionistas para definir pares positivos y negativos basados en si la variable causal fue objeto de intervención.
  2. Pérdida de Ortogonalidad: Un término de regularización basado en la norma de Frobenius de la co-varianza cruzada entre subespacios, que penaliza la similitud entre las representaciones de contenido y hablante para imponer el desentrelazamiento.

Contribuciones Clave

1. Nueva Pérdida Contrastiva: El artículo introduce una función de pérdida capaz de aprender múltiples espacios de incrustación asociados con distintas variables causales simultáneamente, yendo más allá de la invariancia de un solo espacio.
2. Conjunto de Datos Intervencionista Sintético: Los autores construyen un conjunto de datos con combinaciones exhaustivas de hablantes y textos, facilitando intervenciones densas sobre variables causales que son difíciles de obtener de datos de voz naturales.
3. Validación Empírica: El enfoque se evalúa en las tareas de Verificación de Locutor (SV) y Detección de Palabras Clave (KS), demostrando la separación de la información a través de los subespacios aprendidos.

Resultados
Los experimentos se realizaron sobre tres modelos backbone (wav2vec 2.0, HuBERT, WavLM) utilizando el conjunto de datos sintético.

• Verificación de Locutor (Fuera de Dominio): El modelo completo, que aprende ambos subespacios de forma conjunta, logró tasas de error igual (EER) significativamente más bajas en el conjunto de prueba VoxCeleb1 en comparación con el baseline (backbone con pooling de media) y las variantes de un solo subespacio. Notablemente, los mejores modelos alcanzaron un EER de aproximadamente 24.7% (WavLM) y 27.2% (HuBERT), superando a los baselines humanos no expertos (26.51%), a pesar de haber sido entrenados con solo 32 hablantes y habla leída limpia, siendo probados en habla espontánea salvaje.
• Detección de Palabras Clave: El subespacio de contenido aprendido mostró un rendimiento comparable, aunque ligeramente inferior, a las representaciones de baseline con pooling. Los autores atribuyen esto a un desajuste entre la similitud a nivel de oración impuesta por la tarea de pretexto contrastiva y los requisitos a nivel de palabra de la detección de palabras clave.
• Evidencia de Desentrelazamiento: La brecha de rendimiento entre el subespacio "coincidente" (por ejemplo, el subespacio de hablante en SV) y el subespacio "discrepante" (por ejemplo, el subespacio de hablante en KS) proporciona evidencia de que la intervención logró separar la información de hablante y contenido. Sin embargo, la brecha fue menos pronunciada para la tarea de KS, lo que sugiere una posible fuga de información o que la KS requiere menos información de contenido de lo previsto.
• Aprendizaje Conjunto vs. Separado: Los resultados indicaron que no hubo una ventaja significativa de rendimiento al aprender los subespacios de forma conjunta en comparación con aprenderlos por separado, aunque el modelo conjunto utiliza los parámetros de manera más eficiente.

Significancia y Reivindicaciones
El artículo afirma que el aprendizaje contrastivo intervencionista es una estrategia viable para el post-entrenamiento de modelos fundacionales de voz para separar la información relevante de la tarea de las variables de molestia. La principal significancia radica en la capacidad de aprender una transformación agnóstica a los datos que mejora el rendimiento de la Verificación de Locutor Fuera de Dominio utilizando un pequeño conjunto de datos sintéticos, sin requerir extensos datos etiquetados para la tarea de seguimiento. Los autores señalan modestamente que, si bien el enfoque separa con éxito la información del hablante, la separación de la información de contenido para la detección de palabras clave sigue siendo imperfecta, probablemente debido al desajuste de granularidad entre la tarea de pretexto y la tarea de seguimiento. Concluyen que se necesita más trabajo para escalar el enfoque a conjuntos de datos del mundo real más grandes y para refinar las funciones de pérdida para penalizar mejor la fuga de información.