Resumen Técnico: SITA – Aprendizaje de Representaciones de Voz Invariantes al Hablante y Sensibles al Tono para Lenguas Tonales de Bajos Recursos

1. Planteamiento del Problema

Las lenguas tonales, que constituyen más de la mitad de las lenguas del mundo, siguen estando significativamente desatendidas por la tecnología de voz moderna. Un desafío principal al adaptar codificadores de voz preentrenados (p. ej., wav2vec 2.0, XLS-R) a estas lenguas es el "colapso de la incrustación de voz tonal". En entornos de bajos recursos, el ajuste fino (fine-tuning) estándar a menudo no logra equilibrar dos requisitos conflictivos:

1. Invarianza de Hablante: Las representaciones de un mismo ítem léxico pronunciado por diferentes hablantes (p. ej., diferentes géneros) deben ser similares.
2. Sensibilidad al Tono: Las representaciones de la misma palabra base que portan diferentes tonos léxicos (los cuales codifican significados distintos) deben permanecer distintas.

Los codificadores multilingües existentes suelen exhibir sesgo demográfico (fallando en agrupar las mismas palabras entre hablantes) e insensibilidad al tono (colapsando diferentes tonos de la misma palabra en grupos superpuestos). Esta degradación es particularmente aguda en lenguas con recursos severamente limitados como el hmong, donde los modelos comerciales fallan al representar las distinciones léxicas con precisión.

2. Metodología: SITA

Los autores proponen SITA (Speaker-Invariant and Tone-Aware / Invariante al Hablante y Sensible al Tono), una receta de adaptación ligera de dos etapas diseñada para aprender representaciones robustas a partir de un codificador multilingüe preentrenado (específicamente XLS-R). El método emplea un enfoque de entrenamiento multiobjetivo por etapas:

Etapa 1: Aprendizaje de Representaciones Invariantes al Hablante y Sensibles al Tono

En esta etapa, el modelo aprende a estructurar el espacio de incrustación (embedding) congelando las capas inferiores y actualizando los bloques intermedios. El objetivo combina dos funciones de pérdida complementarias:

• Pérdida de Invarianza de Hablante (InfoNCE): Un objetivo contrastivo de género cruzado. Para un dato de anclaje dado, una muestra positiva es una grabación del mismo ítem léxico por parte de un hablante del género opuesto. Las muestras negativas son diferentes ítems léxicos. Esta pérdida fomenta la consistencia léxica entre hablantes mientras separa los diferentes términos.
• Pérdida de Sensibilidad al Tono: Este componente evita el "colapso de tono" mediante dos mecanismos:
  1. Pérdida de Repulsión de Tono: Una pérdida contrastiva que separa explícitamente los "negativos difíciles" (misma palabra base, diferentes tonos) de los positivos (misma palabra, mismo tono).
  2. Cabezal de Clasificación de Tono: Un clasificador auxiliar predice la etiqueta del tono a partir de la incrustación, utilizando una pérdida de entropía cruzada para dirigir la representación hacia una estructura discriminativa de tonos.
• Aumento de Datos: Para mejorar la diversidad de hablantes sin recolectar nuevos datos, los autores utilizan FreeVC (un modelo de conversión de voz de un solo paso sin texto) para generar variantes de hablantes cruzados de los tokens de entrenamiento. También aplican perturbaciones acústicas (ruido, estiramiento temporal) mientras excluyen el cambio de tono (pitch shifting) durante los objetivos relacionados con el tono para preservar el significado léxico.

Etapa 2: Ajuste Fino de ASR con Destilación de Conocimiento

Para asegurar que las representaciones aprendidas sigan siendo útiles para el Reconocimiento Automático del Habla (ASR) descendente, el modelo se somete a una segunda etapa de ajuste fino:

• Ajuste Fino de CTC: Las capas superiores y el cabezal de proyección CTC se entrenan utilizando la pérdida de Clasificación Temporal Conectiva (CTC) sobre transcripciones a nivel de palabra.
• Destilación de Conocimiento (KD): Para evitar que el codificador se aleje de las estructuras favorables para el reconocimiento, el modelo estudiante es regularizado por un modelo profesor de ASR más fuerte y congelado (un XLS-R adaptado para ASR). El estudiante minimiza la divergencia KL entre sus posteriores a nivel de fotograma y los posteriores suavizados del profesor.
• Eficiencia de Parámetros: Las capas inferiores (aprendidas en la Etapa 1) se congelan durante la Etapa 2 para preservar la geometría invariante al hablante y sensible al tono establecida anteriormente.

3. Contribuciones Clave

El artículo realiza tres contribuciones principales:

1. Identificación de Modos de Fallo: Los autores identifican el "colapso de la incrustación de voz tonal" como un modo de fallo crítico en las lenguas tonales de bajos recursos, donde el ajuste fino estándar falla en mantener la tensión entre la invarianza de hablante y la sensibilidad al tono.
2. Marco de Trabajo SITA: Proponen un método de adaptación por etapas y eficiente en parámetros que combina aprendizaje contrastivo, repulsión de tono explícita y destilación de ASR para aprender representaciones que son simultáneamente invariantes al hablante y sensibles al tono.
3. Validación Empírica: El método se valida en hmong (una lengua con recursos severamente limitados) y se transfiere al mandarín, demostrando que el enfoque se generaliza a través de diferentes sistemas tonales sin requerir cambios en la arquitectura.

4. Resultados Experimentales

Los autores evaluaron SITA en tres tareas: recuperación de palabras entre géneros, análisis de la geometría del tono y rendimiento de ASR.

Evaluación en Hmong

• Recuperación de Género Cruzado: SITA superó significativamente a las líneas base (incluyendo XLS-R congelado, adaptación ingenua, Whisper y métodos adversarios). En el corpus de palabras en hmong, SITA logró una precisión de recuperación Top-1 de 0.6286 (F→M) y 0.5929 (M→F), comparado con un rendimiento cercano al azar (0.07–0.10) para el XLS-R congelado y ~0.37 para la mejor línea base adversaria (GRL).
• Geometría del Tono: SITA redujo eficazmente el colapso del tono. Mientras que los métodos de línea base mostraron distancias de coseno de negativos difíciles (misma palabra, diferente tono) de solo 0.01–0.08, SITA aumentó esta separación a 0.675, manteniendo al mismo tiempo una alta similitud dentro del mismo tono (~0.80).
• Rendimiento de ASR: Aunque el rendimiento de ASR de la Etapa 2 de SITA (WER: 0.5115) fue ligeramente inferior al de un profesor XLS-R totalmente adaptado para ASR (WER: 0.4610), preservó una estructura de reconocimiento utilizable mientras lograba ganancias masivas en la robustez de la representación.
• Generalización: En evaluaciones de hablantes no vistos, SITA mantuvo un rendimiento robusto (Top-1: 0.6870), superando a todas las líneas base.

Transferencia al Mandarín

Cuando se aplicó a un corpus de mandarín (Tone Perfect) con la misma arquitectura e hiperparámetros, SITA alcanzó un rendimiento de recuperación cercano al techo (Top-1: 0.9927), confirmando que la receta se generaliza más allá del hmong a otras lenguas tonales.

5. Significación y Reivindicaciones

El artículo afirma que SITA ofrece un enfoque general de tipo "plug-in" para adaptar codificadores de voz multilingües a lenguas tonales. Su importancia radica en abordar el compromiso específico entre la invarianza de hablante y la sensibilidad al tono, que a menudo se pasa por alto en la adaptación genérica de bajos recursos.

Los autores enfatizan que:

• El entrenamiento por etapas es crucial: La optimización de una sola etapa produce una recuperación fuerte pero degrada el ASR; el enfoque de dos etapas equilibra con éxito ambos.
• La adaptación ligera es efectiva: Congelar las capas inferiores y actualizar solo bloques específicos permite una adaptación robusta sin los requisitos de datos de un ajuste fino completo.
• La separación de tonos es alcanzable: Modelar explícitamente la repulsión de tonos y utilizar el aumento por conversión de voz puede superar las limitaciones de los modelos multilingües estándar en contextos tonales.

El artículo concluye con limitaciones modestas, señalando que la evaluación actualmente se restringe a corpus curados a nivel de palabra y que el peso óptimo de la pérdida puede variar dependiendo de si la prioridad descendente es la recuperación o el reconocimiento. También se reconocen las consideraciones éticas respecto a la posibilidad de que las incrustaciones codifiquen atributos demográficos sensibles.