How Far Do SSL Speech Models Listen for Tone? Temporal Focus of Tone Representation under Low-resource Transfer

Resumen Técnico: Enfoque Temporal de la Representación del Tono bajo Transferencia de Bajos Recursos

Planteamiento del Problema
El tono léxico es una característica lingüística crítica que distingue los significados de las palabras en aproximadamente el 40% de las lenguas del mundo, sin embargo, sigue siendo poco explorado en los modelos de aprendizaje auto-supervisado (SSL) de habla, particularmente más allá del mandarín. Aunque los modelos SSL han demostrado capacidades sólidas para codificar información segmentaria (fonemas) y lograr el éxito en el reconocimiento automático del habla (ASR) multilingüe, su manejo de características suprasegmentales como el tono es menos comprendido. Los análisis existentes a menudo carecen de un estudio sistemático de las lenguas del sudeste asiático, que poseen sistemas tonales complejos y diversos con movimientos de tono dinámicos. Un desafío clave es determinar qué tan lejos "escuchan" estos modelos para el tono —específicamente, el lapso temporal de las claves tonales— y cómo opera el aprendizaje por transferencia en condiciones de bajos recursos donde prevalece la escasez de datos.

Metodología
El estudio se centra en cuatro lenguas del sudeste asiático con sistemas tonales distintos: birmano, tailandés, lao y vietnamita. La investigación emplea un enfoque de tres vertientes:

1. Estimación de la Línea Base Acústica: Antes de analizar los modelos SSL, los autores establecen el lapso temporal óptimo para el reconocimiento del tono utilizando espectrogramas de log-Mel y clasificadores de regresión logística. Prueban ventanas fijas que van desde los 20 ms hasta los 300 ms para determinar la duración mínima requerida para una distinción de tono fiable en cada lengua.
2. Arquitectura del Modelo y Ajuste Fino (Fine-tuning): El estudio analiza varios codificadores SSL representativos, principalmente wav2vec 2.0 large y su extensión multilingüe XLS-R 300M, junto con MMS 300M y mHuBERT-147. Para investigar cómo la adaptación en tareas posteriores (downstream) moldea las representaciones del tono, los autores realizan el ajuste fino de estos modelos en diversas tareas:
   • ASR: Ajustado en las lenguas objetivo (birmano, tailandés, lao, vietnamita) así como en inglés y mandarín.
   • Tareas de Prosodia/Voz: Ajustado en reconocimiento de emociones, clasificación de género y verificación de locutor.
   • Línea Base: Se utilizan modelos vanilla (preentrenados) para la comparación.
3. Sondeo y Análisis de Gradiente:
   • Sondeo por Capas (Layer-wise Probing): Se entrenan sondas lineales simples sobre capas SSL congeladas para predecir etiquetas de tono a partir de estados ocultos, evaluando el rendimiento mediante puntuaciones macro-F1.
   • Sensibilidad Basada en Gradientes: Los autores computan los gradientes de entrada con respecto al logit de la clase de oro en cada capa. Al elevar al cuadrado estos gradientes y alinearlos con desplazamientos temporales relativos al centro del tono, derivan un "radio de centro de masa" ($r_{com}$). Esta métrica cuantifica el enfoque temporal de la sensibilidad del modelo, indicando qué tan concentrada está la energía del gradiente alrededor del centro del tono.

Resultos Clave

• Lapsos Temporales Específicos de la Lengua: El análisis de la línea base acústica revela que el lapso temporal óptimo para el reconocimiento del tono varía según la lengua. El birmano y el tailandés requieren lapsos más cortos de aproximadamente 100 ms, mientras que el lao y el vietnamita requieren lapsos más largos de aproximadamente 180 ms.
• Impacto de las Tareas Posteriores en el Enfoque Temporal:
  • Ajuste Fino de ASR: Los modelos ajustados para ASR en la lengua objetivo exhiben lapsos de sensibilidad de gradiente que se alinean estrechamente con las líneas base acústicas específicas de la lengua. Los modelos de birmano/tailandés muestran una concentración aguda alrededor de los centros de tono, mientras que los modelos de lao/vietnamita muestran distribuciones más amplias, reflejando los requisitos acústicos.
  • Transferencia Translingüística: El ajuste fino de ASR en mandarín (que involucra tono léxico) produce los segundos mejores resultados, mientras que el ajuste fino de ASR en inglés aún mejora el rendimiento sobre los modelos vanilla, aunque de manera menos efectiva.
  • Tareas No Tonales: El ajuste fino para tareas relacionadas con la prosodia o la voz (emoción, género, verificación de locutor) no logra separar eficazmente la información del tono. Estos modelos exhiben lapsos temporales excesivamente largos y un rendimiento de sondeo casi indistinguible de los modelos preentrenados vanilla.
• Localización por Capas: La información del tono se captura principalmente en las capas medias y altas de los codificadores SSL. Las capas inferiores (0–11) carecen de una concentración temporal suficiente, mientras que las capas superiores (12–24) en los modelos de ASR de la lengua objetivo logran una localización estable que coincide con las líneas base acústicas.
• Consistencia del Modelo: Estos patrones se mantienen a través de diferentes arquitecturas, incluyendo MMS y mHuBERT-147, confirmando que el ajuste fino de ASR de la lengua objetivo es la estrategia más efectiva para alinear las representaciones del tono con las claves lingüísticas específicas.

Significancia y Reivindicaciones
El artículo sostiene que las representaciones del tono en los modelos SSL son transferibles, pero esta transferencia depende fuertemente de la alineación entre la tarea de ajuste fino posterior y las características temporales específicas del sistema tonal de la lengua objetivo. Los autores demuestran que:

1. Dependencia de la Tarea: El enfoque temporal del modelado del tono no es estático; es moldeado por la tarea de ajuste fino posterior. El ajuste fino de ASR alinea el campo receptivo del modelo con las claves tonales necesarias, mientras que las tareas relacionadas con la prosodia sesgan al modelo hacia lapsos excesivamente largos.
2. Guía para Bajos Recursos: Para las lenguas tonales de bajos recursos, la selección de un modelo semilla y una estrategia de ajuste fino que se alinee con el lapso de tono específico de la lengua (por ejemplo, usando ASR de la lengua objetivo) es crucial para un aprendizaje de representación efectivo.
3. Contribución Metodológica: El estudio proporciona un análisis sistemático de los lapsos temporales necesarios para el reconocimiento del tono e introduce un sondeo basado en gradientes por capas para examinar cómo los modelos SSL capturan estos lapsos, ofreciendo una nueva herramienta para analizar las características suprasegmentales en modelos de habla.

Los hallazgos resaltan que el modelado exitoso del tono en los modelos SSL requiere no solo la presencia de tono en los datos de entrenamiento, sino también una alineación específica del objetivo de aprendizaje con la dinámica temporal de la característica lingüística.