Fast Speech Foundation Model Distillation Using Interleaved Stacking

Resumen Técnico: Destilación de Modelos Fundacionales de Voz Rápida mediante Apilamiento Entrelazado

Planteamiento del Problema
La destilación de conocimiento (KD, por sus siglas en inglés) es una técnica estándar para desplegar modelos estudiantes eficientes a partir de grandes Modelos Fundacionales de Voz (SFM), como HuBERT, para reducir la latencia de inferencia y los costos computacionales. Aunque los enfoques existentes suelen emplear arquitecturas de estudiante "profundas y estrechas" para mantener el rendimiento bajo restricciones de memoria, estos modelos sufren de velocidades de entrenamiento más lentas en comparación con las arquitecturas "superficiales y anchas" debido a la limitación en la paralelización. Aunque el entrenamiento por etapas mediante el apilamiento de modelos (incremento progresivo de la profundidad del modelo) se ha explorado para acelerar el entrenamiento en otros dominios, su aplicación a la destilación de SFM permanece sin investigar. Además, los métodos de apilamiento existentes (por ejemplo, el apilamiento gradual o MIDAS) suelen causar una degradación del rendimiento en los SFM porque interrumpen la consistencia de las posiciones de las capas a través de las etapas de entrenamiento. Dado que los SFM codifican conocimiento distinto y específico de cada capa, la reubicación de las capas durante el proceso de apilamiento obstaculiza la transferencia efectiva de este conocimiento.

Metodología
Los autores proponen el Apilamiento Entrelazado (Interleaved Stacking), un nuevo marco de aceleración de entrenamiento diseñado específicamente para la destilación de SFM. El método opera a través de los siguientes mecanismos:

1. Entrenamiento por Etapas con Entrelazado: El proceso de entrenamiento se divide en $B$ etapas. Inicialmente, se entrena un modelo estudiante superficial con $K$ capas ($K = N/B$, donde $N$ es la profundidad objetivo). Al final de cada etapa, en lugar de añadir capas copiadas al tope o al medio de la red, el método selecciona cada $b$-ésima capa del modelo actual de $bK$ capas, la copia e inserta la copia inmediatamente después de su capa original. Esto resulta en un modelo de $(b+1)K$ capas para la siguiente etapa.
2. Consistencia de la Posición de las Capas: A diferencia del apilamiento gradual (que copia las últimas $K$ capas) o MIDAS (que copia bloques intermedios), el apilamiento entrelazado asegura que las capas mantengan sus posiciones proporcionales relativas (las capas tempranas permanecen tempranas, las capas tardías permanecen tardías) a lo largo de las etapas de entrenamiento.
3. Integración con KD de Nivel Intermedio: El método soporta de forma natural las pérdidas de Destilación de Conocimiento de nivel intermedio. Debido a que las posiciones de las capas se mantienen consistentes, la $k$-ésima capa del estudiante puede alinearse consistentemente con capas específicas del profesor (por ejemplo, cada $M/K$-ésima capa del profesor) a través de todas las etapas. Esto permite el uso de pérdidas de Error Cuadrático Medio (MSE) de capa a capa sin la inestabilidad de entrenamiento observada en otros métodos de apilamiento donde los índices de las capas se desplazan.
4. Función de Pérdida: La pérdida total combina la pérdida de KD a nivel de salida (MSE entre la salida del profesor y la proyectada del estudiante) y la pérdida de KD de nivel intermedio. La pérdida intermedia se dirige a índices de capas fijas del profesor en relación con la profundidad actual del estudiante, asegurando una supervisión estable.

Contribuciones Clave

• Primera Investigación del Apilamiento para la Destilación de SFM: El artículo es el primero en explorar la efectividad del entrenamiento basado en apilamiento específicamente para la destilación de Modelos Fundacionales de Voz.
• Algoritmo de Apilamiento Entrelazado: Los autores introducen una estrategia de apilamiento que preserva la consistencia de la posición de las capas, abordando la degradación del rendimiento causada por el desalineamiento de las capas en los métodos existentes.
• Compatibilidad con la Supervisión Intermedia: El método propuesto permite la integración fluida de las pérdidas de KD de nivel intermedio, las cuales son críticas para el rendimiento de los SFM, mientras que los baselines de apilamiento existentes luchan por incorporarlas sin causar divergencia en el entrenamiento.
• Validación Empírica: El método se valida en el benchmark SUPERB a través de cuatro tareas descendentes: Reconocimiento de Fonemas (PR), Reconocimiento Automático del Habla (ASR), Asignación de Funciones (SF) e Identificación de Locutor (SID).

Resultados Experimentales
Los autores evaluaron el método utilizando un modelo estudiante Transformer de 12 capas destilado de un profesor HuBERT base.

• Rendimiento vs. Baselines: El apilamiento entrelazado superó significativamente a los baselines de apilamiento existentes (Gradual Stacking y MIDAS) en todas las tareas y estrategias de programación (Equal y Prop-1). Por ejemplo, en la tarea PR con programación igual, el Apilamiento Entrelazado logró una Tasa de Error de Perplejidad (PER) de 9.08, comparado con 11.50 para Gradual Stacking y 10.75 para MIDAS.
• Rendimiento vs. Entrenamiento Completo: Notablemente, bajo la estrategia de programación Prop-1, el método propuesto logró un rendimiento comparable o superior al de un modelo de profundidad completa entrenado sin apilamiento (Full L2L) en las tareas PR, SF y SID, a pesar de requerir un tiempo de entrenamiento reducido (aproximadamente 1.16x de aceleración).
• Impacto de la Pérdida Intermedia: La inclusión de pérdidas de KD de nivel intermedio aumentó significamente el rendimiento. El método mantuvo la superioridad sobre los baselines incluso sin las pérdidas intermedias, pero las ganancias fueron más pronunciadas con ellas. En contraste, aplicar pérdidas intermedias a Gradual Stacking causó inestabilidad en el entrenamiento y caídas de rendimiento.
• Análisis de Similitud de Capas: El análisis de similitud entre capas confirmó que las capas adyacentes en los SFM exhiben una alta correlación. El enfoque entrelazado preservó estas relaciones, resultando en una estructura de similitud "tipo bloque" donde las capas copiadas y sus originales retuvieron una alta similitud, validando la elección de diseño de la inserción adyacente.

Significancia y Afirmaciones
El artículo afirma que el Apilamiento Entrelazado ofrece una solución práctica al compromiso entre la eficiencia de entrenamiento y el rendimiento en la destilación de SFM. Al mantener consistentes las posiciones de las capas, el método permite la preservación del conocimiento específico de las capas inherente a los SFM, que a menudo se pierde en otras técnicas de aceleración. Los autores aseguran que este enfoque no solo acelera el despliegue de modelos estudiantes eficientes reduciendo los costos de entrenamiento, sino que también mitiga la degradación del rendimiento típicamente asociada con el entrenamiento por etapas. El trabajo destaca que la eficiencia del entrenamiento es un factor crítico, aunque poco explorado, en el despliegue de SFM en el mundo real, y demuestra que la manipulación arquitectónica cuidadosa durante el entrenamiento puede generar modelos que sean tanto rápidos de entrenar como altamente efectivos.