Fast Speech Foundation Model Distillation Using Interleaved Stacking

Resumo Técnico: Destilação de Modelos de Fundação de Fala Rápida Usando Empilhamento Entrelaçado

Definição do Problema
A destilação de conhecimento (KD - Knowledge Distillation) é uma técnica padrão para implantar modelos estudantes eficientes a partir de Grandes Modelos de Fundação de Fala (SFMs), como o HuBERT, para reduzir a latência de inferência e os custos computacionais. Embora as abordagens existentes frequentemente utilizem arquiteturas de estudantes "profundas e estreitas" para manter o desempenho sob restrições de memória, esses modelos sofrem de velocidades de treinamento lentas em comparação com arquiteturas "rasas e largas" devido à paridade limitada de paralelização. Embora o treinamento em estágios via empilhamento de modelos (aumentando progressivamente a profundidade do modelo) tenha sido explorado para acelerar o treinamento em outros domínios, sua aplicação à destilação de SFMs permanece não investigada. Além disso, métodos de empilhamento existentes (por exemplo, gradual stacking, MIDAS) frequentemente causam degradação de desempenho em SFMs porque interrompem a consistência das posições das camadas ao longo dos estágios de treinamento. Como os SFMs codificam conhecimento distinto e específico de cada camada, o deslocamento de camadas durante o processo de empilhamento dificulta a transferência eficaz desse conhecimento.

Metodologia
Os autores propõem o Empilhamento Entrelaçado (Interleaved Stacking), um novo framework de aceleração de treinamento projetado especificamente para a destilação de SFM. O método opera através dos seguintes mecanismos:

1. Treinamento em Estágios com Entrelaçamento: O processo de treinamento é dividido em $B$ estágios. Inicialmente, um modelo estudante raso com $K$ camadas ($K = N/B$, onde $N$ é a profundidade alvo) é treinado. Ao final de cada estágio, em vez de anexar camadas copiadas ao topo ou ao meio da rede, o método seleciona cada $b$-ésima camada do modelo atual de $bK$ camadas, copia-a e insere a cópia imediatamente após sua camada original. Isso resulta em um modelo de $(b+1)K$ camadas para o próximo estágio.
2. Consistência de Posição de Camada: Diferente do empilhamento gradual (que copia as últimas $K$ camadas) ou do MIDAS (que copia blocos intermediários), o empilhamento entrelaçado garante que as camadas mantenham suas posições proporcionais relativas (camadas iniciais permanecem iniciais, camadas tardias permanecem tardias) ao longo dos estágios de treinamento.
3. Integração com KD de Nível Intermediário: O método suporta naturalmente perdas de Destilação de Conhecimento de nível intermediário. Como as posições das camadas permanecem consistentes, a $k$-ésima camada do estudante pode ser consistentemente alinhada com camadas específicas do professor (por exemplo, a cada $M/K$-ésima camada do professor) em todos os estágios. Isso permite o uso de perdas de Erro Quadrático Médio (MSE) camada a camada sem a instabilidade de treinamento observada em outros métodos de empilhamento onde os índices das camadas se deslocam.
4. Função de Perda: A perda total combina a perda de KD de nível de saída (MSE entre as saídas projetadas do estudante e do professor) e a perda de KD de nível intermediário. A perda intermediária visa índices de camadas fixos do professor em relação à profundidade atual do estudante, garantindo supervisão estável.

Principais Contribuições

• Primeira Investigação de Empilhamento para Destilação de SFM: O artigo é o primeiro a explorar a eficácia do treinamento baseado em empilhamento especificamente para destilar Modelos de Fundação de Fala.
• Algoritmo de Empilhamento Entrelaçado: Os autores introduzem uma estratégia de empilhamento que preserva a consistência da posição das camadas, abordando a degradação de desempenho causada pelo desalinhamento de camadas em métodos existentes.
• Compatibilidade com Supervisão Intermediária: O método proposto permite a integração perfeita de perdas de KD de nível intermediário, que são críticas para o desempenho de SFM, enquanto os baselines de empilhamento existentes lutam para incorporá-las sem causar divergência no treinamento.
• Validação Empírica: O método é validado no benchmark SUPERB em quatro tarefas de jusante: Reconhecimento de Fonemas (PR), Reconhecimento Automático de Fala (ASR), Preenchimento de Lacunas (SF) e Identificação de Locutor (SID).

Resultos Experimentais
Os autores avaliaram o método usando um modelo estudante Transformer de 12 camadas destilado de um professor HuBERT base.

• Desempenho vs. Baselines: O empilhamento entrelaçado superou significativamente os baselines de empilhamento existentes (Gradual Stacking e MIDAS) em todas as tarefas e estratégias de agendamento (Igual e Prop-1). Por exemplo, na tarefa PR com agendamento igual, o Empilhamento Entrelaçado alcançou uma Taxa de Erro de Perplexidade (PER) de 9,08, comparado a 11,50 para o Gradual Stacking e 10,75 para o MIDAS.
• Desempenho vs. Treinamento Completo: Notavelmente, sob a estratégia de agendamento Prop-1, o método proposto alcançou desempenho comparável ou superior a um modelo de profundidade total treinado sem empilhamento (Full L2L) nas tarefas PR, SF e SID, apesar de exigir menor tempo de treinamento (aceleração de aproximadamente 1,16x).
• Impacto da Perda Intermediária: A inclusão de perdas de KD de nível intermediário impulsionou significativamente o desempenho. O método manteve a superioridade sobre os baselines mesmo sem as perdas intermediárias, mas os ganhos foram mais pronunciados com elas. Em contraste, aplicar perdas intermediárias ao Gradual Stacking causou instabilidade no treinamento e quedas de desempenho.
• Análise de Similaridade de Camadas: A análise de similaridade entre camadas confirmou que camadas adjacentes em SFMs exibem alta correlação. A abordagem entrelaçada preservou essas relações, resultando em uma estrutura de similaridade "tipo bloco", onde as camadas copiadas e suas originais mantiveram alta similaridade, validando a escolha de design de inserção adjacente.

Significância e Alegações
O artigo afirma que o Empilhamento Entrelaçado oferece uma solução prática para o compromisso entre eficiência de treinamento e desempenho na destilação de SFM. Ao manter posições de camadas consistentes, o método permite a preservação do conhecimento específico de camada inerente aos SFMs, que é frequentemente perdido em outras técnicas de aceleração. Os autores afirmam que esta abordagem não apenas acelera a implantação de modelos estudantes eficientes reduzindo os custos de treinamento, mas também mitiga a degradação de desempenho tipicamente associada ao treinamento em estágios. O trabalho destaca que a eficiência de treinamento é um fator crítico, porém subexplorado, na implantação de SFM no mundo real, e demonstra que a manipulação arquitetônica cuidadosa durante o treinamento pode gerar modelos que são tanto rápidos de treinar quanto altamente eficazes.