MiLorE-SSL: Scaling Multilingual Capabilities in Self-Supervised Models without Forgetting

Resumo Técnico: MiLorE-SSL

Problema
O aprendizado autossupervisionado (SSL) revolucionou o aprendizado de representações de fala, mas os modelos de SSL multilingues enfrentam restrições significativas. Os modelos existentes são tipicamente limitados aos idiomas encontrados durante o pré-treinamento. A incorporação de novos idiomas geralmente requer um novo treinamento computacionalmente caro do zero. Alternativamente, o treinamento sequencial sem estratégias de mitigação frequentemente resulta em "esquecimento catastrófico", onde o desempenho nos idiomas previamente aprendidos degrada severamente. Embora soluções anteriores, como o replay de dados, exijam corpora históricos extensos e armazenamento, e módulos baseados em adaptadores escalem mal com o aumento do número de idiomas, há uma necessidade de um framework que permita o treinamento multilingue contínuo e eficiente sem descartar o conhecimento prévio ou incorrer em custos proibitivos.

Metodologia
Os autores propõem o MiLorE-SSL (Mixture of LoRA Experts), um framework leve projetado para a extensão contínua de modelos de SSL. A arquitetura modifica modelos de SSL baseados em Transformer padrão (especificamente o HuBERT) substituindo a Rede Feed-Forward (FFN) padrão em cada bloco por um módulo MiLorE. Este módulo consiste em três componentes:

1. Backbone Congelado: Os pesos originais da FFN ($W_0$) permanecem congelados para preservar o conhecimento multilingue prévio.
2. Especialistas LoRA: Um conjunto de $N$ especialistas, cada um parametrizado como matrizes de baixo posto ($\Delta W = BA$) usando Adaptação de Baixo Posto (LoRA). Estes introduzem um número mínimo de parâmetros treináveis.
3. Roteador Suave (Soft Router): Um mecanismo aprendível que computa pesos de roteamento suave ($p$) com base nos estados ocultos de entrada. Diferente do roteamento rígido, isso permite que as entradas sejam distribuídas entre múltiplos especialistas, promovendo o compartilhamento flexível de conhecimento e especialização sem exigir identificadores de idioma explícitos.

A saída do módulo é uma soma ponderada da saída do backbone congelado e das saídas dos especialistas: $o = W_0h_{in} + \sum_{i=1}^{N} p_i \cdot E_i(h_{in})$.

Para mitigar ainda mais o esquecimento catastrófico, o framework emprega uma estratégia de replay. Em vez de depender de corpora históricos massivos, ele utiliza um subconjunto pequeno e amostrado aleatoriamente de dados (por exemplo, 100 horas) de idiomas existentes durante o treinamento de novos idiomas. Isso permite que o modelo revisite distribuições linguísticas anteriores enquanto se adapta a novos padrões.

Principais Contribuições

• Framework Inovador: O MiLorE-SSL é o primeiro framework que combina LoRA com um mecanismo de Mixture-of-Experts (MoE) suave especificamente para a extensão contínua multilingue de modelos de SSL.
• Roteamento de Especialista Suave: O design introduz um mecanismo de roteamento suave que equilibra o compartilhamento de conhecimento e a especialização entre idiomas, reduzindo a interferência translinguística.
• Mitigação Eficiente de Esquecimento: A integração de uma estratégia de replay usando dados mínimos de idiomas existentes reduz o esquecimento sem a necessidade de acesso a conjuntos de dados históricos completos.
• Eficiência de Parâmetros: A abordagem alcança alto desempenho com apenas 2,14% dos parâmetros totais sendo treináveis.

Resultados Experimentais
Experimentos foram conduzidos no benchmark ML-SUPERB, focando em tarefas de Reconhecimento Automático de Fala (ASR) monolíngue e Identificação de Idioma (LID). O estudo utilizou um modelo HuBERT-Large pré-treinado em inglês e o treinou continuamente em mandarim e cantonês, utilizando dados de inglês para o replay.

• Ganhos de Desempenho: O MiLorE-SSL superou significativamente tanto o baseline HuBERT-Large apenas para inglês quanto o mHuBERT-147 multilingue. No dataset CommonVoice, reduziu as Taxas de Erro de Caractere (CER) para 10,3% (Inglês), 10,7% (Mandarim) e 11,0% (Cantonês), comparado ao mHuBERT-147 com 18,5%, 15,5% e 14,8% respectivamente.
• Identificação de Idioma: O modelo alcançou uma precisão média de LID de 99,40%, superando o mHuBERT-147 (97,21%) e o HuBERT-Large (94,94%).
• Estudos de Ablação: A remoção do componente MoE ou da estratégia de replay resultou em degradação de desempenho em todas as tarefas. Especificamente, a remoção do MoE confirmou a necessidade de especialização de especialistas, enquanto a remoção do replay prejudicou principalmente o desempenho em inglês, validando seu papel na prevenção do esquecimento.
• Ativação de Especialistas: A análise dos padrões de ativação de especialistas revelou que as camadas inferiores codificam características independentes de idioma, enquanto as camadas médias e superiores exibem divergência específica de idioma, validando a utilidade da estrutura MoE para modelar características linguísticas compartilhadas e distintas.

Significância e Alegações
O artigo afirma que o MiLorE-SSL aborda efetivamente o equilíbrio entre eficiência computacional e capacidade multilingue em modelos de SSL. Ao combinar a adaptação de baixo posto com MoE suave e uma estratégia de replay leve, o framework permite que modelos aprendam incrementalmente novos idiomas enquanto mantêm um forte desempenho nos existentes. Os autores enfatizam que isso é alcançado sem os requisitos rígidos de balanceamento de dados do treinamento estático ou as necessidades massivas de armazenamento dos métodos tradicionais de replay. Os resultados demonstram que é possível estender modelos de SSL para novos idiomas com um número mínimo de parâmetros treináveis (2,14%) enquanto se evita o esquecimento catastrófico, oferecendo uma solução escalável para a diversidade linguística global.