Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling

1. O Problema

A adaptação de Modelos de Linguagem Grandes (LLMs) pré-treinados em texto para o domínio da fala (criando "Speech LMs") é uma estratégia promissora para tarefas como Reconhecimento Automático de Fala (ASR). O método comum é o Pré-treinamento Contínuo (CPT) em dados de fala. No entanto, essa abordagem enfrenta um desafio crítico: o esquecimento catastrófico. Ao treinar intensivamente em dados de fala, o modelo degrada severamente suas capacidades originais de processamento de texto (como compreensão, geração e seguimento de instruções).

As soluções existentes têm limitações:

• Replay de dados textuais: Requer grandes volumes de dados de texto adicionais, o que é muitas vezes indisponível (já que muitos LLMs de código aberto não divulgam seus dados de pré-treinamento) e aumenta o custo de treinamento.
• Ajuste Fino Eficiente (LoRA): Embora preserve melhor o texto que o ajuste total, o LoRA pode não fornecer capacidade suficiente para aprender uma nova modalidade (fala), especialmente em modelos menores, resultando em desempenho inferior de ASR.

2. Metodologia: Multimodal Depth Up-Scaling

Os autores propõem uma extensão da estratégia de "Depth Up-Scaling" (Escalonamento de Profundidade) para adaptação multimodal. A ideia central é expandir a arquitetura do modelo em vez de modificar seus pesos existentes.

• Congelamento e Inserção: O LLM de texto pré-treinado é mantido congelado (seus pesos originais não são alterados). Novas camadas de transformador são inseridas na rede.
• Treinamento Seletivo: Apenas as camadas adicionadas são treinadas nos dados de fala.
• Recuperação na Inferência: Uma característica crucial é que, como os pesos originais nunca foram modificados, as camadas adicionadas podem ser removidas (dropadas) no momento da inferência. Isso permite recuperar exatamente o modelo pré-treinado original, garantindo zero degradação nas tarefas de texto quando a capacidade de fala não é necessária.
• Arquitetura das Camadas Adicionais:
  • O estudo compara camadas de transformador padrão com o E-Branchformer, uma arquitetura projetada especificamente para reconhecimento de fala (que combina extração global via Self-Attention e extração local via convoluções).
  • Inicialização: Para garantir que o modelo não perturbe as representações pré-treinadas no início do treinamento, as camadas adicionadas são inicializadas como funções identidade (usando projeções nulas ou matrizes de identidade específicas no E-Branchformer).
• Estratégias de Posicionamento: Os autores investigaram onde inserir essas camadas: intercaladas, no topo, no meio, na base ou em formato "sanduíche" (topo e base).

3. Contribuições Principais

1. Nova Abordagem de Adaptação: Proposta do Multimodal Depth Up-Scaling, que permite a adaptação de LLMs de texto para fala sem corromper os pesos originais do modelo base.
2. Arquitetura Híbrida: Demonstração de que o uso de blocos E-Branchformer como camadas inseridas supera as camadas de transformador padrão, capturando melhor padrões acústicos locais e globais.
3. Mecanismo de "Drop" de Camadas: Validação de que é possível alternar dinamicamente entre um modelo de fala (com camadas extras) e um modelo de texto puro (sem camadas extras) sem necessidade de re-treinamento ou replay de dados.
4. Análise de Posicionamento: Identificação de que a distribuição intercalada (Interleaved) das camadas oferece o melhor equilíbrio entre desempenho de ASR e preservação de texto.

4. Resultados Experimentais

Os experimentos foram realizados nos modelos SmolLM2-360M e SmolLM2-1.7B com 48.000 horas de dados de ASR em inglês (OWSM v3.2).

• Desempenho de ASR (WER):
  • O Depth Up-Scaling com camadas intercaladas alcançou uma Taxa de Erro de Palavras (WER) comparável ao Ajuste Fino Total (Full Fine-Tuning).
  • Superou significativamente o LoRA, especialmente no modelo menor (360M), onde o LoRA falhou em capturar a complexidade da nova modalidade.
  • No modelo 1.7B, o uso de E-Branchformer nas camadas adicionadas igualou ou superou o ajuste total.
• Preservação de Texto:
  • O Ajuste Fino Total e o LoRA causaram degradação severa nas tarefas de texto (queda de ~22% a ~35% na precisão média).
  • O Depth Up-Scaling reduziu a degradação para menos de 10% (e até ~2% em alguns casos) mesmo mantendo as camadas extras.
  • Ao remover as camadas extras na inferência, o modelo recuperou 100% do desempenho original do texto (∆ = 0.0).
• Seguimento de Instruções (Zero-Shot):
  • Em tarefas qualitativas (tradução, simplificação e resumo de áudio), o modelo com Depth Up-Scaling conseguiu seguir instruções textuais dadas via prompt de áudio.
  • O Ajuste Fino Total falhou completamente nessas tarefas, gerando saídas degeneradas (repetição de tokens), demonstrando que a adaptação destruiu a capacidade de raciocínio do modelo.

5. Significado e Conclusão

Este trabalho oferece uma solução prática e eficiente para o dilema "fala vs. texto" na adaptação de LLMs.

• Eficiência de Parâmetros: O método alcança desempenho de ASR de ponta com 60% menos parâmetros treináveis do que o ajuste total (quando usa E-Branchformer) e com muito menos degradação de texto do que o LoRA.
• Viabilidade Prática: Elimina a necessidade de dados de texto para replay, tornando a adaptação viável mesmo para modelos cujos dados de pré-treinamento são proprietários ou indisponíveis.
• Flexibilidade: A capacidade de "desligar" as camadas de fala permite que o mesmo modelo seja usado tanto para aplicações de fala quanto para tarefas puramente textuais, mantendo a integridade do conhecimento linguístico original.

Em resumo, o Multimodal Depth Up-Scaling demonstra que é possível expandir a capacidade de um LLM para a fala sem sacrificar sua inteligência original, superando as limitações dos métodos de adaptação atuais.