Language-Aware Distillation for Multilingual Instruction-Following Speech LLMs with ASR-Only Supervision

Este artigo apresenta um método de destilação consciente do idioma que utiliza um banco de consultas e uma rede de gate para superar a interferência linguística em modelos de fala multilíngue, alcançando ganhos significativos em tarefas de seguimento de instruções e no novo benchmark Audio-MLQA, tudo com supervisão apenas de dados de ASR.

O essencial

Imagine que você tem um gênio da literatura (um modelo de linguagem de texto muito inteligente) que fala fluentemente várias línguas, mas que, infelizmente, é surdo. Ele nunca ouviu uma voz humana; ele só conhece palavras escritas.

O objetivo deste artigo é ensinar esse "gênio surdo" a ouvir e entender instruções em várias línguas (como mandarar, inglês, vietnamita, etc.) sem precisar de um treinamento massivo e caro para cada idioma.

Aqui está a explicação do que os autores fizeram, usando analogias simples:

1. O Problema: A "Sala de Aula" Bagunçada

Antes, para ensinar esse gênio a ouvir, os cientistas tentavam duas coisas:

• Treinamento pesado: Gravar milhares de horas de áudio e transcrevê-las manualmente para cada idioma. Isso é caro e demorado.
• A abordagem antiga (Distilação): Eles usavam um "tradutor" simples (um projetor) para transformar o som em algo que o gênio entendesse.

O que deu errado?
Quando eles tentaram ensinar o gênio a ouvir várias línguas ao mesmo tempo usando esse tradutor simples, aconteceu um efeito de "bagunça na sala de aula".
Imagine que o tradutor é um único professor tentando ensinar inglês, mandarim e vietnamita ao mesmo tempo. O inglês (que tem mais alunos e é mais comum) começa a dominar a aula. O professor tenta misturar as regras do inglês com as do mandarim, e o resultado é que o aluno aprende um "português" estranho que não é nem inglês, nem chinês. Isso é chamado de interferência de linguagem. O modelo fica confuso e performa mal nas línguas menos comuns.

2. A Solução: O "Menu de Pedidos Inteligente"

Os autores criaram uma nova maneira de ensinar, chamada Destilação Consciente da Língua. Em vez de um único professor tentando fazer tudo, eles criaram um sistema mais inteligente:

• O Banco de Perguntas (Query Bank): Imagine que, em vez de um único professor, existe uma gaveta cheia de cartões de instrução. Cada cartão é especializado em uma língua específica (um cartão para inglês, outro para chinês, outro para vietnamita).
• O Porteiro Inteligente (Gating Network): Antes de o som entrar na sala de aula, há um porteiro (um pequeno filtro de IA) que escuta o áudio por uma fração de segundo.
  • Se o porteiro ouve sotaque chinês, ele pega o cartão chinês da gaveta e entrega ao professor.
  • Se ouve inglês, ele pega o cartão inglês.
  • Se o sotaque é misto, ele pode misturar dois cartões.

A analogia do restaurante:
Pense no modelo antigo como um restaurante com um único garçom que tenta memorizar o cardápio de 10 países diferentes. Ele acaba confundindo o "sushi" com o "feijoada".
O novo modelo é como um restaurante com vários garçons especializados e um gerente de salão. Quando o cliente chega falando chinês, o gerente chama o garçom especialista em chinês. Quando chega um falante de inglês, ele chama o especialista em inglês. Isso garante que a comida (a resposta) seja perfeita, sem misturar os sabores.

3. O Resultado: Mais Inteligente, Menos Trabalho

O grande trunfo dessa pesquisa é que eles conseguiram isso sem treinar o cérebro do gênio (o modelo de linguagem) e sem treinar os ouvidos (o codificador de áudio). Eles apenas treinaram o "porteiro" e os "cartões de instrução".

• Economia: Eles usaram apenas 5.800 horas de áudio (o que é pouco para padrões de IA) para cobrir 6 idiomas.
• Desempenho: O modelo novo foi 14% melhor em seguir instruções e 32% melhor em responder perguntas do que os modelos antigos que tentavam fazer tudo de uma vez.
• Línguas Menos Comuns: As línguas que tinham menos dados (como o vietnamita e o indonésio) se saíram muito melhor porque o "porteiro" as protegeu da dominância do inglês.

4. O Que Eles Criaram de Novo?

Além do modelo, eles criaram um campo de provas chamado Audio-MLQA.
Imagine que eles criaram um teste de Q&A (pergunta e resposta) onde as perguntas são faladas em 5 idiomas diferentes, geradas por vozes de alta qualidade. Isso serve para que outros cientistas possam testar seus próprios modelos no futuro, já que antes não existia um teste padrão para isso.

Resumo Final

Os autores resolveram o problema de "ensinar um modelo de IA a ouvir várias línguas sem confundi-las".
Eles fizeram isso criando um sistema de roteamento inteligente que escolhe a ferramenta certa para a língua certa, em vez de tentar usar uma ferramenta única para tudo. É como trocar um martelo gigante que serve para tudo (e não serve para nada direito) por uma caixa de ferramentas organizada, onde você pega a chave de fenda certa para cada parafuso.

Isso permite que assistentes de voz inteligentes e acessíveis sejam criados para o mundo todo, mesmo para idiomas que não têm muitos dados disponíveis na internet.

Resumo técnico

1. O Problema

Os Modelos de Linguagem de Fala (Speech LLMs) que compreendem e seguem instruções em múltiplos idiomas são essenciais para interações do mundo real. No entanto, treinar esses modelos apresenta desafios significativos:

• Dependência de Dados: Métodos tradicionais de Supervised Fine-Tuning (SFT) exigem grandes corpora de fala específicos para cada tarefa e idioma, o que é escasso para idiomas de baixa recursos.
• Limitações da Distilação Atual: Abordagens recentes de distilação baseadas em alinhamento (como o DiVA) usam um projetor leve (Q-Former) para alinhar embeddings de fala com texto, utilizando apenas dados de ASR (Reconhecimento Automático de Fala) anotados. Embora eficazes para inglês, esses modelos sofrem de interferência linguística quando escalados para cenários multilíngues.
• Interferência Linguística: O uso de uma única sequência de query tokens estática e compartilhada entre todos os idiomas impede a captura de nuances fonéticas e semânticas distintas. Idiomas dominantes no conjunto de dados tendem a "ofuscar" idiomas menos representados no espaço de representação compartilhado, degradando o desempenho.

2. Metodologia Proposta

Os autores propõem um framework de Distilação Consciente de Idioma (Language-Aware Distillation) que mantém o codificador de fala e o LLM de texto congelados, treinando apenas adaptadores leves. A arquitetura consiste em quatro componentes principais:

1. Codificador de Fala Congelado: Utiliza o Whisper-large-v3 para extrair embeddings de fala.
2. LLM de Texto Congelado: Utiliza o Llama-SEA-LION-v3-8B-IT (otimizado para idiomas do Sudeste Asiático e de baixa recursos) como base.
3. Projetor Q-Former: Converte embeddings de fala em representações semelhantes a texto para servir como prefixo ao LLM.
4. Módulo de Seleção de Query (Inovação Central):
   • Banco de Queries (Query Bank): Em vez de uma sequência única, mantém um banco de tokens de query aprendíveis, um para cada idioma ($K$ idiomas).
   • Rede de Portão (Gating Network): Uma rede leve que analisa os embeddings de fala e decide qual query usar.
     • Seleção Rígida (Hard Gating): Seleciona o índice do idioma com maior probabilidade.
     • Mistura Suave (Soft Gating): Combina queries de diferentes idiomas com pesos baseados na probabilidade.
   • Treinamento com Forçamento de Professor Agendado: Para estabilizar o treinamento inicial, o modelo é forçado a usar o rótulo do idioma real antes de depender de suas próprias previsões, com uma taxa de agendamento decrescente.

Função de Perda: O treinamento otimiza três objetivos simultaneamente:

• Perda de Identificação de Idioma (LID): Supervisiona a rede de portão para classificar corretamente o idioma.
• Distilação de Entrada: Alinha os embeddings projetados da fala com os embeddings de entrada do texto (transcrição).
• Distilação de Saída: Alinha os estados ocultos finais do LLM quando condicionado à fala versus quando condicionado apenas à transcrição, garantindo comportamento consistente.

3. Contribuições Principais

• Método de Distilação Consciente de Idioma: Uma nova abordagem que utiliza um banco de queries dinâmico e mecanismos de portão para resolver a interferência linguística em Speech LLMs multilíngues, exigindo significativamente menos recursos de treinamento (apenas dados de ASR).
• Desempenho Superior: Demonstra ganhos consistentes sobre baselines multilíngues e modelos externos em tarefas de seguimento de instruções abertas e perguntas e respostas (QA) fechadas.
• Novos Benchmarks: Os autores criaram e disponibilizaram o Audio-MLQA, um benchmark de QA falada multilíngue de alta qualidade (baseado no MLQA textual com perguntas sintetizadas via TTS), cobrindo 5 idiomas (Inglês, Vietnamita, Espanhol, Alemão e Chinês).

4. Resultados Experimentais

O modelo foi treinado com apenas 5.800 horas de dados de ASR (cobrindo 6 idiomas) e congelando a maior parte dos parâmetros.

• Seguimento de Instruções (Open-Ended):
  • O modelo proposto (com hard-gating) superou a baseline multilíngue (ML-DiVA) em 14% em média.
  • Destaque para o idioma Indonésio (ID), onde a pontuação média subiu de 3,04 (ML-DiVA) para 3,71, provando que o roteamento consciente de idioma protege idiomas de baixa representação da interferência.
• Perguntas e Respostas (Close-Ended - Audio-MLQA):
  • O modelo melhorou os baselines existentes (como SeaLLMs-Audio e MERaLiON) em 32%.
  • A variante com hard-gating atingiu uma pontuação média de 3,96, muito próxima da referência baseada apenas em texto (4,14), demonstrando alinhamento robusto entre fala e texto.
• Estudos de Ablação:
  • Aumentar a capacidade das queries (de 64 para 256) reduziu drasticamente a perda de distilação de entrada.
  • A seleção rígida (hard-gating) superou a mistura suave, indicando que o desacoplamento estrito de informações específicas de cada idioma é mais eficaz do que a média de características.
  • A rede de portão alcançou mais de 94,9% de precisão na identificação de idiomas (LID).

5. Significado e Impacto

Este trabalho oferece um paradigma escalável e eficiente em termos de recursos para estender a compreensão avançada de fala para uma gama mais ampla de idiomas globais.

• Eficiência: Elimina a necessidade de grandes conjuntos de dados de SFT específicos para tarefas ou de codificadores de fala/LLMs treinados do zero.
• Acesso a Idiomas de Baixo Recurso: Ao mitigar a interferência linguística, o método permite que idiomas com menos dados de treinamento (como Indonésio e Vietnamita) atinjam desempenho competitivo, algo difícil com arquiteturas de projetor estático compartilhado.
• Reprodutibilidade: A liberação de dados de avaliação e a abordagem de "apenas ASR" facilitam a pesquisa futura em Speech LLMs multilíngues sem a barreira de custos de anotação massiva.

Em resumo, a substituição de sequências de query estáticas por um mecanismo dinâmico e consciente de idioma permite que modelos de linguagem de fala aprendam múltiplos idiomas simultaneamente sem sacrificar a qualidade de nenhum deles, utilizando apenas dados de transcrição de fala disponíveis publicamente.