⚡ electrical engineering

MEUSLI: a Multilingual Projector for LLM-based ASR and Beyond

O artigo apresenta o MEUSLI, a primeira família de projetores multilíngues de ciência aberta que conecta um codificador de fala Whisper com LLMs de código aberto para permitir o reconhecimento automático de fala escalável de ponta a ponta e outras tarefas de compreensão de fala em 28 línguas europeias.

Autores originais: Lorenzo Concina, Seraphina Fong, Marco Matassoni, Alessio Brutti

Publicado 2026-07-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Lorenzo Concina, Seraphina Fong, Marco Matassoni, Alessio Brutti

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro robótico superinteligente que consegue ler e escrever qualquer texto do mundo, mas é completamente surdo. Ele não consegue ouvir uma única palavra falada. Por outro lado, você tem um superouvido que consegue ouvir sons perfeitamente, mas não entende o que eles significam. Durante muito tempo, para fazê-los conversar, os engenheiros tiveram que construir um intermediário desajeitado: o som ia para um tradutor, depois para um conversor de texto e, finalmente, para o cérebro. Isso era lento e, se o tradutor cometesse um erro, o cérebro ficava confuso.

Recentemente, cientistas descobriram como construir uma ponte direta entre o "superouvido" e o "supercérebro". Essa ponte é chamada de projetor. Pense nisso como um adaptador universal. Ele pega os sinais elétricos brutos do som e os traduz instantaneamente para a linguagem que o cérebro entende, permitindo que os dois conversem diretamente. Este é o mundo dos Modelos de Linguagem de Fala (SLMs). A grande questão que os pesquisadores estão fazendo é: podemos construir um desses adaptadores que funcione para todos, não apenas para falantes de inglês? Se conseguirmos, poderemos finalmente dar voz a milhares de línguas que foram deixadas de fora da conversa digital, especialmente aquelas com poucos falantes ou com dados gravados insuficientes.

Apresentamos o MEUSLI, um novo projeto que atua como uma chave mestra para 28 línguas europeias. Os pesquisadores construíram uma família desses "adaptadores de tomada" que conectam um ouvido sonoro poderoso (chamado Whisper) a cérebros robóticos multilingues de código aberto. A principal descoberta deles é que este sistema funciona incrivelmente bem, não apenas para línguas comuns como espanhol ou alemão, mas também para outras raras, como o bretão ou o maltês. Eles descobriram que, se você começar com o adaptador multilingue pré-fabricado deles, pode ensinar uma língua nova com apenas uma pequena quantidade de dados — às vezes, tão pouco quanto 46 minutos de áudio.

No entanto, há uma pegadinha. Se você tentar ensinar este adaptador uma nova língua sem nenhum cuidado, ele tende a "esquecer" tudo o que sabia sobre as 28 línguas originais, como um aluno que estuda para um novo teste e instantaneamente esquece sua lição de casa antiga. O artigo sugere que, para corrigir isso, você precisa usar uma técnica chamada "reprodução de dados" (data replay), onde você pratica ocasionalmente as línguas antigas enquanto aprende a nova, mantendo a memória viva.

Além de apenas escrever o que as pessoas dizem (transcrição), a equipe mostrou que este adaptador pode ser ajustado para fazer outros trabalhos, como traduzir palavras faladas para o inglês ou adivinhar o tópico de uma conversa (como esportes ou política). Eles descobriram que, com apenas algumas horas de treinamento específico para cada nova tarefa, o sistema poderia aprender a fazer essas coisas também.

O artigo descarta explicitamente a ideia de que você precisa de quantidades massivas de dados ou informações proprietárias (secretas) para construir esses sistemas. Eles argumentam contra a noção de que línguas de baixo recurso são impossíveis de apoiar, mostrando, em vez disso, que um bom ponto de partida (o projetor multilingue deles) torna possível "impulsionar" (bootstrap) novas línguas a partir de pouquíssimos dados. Embora não aleguem ter resolvido todos os problemas do mundo, eles fornecem evidências fortes de que esta abordagem é escalável, aberta e eficaz. Eles mediram esses resultados usando testes padrão em dados do mundo real, mostrando que o método deles supera consistentemente o início do zero, especialmente para as línguas mais difíceis e raras.

Em resumo, o MEUSLI é um kit de ferramentas que prova que podemos construir tecnologia de voz inclusiva e de código aberto que não funciona apenas para poucos, mas para muitos, transformando um cérebro robótico surdo em um ouvinte poliglota com a ajuda de um adaptador inteligente e leve.

Resumo Técnico: MEUSLI – Um Projetor Multilíngue para ASR Baseado em LLM e Além

1. Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham revolucionado o processamento de linguagem natural (NLP) baseado em texto, estender essas capacidades para a fala para uma interação multimodal natural continua sendo um desafio. Os sistemas tradicionais de fala habilitados por LLMs dependem de pipelines em cascata (ASR $\to$ LLM $\to$ TTS), que sofrem com propagação de erros, perda de pistas paralinguísticas e aumento de latência. Embora soluções recentes de Modelos de Linguagem de Fala (SLMs) unificados tentem conectar codificadores de fala diretamente a LLMs via projetores treináveis, as soluções existentes são predominantemente centradas no inglês, limitadas a línguas de altos recursos ou dependentes de dados e pesos proprietários. Existe uma lacuna significativa em SLMs de ciência aberta e multilíngues que possam apoiar efetivamente línguas de baixos recursos e oferecer arquiteturas reproduzíveis e escaláveis para diversas línguas europeias.

2. Metodologia

O artigo apresenta o MEUSLI (Multilingual EU Speech LInear projector), um framework projetado para fazer a ponte entre codificadores de fala pré-treinados e LLMs multilíngues de código aberto.

Arquitetura: O MEUSLI adota a arquitetura SLAM-ASR. Ele utiliza um codificador Whisper-large-v3-turbo congelado para converter áudio em características acústicas de alta dimensão. Essas características são mapeadas no espaço de embedding do LLM através de um projetor linear leve. Os LLMs utilizados são EuroLLM 1.7B-Instruct, EuroLLM 9B e Apertus-8B. Tanto o codificador quanto o LLM permanecem congelados durante o treinamento; apenas o projetor (e opcionalmente adaptadores LoRA no LLM) é treinado.
Design do Projetor: O projetor consiste em uma única camada oculta com ativação ReLU seguida por uma camada de regressão, contendo aproximadamente 17,31 milhões de parâmetros treináveis. A Adaptação de Baixo Rank (LoRA) é aplicada ao LLM com rank $r=8$ e fator de escala $\alpha=32$ para introduzir um adicional de 1,38 milhão de parâmetros ajustáveis.
Dados de Treinamento: O modelo é treinado em 7.622 horas de áudio abrangendo 28 línguas europeias (incluindo inglês, francês, alemão, italiano e línguas de baixos recursos como bretão, maltês e basco). Os dados são provenientes do Common Voice 17.0, FLEURS e VoxPopuli. Para gerenciar o desequilíbrio de dados, as amostras de áudio são limitadas a 100 mil por língua por conjunto de dados.
Configuração de Treinamento: O áudio é convertido em espectrogramas mel de 128 bins. Os embeddings de fala são subamostrados por um fator de $k=5$ . O treinamento utiliza o otimizador Adam com uma taxa de aprendizado inicial de $1 \times 10^{-4}$ , um warmup linear de 1.000 passos e perda de entropia cruzada (cross-entropy) nas saídas do LLM.
Aprendizado Contínuo: Para abordar o esquecimento catastrófico ao adicionar novas línguas, os autores empregam estratégias de reprodução de dados (data replay), intercalando um buffer de amostras das línguas originais durante o ajuste fino nas novas.

3. Principais Contribuições

Primeira Família de Projetores Multilíngues Aberta: O MEUSLI é a primeira família de projetores totalmente de código aberto que vincula o Whisper a LLMs multilíngues de código aberto, suportando 28 línguas europeias. Os projetores são disponibilizados no HuggingFace.
Adaptação de Baixos Recursos: O artigo demonstra que o MEUSLI serve como um ponto de inicialização robusto para o ajuste fino em línguas de baixos recursos. Mostra que o pré-treinamento multilíngue permite o bootstrapping eficaz de novas línguas com dados mínimos (ex: 2,5 horas para o bretão, 46 minutos para o albanês).
Aprendizado Contínuo para Novas Línguas: Os autores mostram que novas línguas podem ser adicionadas usando metodologias de estado da arte para aprendizado contínuo (reprodução de dados) sem colapsar o desempenho nas línguas previamente aprendidas.
Além do ASR: O framework é estendido para Tradução de Fala (ST) e Identificação de Tópico (TID). Os autores demonstram que o projetor multilíngue pode ser adaptado para estas tarefas com apenas algumas horas de supervisão específica por par língua-tarefa.

4. Resultados

Desempenho de ASR Multilíngue: O MEUSLI alcança resultados fortes de Taxa de Erro de Palavra (WER) em 28 línguas. Línguas de altos recursos apresentam baixos WERs, enquanto línguas de recursos médios mostram melhorias consistentes. Embora línguas de muito baixo recurso (ex: bretão, irlandês) continuem desafiadoras, o MEUSLI supera sistemas monolíngues treinados do zero nestes cenários.
Eficiência de Ajuste Fino (Fine-tuning):
- Bretão (2,5h de dados): O ajuste fino do MEUSLI reduziu o WER de 95,7% (baseline multilíngue) para 24,5% (com um codificador especializado), superando um sistema monolíngue treinado do zero (27,7%).
- Albanês (46min de dados): O ajuste fino do MEUSLI alcançou 75,61% de WER, enquanto um projetor treinado do zero falhou em convergir (389,12% de WER).
Mitigação do Esquecimento Catastrófico: O ajuste fino ingênuo no ucraniano causou uma degradação significativa no WER das línguas base (ex: espanhol de 4,09% para 90,34%). O uso de um buffer de reprodução de dados (1.000 amostras por língua) restaurou o desempenho das línguas base para níveis próximos aos originais, mantendo o desempenho do ucraniano (17,56% de WER).
Transferência Multitarefa: Quando estendido para ST e TID com menos de 5 horas de dados por par língua-tarefa, o ajuste fino impulsionado pelo MEUSLI superou significativamente o treinamento do zero. Por exemplo, no finlandês, o WER de ASR caiu de 53,0% (do zero) para 18,6% (MEUSLI), e a precisão de Identificação de Tópico subiu de 57,5% para 81,7%.

5. Significância e Alegações

O artigo afirma que o MEUSLI fornece uma base sólida para tarefas de compreensão de fala multilíngue, apoiando SpeechLLMs de código aberto escaláveis e inclusivos.

Escalabilidade: A abordagem prova que o pré-treinamento multilíngue permite uma transferência de conhecimento eficaz, permitindo que sistemas de ASR funcionais façam o bootstrapping para línguas não vistas com dados extremamente limitados.
Abertura: Ao utilizar modelos totalmente de código aberto (Whisper, EuroLLM, Apertus) e conjuntos de dados abertos, o trabalho aborda a falta de transparência e reprodutibilidade na literatura atual de SLM.
Versatilidade: O sistema não se limita à transcrição; serve como um ponto de partida forte para outras tarefas de processamento de fala (tradução, classificação) em ambientes de escassez de dados.

Os autores concluem que, embora o ajuste fino específico para cada língua continue sendo vantajoso para ASR, o ajuste fino multilíngue fornece representações semânticas compartilhadas robustas para tarefas de compreensão de fala downstream, lançando as bases para tecnologias de fala universais impulsionadas por LLM.