The Eloquence team submission for task 1 of MLC-SLM challenge

Imagine que você está tentando ensinar um robô superinteligente a ouvir uma festa barulhenta e agitada, onde as pessoas estão falando diferentes idiomas, gritando umas sobre as outras e contando piadas que só fazem sentido se você se lembrar do que foi dito cinco minutos atrás. Este é o mundo do reconhecimento de fala conversacional multilíngue. Por muito tempo, os computadores lidavam com isso agindo como uma corrida de revezamento: um humano (ou uma máquina) primeiro escrevia exatamente o que foi dito (transcrição) e, em seguida, uma segunda máquina lia esse texto para entender o significado. Mas essa corrida de revezamento tem uma falha: se o primeiro corredor tropeçar e escrever a palavra errada, o segundo corredor fica confuso e toda a mensagem fica distorcida. Além disso, o segundo corredor perde a sensação da voz — o tom, a velocidade e a emoção — porque recebe apenas o texto.

Para corrigir isso, cientistas estão construindo Modelos de Linguagem de Fala (SLMs). Pense neles como um cérebro único e onisciente que pode ouvir as ondas sonoras diretamente e entender o significado ao mesmo tempo, sem precisar de um intermediário para escrever as coisas primeiro. É como atualizar de um robô que precisa que um humano traduza uma língua estrangeira antes de entender uma piada, para um robô que consegue ouvir a piada no idioma original e rir no momento certo. A grande questão que os pesquisadores estão fazendo é: Como tornamos esses robôs realmente bons em entender conversas reais e bagunçadas em muitas línguas diferentes ao mesmo tempo?

Neste artigo, uma equipe de pesquisadores do projeto "Eloquence" (um grupo financiado pela União Europeia) decidiu organizar uma festa para esses cérebros de IA para ver qual deles conseguiria ouvir melhor. Eles entraram em uma competição chamada Desafio MLC-SLM, que foi especificamente desenhada para testar o quão bem a IA consegue lidar com conversas multilíngues. O objetivo deles não era apenas construir um robante que pudesse ouvir; eles queriam construir um que entendesse o contexto de uma conversa, como saber que "está frio" pode significar "ligue o aquecedor" em uma situação, mas "estou usando um casaco" em outra.

A equipe tentou três estratégias diferentes para ver qual abordagem tornaria sua IA a melhor ouvinte.

Primeiro, eles verificaram as regras do jogo.
Antes de tentar inventar algo novo, eles olharam para o "baseline oficial" — a configuração padrão fornecida pelos organizadores da competição. Pense nisso como o "kit inicial" que todos recebem. Eles testaram esse kit com diferentes tipos de "cérebros" (Grandes Modelos de Linguagem) e diferentes formas de conectar os ouvidos (codificadores de áudio) ao cérebro. Eles descobriram que simplesmente ajustar a conexão não fazia uma grande diferença. Era como tentar consertar um carro lento mudando a cor das rodas; o motor era o mesmo, então a velocidade não mudou muito. Eles também tentaram um método de conexão sofisticado chamado "Q-Former", mas isso também não resolveu o problema magicamente.

Segundo, eles construíram seu próprio motor personalizado.
Esta foi a tentativa mais bem-sucedida deles. Eles usaram um framework chamado SLAM-ASR, que é como uma oficina de alta tecnologia para construir robôs de fala. Eles combinaram um ouvinte de áudio poderoso (Whisper Large V3 Turbo) com um tipo específico de cérebro chamado EuroLLM 1.7B. Para fazer este cérebro entender o áudio, eles construíram um "tradutor" personalizado (um projetor linear) que converte o som em uma linguagem que o cérebro entende.

Aqui é onde eles foram criativos: eles tentaram ensinar o robô dando-lhe dados de prática "ruidosos". Eles simularam condições de áudio ruins — como adicionar estática, acelerar vozes ou mudar o tom — para fazer o robô praticar em um ambiente difícil. Eles esperavam que isso tornasse o robô mais resistente, como um boxeador treinando com pesos pesados. No entanto, os resultados foram um pouco mistos. Embora o treinamento com ruído tenha ajudado em casos específicos, não tornou o melhor robô deles melhor do que já era. Na verdade, seu melhor sistema, que usou o cérebro EuroLLM 1.7B com uma técnica especial de treinamento chamada LoRA (que é como adicionar um colete de treinamento leve e ajustável ao cérebro, em vez de reconstruir tudo), terminou em 13º lugar entre 24 equipes. Não foi o vencedor, mas provou que um cérebro menor e congelado com um tradutor inteligente ainda pode fazer um ótimo trabalho.

Terceiro, eles tentaram dar "memória" ao robô.
Conversas reais não são apenas uma frase de cada vez; elas são um fluxo de ideias. Se alguém diz "está chovendo" e depois diz "esqueci meu guarda-chuva", a segunda frase só faz sentido por causa da primeira. A equipe tentou dar à sua IA esse tipo de memória alimentando-a com a frase anterior da conversa como contexto. Eles também tentaram uma técnica chamada aprendizado contrastivo, que é como um jogo de "encontre a diferença". Eles mostraram à IA pares de frases que deveriam combinar e pares que não deveriam, forçando a IA a aprender a diferença entre uma conversa lógica e um amontoado aleatório de palavras.

Os resultados aqui foram interessantes. Quando adicionaram a "memória" (contexto) e o jogo de "encontrar a diferença" (aprendizado contrastivo), a IA ficou melhor em entender a conversa, reduzindo sua taxa de erro para 17,18% em seu conjunto de teste. No entanto, eles notaram algo estranho: quando tentaram usar o "colete de treinamento" (LoRA) junto com a memória e o aprendizado contrastivo, o desempenho na verdade piorou. Eles suspeitam que isso ocorreu porque não deram tempo suficiente para o robô aprender (apenas duas sessões de treinamento), então a complexidade extra o confundiu.

O que eles aprenderam?
A equipe descobriu que você nem sempre precisa do cérebro maior e mais caro para entender a fala. Um cérebro menor e congelado (EuroLLM 1.7B) combinado com um tradutor inteligente e bem treinado pode ser muito eficaz. Eles também aprenderam que dar à IA um pouco de "histórico de conversa" ajuda a entender melhor a história, mas é preciso ter cuidado para não complicar demais o treinamento. Embora o sistema deles não tenha ficado em primeiro lugar, mostrou que ainda há muito potencial nesses modelos leves e eficientes.

No final, a equipe da Eloquence sugere que o futuro do reconhecimento de fala reside na combinação dessas arquiteturas inteligentes e eficientes com uma compreensão mais profunda de como os humanos realmente falam — mantendo o fluxo da conversa em mente, em vez de apenas ouvir palavras isoladas. Eles planejam continuar explorando como misturar idiomas e lidar com tarefas ainda mais complexas no futuro, esperando construir robôs que não apenas nos ouçam, mas que realmente nos entendam.