The Eloquence team submission for task 1 of MLC-SLM challenge

Imaginez que vous essayez d'apprendre à un robot super intelligent à écouter une fête bruyante et animée où les gens parlent différentes langues, se coupent la parole et racontent des blagues qui n'ont de sens que si l'on se souvient de ce qui a été dit cinq minutes auparavant. C'est le monde de la reconnaissance de la parole conversationnelle multilingue. Pendant longtemps, les ordinateurs géraient cela en agissant comme une course de relais : un humain (ou une machine) écrivait d'abord exactement ce qui était dit (transcription), puis une seconde machine lisait ce texte pour en comprendre le sens. Mais cette course de relais présente un défaut : si le premier coureur trébuche et écrit le mauvais mot, le second coureur est confus, et tout le message est déformé. De plus, le second coureur perd le ressenti de la voix — le ton, la vitesse et l'émotion — car il ne reçoit que le texte.

Pour corriger cela, les scientifiques construisent des Modèles de Langage de la Parole (SLM). Voyez cela comme des cerveaux uniques et omniscients capables d'entendre directement les ondes sonores et de comprendre le sens en même temps, sans avoir besoin d'un intermédiaire pour écrire les choses d'abord. C'est comme passer d'un robot qui a besoin qu'un humain traduise une langue étrangère avant de pouvoir comprendre une blague, à un robot capable d'entendre la blague dans la langue d'origine et de rire au bon moment. La grande question que les chercheurs se posent est la suivante : comment rendre ces robots vraiment doués pour comprendre les conversations réelles et désordonnées dans de nombreuses langues différentes à la fois ?

Dans cet article, une équipe de chercheurs du projet « Eloquence » (un groupe financé par l'Union européenne) a décidé d'organiser une fête pour ces cerveaux d'IA afin de voir lequel écoute le mieux. Ils ont participé à une compétition appelée le MLC-SLM Challenge, qui a été spécifiquement conçue pour tester la capacité de l'IA à gérer des conversations multilingues. Leur objectif n'était pas seulement de construire un robot capable d'entendre ; ils voulaient construire un robot capable de comprendre le contexte d'une conversation, comme savoir que « il fait froid » peut signifier « allume le chauffage » dans une situation, mais « je porte un manteau » dans une autre.

L'équipe a testé trois stratégies différentes pour voir quelle approche ferait de leur IA la meilleure auditrice.

Premièrement, ils ont vérifié les règles du jeu.
Avant de tenter d'inventer quelque chose de nouveau, ils ont examiné le « point de référence officiel » (baseline) — la configuration standard fournie par les organisateurs de la compétition. Considérez cela comme le « kit de démarrage » que tout le monde reçoit. Ils ont testé ce kit avec différents types de « cerveaux » (Grands Modèles de Langage ou LLM) et différentes façons de connecter les oreilles (encodeurs audio) au cerveau. Ils ont constaté que le simple fait de modifier la connexion ne faisait pas une grande différence. C'était comme essayer de réparer une voiture lente en changeant la couleur des roues ; le moteur était le même, donc la vitesse n'a pas beaucoup changé. Ils ont également essayé une nouvelle méthode de connexion sophistiquée appelée « Q-Former », mais cela n'a pas non plus résolu le problème de manière magique.

Deuxièmement, ils ont construit leur propre moteur personnalisé.
Ce fut leur tentative la plus réussie. Ils ont utilisé un cadre appelé SLAM-ASR, qui est comme un atelier de haute technologie pour la construction de robots de la parole. Ils ont combiné un puissant auditeur audio (Whisper Large V3 Turbo) avec un type spécifique de cerveau appelé EuroLLM 1.7B. Pour que ce cerveau comprenne l'audio, ils ont construit un « traducteur » personnalisé (un projecteur linéaire) qui convertit le son en un langage compréhensible par le cerveau.

C'est ici qu'ils ont fait preuve de créativité : ils ont essayé d'enseigner au robot en lui donnant des données d'entraînement « bruitées ». Ils ont simulé de mauvaises conditions audio — comme l'ajout de statique, l'accélération des voix ou le changement de hauteur de voix — pour faire pratiquer le robot dans un environnement difficile. Ils espéraient que cela rendrait le robot plus robuste, comme un boxeur s'entraînant avec des poids lourds. Cependant, les résultats ont été mitigés. Bien que l'entraînement au bruit ait aidé dans certains cas spécifiques, cela n'a pas rendu leur meilleur robot meilleur qu'il ne l'était déjà. En fait, leur meilleur système, qui utilisait le cerveau EuroLLM 1.7B avec une technique d'entraînement spéciale appelée LoRA (qui est comme l'ajout d'un gilet d'entraînement léger et ajustable au cerveau plutôt que de reconstruire tout le cerveau), a terminé à la 13e place sur 24 équipes. Ce n'était pas le vainqueur, mais cela a prouvé qu'un cerveau plus petit et « gelé » avec un traducteur intelligent pouvait tout de même faire un excellent travail.

Troisièmement, ils ont essayé de donner de la « mémoire » au robot.
Les vraies conversations ne sont pas seulement une phrase après l'autre ; elles sont un flux d'idées. Si quelqu'un dit : « Il pleut », et que plus tard il dit : « J'ai oublié mon parapluie », la deuxième phrase n'a de sens que grâce à la première. L'équipe a essayé de donner à leur IA ce genre de mémoire en lui injectant la phrase précédente de la conversation comme contexte. Ils ont également essayé une technique appelée apprentissage contrastif, qui est comme un jeu de « cherche l'erreur ». Ils ont montré à l'IA des paires de phrases qui doivent aller ensemble et des paires qui ne doivent pas aller ensemble, forçant l'IA à apprendre la différence entre une conversation logique et un mélange aléatoire de mots.

Les résultats ont été intéressants. Lorsqu'ils ont ajouté la « mémoire » (le contexte) et le jeu du « cherche l'erreur » (l'apprentissage contrastif), l'IA est devenue meilleure pour comprendre la conversation, faisant chuter son taux d'erreur à 17,18 % sur leur ensemble de test. Cependant, ils ont remarqué quelque chose d'étrange : lorsqu'ils ont essayé d'utiliser le « gilet d'entraînement » (LoRA) en même temps que la mémoire et l'apprentissage contrastif, les performances ont en fait diminué. Ils soupçonnent que c'est parce qu'ils n'ont pas laissé assez de temps au robot pour apprendre (seulement deux sessions d'entraînement), donc la complexité supplémentaire l'a confondu.

Qu'ont-ils appris ?
L'équipe a découvert que vous n'avez pas toujours besoin du cerveau le plus gros ou le plus coûteux pour comprendre la parole. Un cerveau plus petit et gelé (EuroLLM 1.7B) combiné à un traducteur intelligent et bien entraîné peut être très efficace. Ils ont également appris que donner à l'IA un peu d'« historique de conversation » l'aide à mieux comprendre l'histoire, mais qu'il faut faire attention à ne pas trop compliquer l'entraînement.

Enfin, l'équipe d'Eloquence suggère que l'avenir de la reconnaissance vocale réside dans la combinaison de ces architectures intelligentes et efficaces avec une compréhension plus profonde de la façon dont les humains parlent réellement — en gardant à l'esprit le flux de la conversation, plutôt que de simplement écouter des mots isolés. Ils prévoient de continuer à explorer comment mélanger les langues et gérer des tâches encore plus complexes à l'avenir, avec l'espoir de construire des robots qui ne se contentent pas de nous entendre, mais qui nous comprennent vraiment.