Imaginez que vous êtes un détective essayant de résoudre un mystère, mais au lieu de chercher des indices, vous essayez de comprendre une langue qui disparaît lentement du monde. C'est la réalité quotidienne des linguistes de terrain, des scientifiques qui voyagent dans les coins reculés du globe pour enregistrer les histoires, les chansons et les conversations de langues en danger avant qu'elles ne soient perdues à jamais. Ils possèdent des milliers d'heures d'enregistrements audio, mais il existe un goulot d'étranglement massif : transformer ces enregistrements en texte écrit. Faire cela à la main, c'est comme essayer de boire à un jet de lance à incendie ; cela prend un temps infini, demande une concentration intense et est incroyablement épuisant.

Pour accélérer les choses, les scientifiques ont essayé d'apprendre aux ordinateurs à écouter et à écrire à leur place. C'est ce qu'on appelle la reconnaissance automatique de la parole (ASR - Automatic Speech Recognition). Pensez à cela comme à un robot très intelligent qui écoute une conversation et la tape. Nous avons aujourd'hui des robots incroyables, comme le célèbre « Whisper », qui sont excellents pour comprendre l'anglais ou l'espagnol. Mais lorsqu'il s'agit de langues rares ou peu connues, ces robots sont souvent confus. Ils doivent être « entraînés » sur la langue spécifique pour bien fonctionner. Le problème est que l'entraînement de ces robots nécessite généralement une équipe d'experts en informatique, des supercalculateurs puissants et un savoir-faire technique que la plupart des linguistes n'ont pas. De plus, il y a un problème de départ délicat : si vous avez un tas de fichiers désordonnés, lesquels devriez-vous donner au robot en premier pour qu'il apprenne le plus vite ? Devez-vous choisir les enregistrements les plus clairs, les plus calmes, ou ceux qui contiennent les mots les plus intéressants ?

Ce document présente un nouvel outil appelé Easper (ELAN-integrated Automatic Speech Recogniser) et répond à cette question : « quel enregistrement en premier ? ». Easper est comme une application conviviale, sans code, qui permet aux linguistes de prendre leurs enregistrements, de les nettoyer et d'entraîner un robot de reconnaissance vocale personnalisé directement dans leur navigateur web, sans avoir besoin d'être un magicien du codage. Les chercheurs ont testé ce système sur trois langues du Vanuatu (le bislama, le nafsan et le nguna) pour voir s'il fonctionnait. Mais la véritable magie réside dans ce qu'ils ont découvert sur la manière d'entraîner ces robots. Ils ont découvert une vérité surprenante : lorsqu'on enseigne une nouvelle langue à un robot, ce que le robot entend importe moins que ce qu'il apprend.

Le Problème : Le « démarrage à froid » et le mur technique

Imaginez que vous essayiez d'apprendre un nouveau tour à un chien. Vous avez un tas de vidéos d'entraînement. Certaines vidéos sont filmées dans un salon calme (audio clair), et d'autres sont filmées dans un parc à chiens bruyant et chaotique (audio bruyant). Vous avez également des vidéos où le chien fait le même tour encore et encore, et d'autres où il essaie cent tours différents une seule fois chacun.

Pendant longtemps, les linguistes ont pensé que la meilleure façon de commencer l'entraînement de leurs robots de reconnaissance vocale était de choisir les vidéos du « salon calme ». Ils supposaient que si le bruit de fond était faible et que personne ne se coupait la parole, le robot apprendrait plus vite. Ils pensaient également que choisir des enregistrements avec une grande variété de mots serait préférable.

Cependant, les chercheurs de ce document ont réalisé que la plupart des linguistes de terrain n'ont pas les compétences techniques pour mettre en place ces systèmes d'entraînement complexes. C'est comme avoir une Ferrari mais pas de permis de conduire. Ils avaient besoin d'un moyen de rendre le processus simple, comme un bouton « un clic ». Ils avaient également besoin de savoir si leur hypothèse sur l'« audio calme » était réellement vraie.

La Solution : Easper, l'atelier « sans code »

L'équipe a construit Easper, un flux de travail portable et open-source qui sert de pont entre les notes du linguiste et le cerveau de l'ordinateur.

1. La Configuration : Les linguistes utilisent un outil standard appelé ELAN pour annoter leurs fichiers audio (comme surligner des phrases dans un livre). Easper prend ces fichiers et les prépare automatiquement pour l'entraînement. Il vérifie les erreurs, comme si une phrase est trop longue ou si deux personnes parlent en même temps, et donne au linguiste un rapport simple à corriger.
2. L'Entraînement : Au lieu d'avoir besoin d'un supercalculateur dans un sous-sol, Easper utilise des ressources de cloud (comme Google Colab) pour effectuer le gros du travail. Il prend les données du linguiste et affine un modèle puissant appelé Whisper (plus précisément la version « small », qui possède environ 244 millions de paramètres).
3. Le Résultat : Une fois le modèle entraîné, le linguiste peut le télécharger et l'utiliser sur son propre ordinateur portable, même sans connexion Internet. Le robot écoute ensuite de nouveaux enregistrements non transcrits, identifie qui parle et écrit le texte. Le linguiste n'a plus qu'à relire et corriger les erreurs, ce qui est beaucoup plus rapide que de partir de zéro.

La Grande Découverte : La répétition bat le silence

La partie la plus excitante du document est l'expérience qu'ils ont menée pour résoudre le problème du « démarrage à froid ». Ils ont simulé un scénario où ils devaient choisir quels enregistrements nourrir le robot en premier. Ils ont testé cinq stratégies différentes :

1. Aléatoire : Choisir des enregistrements au hasard.
2. Audio le plus propre en premier : Choisir les enregistrements avec le meilleur rapport signal/bruit (SNR) et le moins de personnes se coupant la parole.
3. Le plus de mots en premier : Choisir les enregistrements avec la plus grande variété de mots uniques (Ratio Type-Token).
4. Le plus de répétition en premier : Choisir les enregistrements où les mêmes mots sont répétés souvent (Ratio Token-to-Type normalisé).

Ils ont lancé ces simulations sur trois langues : le bislama (une langue créole avec environ 300 000 locuteurs), le nafsan (une langue indigène avec environ 5 000 locuteurs) et le nguna (une autre langue indigène avec environ 9 500 locuteurs). Ils ont mesuré la vitesse à laquelle les erreurs du robot diminuaient, en utilisant un score appelé Taux d'Erreur de Caractères (CER - Character Error Rate), qui compte combien de lettres le robot se trompe.

Le Résultat : La stratégie « Audio le plus propre en premier » était en fait l'une des pires façons de commencer. Le robot n'apprenait pas beaucoup plus vite grâce aux enregistrements calmes. En fait, la stratégie qui a le mieux fonctionné était la Priorité à la Répétition (ToTy).

Les chercheurs ont découvert que le robot apprenait le plus vite lorsqu'il était nourri d'enregistrements où les mêmes mots et phrases étaient répétés encore et encore, même si l'enregistrement était un peu bruyant ou si des gens se coupaient la parole. Il s'avère que les modèles d'IA modernes (comme Whisper) sont déjà très bons pour ignorer le bruit de fond. Ce dont ils ont réellement besoin pour apprendre une nouvelle langue, c'est de voir les mêmes mots de nombreuses fois afin de comprendre comment ces sons se connectent à ces lettres spécifiques.

Pensez à l'apprentissage d'une nouvelle chanson. Si vous écoutez une version studio parfaite d'une chanson une seule fois, vous n'apprendrez peut-être pas les paroles. Mais si vous écoutez une version légèrement parasitée, en direct, où le refrain se répète dix fois, vous apprendrez les paroles beaucoup plus vite. La répétition est la clé, pas la qualité sonore parfaite.

Pourquoi cela importe

Cette découverte change la donne pour les linguistes de terrain. Pendant des années, ils auraient pu passer des heures à essayer de trouver l'enregistrement calme « parfait » pour commencer leur projet, ou ils auraient pu éviter d'enregistrer dans des marchés animés ou des réunions de famille parce que c'était « trop bruyant ».

Le document suggère que c'est la mauvaise approche. Si vous voulez construire un outil de reconnaissance vocale pour une langue rare rapidement, vous devez privilégier la richesse linguistique et la répétition. Vous devriez enregistrer des gens racontant des histoires où ils utilisent les mêmes mots de base de manière répétée, même s'il y a du bruit de fond. Le robot peut gérer le bruit ; il a juste besoin de la répétition pour apprendre le « squelette » de la langue.

Grâce à Easper, les linguistes peuvent désormais contourner le besoin d'experts en informatique et de matériel coûteux. Ils peuvent prendre leurs enregistrements de terrain, choisir ceux qui ont le vocabulaire le plus répétitif et riche, et entraîner leur propre robot personnalisé pour aider à transcrire le reste de leurs archives. Cela signifie que davantage de langues peuvent être documentées, préservées et rendues accessibles à leurs communautés avant qu'elles ne disparaissent.

En bref, le document montre que lorsqu'on enseigne une nouvelle langue à un ordinateur, la répétition est le professeur, et le bruit n'est que de la musique de fond. Le robot n'a pas besoin d'une pièce silencieuse ; il a juste besoin d'entendre les mots suffisamment de fois pour les comprendre.