Unadapted Multilingual ASR on a Garrusi Kurdish Evaluation Set: A Common-Reference Staged Normalization Analysis

La technologie de reconnaissance vocale a fait des progrès remarquables, permettant aux machines de comprendre la voix humaine dans de nombreuses langues. Pourtant, pour les locuteurs de dialectes moins documentés, cette technologie se heurte souvent à un mur. Le défi n'est pas seulement qu'une machine puisse ne pas entendre correctement un son spécifique ; parfois, le problème est que la machine et l'humain parlent des « langues » d'écriture entièrement différentes. Dans le cas du kurde, une langue parlée en Iran, en Irak, en Turquie et en Syrie, ce fossé est marqué. Certaines variétés s'écrivent avec un script basé sur des lettres arabes, tandis que d'autres, ou même la même variété dans différentes régions, s'écrivent avec un alphabet latin doté de marques spéciales pour capturer des sons uniques. Lorsqu'un ordinateur entraîné sur un script tente de lire une phrase écrite dans un autre, il échoue souvent non pas parce qu'il ne peut pas entendre les mots, mais parce qu'il ne peut pas reconnaître les symboles. Cela crée un problème de mesure : si une machine saisit correctement le son mais l'écrit dans le mauvais script, les tests standards la comptabilent comme un échec total, masquant le fait que la machine a réellement compris le discours.

C'est ce puzzle spécifique que Hiwa Asadpour a abordé en étudiant le garrusi, une variété kurde parlée en Iran. Asadpour voulait voir si un système de reconnaissance vocale puissant et préexistant pouvait comprendre les locuteurs du garrusi, même si le système n'avait jamais été entraîné sur ce dialecte spécifique. Le système utilisé, connu sous le nom de MMS-1B-all, a été adapté pour le kurde central et produit du texte en script arabe. Les chercheurs, cependant, avaient collecté des enregistrements de cinq locuteurs de garrusi et avaient transcrit les mots corrects en utilisant un alphabet latin avec des marques phonétiques. Pour comparer les deux, ils ont dû combler le fossé entre le script arabe produit par la machine et le script latin qu'ils avaient écrit. Ils y sont parvenus en créant un processus par étapes : d'abord, ils ont converti la sortie arabe de la machine en lettres latines, puis ils ont simplifié ces lettres pour corresponder au style spécifique du texte de référence. Cette méthode leur a permis de voir exactement quelle part de l'erreur provenait de la différence de système d'écriture et quelle part provenait de l'incapacité réelle de la machine à entendre les mots.

Les résultats ont révélé une réalité brutale. Lorsque les chercheurs ont comparé directement la sortie brute en arabe de la machine par rapport à leur référence en latin sans aucune conversion, le système semblait avoir totalement échoué. Il affichait un taux d'erreur de mots de plus de 111 %, avec zéro mot correspondant. Cela s'est produit parce que les deux scripts ne partagent aucune lettre commune ; la machine parlait un langage visuel différent de celui des chercheurs. Cependant, une fois que les chercheurs ont converti la sortie de la machine en lettres latines, le tableau a radicalement changé. Le taux d'erreur a chuté de manière significative, montant que la machine avait en fait reconnu de nombreux sons correctement, mais que le décalage de script avait masqué ce succès. Lorsqu'ils ont appliqué une étape finale pour simplifier les différences d'orthographe, le taux d'erreur a encore baissé, bien qu'il soit resté élevé. Même après avoir corrigé les problèmes de système d'écriture, le système n'a réussi à obtenir correctement environ 14 % des mots. Cela signifie que si le système d'écriture était un obstacle massif, la machine éprouvait toujours des difficultés à comprendre les sons spécifiques et les structures de mots du dialecte garrusi.

L'étude a également testé un système différent qui avait été spécifiquement ajusté pour le kurde du sud, une catégorie que certains linguistes considèrent comme incluant le garrusi. Étonnamment, ce système spécialisé a été moins performant que le système général du kurde central. Il a produit beaucoup plus de mots supplémentaires que le texte de référence et n'a pas réussi à correspondre aux mots des locuteurs aussi bien que le système plus simple. Cela suggère que le simple fait d'entraîner un modèle sur un dialecte apparenté ne garantit pas qu'il fonctionnera bien sur une variété spécifique et distincte comme le garrusi, surtout lorsque les données utilisées pour l'entraînement proviennent de phrases lues et éditées plutôt que de discours naturels enregistrés sur le terrain. Le système spécialisé semblait sur-générer du texte, ajoutant des mots qui n'étaient pas là, tandis que le système général avait tendance à omettre des mots.

Une conclusion clé de ce travail est que la manière dont nous mesurons le succès importe tout autant que la technologie elle-même. Les chercheurs ont montré que les tests standards peuvent être trompeurs s'ils ne tiennent pas compte des différences de systèmes d'écriture. En maintenant le texte de référence constant et en ne changeant que la façon dont la sortie de la machine était présentée, ils ont pu isoler l'impact de la conversion de script. Ils ont découvert que la conversion du script et la simplification de l'orthographe réduisaient l'erreur mesurée de façon importante, prouvant qu'une part considérable de l'« échec » était en réalité un simple problème de formatage. Cependant, une grande quantité d'erreurs subsistait même après ces corrections, indiquant que la machine a encore un long chemin à parcourir pour véritablement comprendre ce dialecte spécifique. L'étude conclut que pour les langues possédant plusieurs scripts ou dialectes, les chercheurs doivent être prudents quant à la manière dont ils évaluent les résultats. Ils doivent publier le texte exact qu'ils ont utilisé pour l'évaluation afin que d'autres puissent vérifier les chiffres, et ils doivent reconnaître qu'un taux d'erreur élevé peut être en partie dû à la manière dont le texte est écrit, et non seulement à la capacité d'écoute de la machine.

Cette recherche met en lumière un problème plus large dans la technologie de la parole : le fossé entre les modèles de haute technologie et les diverses langues du monde réel qu'ils sont censés servir. Pour les locuteurs du garrusi, et pour de nombreuses autres communautés de langues à faibles ressources, le chemin vers une reconnaissance vocale précise est bloqué non seulement par un manque de données, mais aussi par la complexité de la manière dont ces langues sont écrites et classées. L'étude n'offre pas de solution parfaite, mais elle fournit une carte plus claire des obstacles. Elle montre qu'avant de pouvoir affirmer qu'une machine comprend une langue, nous devons d'abord nous assurer que la machine et l'humain parlent le même langage visuel, et que nos tests sont assez équitables pour distinguer une machine qui ne peut pas entendre d'une machine qui écrit simplement différemment.