Suvana: An Integrated Platform for Two-Way Deaf–Hearing Communication in Sri Lankan Sign Language

Dans de nombreuses parties du monde, la communication est un échange fluide et partagé qui se produit sans effort entre ceux qui peuvent entendre et ceux qui ne le peuvent pas. Mais pour la communauté sourde au Sri Lanka, cet échange est souvent entravé par un manque de ressources. Il n'y a pas assez d'interprètes professionnels pour combler le fossé, et le pays ne possède pas encore une version unique et entièrement standardisée de sa langue des signes dont tout le monde s'accorderait. Bien que la technologie ait fait des progrès considérables pour aider à communiquer, la plupart de ces outils sont conçus pour l'American Sign Language, laissant les langues locales comme la langue des signes sri-lankaise largement ignorées par les développeurs. Cela crée une situation où les personnes qui ont le plus besoin de ces outils se retrouvent privées de ceux-ci, et la technologie existante échoue souvent à comprendre les manières uniques dont les gens au Sri Lanka s'expriment avec leurs mains et leurs visages.

Un chercheur s'est donné pour mission de combler cette lacune avec une nouvelle plateforme numérique appelée Suvana. Plutôt que d'essayer de construire une seule application massive à partir de zéro, il a pris quatre outils logiciels différents qui avaient été développés séparément et les a assemblés en une expérience fluide. L'objectif n'était pas de prétendre qu'il avait résolu entièrement le problème des barrières de communication, mais de démontrer que ces pièces distinctes pouvaient fonctionner ensemble comme un seul produit. La plateforme comprend un outil qui transforme les signes manuels en parole sinhala, une fonctionnalité qui convertit le sinhala parlé en un avatar numérique signant en retour, une application mobile qui alerte les utilisateurs de sons importants comme les coups de klaxon ou le bris de verre, et un tuteur de pratique pour les entendants qui souhaitent apprendre la langue. Ce qui rend ce projet remarquable, ce n'est pas seulement la combinaison de ces outils, mais l'honnêteté avec laquelle le chercheur rend compte de ce qu'il a accompli et, peut-être plus important encore, de ce qu'il n'a pas encore prouvé.

La découverte la plus significative de ce travail provient du tuteur de pratique, un outil conçu pour aider les apprenants à pratiquer les signes et à recevoir des commentaires sur leur performance. Le chercheur a construit un système qui compare les mouvements des mains d'un apprenant à une vidéo de référence d'un signeur fluide. Pour ce faire, il a utilisé une méthode qui aligne les deux séquences de mouvement dans le temps, permettant des différences de vitesse afin qu'un signe lent mais correct ne soit pas pénalisé pour sa lenteur. Cependant, lors de ses tests, il a découvert une limitation critique dans le fonctionnement de cette technologie. Il a constaté que certains signes, bien que complètement différents les uns des autres, peuvent paraître étonnamment similaires pour l'ordinateur, tandis que deux personnes effectuant exactement le même signe correctement peuvent paraître très différentes l'une de l'autre.

À cause de cela, le chercheur a réalisé que le système ne peut pas être utilisé en toute sécurité pour deviner le signe qu'une personne essaie de faire si l'ordinateur ne sait pas déjà ce qu'elle est censée signer. Si le système tentait d'identifier un signe inconnu, il ferait probablement des erreurs car la distance entre deux signes différents est parfois plus petite que la distance entre deux tentatives correctes du même signe. Au lieu de cela, le système est conçu pour fonctionner différemment : on demande à l'apprenant de pratiquer un signe spécifique, et l'ordinateur se contente de noter la qualité de l'exécution de ce signe spécifique. Cette approche évite le piège de deviner le mauvais mot. Le chercheur a mesuré la capacité du système à distinguer une tentative correcte d'une tentative erronée, trouvant qu'il pouvait les distinguer avec un niveau de précision significativement supérieur au hasard, bien que loin d'être parfait.

Le chercheur a également été très prudent quant à ce qu'il affirmait concernant les autres parties de la plateforme. Pour l'outil qui transforme les signes en parole, il a noté que le système fonctionne bien lorsque la personne qui signe est la même que celle sur laquelle l'ordinateur a été entraîné, mais il n'a pas prétendu qu'il fonctionnerait pour n'importe qui d'autre. Il a explicitement déclaré qu'il ne peut pas encore dire si le système fonctionnerait pour une nouvelle personne qu'il n'a jamais vue, car ses données sont limitées. De même, pour la partie du système qui transforme la parole en un avatar signant, il a précisé que les mouvements du personnage numérique ont été créés par un étudiant entendant et n'ont pas été vérifiés par un signeur sourd. Il présente cet avatar comme une démonstration de la façon dont la technologie fonctionne, et non comme un moyen validé de communiquer, reconnaissant qu'en l'absence d'apport de la communauté sourde, il ne peut pas dire si les signes sont réellement compréhensibles.

La partie la plus importante du document est ce que l'auteur dit de son propre rôle dans le projet. Les quatre chercheurs sont des entendants, ce qui signifie qu'ils n'ont pas l'expérience vécue de la surdité. Ils admettent ouvertement qu'ils manquent de la fluidité et du contexte culturel pour juger si le système qu'ils ont construit est réellement utile ou acceptable pour les personnes qu'il est censé aider. Ils soulignent qu'en recherche sur l'accessibilité, il est courant que des chercheurs entendants construisent des outils sans suffisamment d'implication de la communauté sourde, une pratique qui peut mener à des produits qui passent à côté de leur cible. Ils décrivent leur travail actuel comme une étape vers une solution, mais insistent sur le fait que les prochaines étapes doivent impliquer directement des signeurs sourds. Cela signifie enregistrer de nouvelles vidéos de référence avec des enseignants sourds et leur faire valider les commentaires donnés par le système.

Le chercheur conclut que, bien qu'il ait réussi à intégrer ces quatre outils en une seule plateforme et à calibrer le système de notation sur des données réelles, le travail est loin d'être terminé. Ils ont mesuré la performance du système par rapport à un ensemble de vidéos enregistrées, mais ils n'ont pas encore mesuré comment il se comporte avec de vrais apprenants ou dans quelle mesure il aide à l'apprentissage. Ils n'ont pas testé le système avec un groupe diversifié de signeurs, ni validé le contenu avec la communauté sourde. Leurs conclusions servent de carte claire de ce qui est possible avec la technologie actuelle et de ce qui reste inconnu. Le chemin à suivre, soutiennent-ils, exige d'aller au-delà de la simple construction de la technologie pour s'assurer que les personnes qui l'utiliseront sont celles qui guident son développement. Tant que cela n'aura pas eu lieu, le système demeure un prototype prometteur plutôt qu'une solution complète, et le chercheur est clair : le véritable test de son travail ne viendra que lorsque les signeurs sourds seront impliqués à chaque étape du processus.