Bidirectional Deaf-Hearing Communication: a Modular Service- Oriented System Combining Multi-Purpose Artificial Intelligence and 3D Avatar Rendering

Pendant des siècles, la barrière fondamentale entre les sourds et les entendants a été un simple décalage de sens : un groupe communique par le langage visuel des mains et des visages, tandis que l'autre repose sur le son des voix. Bien que la technologie ait longtemps permis de traduire les paroles prononcées en texte pour les sourds, et le texte en parole pour les entendants, combler le fossé lors d'une conversation en temps réel est resté obstinément difficile. Le défi ne consiste pas seulement à convertir une langue en une autre, mais à gérer deux manières de percevoir le monde entièrement différentes. Les personnes sourdes utilisent la langue des signes, un système complexe où le sens est porté par la forme d'une main, le mouvement d'un bras, la position du corps et l'expression d'un visage. Les personnes entendantes, à l'inverse, parlent avec des sons qui voyagent à travers l'air. Lorsqu'une personne sourde signe une phrase, un ordinateur doit regarder la vidéo, comprendre les mouvements spécifiques et les transformer en mots. Lorsqu'une personne entendante parle, un ordinateur doit prendre ces mots, les décomposer en la séquence correcte de signes, puis les montrer à la personne sourde. Faire ces deux choses instantanément, sans un décalage qui brasse le flux de la conversation, nécessite un système qui soit à la fois incroyablement rapide et incroyablement intelligent.

Une équipe de chercheurs au Portugal a construit un nouveau système conçu pour résoudre exactement ce problème, créant un pont numérique qui permet aux personnes sourdes et entendantes de se parler aussi naturellement que possible. Ils appellent leur création SLaDIS, une plateforme modulaire qui agit comme un traducteur universel pour une conversation bidirectionnelle. Au lieu d'essayer de tout forcer dans un seul programme massif, les chercheurs ont divisé le système en trois parties distinctes qui travaillent ensemble comme une course de relais bien organisée. La première partie observe les mains et le visage de la personne sourde, la deuxième partie écoute les paroles de la personne entendante et les transforme en signes, et la troisième partie est l'écran où la conversation se déroule réellement. En gardant ces parties séparées mais connectées, le système peut gérer la charge lourde de la vision par ordinateur et de l'intelligence artificielle sans ralentir la conversation.

Le voyage commence lorsqu'une personne sourde souhaite parler. Elle signe son message devant une caméra sur un téléphone portable ou un ordinateur. Le système ne cherche pas à mémoriser chaque pixel de la vidéo, ce qui serait trop lent et nécessiterait trop de données. Au lieu de cela, il utilise un outil spécialisé pour trouver les points clés sur le corps de la personne — les articulations des doigts, les coudes, les épaules et les coins de la bouche. Il suit ces points au fur et à mesure de leurs mouvements, créant une carte simplifiée du geste. Cette carte est ensuite injectée dans un modèle d'apprentissage profond (deep learning), un type d'intelligence artificielle entraînée sur des milliers d'exemples de la langue des signes portugaise. Le modèle observe la séquence de mouvements et identifie les signes spécifiques qui sont effectués, transformant le mouvement visuel en une liste de mots. Comme la langue des signes omet souvent de petits mots de liaison ou utilise une structure de phrase différente de la langue parlée, le système transmet ensuite cette liste de mots à un grand modèle de langage. Cette seconde couche d'intelligence agit comme un éditeur utile, réarrangeant les mots, ajoutant la grammaire nécessaire et lissant la phrase pour qu'elle ait un sens parfait pour la personne entendante. Le résultat est une phrase claire et naturelle qui apparaît sur l'écran pour que le participant entendant puisse la lire ou l'entendre.

Le processus fonctionne en sens inverse lorsque la personne entendante souhaite répondre. Elle tape ou prononce son message, et le système le traduit immédiatement en glosses spécifiques, ou blocs de construction, de la langue des signes portugaise. Il ne s'agit pas d'un simple échange mot à mot ; le système comprend que la langue des signes possède ses propres règles d'ordre des mots et de grammaire. Une fois que la phrase est convertie dans la séquence correcte de signes, le système se prépare à la montrer à l'utilisateur sourd. Au lieu d'enviner une vidéo préenregistrée d'un signeur humain, ce qui prendrait du temps à télécharger et pourrait ne pas correspondre exactement aux mots, le système utilise un avatar numérique 3D. Cet avatar est un humain virtuel qui vit à l'intérieur de l'application. Le système extrait l'animation spécifique pour chaque signe depuis une bibliothèque et les enchaîne, créant une performance fluide et continue. L'avatar bouge ses mains, ses bras et son visage pour imiter un signeur réel, affichant le message directement sur l'écran de l'utilisateur sourd.

Les chercheurs ont testé ce système de manière intensive pour voir s'il pouvait suivre la vitesse d'une conversation réelle. Ils ont constaté que la partie du système qui reconnaît les signes était très précise, identifiant correctement 95,6 % des signes testés. Lorsque le système transformait ces signes en phrases complètes, le sens correspondait au message voulu avec un haut degré de similitude, obtenant un score de 0,81 sur une échelle où 1,0 est une correspondance parfaite. La vitesse du système était tout aussi impressionnante. Le temps nécessaire pour reconnaître un signe et le transformer en phrase était de moins d'un dixième de seconde, et le temps nécessaire pour que l'avatar commence à bouger après qu'une personne entendante a envoyé un message était d'un peu plus d'une seconde. Ces vitesses sont suffisamment rapides pour donner l'impression d'une conversation naturelle et fluide plutôt que d'un échange de messages saccadé.

Pour s'assurer que le système était réellement utile, les chercheurs ont fait appel à des experts de l'Association Portugaise des Sourds pour évaluer l'avatar. Deux évaluateurs indépendants ont regardé l'avatar effectuer les signes et ont évalué la capacité de compréhension du message. Un expert a compris 90 % des signes, tandis que l'autre a compris 78 %. L'étude a noté que lorsque la qualité de l'animation était élevée, la compréhension était parfaite, suggérant que la clarté du mouvement est tout aussi importante que l'exactitude des mots. Le système s'est également avéré flexible, capable de gérer des conversations dans différents contextes comme le shopping, le tourisme et la santé, montrant qu'il peut s'adapter au vocabulaire varié de la vie quotidienne.

La véritable innovation de ce travail réside dans la façon dont les pièces s'assemblent. En concevant le système comme une collection de services indépendants qui communiquent entre eux, les chercheurs ont créé une plateforme capable de croître. Si de meilleurs modèles d'IA sont développés à l'avenir, ils peuvent être intégrés sans reconstruire l'ensemble du système. Si davantage de signes doivent être ajoutés à la bibliothèque, ils peuvent être enregistrés et ajoutés sans perturber le processus de traduction. Cette approche signifie que le système n'est pas seulement une expérience ponctuelle, mais une fondation pour un outil capable d'évoluer. Les chercheurs reconnaissent que le vocabulaire est encore limité par rapport à toute la richesse de la langue, et que la traduction du texte vers les signes pourrait être encore plus fluide avec davantage de données d'entraînement. Cependant, les résultats démontrent qu'un pont bidirectionnel pleinement fonctionnel entre les mondes sourd et entendant n'est pas seulement une possibilité théorique, mais une réalité opérationnelle qui fonctionne avec la vitesse et la fiabilité nécessaires à une véritable connexion humaine.